一种大型色谱仪数据管理系统及方法与流程

1.本发明涉及色谱仪技术领域，为一种色谱仪管理系统，具体为一种大型色谱仪数据管理系统及方法。


背景技术：

2.仪器分析发展至今，形成了以电化学分析、光分析、色谱分析及波谱分析为支柱的现代仪器分析。而色谱分析则是依据不同物质在固定相和流动相中分配系数的差异实现的分析方法，特别适合有机混合物的快速高效分析。
3.随着计算机技术的快速发展，计算机技术能够促进仪器分析自动化，计算机作为分析仪器的一个组成部分，实现了分析仪器的数据采集、处理和显示的自动化，根据预先设定来自动调节参数，在无人工干预下完成分析的全过程。计算机也促进了许多传统分析仪器组件的消失，如记录仪、示波器、积分仪等，使仪器更加灵巧、精密。计算机也使很难取代的传统手工操作实现了自动化，如色谱自动进样装置，可使几十个试样按各自的分析条件自动完成全部分析过程。
4.但目前的色谱自动化的管理还主要基于单个色谱仪通过单一网络条件或者是在区域的色谱站建立管理的方式进行色谱仪的管理，但面对大规模色谱仪部署场景下涉及到的色谱仪数据的管理要求较高，目前还没有较好的方案进行实现。如何实现对于大规模部署的色谱仪进行同步管理在目前属于需要解决的技术问题。


技术实现要素：

5.为了解决以上的技术问题，本技术提供大型色谱仪数据管理系统及方法，能够将大规模布置条件下的多个色谱仪进行同步管理，并且通过在实时采集到色谱仪数据的同时对数据进行预处理将数据实际表征情况进行识别，通过数据的表征实现动态的数据采集，在降低数据采集成本提高数据处理效率的基础上，降低了因为非实时处理而导致的数据处理的误差。
6.为了达到上述目的，本技术实施例采用的技术方案如下：
7.第一方面，提供一种大型色谱仪数据管理系统，包括多个独立部署的色谱仪，所述色谱仪中布置有对应的数据采集用的多个传感器，还包括第一处理器、第二处理器传感器和cpu，所述第一处理器和所述第二处理器能够采集多个所述传感器的传感数据，所述cpu采集所述第一处理器和所述第二处理器的多个传感数据；多个所述传感器包括温度传感器、湿度传感器、气体流量传感器中的任意一种，所述第一处理器为异步处理器，所述第二处理器为同步处理器，其中，所述第一处理器包括收发模块、数据处理模块和指令下发模块；其中，所述收发模块，用于接收多个所述传感器的多个所述传感数据；所述数据处理模块，用于将多个所述传感数据与第一预设条件和第二预设条件进行比对，得到比对结果；所述指令下发模块，基于比对结果向所述第二处理器进行启动命令的下发；所述数据处理模块包括第一处理单元和第二处理单元，所述第一处理单元用于将多个所述传感数据中的任
一数据与第一预设条件进行比较，得到第一比对结果；所述第二处理单元基于第一比对结果对多个所述传感数据中任一数据与第二预设条件进行比较，得到第二比对结果。
8.进一步的，所述处理器还包括分类器，用于识别多个所述传感数据的数据类型标签，基于预设置的匹配机制将对应的数据类型标签的传感数据发送至对应的所述第一处理器和所述第二处理器。
9.进一步的，所述第一处理器配置有第一存储空间和第二存储空间，所述cpu基于第一采集策略采集所述第一存储空间内的多个传感数据，所述cpu基于第二采集策略采集所述第二存储空间内的多个传感数据；所述第一存储空间内存储有满足所述第一预设条件、所述第二预设条件的同时序的多个传感数据，所述第二存储空间内存储有不满足所述第二预设条件但不具有异常的多个所述待识别传感数据。
10.第二方面，提供一种大型色谱仪数据管理方法，应用于上述任一项所述的数据管理系统，所述方法包括：所述第一处理器检测到多个所述传感数据中任一数据不满足第一预设条件时，发送第一控制指令给第二处理器，以触发所述第一处理器停止运行，并将同时序下的多个传感数据传输至所述第二处理器，且所述第二处理器启动；所述第一处理器检测到多个所述传感数据中任一数据满足第一预设条件但不满足第二预设条件时，对同时序下的多个传感数据进行异常识别，同时序下的多个传感数据为待识别传感数据，判断多个所述待识别传感数据是否具有异常，当多个所述待识别传感数据具有异常时，发送第一控制指令给所述第二处理器，以触发所述第一处理器停止运行，并将同时序下的多个所述待识别传感数据传输至所述第二处理器，且所述第二处理器启动；判断多个所述待识别传感数据是否具有异常，包括：以多个所述待识别传感数据的时序为节点，获取过去预设时间段内的多个参考传感数据，判断多个所述参考传感数据中任一数据不满足第一预设条件时，对所述待识别传感数据以及多个所述参考传感数据进行识别，判断多个所述待识别传感数据是否具有异常。
11.进一步的，在采集传感数据前还包括：识别多个所述传感数据的类型标签，基于预设置的匹配机制采集对应数据类型标签的传感数据。
12.进一步的，所述方法还包括：基于预设置的存储机制将不满足第一预设条件的多个所述传感数据，以及满足第一预设条件但不满足第二预设条件且不具有异常的多个所述传感数据存储至不同的存储空间。
13.进一步的，所述方法还包括：基于预设置的cpu数据采集策略将满足第一预设条件和第二预设条件的多个所述传感数据，以及满足第一预设条件但不满足第二预设条件且不具有异常的多个所述传感数据以不同的采集频次进行采集。
14.进一步的，以多个所述待识别传感数据的时序为节点，获取过去预设时间段的内多个参考传感数据，判断多个所述参考传感数据中任一数据不满足第一预设条件时，发送第一控制指令给所述第二处理器，以触发所述第一处理器停止运行，并将所述待识别传感数据和多个所述参考传感数据传输至所述第二处理器，且所述第二处理器启动。
15.进一步的，所述待识别传感数据以及多个所述参考传感数据进行识别，判断多个所述待识别传感数据是否具有异常，包括：提取多个所述待识别传感数据及多个所述参考传感数据对应的多个特征，将多个所述特征进行集合处理得到特征矩阵；对所述初始特征矩阵进行重构，得到目标特征矩阵；获取所述目标特征矩阵中每一传感数据的重构误差，将
所述重构误差与所述每一传感数据对应的阈值进行比较，判断是否具有异常。
16.进一步的，针对于所述特征矩阵通过设置有卷积神经网络的编码器进行获得，所述目标特征矩阵通过设置有反卷积神经网络的解码器进行获得；所述编码器的卷积层个数和所述解码器的反卷积层个数相同。
17.本技术实施例提供的技术方案中，针对于面向多个色谱仪进行数据管理的终端系统，通过在现有的数据管理系统中增加处理器，并通过处理器将传感器获取到的来自多个传感器中的传感数据进行异常识别，基于异常识别的结果确定对应的cpu对于传感数据的采集策略。并且，针对于异常的识别包括至少显性异常的识别和隐形异常的识别，针对于显性异常和隐形异常识别方式以及对应的cpu采集方式都设置有不同的采集策略。通过以上的方法以及部件的配置解决了现有技术中针对于采集到的数据进行处理的计算压力，能够实现数据处理最优化的配置。
附图说明
18.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.附图中的方法、系统和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例，其中示例数字在附图的各个视图中代表相似的机构。
20.图1是本技术实施例提供的色谱仪数据管理系统示意图。
21.图2是本技术实施例提供的整体方法流程图。
22.图3是根据本技术的一些实施例所示的传感器数据更新方法的具体处理过程流程图。
具体实施方式
23.为了更好的理解上述技术方案，下面通过附图以及具体实施例对本技术技术方案做详细的说明，应当理解本技术实施例以及实施例中的具体特征是对本技术技术方案的详细的说明，而不是对本技术技术方案的限定，在不冲突的情况下，本技术实施例以及实施例中的技术特征可以相互组合。
24.在下面的详细描述中，通过实例阐述了许多具体细节，以便提供对相关指导的全面了解。然而，对于本领域的技术人员来说，显然可以在没有这些细节的情况下实施本技术。在其他情况下，公知的方法、程序、系统、组成和/或电路已经在一个相对较高水平上被描述，没有细节，以避免不必要的模糊本技术的方面。
25.本技术中使用流程图说明根据本技术的实施例的系统所执行的执行过程。应当明确理解的是，流程图的执行过程可以不按顺序执行。相反，这些执行过程可以以相反的顺序或同时执行。另外，可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。
26.对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语
进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
27.(1)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
28.(2)基于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
29.(3)自编码器，自编码器(autoencoder,ae)是一类在半监督学习和非监督学习中使用的人工神经网络(artificial neural networks,anns)，其功能是通过将输入信息作为学习目标，对输入信息进行表征学习(representation learning)。
30.本技术实施例提供的技术方案，主要的应用场景为针对于色谱仪运行过程中的设备数据的收集、处理和管理。在目前的场景中，色谱仪在进行工作时其关键部件中的运行状态通过配置在具体色谱仪中的传感器进行数据的采集，并基于采集到的数据实现对于色谱仪工作状态的记录。而随着智能化程度的提高，针对于色谱仪的运行过程中数据的收集并非仅仅为记录的作用，而是基于实时的运行数据度色谱仪的运行状态进行监控以及判断色谱仪的运行是否安全(尤其是针对于特殊条件下的色谱仪，例如放射性色谱仪，其在运行时需要确定色谱仪中的放射性物质的浓度、放射性物质是否缺失的问题)则无法实现实时获取和实时的判断。尤其是针对大规模部署的色谱仪系统进行统一的过程数据的采集、处理和判断并没有现有的方案，并且随着系统中的色谱仪数量的增加，对于数据处理的能力要求随着升高。并且，针对于传感器采集到数据、数据进行处理这一过程中，其处理的过程主通过cpu的数据采集命令调取采集到的对应的传感数据。在目前的处理场景中，传感器通常是被动的，需要cpu反复去读取才能获得传感器数据，而这一操作十分占用cpu的时间，功耗也较高，尤其是针对于大规模部署的色谱仪系统。而针对于此技术背景，本实施例提供的大型色谱仪数据管理系统及方法能够实现对于大规模部署的色谱仪中布置的传感器采集到的数据进行对应的存储，并将存储的监测数据基于cpu的采集策略进行调取，而针对于此方法的实体执行机构为在cpu以及传感器之间配置的处理器，其中在处理器中配置有对应的传感器数据更新方法，实现以上的技术效果。
31.而针对于cpu、传感器以及处理器在本实施例中可作为一种终端设备，该终端设备包括传感器、处理器和cpu，以及存储在处理器中并可在处理器上运行的计算机程序，其中处理器执行传感器数据更新方法，对传感器采集到的监测数据进行处理并基于cpu的采集命令将对应的监测数据上传至对应的cpu。
32.在其他实施例中，针对于特定的传感数据还可以直接传输至显示装置直接将监测数据进行展示。
33.在本实施例中，传感器、处理器、cpu以及通信单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
34.在本实施例中处理器可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(dsp))、专用集成电路(asic)、现场
可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
35.参阅图1，在本实施例中，提供一种大型色谱仪数据管理系统，其中系统包括多个独立部署的色谱仪，所述色谱仪中布置有对应的数据采集用的多个传感器，还包括第一处理器、第二处理器、传感器和cpu，其中第一处理器、第二处理器和cpu与多个色谱仪通过电连接的方式进行数据的传输，即第一处理器、第二处理器、传感器和cpu与色谱仪并非在一个物理单元上，而传感器则设置在对应的色谱仪的物理空间内，用于采集对应色谱仪中的关键指标。
36.具体的，第一处理器和所述第二处理器能够采集多个所述传感器的传感数据，所述cpu采集所述第一处理器和所述第二处理器的多个传感数据。其中，多个传感器包括温度传感器、湿度传感器、气体流量传感器中的任意一种，在其他实施例中还可以根据色谱仪的不同而配置不同的传感器，其中传感器的配置主要基于色谱仪中关键数据指标的获取需要。
37.在本实施例中，第一处理器为异步处理器，所述第二处理器为同步处理器，其中，所述第一处理器包括收发模块、数据处理模块和指令下发模块。
38.具体的，所述收发模块，用于接收多个所述传感器的多个所述传感数据。所述数据处理模块，用于将多个所述传感数据与第一预设条件和第二预设条件进行比对，得到比对结果。所述指令下发模块，基于比对结果向所述第二处理器进行启动命令的下发。
39.在本实施例中，数据处理模块包括第一处理单元和第二处理单元，所述第一处理单元用于将多个所述传感数据中的任一数据与第一预设条件进行比较，得到第一比对结果；所述第二处理单元基于第一比对结果对多个所述传感数据中任一数据与第二预设条件进行比较，得到第二比对结果。
40.具体的，在本实施例中的处理器还包括分类器，用于识别多个所述传感数据的数据类型标签，基于预设置的匹配机制将对应的数据类型标签的传感数据发送至对应的所述第一处理器和所述第二处理器。
41.为了实现对于结果不同数据的存储，在本实施例中所述第一处理器配置有第一存储空间和第二存储空间，所述cpu基于第一采集策略采集所述第一存储空间内的多个传感数据，所述cpu基于第二采集策略采集所述第二存储空间内的多个传感数据；所述第一存储空间内存储有满足所述第一预设条件、所述第二预设条件的同时序的多个传感数据，所述第二存储空间内存储有不满足所述第二预设条件但不具有异常的多个所述待识别传感数据。
42.针对于本实施例提供的大型色谱仪数据管理系统，还提供一种数据的管理方法，用于将上述的第一处理器、第二处理器和cpu的工作过程进行说明。其工作逻辑为，在传感器获得到传感数据时，首先将传感数据发送至处理器，针对于处理器设置有对应的数据处理方法，基于采集到的传感器的多个传感数据，判断多个传感数据是是否具有异常，并且将具有异常的数据和不具有异常的数据按照设置的规则通过cpu对应的端口进行数据推送。其中针对于设置的规则包括同步数据推送规则和异步数据推送规则，其中同步数据推送规则用于实现cpu对于多个传感数据的同步采集，异步数据推送规则用于实现cpu对于多个传
感数据的异步采集。可以理解的，针对于异步采集的数据对象为不影响cpu对于数据处理要求的传感数据，针对于同步采集的数据对象为影响cpu对于数据处理要求的传感数据。通过如此的设置，能够在不影响cpu进行数据处理准确性的基础上，降低了因为实时采集数据而带来的采集成本高的问题。
43.而针对于识别多个传感数据是否会对cpu产生影响主要的逻辑为识别多个传感数据是否具有异常，因为正常数据的处理优先度要低于异常数据，异常数据能够表征具体的异常行为，所以本实施例的主要通过识别多个传感数据的异常数据而进行后续的数据更新处理。针对于此逻辑，现有技术一般的处理方式主要基于统计学方式将单独的实时传感数据是否处于正常数据的误差值范围进行判断，基于判断结果确定数据的异常。但是这种方法应用在多传感器采集的多个传感数据中具有较大的误差性，首先，针对于误差值的获取基于人为设置，容易产生识别不准确的问题。并且，基于大数据的条件下，数据之间具有较大的关联性，有可能在所有的单点数据都在误差范围内的情况下整体数据所表征的行为具有异常性。所以，本实施例为了提高cpu处理效率并且降低因为判断不准确而带来的技术问题，提供了此方法，所述方法包括具体包括以下方法：
44.步骤s210.处理器识别多个所述传感数据的类型标签，基于预设置的匹配机制采集对数据类型标签的传感数据。
45.在本实施例中，传感器的配置可以针对不同的采集目的而进行采集，总体而言分为两种，第一种为采集对应数值的传感器，例如温度传感器用于采集温度数据；另一种为采集对应类型信息的传感器，例如图像传感器，用于采集对应的图像信息。
46.而基础此种应用场景，在进行对多个传感数据进行识别之前，需要针对于数据的类型进行确定。针对于过程的设置主要基于数据的处理逻辑进行设置，针对于多传感器采集到的传感数据，不仅包括具体的参数数据，还包括图像数据等非参数数据，而针对于图像数据等复杂数据或者能够直接通过cpu或者gpu进行处理的数据以及显示的数据，不需要通过对于数据进行异常识别直接进行处理。而针对于数据类型标签的设置，可以基于对应的传感器进行预设置，例如针对于采集的数据为图像数据的传感器在进行系统搭建之前进行对应编号的注册，通过处理器在采集到的多个传感数据中关于传感器编号的获取能够实现对应的传感数据的类型。针对于图像数据针对于cpu的采集逻辑为同步采集，即处理器采集到的图像数据时，cpu直接将处理器采集到的图像数据进行采集。
47.而针对于两种不同类型的数据，其对应的采集策略也不同，即针对于图像非数值类型的数据通过同步处理器即第二处理器实现cpu的同步采集，针对于数值类型的数据通过异步处理器即第一处理器实现cpu的异步采集。
48.步骤s220.所述第一处理器检测到多个所述传感数据中任一数据是否满足第一预设条件，基于检测结果选择对应的第一处理器或第二处理器。
49.在本实施例中，针对于数值类型的多个传感数据如果都通过第一处理器实现cpu的异步采集的话，虽然解决了cpu数据采集的成本问题，但是因为对于数据未进行处理，为造成因为数据异常而不进行及时处理的后续控制失误等问题。所以，为了降低因为多个传感数据中带有异常行为却未即使采集未及时处理所带来的问题，本实施例中设置有第一异常判断方案，即通过监测多个所述传感器中任一数据是否满足第一预设条件，其中第一预设条件为多个传感数据的标准变化阈值，其中标准变化阈值为对应的传感数据的可接受的
最大波动阈值，即通过最大波动阈值与多个传感数据的实时波动值之间进行比较确定是否满足第一预设条件，当不满足第一预设条件即传感数据的波动数值不再最大波动阈值范围内时，即此传感数据为异常数据，针对于异常数据通过第二处理器即同步处理器进行处理并通过cpu进行同步采集。在本实施例中，针对于最大波动阈值的确定可以基于经验情况下进行设置，还可以通过收敛状态的神经网络进行获取，针对于神经网络获取阈值的可以采用半监督的神经网络结构进行，其中针对于神经网络的训练可以通过对于训练集中的随机数据进行标记，通过半监督的方式实现最终的神经网络的收敛，此过程可以采用现有的技术方案，因为不属于本实施例中的关键技术在本实施例中不再进行详细的描述。针对传感数据的实时波动数据的获取可以通过实时传感数据与标准传感数据的差值进行确定，其中针对于标准传感数据可以通过提前预设的方式进行确定。
50.针对于以上的过程具体为：当多个所述传感数据中任一数据不满足第一预设条件时，即多个所述传感数据中任一数据的数据波动范围大于预设值的最大波动阈值时，发送第一控制指令给第二处理器，以触发所述第一处理器停止运行，并将同时序下的多个传感数据传输至所述第二处理器，且所述第二处理器启动。
51.并且在本实施例中应当考虑到多个传感数据之间的关联性，针对于cpu对于异常数据的采集不仅需要采集对应的点数据而且还需要采集同一时序下的多个传感数据。
52.在本实施例中，针对于第一处理器为异步处理器，即针对于cpu进行异步采集的多个传感数据待存储的处理器。
53.步骤s230.所述第一处理器检测多个所述传感数据中任一数据是否满足第二预设条件。
54.当步骤s220中针对于第一处理器检测到的多个所述传感数据中任一数据都处于第一预设条件下的最大波动阈值时，为了将多个所述传感数据中的异常表达更加准确地获得，通过设置第二预设条件实现对于多个所述传感数据中的变化的数据进行异常的识别确定是否在多个所述传感数据中具有异常。具体为，第二预设条件为第二阈值，即当多个所述传感数据基于预设的基础传感数据的变化小于第一阈值但是大于第二阈值时，针对于此种情况将多个所述传感数据进行异常的识别以及基于此种情况下的第一处理器和第二处理器的控制。具体为：对同时序下的多个传感数据进行异常识别，同时序下的多个传感数据为待识别传感数据，判断多个所述待识别传感数据是否具有异常，当多个所述待识别传感数据具有异常时，发送第一控制指令给所述第二处理器，以触发所述第一处理器停止运行，并将同时序下的多个所述待识别传感数据传输至所述第二处理器，且所述第二处理器启动。
55.而针对于本实施例中多个待识别传感数据是否具有异常，如果仅通过同一时序下的数据进行处理会因为数据量较小导致识别结果不准确。所以针对于此种情况，用于识别的传感数据为一定时间段内的传感数据。具体为：以多个所述待识别传感数据的时序为节点，获取向后预设时间段的内多个参考传感数据，判断多个所述参考传感数据中任一数据满足第一预设条件时，发送第一控制指令给所述第二处理器，以触发所述第一处理器停止运行，并将所述待识别传感数据和多个所述参考传感数据传输至所述第二处理器，且所述第二处理器启动。
56.参阅图3，针对于以上的处理方法具体包括以下过程：
57.步骤s231.提取多个所述待识别传感数据及多个所述参考传感数据对应的多个特
征，将多个所述特征进行集合处理得到特征矩阵。
58.在本实施例中，首先构建针对于多个待识别传感数据以及多个参考传感数据的序列长度为t且传感数据维度为n的时序数据m＝(m1，m2，...，m3)
t
∈rn×
t
。针对此时序数据进行特征的提取，为了表示从ω到t时间段的多特征之间的相互关系，记从ω到t的序列为lωt，假设特征的总数为nn，显然lωt为n个长度为ω的向量。使用lωt序列内两两变量的余弦相似度构造一个n
×
n的特征矩阵m
t
，针对于构建的矩阵具体为：
[0059][0060]
其中，针对于为变量变量的相关性，特征矩阵m
t
不仅能够捕获两个变量之间相似度，而且鲁棒性较好，因为特定时间序列的动荡对特征矩阵的影响较小。
[0061]
对于构建好的初始时序数据特征矩阵，使用一个卷积编码器来编码系统特征矩阵的空间模式。具体的，在不同尺度上连接mt作为一个张量x
t，0
∈rn×n×s，然后将它输出给若干卷积层。其中表示l层的特征矩阵，则第l层的输出如以下公式进行表示：
[0062]
x
t，l
∈f(w
l
*x
t，l-1
+b
l
)；
[0063]
*表示卷积操作，f(
·
)表示激活函数，w
l
∈r
kl
×
kl
×
dl-1
×
sl
表示大小为k
l
×kl
×sl-1
的d
l
个卷积核，b
l
∈r
sl
是一个偏置项，x
t,l
∈r
nl
×
nl
×
sl
表示第l层的输出特征矩阵。在本实施例中，x表示输入矩阵，输入矩阵通过若干卷积层的卷及处理得到输出矩阵，其中l为l卷积层，卷积核的表示以及b进行偏置项的表示都是常用的参数表示，r代表实数集，也是通用参数表示，k表示参变量。
[0064]
在本实施例中，针对以上的特征提取过程基于自编码器进行提取，其中本实施例中的自编码器中设置有卷积神经网络，其中针对卷积神经网络中的卷积层的个数为4。
[0065]
步骤s232.对所述初始特征矩阵进行重构，得到目标特征矩阵。
[0066]
针对于步骤s231中获得的初始特征矩阵阵进行解码，得到重构后的特征矩阵，在本实施例中解码的处理基于解码器进行实现，其中针对于解码器内设置有反卷积神经网络，即在本实施例中的解码器为反卷积解码器，针对于卷积解码器具体由以下公式进行表示：
[0067]
[0068]
其中*表示反卷积操作，是并置运算，f(
·
)激活函数，和是第l反卷积层的卷积核和偏置参数。具体来说，按照反向顺序中的第l层的输入到下一个反卷积神经网络。为了增加网络的拟合能力，本文将输出特征矩阵与前一层alstm的输出连接，使解码过程堆叠。串联表示输入到下一个反卷积层。最终输出为重构特征矩阵的表示。在本实施例中的反卷积神经网络中同样配置了4个反卷积层。
[0069]
步骤s233.获取所述目标特征矩阵中每一传感数据的重构误差，将所述重构误差与所述每一传感数据对应的阈值进行比较，判断是否具有异常。
[0070]
针对于此过程的处理主要将目标函数定义为特征矩阵的重构误差，即：
[0071]
其中，针对于目标函数为：
[0072]
其中，本实施例中t表示时间，c表示变量，针对于为基于t和c相对于x的矩阵可以记为表示为一个nn相乘的实数矩阵，为对应的估计矩阵，即通过两个矩阵的差值求得对应的范数。例如，当t＝1，c＝1时求得对应的值，当t＝2，c＝1时求得对应的值，即以时间t为变化求得不同的矩阵以及对应的范数，基于t变化的数量再根据求和逻辑进行求和。同理，针对于t＝1，c＝1；t＝1，c＝2时进行对应的范数的求解，并且根据对应的变化再基于求和逻辑进行求和。而针对于本实施例中针对于f为范数求解过程中的通用表达，在本实施例中不进行说明，在本实施例中针对于范数的求解过程进行说明：
[0073][0074]
，其中a、u分别代表矩阵。
[0075]
此函数在本实施例中的逻辑意义为：针对于数据集进行数据预处理即构造特征矩阵，得到对应的特征矩阵后，对特征矩阵进行重构，重构矩阵为估计矩阵，对重构矩阵进行对应元素相减再求平方，对于每个元素，比较其和设定阈值的大小，计算超过阈值的个数。
[0076]
在本实施例中，本实施例采用小批量随机梯度下降法和adam优化器来最小化上述目标函数。
[0077]
值得注意的是，如果以上处理得到的结果为非异常，但在向后预设时间段的内多个参考传感数据中具有不满足第一预设条件的传感数据时，仍需要将不满足第一预设条件的传感数据按照步骤s230的处理方式进行处理。
[0078]
步骤s240.基于预设置的cpu数据采集策略将满足第一预设条件的多个所述传感数据，以及满足第二预设条件且不具有异常的多个所述传感数据以不同的采集频次进行采集。
[0079]
针对于步骤s220-步骤s230，主要针对多个所述传感数据的异常识别，基于识别到的异常数据控制第一处理器和第二处理器。而针对于第一处理器和第二处理器控制后的处理主要实现cpu对于不同数据的采集。
[0080]
在本实施例中，针对于第一处理器为异步处理器，即cpu对于第一处理器中的多个
disc read-onlymemory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以和处理器集成在一起，也可以独立存在，并通过处理器的接口电路与处理单元进行耦合，本技术实施例对此不作具体限定。
[0090]
需要说明的是，在本实施例中示出的处理器的结构并不构成对该装置的限定，实际的装置可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0091]
此外，处理器的技术效果可以参考上述方法实施例所述的方法的技术效果，此处不再赘述。
[0092]
应理解，在本技术实施例中的处理器可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0093]
还应理解，本技术实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，ram)可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(directrambus ram，dr ram)。
[0094]
上述实施例，可以全部或部分地通过软件、硬件(如电路)、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质。半导体介质可以是固态硬盘。
[0095]
本技术中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任
意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
[0096]
应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0097]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0098]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0099]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0100]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0101]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0102]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0103]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种大型色谱仪数据管理系统，其特征在于，包括多个独立部署的色谱仪，所述色谱仪中布置有对应的数据采集用的多个传感器，还包括第一处理器、第二处理器、传感器和cpu，所述第一处理器和所述第二处理器能够采集多个所述传感器的传感数据，所述cpu采集所述第一处理器和所述第二处理器的多个传感数据；多个所述传感器包括温度传感器、湿度传感器、气体流量传感器中的任意一种，所述第一处理器为异步处理器，所述第二处理器为同步处理器，其中，所述第一处理器包括收发模块、数据处理模块和指令下发模块；其中，所述收发模块，用于接收多个所述传感器的多个所述传感数据；所述数据处理模块，用于将多个所述传感数据与第一预设条件和第二预设条件进行比对，得到比对结果；所述指令下发模块，基于比对结果向所述第二处理器进行启动命令的下发；所述数据处理模块包括第一处理单元和第二处理单元，所述第一处理单元用于将多个所述传感数据中的任一数据与第一预设条件进行比较，得到第一比对结果；所述第二处理单元基于第一比对结果对多个所述传感数据中任一数据与第二预设条件进行比较，得到第二比对结果。2.根据权利要求1所述的大型色谱仪数据管理系统，其特征在于，所述处理器还包括分类器，用于识别多个所述传感数据的数据类型标签，基于预设置的匹配机制将对应的数据类型标签的传感数据发送至对应的所述第一处理器和所述第二处理器。3.根据权利要求2所述的大型色谱仪数据管理系统，其特征在于，所述第一处理器配置有第一存储空间和第二存储空间，所述cpu基于第一采集策略采集所述第一存储空间内的多个传感数据，所述cpu基于第二采集策略采集所述第二存储空间内的多个传感数据；所述第一存储空间内存储有满足所述第一预设条件、所述第二预设条件的同时序的多个传感数据，所述第二存储空间内存储有不满足所述第二预设条件但不具有异常的多个待识别传感数据。4.一种大型色谱仪数据管理方法，其特征在于，应用于权利要求1～3任一项所述的数据管理系统，所述方法包括：所述第一处理器检测到多个所述传感数据中任一数据不满足第一预设条件时，发送第一控制指令给第二处理器，以触发所述第一处理器停止运行，并将同时序下的多个传感数据传输至所述第二处理器，且所述第二处理器启动；所述第一处理器检测到多个所述传感数据中任一数据满足第一预设条件但不满足第二预设条件时，对同时序下的多个传感数据进行异常识别，同时序下的多个传感数据为待识别传感数据，判断多个所述待识别传感数据是否具有异常，当多个所述待识别传感数据具有异常时，发送第一控制指令给所述第二处理器，以触发所述第一处理器停止运行，并将同时序下的多个所述待识别传感数据传输至所述第二处理器，且所述第二处理器启动；判断多个所述待识别传感数据是否具有异常，包括：以多个所述待识别传感数据的时序为节点，获取过去预设时间段内的多个参考传感数据，判断多个所述参考传感数据中任一数据不满足第一预设条件时，对所述待识别传感数据以及多个所述参考传感数据进行识别，判断多个所述待识别传感数据是否具有异常。5.根据权利要求4所述的大型色谱仪数据管理方法，其特征在于，在采集传感数据前还包括：识别多个所述传感数据的类型标签，基于预设置的匹配机制采集对应数据类型标签
的传感数据。6.根据权利要求4所述的大型色谱仪数据管理方法，其特征在于，所述方法还包括：基于预设置的存储机制将不满足第一预设条件的多个所述传感数据，以及满足第一预设条件但不满足第二预设条件且不具有异常的多个所述传感数据存储至不同的存储空间。7.根据权利要求6所述的大型色谱仪数据管理方法，其特征在于，所述方法还包括：基于预设置的cpu数据采集策略将满足第一预设条件和第二预设条件的多个所述传感数据，以及满足第一预设条件但不满足第二预设条件且不具有异常的多个所述传感数据以不同的采集频次进行采集。8.根据权利要求4所述的大型色谱仪数据管理方法，其特征在于，以多个所述待识别传感数据的时序为节点，获取过去预设时间段的内多个参考传感数据，判断多个所述参考传感数据中任一数据不满足第一预设条件时，发送第一控制指令给所述第二处理器，以触发所述第一处理器停止运行，并将所述待识别传感数据和多个所述参考传感数据传输至所述第二处理器，且所述第二处理器启动。9.根据权利要求8所述的大型色谱仪数据管理方法，其特征在于，所述待识别传感数据以及多个所述参考传感数据进行识别，判断多个所述待识别传感数据是否具有异常，包括：提取多个所述待识别传感数据及多个所述参考传感数据对应的多个特征，将多个所述特征进行集合处理得到初始特征矩阵；对所述初始特征矩阵进行重构，得到目标特征矩阵；获取所述目标特征矩阵中每一传感数据的重构误差，将所述重构误差与所述每一传感数据对应的阈值进行比较，判断是否具有异常。10.根据权利要求9所述的大型色谱仪数据管理方法，其特征在于，针对于所述特征矩阵通过设置有卷积神经网络的编码器进行获得，所述目标特征矩阵通过设置有反卷积神经网络的解码器进行获得；所述编码器的卷积层个数和所述解码器的反卷积层个数相同。

技术总结
本发明涉及色谱仪技术领域，为一种色谱仪管理系统，具体为一种大型色谱仪数据管理系统及方法；包括多个独立部署的色谱仪，所述色谱仪中布置有对应的数据采集用的多个传感器，还包括第一处理器、第二处理器、传感器和CPU，所述第一处理器和所述第二处理器能够采集多个所述传感器的传感数据，所述CPU采集所述第一处理器和所述第二处理器的多个传感数据。本申请实施例提供的技术方案中，针对于面向多个色谱仪进行数据管理的终端系统，通过在现有的数据管理系统中增加处理器，并通过处理器将传感器获取到的来自多个传感器中的传感数据进行异常识别，基于异常识别的结果确定对应的CPU对于传感数据的采集策略。对于传感数据的采集策略。


技术研发人员：王东强 冀禹璋
受保护的技术使用者：华谱科仪（北京）科技有限公司
技术研发日：2023.05.31
技术公布日：2023/8/13