协议解析方法、装置、终端设备及存储介质与流程

1.本技术涉及物联网技术领域，尤其涉及一种协议解析方法、装置、终端设备及存储介质。


背景技术：

2.随着物联网的发展，万物互联的需求不断增加，对于种类众多的物联网设备和复杂的物联网场景，往往需要考虑不同工业协议的优缺点来选择多个不同的工业协议进行配合，从而保证物联网设备之间数据高效、可靠的传输。然而，不同的工业协议互不兼容，特别是一些工厂会定制私有协议，进而导致不同协议的数据差异巨大。若要在物联网中接入各种设备，需要物联网对不同工业协议的物联网设备逐个适配，进而增加了成本，降低了物联网平台搭建的效率。


技术实现要素：

3.本技术实施例的主要目的在于提供一种协议解析方法、装置、终端设备以及存储介质，旨在解决现有的物联网设备在传输数据时支持不同工业协议，导致传输数据之间的数据格式差异较大，使得物联网平台搭建效率较低的问题，利用协议解析方法提高物联网设备的传输数据的协议解析效率，从而可以快速的搭建物联网平台，实现万物互联，进而更好的为用户提供服务。
4.第一方面，本技术实施例提供一种协议解析方法，包括：
5.构建协议类型集，所述协议类型集包括协议类型、协议类型对应的目标协议传输样式以及协议类型对应的协议解析策略；
6.获得物联设备的目标协议传输数据，计算所述目标协议传输数据与所述目标协议传输样式之间的相似度，并获得所述目标协议传输数据与所述目标协议传输样式的相似度结果以及根据所述相似度结果确定所述目标协议传输数据对应的第一目标协议解析策略；
7.当所述相似度结果大于等于预设值时，将所述目标协议传输数据根据所述第一目标协议解析策略进行协议解析，获得所述目标协议传输数据对应的第一协议解析结果；
8.当所述相似度结果小于预设值时，将所述目标协议传输数据存储至数据库中进行暂存，若所述数据库中存储的数据量达到预设数据量时，将所述数据库中的所述目标协议传输数据进行数据聚类，获得所述目标协议传输数据的数据聚类结果，以及根据所述数据聚类结果进行协议解析分析，获得所述目标协议传输数据对应的第二目标协议解析策略；
9.根据所述第二目标协议解析策略对所述目标协议传输数据进行协议解析，获得所述目标协议传输数据对应的第二协议解析结果。
10.第二方面，本技术实施例还提供一种协议解析装置，包括：
11.数据构建模块，用于构建协议类型集，所述协议类型集包括协议类型、协议类型对应的目标协议传输样式以及协议类型对应的协议解析策略；
12.第一策略获得模块，用于获得物联设备的目标协议传输数据，计算所述目标协议
传输数据与所述目标协议传输样式之间的相似度，并获得所述目标协议传输数据与所述目标协议传输样式的相似度结果以及根据所述相似度结果确定所述目标协议传输数据对应的第一目标协议解析策略；
13.第一数据解析模块，用于当所述相似度结果大于等于预设值时，将所述目标协议传输数据根据所述第一目标协议解析策略进行协议解析，获得所述目标协议传输数据对应的第一协议解析结果；
14.第二策略获得模块，用于当所述相似度结果小于预设值时，将所述目标协议传输数据存储至数据库中进行暂存，若所述数据库中存储的数据量达到预设数据量时，将所述数据库中的所述目标协议传输数据进行数据聚类，获得所述目标协议传输数据的数据聚类结果，以及根据所述数据聚类结果进行协议解析分析，获得所述目标协议传输数据对应的第二目标协议解析策略；
15.第二数据解析模块，用于根据所述第二目标协议解析策略对所述目标协议传输数据进行协议解析，获得所述目标协议传输数据对应的第二协议解析结果。
16.第三方面，本技术实施例还提供一种终端设备，终端包括处理器、存储器、存储在存储器上并可被处理器执行的计算机程序以及用于实现处理器和存储器之间的连接通信的数据总线，其中计算机程序被处理器执行时，实现如本技术说明书提供的任一项协议解析方法的步骤。
17.第四方面，本技术实施例还提供一种存储介质，用于计算机可读存储，其特征在于，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如本技术说明书提供的任一项的协议解析方法的步骤。
18.本技术实施例提供一种协议解析方法、装置、终端设备以及存储介质，其中，该方法包括构建已知协议的协议类型集，其中，协议类型集中包括协议类型、协议类型对应的目标协议传输样式以及协议类型对应的协议解析策略；获得物联设备的目标协议传输数据，计算目标协议传输数据与协议类型集中目标协议传输样式之间的相似度，并获得相似度结果，以及根据相似度结果最大值对应的目标协议传输样式获得协议类型，进而根据协议类型确定目标协议传输数据对应的第一目标协议解析策略；当相似度结果大于等于预设值时，将目标协议传输数据根据第一目标协议解析策略进行协议解析，获得目标协议传输数据对应的第一协议解析结果；当相似度结果小于预设值时，将目标协议传输数据存储至数据库中进行暂存，若数据库中存储的数据量达到预设数据量时，将数据库中的目标协议传输数据进行数据聚类，获得目标协议传输数据的数据聚类结果，进而分析数据聚类结果中目标协议传输数据的协议解析规则，获得目标协议传输数据对应的第二目标协议解析策略；根据第二目标协议解析策略对目标协议传输数据进行协议解析，获得目标协议传输数据对应的第二协议解析结果。进而解决现有的物联网设备在传输数据时支持不同工业协议，导致传输数据之间的数据格式差异较大，使得物联网平台搭建效率较低的问题，利用协议解析方法提高物联网设备的传输数据的协议解析效率，从而可以快速的搭建物联网平台，实现万物互联，进而更好的为用户提供服务。
附图说明
19.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的
附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1a为本技术实施例提供的一种现有物联网平台搭建的示意图；
21.图1b为本技术实施例提供的一种本技术搭建物联网平台的示意图；
22.图2为本技术实施例提供的一种协议解析方法的流程示意图；
23.图3为本技术实施例提供的一种协议解析方法中获取目标解析分类模型的流程示意图；
24.图4为本技术实施例提供的一种协议解析装置的模块结构示意图；
25.图5为本技术实施例提供的一种终端设备的结构示意框图。
具体实施方式
26.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
27.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
28.应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
29.对于种类众多的物联网设备和复杂的物联网场景，往往需要考虑不同工业协议的优缺点来选择多个不同的工业协议进行配合，从而保证物联网设备之间数据的高效、可靠传输。然而，不同的工业协议互不兼容，特别是有一些工厂会定制自己的私有协议，这导致不同协议的数据格式差异巨大。在传统方式中，各种物联网设备想要接入同一物联网平台时，需要物联网平台对不同工业协议的物联网设备逐个适配协议，成本较大，如图1a所示。
30.本技术实施例提供一种协议解析方法、装置、终端设备以及存储介质。其中，该协议解析方法可应用于终端设备，该终端设备可以为平板电脑、笔记本电脑、个人数字助理、穿戴式设备或服务器，其中，服务器可以为独立的服务器，也可以为服务器集群。
31.其中，本技术实施例提供一种协议解析方法、装置、终端设备以及存储介质，其中，该方法包括构建已知协议的协议类型集，协议类型集中包括协议类型、协议类型对应的目标协议传输样式以及协议类型对应的协议解析策略；获得物联设备的目标协议传输数据，计算目标协议传输数据与协议类型集中目标协议传输样式之间的相似度，并获得相似度结果，以及根据相似度结果最大值对应的目标协议传输样式获得协议类型，进而根据协议类型确定目标协议传输数据对应的第一目标协议解析策略；当相似度结果大于等于预设值时，将目标协议传输数据根据第一目标协议解析策略进行协议解析，获得目标协议传输数据对应的第一协议解析结果；当相似度结果小于预设值时，将目标协议传输数据存储至数据库中进行暂存，若数据库中存储的数据量达到预设数据量时，将数据库中的目标协议传输数据进行数据聚类，获得目标协议传输数据的数据聚类结果，进而分析数据聚类结果中
目标协议传输数据的协议解析规则，获得目标协议传输数据对应的第二目标协议解析策略；根据第二目标协议解析策略对目标协议传输数据进行协议解析，获得目标协议传输数据对应的第二协议解析结果。进而解决现有的物联网设备在传输数据时支持不同工业协议，导致传输数据之间的数据格式差异较大，使得物联网平台搭建效率较低的问题，利用协议解析方法提高物联网设备的传输数据的协议解析效率，从而可以快速的搭建物联网平台，实现万物互联，进而更好的为用户提供服务，如图1b所示。
32.下面结合附图，对本技术的一些实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
33.请参照图2，图2为本技术实施例提供的一种协议解析方法的流程示意图。
34.如图2所示，该协议解析方法包括步骤s1至步骤s5。
35.步骤s1：构建协议类型集，协议类型集包括协议类型、协议类型对应的目标协议传输样式以及协议类型对应的协议解析策略。
36.示例性地，物联网设备多种多样，不同的物联网设备的工业协议可能不同，但是各个生产厂商为考虑到物联网设备的通用性，有时也会采用常见的物联网设备的工业协议。因此，可以构建常见的工业协议作为协议类型集。协议类型集中包括协议类型、协议类型对应的目标协议传输样式以及协议类型对应的协议解析策略，其中，目标协议传输样式表示该协议类型对应的传输数据的格式，用于判断后续获得的目标协议传输数据是目标协议传输样式对应的协议类型，协议解析策略用于实现后续获得的目标协议传输数据为该协议类型时的解析。
37.例如，目前常见的物联网设备的工业协议有opc ua协议、mqtt协议、modbus协议、ethernet/ip协议、can协议，进而根据opc ua协议、mqtt协议、modbus协议、ethernet/ip协议、can协议构建协议类型集。首先将opc ua协议、mqtt协议、modbus协议、ethernet/ip协议、can协议分别作为协议类型；其次，获得上述五种协议对应的目标协议传输样式，如style1、style2、style3、style4、style5，以及获得上述五种协议对应的协议解析策略分别为rule1、rule2、rule3、rule4、rule5；最后，可以获得协议类型集为{opc ua协议:style1、rule1，mqtt协议：style2、rule2，modbus协议：style3、rule3，ethernet/ip协议：style4、rule4，can协议：style5、rule5}。
38.步骤s2：获得物联设备的目标协议传输数据，计算目标协议传输数据与目标协议传输样式之间的相似度，并获得目标协议传输数据与目标协议传输样式的相似度结果以及根据相似度结果确定目标协议传输数据对应的第一目标协议解析策略。
39.示例性地，获得物联设备向物联网平台发送的目标协议传输数据，将目标协议传输数据进行特征选择，获得目标协议传输数据对应的主要目标特征，进而利用主要目标特征和协议类型集中的目标协议传输样式进行相似度计算，进而确定目标协议传输数据与协议类型集中每一个目标协议传输样式的相似度结果。获得相似度结果最大值对应的目标协议传输样式对应的协议类型作为目标协议类型，进而将目标协议类型对应的协议解析策略作为第一目标协议解析策略。
40.例如，获得的目标协议传输数据为{“a”：a，“b”：b，“采集时间”：2022年2月22日，“d”：none}，则可以通过特征选择技术手段如删除具有缺失值或者不相关的特征，进而获得主要目标特征{“a”：a，“b”：b}。将主要目标特征与上述协议类型集{opc ua协议:style1、
rule1，mqtt协议：style2、rule2，modbus协议：style3、rule3，ethernet/ip协议：style4、rule4，can协议：style5、rule5}中的style1、style2、style3、style4、style5分别计算相似度，并获得相应的相似度结果s1、s2、s3、s4、s5。进而获得s1、s2、s3、s4、s5中的最大值，假设最大值为s5，则第一目标协议解析策略为can协议对应的rule5。
41.其中，主要目标特征与协议类型集中的目标协议传输样式之间的相似度计算可以将主要目标特征和目标协议传输样式分别转换为相应的向量变换后，利用向量之间的相似度进行计算，在此不做具体限制。
42.在一些实施方式中，获得物联设备的目标协议传输数据，包括：获得物联设备发送的初始协议传输数据，并对初始协议传输数据进行噪音去除、数据归一化处理，获得初始协议传输数据对应的初调协议传输数据；根据初调协议传输数据利用主成分分析进行特征提取，获得初始协议传输数据对应的目标协议传输数据。
43.示例性地，为降低初始协议传输数据对后续协议解析结果的影响，对接收到的初始协议传输数据进行数据清洗，以去除数据中的噪音、无效信息、重复信息等，进而保证初始协议传输数据的准确性和可信度。
44.示例性地，对清洗后的初始协议传输数据进行预处理，包括数据格式化、数据变换、数据归一化、采集时间归一化等。针对不同的类型数据采取不同的处理方法获得初调协议传输数据，以便后面的降维和特征提取能够更加准确。
45.例如，将初始协议传输数据中英文的大小写进行统一、将字符串中的标点符号进行删除，以达到数据噪音去除和数据归一化处理目的。
46.示例性地，采用pca主成分分析对初调协议传输数据进行关键特征抽取，将初调协议传输数据从高维空间中的表示转换到低维空间中，进而筛选获得初调协议传输数据对应的主要信息，从而将主要信息作为目标协议传输数据。
47.在一些实施方式中，获得物联设备的目标协议传输数据，计算目标协议传输数据与目标协议传输样式之间的相似度，包括：利用目标解析分类模型对目标协议传输数据进行协议类型分类，获得目标协议传输数据对应的目标协议类型；当目标协议类型为预设协议类型时，计算目标协议传输数据与目标协议传输样式之间的相似度。
48.示例性地，根据协议类型集中的协议类型收集相应类型对应的样例数据，进而根据样例数据构建分类模型，其中分类模型中分类类别不但包括协议类型集中的协议类型，还包括一个未知或者其他类别的分类类型，在获得目标协议传输数据时，利用分类模型对目标协议传输数据进行类别分类获得目标协议类型，当目标协议类型为协议类型集中的协议类型时，则利用协议类型集中目标协议类型对应的协议解析策略对目标协议传输数据进行协议解析。当目标协议类型为预设协议类型，即预设协议类型为未知或者其他类别的分类类型时，则计算目标协议传输数据与目标协议传输样式之间的相似度。
49.例如，根据上述的协议类型集中协议类型包括opc ua协议、mqtt协议、modbus协议、ethernet/ip协议、can协议，则分类模型的分类类别包括opc ua协议、mqtt协议、modbus协议、ethernet/ip协议、can协议、未知协议，则利用分类模型对目标协议传输数据进行类别分类获得目标协议类型后，若目标协议类型为opc ua协议、mqtt协议、modbus协议、ethernet/ip协议、can协议中的任意一个时，则直接根据协议类型集中目标协议类型对应的协议解析策略进行协议解析即可。当目标协议类型为未知协议时，则计算目标协议传输
数据与目标协议传输样式之间的相似度，进而进一步确定未知协议最接近的协议类型。
50.在一些实施方式中，如图3所示，目标解析分类模型包括特征提取层和类型分类层，获得目标解析分类模型，包括：获得训练数据，训练数据包括历史协议传输数据以及历史协议传输数据对应的真实协议类型；确定初始解析分类模型的初始模型参数，并将历史协议传输数据输入至特征提取层获得历史协议传输数据对应的特征向量；将特征向量输入至类型分类层获得历史协议传输数据的预测协议类型；根据预测协议类型和真实协议类型构建误差函数；通过误差函数迭代更新初始解析分类模型的初始模型参数，获得目标模型参数，并根据目标模型参数确定所述目标解析分类模型。
51.示例性地，首先，从已知工业协议中收集大量样本数据，包括已知协议类型和未知协议类型情况下的数据，确保样本数据具有代表性，涵盖了各种可能的工业协议特征和场景，进而进行数据标注确定历史协议传输数据对应的真实协议类型，然后将历史协议传输数据传输至目标解析分类模型的特征提取层，获得历史协议传输数据对应的特征向量，进而将特征向量输入至类型分类层获得历史协议传输数据的预测协议类型，根据预测协议类型和真实协议类型利用交叉熵建立误差函数，通过不断更新初始解析分类模型的初始模型参数，当误差函数满足预设误差值时获得目标模型参数，进而将目标模型参数对应的初始解析分类模型作为目标解析分类模型。
52.可选地，也可以利用训练数据对初始解析分类模型以数据增强的方式进行训练获得目标解析分类模型。
53.可选地，在训练过程中，需要调整模型参数以获得较好的性能，可以采用k折交叉验证，将训练集划分为k份，每次使用k-1份进行训练，剩下的一份进行验证。这样可以更准确地评估模型的性能，防止过拟合和欠拟合问题。
54.在一些实施方式中，当目标协议类型为预设协议类型时，计算目标协议传输数据与目标协议传输样式之间的相似度，包括：分别对目标协议传输数据和目标协议传输样式进行关键词提取获得目标协议传输数据对应的第一协议关键词和目标协议传输样式对应的第二协议关键词；将第一协议关键词和第二协议关键词进行向量表达，获得第一协议关键词对应的第一特征向量和第二协议关键词对应的第二特征向量；根据第一特征向量和第二特征向量计算目标协议传输数据与目标协议传输样式之间的相似度。
55.示例性地，当目标协议类型为预设协议类型时，利用关键词提取技术获得目标协议传输数据和目标协议传输样式分别对应的第一协议关键词和第二协议关键词，将第一协议关键词和第二协议关键词传输至词向量表达模型如bert模型(bidirectional encoder representation from transformers)中，获得第一协议关键词和第二协议关键词分别对应的第一特征向量和第二特征向量，进而根据第一特征向量和第二特征向量利用余弦相似度获得目标协议传输数据与目标协议传输样式之间的相似度。
56.例如，根据常规技术手段可知在数据传输过程中一般以英文为主，因此，在获得第一协议关键词和第二协议关键词转换为第一特征向量和第二特征向量时，应该利用英文词向量的表达。例如bert模型，应该以英文文本的训练获得。其中，在获得第一协议关键词和第二协议关键词时，第一协议关键词和第二协议关键词中均会包含多个词语，例如，第一协议关键词中包括a1、b1、c1，第二协议关键词中包括a2、b2、c2，d2，因此，将a1、b1、c1、a2、b2、c2，d2分别输入至bert模型中获得对应的特征向量分别为va1、vb1、vc1、va2、vb2、vc2，vd2。
则第一特征向量为x*va1+y*vb1+z*vc1，第二特征向量为u*va2+v*vb2+w*vc2+m*vd2，其中，x、y、z、u、v、w、m为权重参数。
57.步骤s3：当相似度结果大于等于预设值时，将目标协议传输数据根据第一目标协议解析策略进行协议解析，获得目标协议传输数据对应的第一协议解析结果。
58.示例性地，当相似度结果大于预设值时，则表明目标协议传输数据与相似度结果最大值对应的目标协议传输样式越相似，也即，可以表示目标协议传输数据可以用目标协议传输样式对应的协议类型对应的协议解析策略进行协议解析，并将对应的协议解析策略作为第一目标协议解析策略。因此，将目标协议传输数据根据第一目标协议解析策略进行协议解析，获得目标协议传输数据对应的第一协议解析结果。
59.例如，在获得目标协议传输数据data后，计算data与上述协议类型集{opc ua协议:style1、rule1，mqtt协议：style2、rule2，modbus协议：style3、rule3，ethernet/ip协议：style4、rule4，can协议：style5、rule5}中的style1、style2、style3、style4、style5的相似度，并获得相应的相似度结果s1＝0.7、s2＝0.6、s3＝0.35、s4＝0.67、s5＝0.88。进而获得s1、s2、s3、s4、s5中的最大值为0.88，假设预设值为0.8，则相似度结果0.88大于预设值0.8，满足条件，则利用第一目标协议解析策略rule5为目标协议传输数据进行数据解析。
60.在一些实施方式中，当相似度结果大于等于预设值时，将目标协议传输数据根据第一目标协议解析策略进行协议解析，获得目标协议传输数据对应的第一协议解析结果之后，还包括：根据第一协议解析结果判断目标协议传输数据是否满足解析要求，解析要求用于表征目标协议传输数据根据第一目标协议解析策略可以实现正确解析；当第一协议解析结果不满足解析要求时，将目标协议传输数据存储至数据库中进行暂存。
61.示例性地，在相似度结果大于预设值时，利用相似度结果最大值对应地协议解析策略作为第一目标协议解析策略，当预设值较小或者即使预设值设置较大时，也不能保证利用第一目标协议解析策略可以实现对目标协议传输数据地完全解析，因此，在获得第一协议解析结果时，需要判断目标协议传输数据是否已经完成解析，当第一协议解析结果并不能正确地表示目标协议传输数据时，则表明第一协议解析结果不满足解析要求，进而将目标协议传输数据存储至数据库中进行暂存，以便后续地分析。
62.例如，在利用第一目标协议解析策略进行协议解析前，获得目标协议传输数据中待解析地数据量，进而跟第一协议解析结果中解析获得的数据量进行比较，当待解析地数据量和解析获得的数据量不一致时，则将目标协议传输数据存储至数据库中进行暂存。
63.步骤s4：当相似度结果小于预设值时，将目标协议传输数据存储至数据库中进行暂存，若数据库中存储的数据量达到预设数据量时，将数据库中的目标协议传输数据进行数据聚类，获得目标协议传输数据的数据聚类结果，以及根据数据聚类结果进行协议解析分析，获得目标协议传输数据对应的第二目标协议解析策略。
64.示例性地，当相似度结果小于预设值时，表明目标协议传输数据与现存的协议类型集中的协议类型均不相近，因此无法使用现有的协议解析策略进行协议解析，进而将目标协议传输数据存储至数据库中，当数据库中存储的数据量达到预设数据量时，对数据库中存储的目标协议传输数据进行数据聚类，进而获得相应的聚类结果。根据聚类结果中的类簇进行关系分析，进而获得该类簇对应的协议解析策略即第二目标协议解析策略。
65.例如，预设数据量为100时，则当获取的相似度结果小于预设值的目标协议传输数
据存储在数据库中数据量达到100时，或者在第一协议解析结果中解析获得的数据量进行比较，当待解析地数据量和解析获得的数据量不一致时，将目标协议传输数据存储至数据库中进行暂存的数量与获取的相似度结果小于预设值的目标协议传输数据存储在数据库的数量之和为预设数据量为100时，则对数据库中的100条目标协议传输数据进行聚类。
66.例如，对数据库中的100条目标协议传输数据进行关键词提取，进而使用关键词进行聚类，获得聚类结果，其中聚类结果中包括多个类簇，如类簇1中包含40条数据、类簇2中包含25条数据，类簇3中包含35条数据。进而对不同的类簇进行协议解析，获得类簇1、类簇2以及类簇3分别对应的第二目标协议解析策略。进而将目标协议传输数据根据其对应的类簇对应的第二目标协议解析策略进行协议解析。
67.其中，获得类簇对应的第二目标协议解析策略可以采用关系抽取的方式，例如，获得关系抽取模型抽取类簇中目标协议传输数据中的三元组信息，根据三元组信息确定目标协议传输数据的协议解析策略。
68.例如，数据库中的目标协议传输数据包括两条分别为数据1:{“名称”：“张三”，“性别”：男，“出生日期”：“2022-9-10”}，数据2:{“姓名”：“李四”，“性别”：男，“生日”：“2022-9-12”}，因此，分别对数据1和数据2进行关系抽取获得三元组信息为数据1:(张三，性别，男)，(张三，生日，2022-9-10)，数据2：(李四，性别，男)，(李四，生日，2022-9-12)，因此可以获得数据1和数据2组成的类簇的协议解析策略为抽取出该类簇数据中的姓名、性别和生日。
69.在一些实施方式中，将数据库中的目标协议传输数据进行数据聚类，获得目标协议传输数据的数据聚类结果，包括：利用tf-idf模型分析获得目标协议传输数据的第三协议关键词；根据第三协议关键词进行数据聚类，获得目标协议传输数据的数据聚类结果。
70.示例性地，将目标协议传输数据利用jieba分词技术进行分词获得分词词组，进而剔除分词词组中的无意义词或者标点符号获得关键词组，从而利用tf-idf模型对关键词组进行分析获得第三协议关键词。利用k-means聚类手段对第三协议关键词进行数据聚类，进而获得目标协议传输数据的数据聚类结果。
71.可选地，聚类方式包括但不限于k-means、层次聚类、dbscan聚类。
72.步骤s5：根据第二目标协议解析策略对目标协议传输数据进行协议解析，获得目标协议传输数据对应的第二协议解析结果。
73.示例性地，在获得第二目标协议解析策略后，利用第二目标协议解析策略进行协议解析，进而完成目标协议传输数据的协议解析结果。
74.例如，在步骤s4中数据量达到100时，进行聚类获得类簇1：40条数据、类簇2：25条数据、类簇3：35条数据，分别对类簇1、类簇2、类簇3进行协议解析分析后得到类簇1的目标协议解析策略、类簇2的目标协议解析策略、类簇3的目标协议解析策略，进而利用类簇1的目标协议解析策略对类簇1中的40条数据进行协议解析，类簇2的目标协议解析策略对类簇2中的25条数据进行协议解析，类簇3的目标协议解析策略对类簇3中的35条数据进行协议解析，从而获得数据库中的目标协议传输数据的协议解析结果。
75.在一些实施方式中，根据第二目标协议解析策略对目标协议传输数据进行协议解析，获得目标协议传输数据对应的第二协议解析结果之后，还包括：根据第二目标协议解析策略对协议类型集进行更新获得更新协议类型集，以使得目标协议传输数据根据更新协议类型集进行协议解析。
76.示例性地，在根据数据库中的目标协议传输数据进行聚类分析后获得类簇对应的目标协议解析策略后，将该目标协议解析策略更新至协议类型集中，以使得在接收到相应数据时，可以采用该目标协议解析策略进行协议解析，不断完善协议类型集，提高协议解析的效率。
77.请参阅图4，图4为本技术实施例提供的一种协议解析装置200，该协议解析装置200包括数据构建模块201、第一策略获得模块202、第一数据解析模块203、第二策略获得模块204、第二数据解析模块205。其中，数据构建模块201，用于构建协议类型集，所述协议类型集包括协议类型、协议类型对应的目标协议传输样式以及协议类型对应的协议解析策略；第一策略获得模块202，用于获得物联设备的目标协议传输数据，计算所述目标协议传输数据与所述目标协议传输样式之间的相似度，并获得所述目标协议传输数据与所述目标协议传输样式的相似度结果以及根据所述相似度结果确定所述目标协议传输数据对应的第一目标协议解析策略；第一数据解析模块203，用于当所述相似度结果大于等于预设值时，将所述目标协议传输数据根据所述第一目标协议解析策略进行协议解析，获得所述目标协议传输数据对应的第一协议解析结果；第二策略获得模块204，用于当所述相似度结果小于所述预设值时，将所述目标协议传输数据存储至数据库中进行暂存，若所述数据库中存储的数据量达到预设数据量时，将所述数据库中的所述目标协议传输数据进行数据聚类，获得所述目标协议传输数据的数据聚类结果，以及根据所述数据聚类结果进行协议解析分析，获得所述目标协议传输数据对应的第二目标协议解析策略；第二数据解析模块205，用于根据所述第二目标协议解析策略对所述目标协议传输数据进行协议解析，获得所述目标协议传输数据对应的第二协议解析结果。
78.在一些实施方式中，第一策略获得模块202在获得物联设备的目标协议传输数据过程中，执行：
79.获得所述物联设备发送的初始协议传输数据，并对所述初始协议传输数据进行噪音去除、数据归一化处理，获得所述初始协议传输数据对应的初调协议传输数据；
80.根据所述初调协议传输数据利用主成分分析进行特征提取，获得所述初始协议传输数据对应的目标协议传输数据。
81.在一些实施方式中，第一策略获得模块202在获得物联设备的目标协议传输数据，计算所述目标协议传输数据与所述目标协议传输样式之间的相似度过程中，执行：
82.利用目标解析分类模型对所述目标协议传输数据进行协议类型分类，获得所述目标协议传输数据对应的目标协议类型；
83.当所述目标协议类型为预设协议类型时，计算所述目标协议传输数据与所述目标协议传输样式之间的相似度。
84.在一些实施方式中，目标解析分类模型包括特征提取层和类型分类层，第一策略获得模块202在获得所述目标解析分类模型过程中，执行：
85.获得训练数据，所述训练数据包括历史协议传输数据以及历史协议传输数据对应的真实协议类型；
86.确定初始解析分类模型的初始模型参数，并将所述历史协议传输数据输入至所述特征提取层获得所述历史协议传输数据对应的特征向量；
87.将所述特征向量输入至所述类型分类层获得所述历史协议传输数据的预测协议
类型；
88.根据所述预测协议类型和所述真实协议类型构建误差函数；
89.通过所述误差函数迭代更新所述初始解析分类模型的初始模型参数，获得目标模型参数，并根据所述目标模型参数确定所述目标解析分类模型。
90.在一些实施方式中，第一策略获得模块202在当所述目标协议类型为预设协议类型时，计算所述目标协议传输数据与所述目标协议传输样式之间的相似度过程中，执行：
91.分别对所述目标协议传输数据和所述目标协议传输样式进行关键词提取获得所述目标协议传输数据对应的第一协议关键词和所述目标协议传输样式对应的第二协议关键词；
92.将所述第一协议关键词和所述第二协议关键词进行向量表达，获得所述第一协议关键词对应的第一特征向量和所述第二协议关键词对应的第二特征向量；
93.根据所述第一特征向量和所述第二特征向量计算所述目标协议传输数据与所述目标协议传输样式之间的相似度。
94.在一些实施方式中，第一数据解析模块203在当所述相似度结果大于等于预设值时，将所述目标协议传输数据根据所述第一目标协议解析策略进行协议解析，获得所述目标协议传输数据对应的第一协议解析结果之后的过程中，还执行：
95.根据所述第一协议解析结果判断所述目标协议传输数据是否满足解析要求，所述解析要求用于表征所述目标协议传输数据根据所述第一目标协议解析策略可以实现正确解析；
96.当所述第一协议解析结果不满足所述解析要求时，将所述目标协议传输数据存储至所述数据库中进行暂存。
97.在一些实施方式中，第二策略获得模块204在将所述数据库中的所述目标协议传输数据进行数据聚类，获得所述目标协议传输数据的数据聚类结果过程中，执行：
98.利用tf-idf模型分析获得所述目标协议传输数据的第三协议关键词；
99.根据所述第三协议关键词进行数据聚类，获得所述目标协议传输数据的数据聚类结果。
100.在一些实施方式中，第二数据解析模块205在根据所述第二目标协议解析策略对所述目标协议传输数据进行协议解析，获得所述目标协议传输数据对应的第二协议解析结果之后过程中，还执行：
101.根据所述第二目标协议解析策略对所述协议类型集进行更新获得更新协议类型集，以使得所述目标协议传输数据根据所述更新协议类型集进行协议解析。
102.在一些实施方式中，协议解析装置200应用于终端设备。
103.需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述协议解析方法实施例中的对应过程，在此不再赘述。
104.请参阅图5，图5为本技术实施例提供的终端设备的结构示意性框图。
105.如图5所示，终端设备300包括处理器301和存储器302，处理器301和存储器302通过总线303连接，该总线比如为i2c(inter-integrated circuit)总线。
106.具体地，处理器301用于提供计算和控制能力，支撑整个服务器的运行。处理器301
可以是中央处理单元(central processing unit，cpu)，该处理器301还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
107.具体地，存储器302可以是flash芯片、只读存储器(rom，read-only memory)磁盘、光盘、u盘或移动硬盘等。
108.本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术实施例方案相关的部分结构的框图，并不构成对本技术实施例方案所应用于其上的终端设备的限定，具体的终端设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
109.其中，处理器301用于运行存储在存储器中的计算机程序，并在执行计算机程序时实现本技术任一实施例提供的协议解析方法。
110.在一些实施方式中，处理器301用于运行存储在存储器中的计算机程序，应用于终端设备，并在执行计算机程序时实现如下步骤：
111.构建协议类型集，所述协议类型集包括协议类型、协议类型对应的目标协议传输样式以及协议类型对应的协议解析策略；
112.获得物联设备的目标协议传输数据，计算所述目标协议传输数据与所述目标协议传输样式之间的相似度，并获得所述目标协议传输数据与所述目标协议传输样式的相似度结果以及根据所述相似度结果确定所述目标协议传输数据对应的第一目标协议解析策略；
113.当所述相似度结果大于等于预设值时，将所述目标协议传输数据根据所述第一目标协议解析策略进行协议解析，获得所述目标协议传输数据对应的第一协议解析结果；
114.当所述相似度结果小于所述预设值时，将所述目标协议传输数据存储至数据库中进行暂存，若所述数据库中存储的数据量达到预设数据量时，将所述数据库中的所述目标协议传输数据进行数据聚类，获得所述目标协议传输数据的数据聚类结果，以及根据所述数据聚类结果进行协议解析分析，获得所述目标协议传输数据对应的第二目标协议解析策略；
115.根据所述第二目标协议解析策略对所述目标协议传输数据进行协议解析，获得所述目标协议传输数据对应的第二协议解析结果。
116.在一些实施方式中，处理器301在获得物联设备的目标协议传输数据过程中，执行：
117.获得所述物联设备发送的初始协议传输数据，并对所述初始协议传输数据进行噪音去除、数据归一化处理，获得所述初始协议传输数据对应的初调协议传输数据；
118.根据所述初调协议传输数据利用主成分分析进行特征提取，获得所述初始协议传输数据对应的目标协议传输数据。
119.在一些实施方式中，处理器301在获得物联设备的目标协议传输数据，计算所述目标协议传输数据与所述目标协议传输样式之间的相似度过程中，执行：
120.利用目标解析分类模型对所述目标协议传输数据进行协议类型分类，获得所述目标协议传输数据对应的目标协议类型；
121.当所述目标协议类型为预设协议类型时，计算所述目标协议传输数据与所述目标协议传输样式之间的相似度。
122.在一些实施方式中，处理器301在所述目标解析分类模型包括特征提取层和类型分类层，获得所述目标解析分类模型过程中，执行：
123.获得训练数据，所述训练数据包括历史协议传输数据以及历史协议传输数据对应的真实协议类型；
124.确定初始解析分类模型的初始模型参数，并将所述历史协议传输数据输入至所述特征提取层获得所述历史协议传输数据对应的特征向量；
125.将所述特征向量输入至所述类型分类层获得所述历史协议传输数据的预测协议类型；
126.根据所述预测协议类型和所述真实协议类型构建误差函数；
127.通过所述误差函数迭代更新所述初始解析分类模型的初始模型参数，获得目标模型参数，并根据所述目标模型参数确定所述目标解析分类模型。
128.在一些实施方式中，处理器301在当所述目标协议类型为预设协议类型时，计算所述目标协议传输数据与所述目标协议传输样式之间的相似度过程中，执行：
129.分别对所述目标协议传输数据和所述目标协议传输样式进行关键词提取获得所述目标协议传输数据对应的第一协议关键词和所述目标协议传输样式对应的第二协议关键词；
130.将所述第一协议关键词和所述第二协议关键词进行向量表达，获得所述第一协议关键词对应的第一特征向量和所述第二协议关键词对应的第二特征向量；
131.根据所述第一特征向量和所述第二特征向量计算所述目标协议传输数据与所述目标协议传输样式之间的相似度。
132.在一些实施方式中，处理器301在当所述相似度结果大于等于预设值时，将所述目标协议传输数据根据所述第一目标协议解析策略进行协议解析，获得所述目标协议传输数据对应的第一协议解析结果之后的过程中，还执行：
133.根据所述第一协议解析结果判断所述目标协议传输数据是否满足解析要求，所述解析要求用于表征所述目标协议传输数据根据所述第一目标协议解析策略可以实现正确解析；
134.当所述第一协议解析结果不满足所述解析要求时，将所述目标协议传输数据存储至所述数据库中进行暂存。
135.在一些实施方式中，处理器301在将所述数据库中的所述目标协议传输数据进行数据聚类，获得所述目标协议传输数据的数据聚类结果过程中，执行：
136.利用tf-idf模型分析获得所述目标协议传输数据的第三协议关键词；
137.根据所述第三协议关键词进行数据聚类，获得所述目标协议传输数据的数据聚类结果。
138.在一些实施方式中，处理器301在根据所述第二目标协议解析策略对所述目标协议传输数据进行协议解析，获得所述目标协议传输数据对应的第二协议解析结果之后的过程中，还执行：
139.根据所述第二目标协议解析策略对所述协议类型集进行更新获得更新协议类型
集，以使得所述目标协议传输数据根据所述更新协议类型集进行协议解析。
140.需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端设备的具体工作过程，可以参考前述协议解析方法实施例中的对应过程，在此不再赘述。
141.本技术实施例还提供一种存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如本技术说明书实施例提供的任一项协议解析方法的步骤。
142.其中，存储介质可以是前述实施例的终端设备的内部存储单元，例如终端设备内存。存储介质也可以是终端设备的外部存储设备，例如终端设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
143.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
144.应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
145.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。以上，仅为本技术的具体实施例，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种协议解析方法，其特征在于，所述方法包括：构建协议类型集，所述协议类型集包括协议类型、协议类型对应的目标协议传输样式以及协议类型对应的协议解析策略；获得物联设备的目标协议传输数据，计算所述目标协议传输数据与所述目标协议传输样式之间的相似度，并获得所述目标协议传输数据与所述目标协议传输样式的相似度结果以及根据所述相似度结果确定所述目标协议传输数据对应的第一目标协议解析策略；当所述相似度结果大于等于预设值时，将所述目标协议传输数据根据所述第一目标协议解析策略进行协议解析，获得所述目标协议传输数据对应的第一协议解析结果；当所述相似度结果小于所述预设值时，将所述目标协议传输数据存储至数据库中进行暂存，若所述数据库中存储的数据量达到预设数据量时，将所述数据库中的所述目标协议传输数据进行数据聚类，获得所述目标协议传输数据的数据聚类结果，以及根据所述数据聚类结果进行协议解析分析，获得所述目标协议传输数据对应的第二目标协议解析策略；根据所述第二目标协议解析策略对所述目标协议传输数据进行协议解析，获得所述目标协议传输数据对应的第二协议解析结果。2.根据权利要求1中所述的方法，其特征在于，所述获得物联设备的目标协议传输数据，包括：获得所述物联设备发送的初始协议传输数据，并对所述初始协议传输数据进行噪音去除、数据归一化处理，获得所述初始协议传输数据对应的初调协议传输数据；根据所述初调协议传输数据利用主成分分析进行特征提取，获得所述初始协议传输数据对应的目标协议传输数据。3.根据权利要求1中所述的方法，其特征在于，所述获得物联设备的目标协议传输数据，计算所述目标协议传输数据与所述目标协议传输样式之间的相似度，包括：利用目标解析分类模型对所述目标协议传输数据进行协议类型分类，获得所述目标协议传输数据对应的目标协议类型；当所述目标协议类型为预设协议类型时，计算所述目标协议传输数据与所述目标协议传输样式之间的相似度。4.根据权利要求3中所述的方法，其特征在于，所述目标解析分类模型包括特征提取层和类型分类层，获得所述目标解析分类模型，包括：获得训练数据，所述训练数据包括历史协议传输数据以及历史协议传输数据对应的真实协议类型；确定初始解析分类模型的初始模型参数，并将所述历史协议传输数据输入至所述特征提取层获得所述历史协议传输数据对应的特征向量；将所述特征向量输入至所述类型分类层获得所述历史协议传输数据的预测协议类型；根据所述预测协议类型和所述真实协议类型构建误差函数；通过所述误差函数迭代更新所述初始解析分类模型的初始模型参数，获得目标模型参数，并根据所述目标模型参数确定所述目标解析分类模型。5.根据权利要求3中所述的方法，其特征在于，当所述目标协议类型为预设协议类型时，计算所述目标协议传输数据与所述目标协议传输样式之间的相似度，包括：分别对所述目标协议传输数据和所述目标协议传输样式进行关键词提取获得所述目
标协议传输数据对应的第一协议关键词和所述目标协议传输样式对应的第二协议关键词；将所述第一协议关键词和所述第二协议关键词进行向量表达，获得所述第一协议关键词对应的第一特征向量和所述第二协议关键词对应的第二特征向量；根据所述第一特征向量和所述第二特征向量计算所述目标协议传输数据与所述目标协议传输样式之间的相似度。6.根据权利要求1中所述的方法，其特征在于，所述当所述相似度结果大于等于预设值时，将所述目标协议传输数据根据所述第一目标协议解析策略进行协议解析，获得所述目标协议传输数据对应的第一协议解析结果之后，还包括：根据所述第一协议解析结果判断所述目标协议传输数据是否满足解析要求，所述解析要求用于表征所述目标协议传输数据根据所述第一目标协议解析策略可以实现正确解析；当所述第一协议解析结果不满足所述解析要求时，将所述目标协议传输数据存储至所述数据库中进行暂存。7.根据权利要求1中所述的方法，其特征在于，所述将所述数据库中的所述目标协议传输数据进行数据聚类，获得所述目标协议传输数据的数据聚类结果，包括：利用tf-idf模型分析获得所述目标协议传输数据的第三协议关键词；根据所述第三协议关键词进行数据聚类，获得所述目标协议传输数据的数据聚类结果。8.根据权利要求1中所述的方法，其特征在于，所述根据所述第二目标协议解析策略对所述目标协议传输数据进行协议解析，获得所述目标协议传输数据对应的第二协议解析结果之后，还包括：根据所述第二目标协议解析策略对所述协议类型集进行更新获得更新协议类型集，以使得所述目标协议传输数据根据所述更新协议类型集进行协议解析。9.一种协议解析装置，其特征在于，包括：数据构建模块，用于构建协议类型集，所述协议类型集包括协议类型、协议类型对应的目标协议传输样式以及协议类型对应的协议解析策略；第一策略获得模块，用于获得物联设备的目标协议传输数据，计算所述目标协议传输数据与所述目标协议传输样式之间的相似度，并获得所述目标协议传输数据与所述目标协议传输样式的相似度结果以及根据所述相似度结果确定所述目标协议传输数据对应的第一目标协议解析策略；第一数据解析模块，用于当所述相似度结果大于等于预设值时，将所述目标协议传输数据根据所述第一目标协议解析策略进行协议解析，获得所述目标协议传输数据对应的第一协议解析结果；第二策略获得模块，用于当所述相似度结果小于所述预设值时，将所述目标协议传输数据存储至数据库中进行暂存，若所述数据库中存储的数据量达到预设数据量时，将所述数据库中的所述目标协议传输数据进行数据聚类，获得所述目标协议传输数据的数据聚类结果，以及根据所述数据聚类结果进行协议解析分析，获得所述目标协议传输数据对应的第二目标协议解析策略；第二数据解析模块，用于根据所述第二目标协议解析策略对所述目标协议传输数据进行协议解析，获得所述目标协议传输数据对应的第二协议解析结果。
10.一种终端设备，其特征在于，所述终端设备包括处理器、存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至8中任一项所述的协议解析方法。11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至8中任一项所述的协议解析步骤。

技术总结
本申请实施例涉及物联网技术领域，具体提供了一种协议解析方法、装置、终端以及存储介质。该方法包括：根据目标协议传输数据与目标协议传输样式之间的相似度结果确定第一目标协议解析策略；相似度结果大于预设值时，将目标协议传输数据根据第一目标协议解析策略进行协议解析，获得第一协议解析结果；相似度结果小于预设值时，将目标协议传输数据存储至数据库中进行暂存，并获得数据库中目标协议传输数据的数据聚类结果，以及根据数据聚类结果获得第二目标协议解析策略并对目标协议传输数据进行协议解析，获得目标协议传输数据对应的第二协议解析结果。该方法可以解析采用不同工业协议的物联网设备的协议传输数据，进而提高物联网平台搭建的效率。物联网平台搭建的效率。物联网平台搭建的效率。


技术研发人员：梁超 曾嘉 徐晓春
受保护的技术使用者：深圳开鸿数字产业发展有限公司
技术研发日：2023.04.25
技术公布日：2023/8/9