基于网络数据的农业资源数据库平台搭建方法与流程

1.本技术涉及农业资源数据库技术领域，且更为具体地，涉及一种基于网络数据的农业资源数据库平台搭建方法。


背景技术：

2.改造传统农业，大力发展高产、优质、高效农业，实现农业现代化，是我国由农业大国向农业强国转变的重要条件，是实现21世纪我国经济腾飞的基础和保证。从当地实际出发，科学合理地制定农业现代化实施过程中的有关决策，是一个亟待解决的问题。
3.目前，对于网络数据中有关农业数据资源政策的统计方式较为落后，只能依靠人工来进行统计，不能实现将农业数据资源政策信息通过数据库平台的方式进行数据的交互和查询，智能化程度较低，从而给人们的使用带来极大的不便。因此，期望一种优化的基于网络数据的农业资源数据库平台搭建方法。


技术实现要素：

4.本技术提供一种基于网络数据的农业资源数据库平台搭建方法，能够对于超文本信息中含有农业政策相关的数据进行准确地识别提取，以此来剔除不相关的网络连接和内容等信息，优化农业资源数据库平台的构建。
5.第一方面，提供了一种基于网络数据的农业资源数据库平台搭建方法，所述方法包括：获取待分析爬取的超文本信息；对所述待分析爬取的超文本信息进行切分以得到多个数据子片段；将所述多个数据子片段分别通过包含嵌入层的语义编码器以得到多个数据子片段语义理解向量；将所述多个数据子片段语义理解向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到数据子片段语义关联特征向量；分别计算所述多个数据子片段语义理解向量中各个数据子片段语义理解向量相对于所述数据子片段语义关联特征向量的转移矩阵以得到多个分类特征矩阵；以及，将所述多个分类特征矩阵通过分类器以得到多个分类结果，所述各个分类结果用于表示数据子片段是否属于农业政策相关数据。
6.结合第一方面，在第一方面的一种实现方式中，将所述多个数据子片段分别通过包含嵌入层的语义编码器以得到多个数据子片段语义理解向量，包括：对所述多个数据子片段中各个数据子片段进行分词处理以得到多组词序列；将所述多组词序列中各组词序列分别通过所述语义编码器的词嵌入层以得到多组词嵌入向量的序列；将所述词嵌入向量的序列通过所述第一编码器的基于转换器的bert模型以得到多个词语义特征向量；将所述多组词嵌入向量的序列中各组词嵌入向量的序列中的各个词嵌入向量进行级联以得到多个段语义特征向量。
7.结合第一方面，在第一方面的一种实现方式中，将所述多个反应状态监测特征向量输入所述基于转化器的上下文编码器以得到多个上下文反应状态监测特征向量，包括：使用所述上下文编码器的基于转换器的bert模型对所述多个反应状态监测特征向量中各个反应状态监测特征向量进行基于时序全局的上下文语义编码以得到以所述第二混合溶
液的酯化状态特征的基于时序全局的所述多个反应状态监测特征向量。
8.结合第一方面，在第一方面的一种实现方式中，所述多尺度邻域特征提取模块，包括：第一卷积层、与所述第一卷积层并行的第二卷积层，以及，与所述第一卷积层和所述第二卷积层连接的级联层，其中，所述第一卷积层使用具有第一尺度的一维卷积核，所述第二卷积层使用具有第二尺度的一维卷积核。
9.结合第一方面，在第一方面的一种实现方式中，将所述多个数据子片段语义理解向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到数据子片段语义关联特征向量，包括：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述一维特征向量分别进行一维卷积编码以得到所述第一尺度特征向量；其中，所述公式为： ，其中，为第一卷积核在方向上的宽度、为第一卷积核参数向量、为与卷积核函数运算的局部向量矩阵，为第一卷积核的尺寸，表示所述一维特征向量，表示对所述一维特征向量分别进行一维卷积编码；使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第二尺度特征向量；其中，所述公式为： ，其中，为第二卷积核在方向上的宽度、为第二卷积核参数向量、为与卷积核函数运算的局部向量矩阵，为第二卷积核的尺寸，表示所述一维特征向量，表示对所述一维特征向量分别进行一维卷积编码；以及将所述第一尺度特征向量和所述第二尺度特征向量进行级联以得到所述数据子片段语义关联特征向量。
10.结合第一方面，在第一方面的一种实现方式中，分别计算所述多个数据子片段语义理解向量中各个数据子片段语义理解向量相对于所述数据子片段语义关联特征向量的转移矩阵以得到多个分类特征矩阵，包括：计算所述数据子片段语义理解向量中相对于所述数据子片段语义关联特征向量的转移矩阵以得到初始分类特征矩阵；将所述初始分类特征矩阵通过作为特征提取器的权重计算卷积神经网络以得到通道特征图；对所述通道特征图进行特征相关性累积区分机制建模以获得通道特征向量；以所述通道特征向量分别对所述数据子片段语义理解向量和所述数据子片段语义关联特征向量进行点乘以得到校正后数据子片段语义理解向量和校正后数据子片段语义关联特征向量；以及,计算所述校正后数据子片段语义理解向量和所述校正后数据子片段语义关联特征向量的转移矩阵以得到所述分类特征矩阵。
11.结合第一方面，在第一方面的一种实现方式中，将所述初始分类特征矩阵通过作为特征提取器的权重计算卷积神经网络以得到通道特征图，包括：使用所述权重计算卷积神经网络的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于二维卷积核的卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图；以及,对所述池化特征图进行非线性激活以得到激活特征图；其中，所述权重计算卷积神经网络的第一层的输入为所述初始分类特征矩阵，所述权重计算卷积神
经网络的最后一层的输出为所述通道特征图。
12.结合第一方面，在第一方面的一种实现方式中，对所述通道特征图进行特征相关性累积区分机制建模以获得通道特征向量，包括：以如下公式对所述通道特征图进行特征相关性累积区分机制建模以获得所述通道特征向量；其中，所述公式为： ，其中表示所述通道特征图，和分别表示对特征图进行基于不同卷积核的单层卷积操作，表示激活函数，表示激活函数，且表示对特征图的每个特征矩阵进行全局池化操作，表示按位置加法，表示所述通道特征向量。
13.结合第一方面，在第一方面的一种实现方式中，将所述多个分类特征矩阵通过分类器以得到多个分类结果，所述各个分类结果用于表示数据子片段是否属于农业政策相关数据，包括：使用所述分类器以如下公式对所述多个分类特征矩阵进行处理以获得所述多个分类结果；其中，所述公式为：，其中，表示所述多个分类特征矩阵中的各个特征矩阵，表示将所述多个分类特征矩阵中的各个特征矩阵投影为向量，为权重矩阵，表示偏置向量，表示归一化指数函数，表示所述多个分类结果中的各个分类结果。
14.第二方面，提供了一种芯片，该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线，该至少一个存储器用于存储指令，该至少一个处理器用于调用该至少一个存储器中的指令，以执行第一方面中的方法。
15.第三方面，提供了一种计算机可读介质，用于存储计算机程序，所述计算机程序包括用于执行上述第一方面中的方法。
16.第四方面，提供了一种包括指令的计算机程序产品，当计算机运行所述计算机程序产品的所述指时，所述计算机执行上述第一方面中的方法。
17.本技术提供的一种基于网络数据的农业资源数据库平台搭建方法，能够对于超文本信息中含有农业政策相关的数据进行准确地识别提取，以此来剔除不相关的网络连接和内容等信息，优化农业资源数据库平台的构建。
附图说明
18.图1是本技术实施例的基于网络数据的农业资源数据库平台搭建方法的网络示意图。
19.图2是本技术实施例的基于网络数据的农业资源数据库平台搭建方法的示意性流程图。
20.图3是本技术实施例的基于网络数据的农业资源数据库平台搭建方法的模型架构的示意图。
21.图4是本技术实施例的基于网络数据的农业资源数据库平台搭建方法中，将所述多个数据子片段分别通过包含嵌入层的语义编码器以得到多个数据子片段语义理解向量的示意性流程图。
22.图5是本技术实施例的基于网络数据的农业资源数据库平台搭建方法中多尺度邻
域特征提取模块的结构示意图。
23.图6是本技术实施例的基于网络数据的农业资源数据库平台搭建方法中,将所述多个数据子片段语义理解向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到数据子片段语义关联特征向量的示意性流程图。
24.图7是本技术实施例的基于网络数据的农业资源数据库平台搭建方法中分别计算所述多个数据子片段语义理解向量中各个数据子片段语义理解向量相对于所述数据子片段语义关联特征向量的转移矩阵以得到多个分类特征矩阵的示意性流程图。
25.其中，1、服务器；2、客户端；3、环形网络；4、无线访问点；5、防火墙；6、路由器；7、万维网；8、用户。
具体实施方式
26.下面将结合附图，对本技术中的技术方案进行描述。
27.这里由于涉及到基于深度学习的深度神经网络模型，下面先对本技术实施例可能涉及的深度神经网络模型的相关术语和概念进行介绍。
28.1、深度神经网络模型：在深度神经网络模型中，隐藏层可以是卷积层和池化层。卷积层对应的一组权重值被称为滤波器，也被称为卷积核。滤波器和输入特征值都被表示为一个多维矩阵，对应地，表示成多维矩阵的滤波器也称为滤波器矩阵，表示成多维矩阵的输入特征值也称为输入特征矩阵，当然，除了可以输入特征矩阵，也可以输入特征图像，特征向量，这里只是以输入特征矩阵进行举例。卷积层的运算称为卷积运算，该卷积运算指的是，输入特征矩阵的一部分特征值与滤波器矩阵的权重值进行内积操作。
29.深度神经网络模型中每一个卷积层的运算过程可以被编成软件，然后通过在运算装置中运行该软件，得到每层网络的输出结果，即输出特征矩阵。例如，软件通过滑动窗口的方式，以每层网络的输入特征矩阵的左上角为起点，以滤波器大小为窗口，每次从特征值矩阵中提取一个窗口的数据与滤波器进行内积操作。当输入特征矩阵的右下角窗口的数据与滤波器完成内积操作后，便可得到每层网络的一个二维的输出特征矩阵。软件重复上述过程，直至产生每层网络的整个输出特征矩阵。
30.卷积层运算的过程为，将一个滤波器大小的窗口滑动过整个输入图像(即输入特征矩阵)，在每个时刻对窗口内覆盖的输入特征值与该滤波器进行内积运算，其中，窗口滑动的步长为1。具体地，以输入特征矩阵的左上角为起点，以滤波器大小为窗口，窗口滑动的步长为1，每次从特征值矩阵中提取一个窗口的输入特征值与滤波器进行内积操作，当输入特征矩阵的右下角的数据与滤波器完成内积操作后，便可得到该输入特征矩阵的一个二维的输出特征矩阵。
31.由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输
出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。
32.由于实际在深度神经网络中需要模拟的函数往往是非线性的，而前面卷积和池化只能模拟线性函数，为了在深度神经网络模型中，引入非线性因素，以增加整个网络的表征能力，在池化层过后还会设置有激活层，激活层中设置有激活函数，常用的激励函数有sigmoid、tanh、relu函数等。
33.2、通道：卷积层的空间排列的三个参数，宽度、高度和通道数，其中，卷积层的宽度和高度也就是卷积核的大小，卷积层的通道数对应的是卷积核的个数。每个卷积核只能提取输入数据的部分特征。每一个卷积核与原始输入数据执行卷积操作，会得到一个特征矩阵，这样的多个特征矩阵汇集在一起，我们称为特征图。
34.3、softmax分类函数：softmax分类函数又称软最大函数，归一化指数函数。能将一个含任意实数的k维向量“压缩”到另一个k维实向量中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。softmax分类函数常用于分类问题。
35.在对本技术实施例可能涉及的深度神经网络模型的相关术语和概念进行介绍后，为了便于本领域技术人员的理解，下面将对本技术的基本原理进行介绍。
36.如上所述，目前，对于网络数据中有关农业数据资源政策的统计方式较为落后，只能依靠人工来进行统计，不能实现将农业数据资源政策信息通过数据库平台的方式进行数据的交互和查询，智能化程度较低，从而给人们的使用带来极大的不便。因此，期望一种优化的基于网络数据的农业资源数据库平台搭建方法。
37.具体地，在本技术的技术方案中，通过qt网络爬虫功能实现自动采集访问网页内容，加载网页 html超文本信息到服务器农业政策数据平台中，利用文字和语义识别功能分析出含有农业政策相关的数据，例如网址连接和政策名称，剔除不相关的网络连接和内容。
38.相应地，考虑到在实际对于超文本信息进行含有农业政策相关的数据识别时，需要对于所述超文本信息进行准确地语义理解，而又考虑到由于所述超文本信息中存在有多个数据子片段，并且所述各个数据子片段是由多个词组成的，不管是所述各个数据子片段还是所述各个词之间都具有着关联性关系，其并不能够依据单一的数据子片段来判断其是否含有农业政策相关的数据，这对于农业政策相关数据的识别检测带来了困难。因此，在此过程中，难点在于如何准确地基于所述超文本信息整体来充分地挖掘出所述各个数据子片段中关于农业政策相关的数据语义理解特征信息，以此来对于超文本信息中含有农业政策相关的数据进行准确地识别提取，以此来剔除不相关的网络连接和内容等信息，优化农业资源数据库平台的构建。
39.近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
40.深度学习以及神经网络的发展为挖掘所述超文本信息的各个数据子片段中关于农业政策相关的数据语义理解特征信息提供了新的解决思路和方案。
41.具体地，在本技术的技术方案中，首先，获取待分析爬取的超文本信息。接着，考虑到由于所述待分析爬取的超文本信息中存在有多个数据子片段，并且所述各个数据子片段之间具有着关联关系，因此，为了能够准确地对于所述各个数据子片段基于所述超文本信息全局的语义理解，以此来判断其是否属于农业政策相关数据，在本技术的技术方案中，进
一步对所述待分析爬取的超文本信息进行切分以得到多个数据子片段。
42.然后，考虑到所述各个数据子片段中都是由多个词组成的，并且各个词之间也具有着上下文的语义关联，因此，进一步将所述多个数据子片段分别通过包含嵌入层的语义编码器中进行编码，以分别提取出所述各个数据子片段中基于全局的上下文语义关联特征，即所述各个数据子片段的语义理解特征信息，从而得到多个数据子片段语义理解向量。
43.进一步地，应可以理解，由于在对于所述超文本信息中的各个数据子片段进行是否属于农业政策相关数据的检测判断过程中，所述各个数据子片段间具有着相互的语义关联关系，可能在实际检测的过程中发现所述各个数据子片段中的某个数据子片段在进行单独的语义理解时并不属于农业政策相关数据，但是在结合上下文的语义关联后发现其属于农业政策相关数据。因此，在本技术的技术方案中，为了能够对于所述各个数据子片段是否属于农业政策相关数据进行准确地判断，需要对于所述各个数据子片段基于所述超文本信息全文的上下文语义理解。并且，还考虑到由于所述各个数据子片段之间的关联性关系可能并不仅存在于连续的数据子片段中，也就是说，所述各个数据子片段之间的语义关联在不同数量的数据子片段中具有不同的语义理解特征。基于此，在本技术的技术方案中，为了能够充分且准确地对于所述各个数据子片段进行语义理解，进一步将所述多个数据子片段语义理解向量排列为一维特征向量后通过多尺度邻域特征提取模块中进行特征提取，以提取出所述各个数据子片段在不同数量的子片段跨度下的多尺度邻域语义关联特征，从而得到数据子片段语义关联特征向量。
44.接着，进一步再分别计算所述多个数据子片段语义理解向量中各个数据子片段语义理解向量相对于所述数据子片段语义关联特征向量的转移矩阵，以此来表示在所述超文本信息的各个数据子片段的多尺度语义关联特征为基础的背景下关于所述各个数据子片段的语义理解特征信息，并以此作为多个分类特征矩阵通过分类器中进行分类处理，从而得到用于表示数据子片段是否属于农业政策相关数据的多个分类结果。这样，就能够对于所述超文本信息中的各个数据子片段是否属于农业政策相关数据进行准确地判断，以此来剔除不相关的网络连接和内容等信息，优化农业资源数据库平台的构建。
45.特别地，在本技术的技术方案中，对于作为所述数据子片段语义理解向量与所述数据子片段语义关联特征向量的转移矩阵的所述分类特征矩阵，由于并没有对所述数据子片段语义理解向量和所述数据子片段语义关联特征向量的各位置的特征值在转移过程中的显著性进行区分，会影响所述分类特征矩阵的分类结果的准确性。
46.基于此，本技术的申请人考虑通过所述分类特征矩阵的通道权重，即用于表达所述数据子片段语义理解向量和所述数据子片段语义关联特征向量之间的局部转移特征的全局通道权重来分别对所述数据子片段语义理解向量和所述数据子片段语义关联特征向量进行加权。
47.具体地，首先将所述分类特征矩阵通过作为特征提取器的权重计算卷积神经网络得到通道特征图，再对所述通道特征图进行特征相关性累积区分机制建模以获得通道特征向量，表示为： ，其中，和分别表示对所述通道特征图进行基于不同卷积核的单层卷积操作，且表示对所述通道特征图的每个特征矩阵的全局池化操作。
48.这里，所述特征相关性累积区分机制建模首先通过卷积操作来生成通道特征图的两种新的局部关联单元，再利用sigmoid函数和relu函数对局部关联特征进行类似神经网络架构的简单的嵌入、复位和更新，之后通过全局平均池化操作来累积局部特征相对于整体特征的相关性，从而使用特征区分机制来显式地建模特征重要性序列，就可以基于所述通道特征图的各个特征矩阵的特征累积区分机制来确定通道维度下适当的加权因数。然后，再以所述通道特征向量分别与所述数据子片段语义理解向量和所述数据子片段语义关联特征向量进行点乘以进行加权，就可以提升所述分类特征矩阵通过分类器得到的分类结果的准确性。这样，能够对于超文本信息中含有农业政策相关的数据进行准确地识别提取，以此来剔除不相关的网络连接和内容等信息，优化农业资源数据库平台的构建。
49.以上在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
50.图1是本技术实施例的基于网络数据的农业资源数据库平台搭建方法的网络示意图。如图1所示，在本技术的一个实施例中，基于网络数据的全国农业政策数据库平台搭建方法，其包括一个服务器1、多个客户端2组成的环形网络系统3，所述服务器1具备实时农业政策数据库的储存与分发的功能，所述客户端2具有实时农业政策数据查看与修改功能。在服务器1与环形网络系统3之间设有防火墙5，用于保护网络安全，这里，用户8可以通过环形网络系统3访问登录服务器1，也可以通过无线访问点4，经路由器6和万维网7访问登录。更具体地，服务器1作为数据的收集与储存端，对客户端2提供数据，服务器1利用网络爬虫功能定期自动从各个网站上下载数据，进行数据处理和归纳，并保存在mysql数据库中。客户端2通过用户名和密度登录，从服务器1下载数据到客户端2上进行显示，客户端2查看和编辑数据，数据修改后实时将数据上传到服务器1更新数据。客户端2可以利用百度在线地图平台显示政策所在地，政策覆盖区域与地形地貌为农业政策提供地理信息。
51.进一步地，在本技术的一个实施例中，所述基于网络数据的全国农业政策数据库平台搭建方法，包括以下步骤：步骤一，通过网络爬虫技术从各个网站上获取农业政策相关数据，将数据保存到mysql数据库中，获取数据的名称、发布时间、发布单位、政策类型、政策主要内容等信息，具体执行如下操作：通过qt网络爬虫功能实现自动采集访问网页内容，加载网页html超文本信息到服务器1的农业政策数据平台中，利用文字和语义识别功能分析出含有农业政策相关的数据，例如网址连接和政策名称，剔除不相关的网络连接和内容。通过关键字模糊智能匹配获取相关数据，包括名称、发布时间、发布单位、政策类型、政策内容；利用 mysql 数据库数据处理命令，将获取的农业政策相关的数据建立数据库表格，并且填入数据。由于部门与地方农业政策年度更新频率不高，因此qt网络爬虫功能实现定期自动采集访问网页内容，即每隔7天、15天、任意的时间间隔，对网页进行爬虫，并且将数据整理保存到服务器端。
52.步骤二，多个客户端2可以实时访问服务器1中的农业政策数据平台的数据，客户端2可以对关键数据进行修改，网页原始数据文件通过 html 转 pdf 技术转成了pdf文件在客户端2查看，并提供标注与注释功能，具体执行如下操作：客户端2通过登录名与密码登录服务器1，当登录成功时，客户端2会自动加载服务器端传送的部分农业政策数据平台数据，部分数据是为了保障客户端2的快速启动响应。客户端2提供表格展示服务器1的农业政策数据平台数据，双击表格某一条数据，将详细展示数据的内容，并展示pdf文件，提供了标
注与注释功能。客户端2提供智能模糊检索功能，对服务器1的农业政策规划数据平台数据进行检索，利用mysql的模糊匹配功能实现数据的快速查找，并提供excel的导出功能。客户端2对数据的更改，将实时上传服务器端共享数据，可以供其他客服端直接访问，即服务器端的数据是实时最新的。
53.步骤三，服务器1中含有数据库管理功能，可以查看所有的数据，并且拥有mysql数据库管理最高权限，可以控制客户端2的登录与权限。
54.所述基于网络数据的农业政策数据库平台搭建方法可以大量减少人力资源从网站上下载数据和整理数据，通过智能搜索功能提高工作效率。通过定期间隔在各个网站上自动网络爬虫数据，可以有效减少经常在各个网站上自动网络爬虫造成的数据重复冗余，浪费资源造成不必要的损失。对数据库中的数据与网络爬虫数据对比，对重复的数据不再处理，降低数据重复。通过利用mysql数据库管理数据，可以实现多个客服端实时访问修改服务器端的数据，实现了数据库的实时更新，提高了数据库的实时性与方便维护性。
55.图2是本技术实施例的基于网络数据的农业资源数据库平台搭建方法的示意性流程图。如图2所示，基于网络数据的农业资源数据库平台搭建方法，包括：s110，获取待分析爬取的超文本信息；s120，对所述待分析爬取的超文本信息进行切分以得到多个数据子片段；s130，将所述多个数据子片段分别通过包含嵌入层的语义编码器以得到多个数据子片段语义理解向量；s140，将所述多个数据子片段语义理解向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到数据子片段语义关联特征向量；s150，分别计算所述多个数据子片段语义理解向量中各个数据子片段语义理解向量相对于所述数据子片段语义关联特征向量的转移矩阵以得到多个分类特征矩阵；以及，s160，将所述多个分类特征矩阵通过分类器以得到多个分类结果，所述各个分类结果用于表示数据子片段是否属于农业政策相关数据。
56.图3是本技术实施例的基于网络数据的农业资源数据库平台搭建方法的模型架构的示意图。如图3所示，所述基于网络数据的农业资源数据库平台搭建方法的模型架构的输入为待分析爬取的超文本信息。首先，对所述待分析爬取的超文本信息进行切分以得到多个数据子片段，并将所述多个数据子片段分别通过包含嵌入层的语义编码器以得到多个数据子片段语义理解向量。然后，将所述多个数据子片段语义理解向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到数据子片段语义关联特征向量。再然后，分别计算所述多个数据子片段语义理解向量中各个数据子片段语义理解向量相对于所述数据子片段语义关联特征向量的转移矩阵以得到多个分类特征矩阵。最后，将所述多个分类特征矩阵通过分类器以得到多个分类结果，所述各个分类结果用于表示数据子片段是否属于农业政策相关数据。
57.步骤s110，获取待分析爬取的超文本信息。应理解，在本技术的技术方案中，通过qt网络爬虫功能实现自动采集访问网页内容，加载网页 html超文本信息到服务器农业政策数据平台中，利用文字和语义识别功能分析出含有农业政策相关的数据，例如网址连接和政策名称，剔除不相关的网络连接和内容。但考虑到在实际对于超文本信息进行含有农业政策相关的数据识别时，需要对于所述超文本信息进行准确地语义理解，而又考虑到由于所述超文本信息中存在有多个数据子片段，并且所述各个数据子片段是由多个词组成的，不管是所述各个数据子片段还是所述各个词之间都具有着关联性关系，其并不能够依
据单一的数据子片段来判断其是否含有农业政策相关的数据，这对于农业政策相关数据的识别检测带来了困难。因此，在此过程中，难点在于如何准确地基于所述超文本信息整体来充分地挖掘出所述各个数据子片段中关于农业政策相关的数据语义理解特征信息，以此来对于超文本信息中含有农业政策相关的数据进行准确地识别提取，以此来剔除不相关的网络连接和内容等信息，优化农业资源数据库平台的构建。
58.步骤s120，对所述待分析爬取的超文本信息进行切分以得到多个数据子片段。应理解，考虑到由于所述待分析爬取的超文本信息中存在有多个数据子片段，并且所述各个数据子片段之间具有着关联关系，因此，为了能够准确地对于所述各个数据子片段基于所述超文本信息全局的语义理解，以此来判断其是否属于农业政策相关数据，在本技术的技术方案中，进一步对所述待分析爬取的超文本信息进行切分以得到多个数据子片段。
59.步骤s130，将所述多个数据子片段分别通过包含嵌入层的语义编码器以得到多个数据子片段语义理解向量。应理解，考虑到所述各个数据子片段中都是由多个词组成的，并且各个词之间也具有着上下文的语义关联，因此，进一步将所述多个数据子片段分别通过包含嵌入层的语义编码器中进行编码，以分别提取出所述各个数据子片段中基于全局的上下文语义关联特征，即所述各个数据子片段的语义理解特征信息，从而得到多个数据子片段语义理解向量。
60.图4是本技术实施例的基于网络数据的农业资源数据库平台搭建方法中，将所述多个数据子片段分别通过包含嵌入层的语义编码器以得到多个数据子片段语义理解向量的示意性流程图。如图4所示，可选地，在本技术一实施例中，将所述多个数据子片段分别通过包含嵌入层的语义编码器以得到多个数据子片段语义理解向量，包括：s210，对所述多个数据子片段中各个数据子片段进行分词处理以得到多组词序列；s220，将所述多组词序列中各组词序列分别通过所述语义编码器的词嵌入层以得到多组词嵌入向量的序列；s230，将所述词嵌入向量的序列通过所述第一编码器的基于转换器的bert模型以得到多个词语义特征向量；以及，s240，将所述多组词嵌入向量的序列中各组词嵌入向量的序列中的各个词嵌入向量进行级联以得到多个段语义特征向量。
61.可选地，在本技术一实施例中，将所述多个反应状态监测特征向量输入所述基于转化器的上下文编码器以得到多个上下文反应状态监测特征向量，包括：使用所述上下文编码器的基于转换器的bert模型对所述多个反应状态监测特征向量中各个反应状态监测特征向量进行基于时序全局的上下文语义编码以得到以所述第二混合溶液的酯化状态特征的基于时序全局的所述多个反应状态监测特征向量。
62.步骤s140，将所述多个数据子片段语义理解向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到数据子片段语义关联特征向量。应理解，由于在对于所述超文本信息中的各个数据子片段进行是否属于农业政策相关数据的检测判断过程中，所述各个数据子片段间具有着相互的语义关联关系，可能在实际检测的过程中发现所述各个数据子片段中的某个数据子片段在进行单独的语义理解时并不属于农业政策相关数据，但是在结合上下文的语义关联后发现其属于农业政策相关数据。因此，在本技术的技术方案中，为了能够对于所述各个数据子片段是否属于农业政策相关数据进行准确地判断，需要对于所述各个数据子片段基于所述超文本信息全文的上下文语义理解。并且，还考虑到由于所述各个数据子片段之间的关联性关系可能并不仅存在于连续的数据子片段中，也就是说，所述
各个数据子片段之间的语义关联在不同数量的数据子片段中具有不同的语义理解特征。基于此，在本技术的技术方案中，为了能够充分且准确地对于所述各个数据子片段进行语义理解，进一步将所述多个数据子片段语义理解向量排列为一维特征向量后通过多尺度邻域特征提取模块中进行特征提取，以提取出所述各个数据子片段在不同数量的子片段跨度下的多尺度邻域语义关联特征，从而得到数据子片段语义关联特征向量。
63.图5是本技术实施例的基于网络数据的农业资源数据库平台搭建方法中多尺度邻域特征提取模块的结构示意图。如图5所示，可选地，在本技术一实施例中，所述多尺度邻域特征提取模块300，包括：第一卷积层310、与所述第一卷积层310并行的第二卷积层320，以及，与所述第一卷积层310和所述第二卷积层320连接的级联层330，其中，所述第一卷积层310使用具有第一尺度的一维卷积核，所述第二卷积层320使用具有第二尺度的一维卷积核。
64.图6是本技术实施例的基于网络数据的农业资源数据库平台搭建方法中,将所述多个数据子片段语义理解向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到数据子片段语义关联特征向量的示意性流程图。如图6所示，可选地，在本技术一实施例中，将所述多个数据子片段语义理解向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到数据子片段语义关联特征向量，包括：s310，使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述一维特征向量分别进行一维卷积编码以得到所述第一尺度特征向量；其中，所述公式为： ，其中，为第一卷积核在方向上的宽度、为第一卷积核参数向量、为与卷积核函数运算的局部向量矩阵，为第一卷积核的尺寸，表示所述一维特征向量，表示对所述一维特征向量分别进行一维卷积编码；使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第二尺度特征向量；其中，所述公式为： ，其中，为第二卷积核在方向上的宽度、为第二卷积核参数向量、为与卷积核函数运算的局部向量矩阵，为第二卷积核的尺寸，表示所述一维特征向量，表示对所述一维特征向量分别进行一维卷积编码；以及将所述第一尺度特征向量和所述第二尺度特征向量进行级联以得到所述数据子片段语义关联特征向量。
65.步骤s150，分别计算所述多个数据子片段语义理解向量中各个数据子片段语义理解向量相对于所述数据子片段语义关联特征向量的转移矩阵以得到多个分类特征矩阵。应理解，通过分别计算所述多个数据子片段语义理解向量中各个数据子片段语义理解向量相对于所述数据子片段语义关联特征向量的转移矩阵，以此得到在所述超文本信息的各个数据子片段的多尺度语义关联特征为基础的背景下关于所述各个数据子片段的语义理解特征信息。
66.特别地，在本技术的技术方案中，对于作为所述数据子片段语义理解向量与所述数据子片段语义关联特征向量的转移矩阵的所述分类特征矩阵，由于并没有对所述数据子
片段语义理解向量和所述数据子片段语义关联特征向量的各位置的特征值在转移过程中的显著性进行区分，会影响所述分类特征矩阵的分类结果的准确性。
67.基于此，本技术的申请人考虑通过所述分类特征矩阵的通道权重，即用于表达所述数据子片段语义理解向量和所述数据子片段语义关联特征向量之间的局部转移特征的全局通道权重来分别对所述数据子片段语义理解向量和所述数据子片段语义关联特征向量进行加权。具体地，首先将所述分类特征矩阵通过作为特征提取器的权重计算卷积神经网络得到通道特征图，再对所述通道特征图进行特征相关性累积区分机制建模以获得通道特征向量。
68.图7是本技术实施例的基于网络数据的农业资源数据库平台搭建方法中分别计算所述多个数据子片段语义理解向量中各个数据子片段语义理解向量相对于所述数据子片段语义关联特征向量的转移矩阵以得到多个分类特征矩阵的示意性流程图。如图7所示，可选地，在本技术一实施例中，分别计算所述多个数据子片段语义理解向量中各个数据子片段语义理解向量相对于所述数据子片段语义关联特征向量的转移矩阵以得到多个分类特征矩阵，包括：s410，计算所述数据子片段语义理解向量中相对于所述数据子片段语义关联特征向量的转移矩阵以得到初始分类特征矩阵；s420，将所述初始分类特征矩阵通过作为特征提取器的权重计算卷积神经网络以得到通道特征图；s430，对所述通道特征图进行特征相关性累积区分机制建模以获得通道特征向量；s440，以所述通道特征向量分别对所述数据子片段语义理解向量和所述数据子片段语义关联特征向量进行点乘以得到校正后数据子片段语义理解向量和校正后数据子片段语义关联特征向量；以及，s450，计算所述校正后数据子片段语义理解向量和所述校正后数据子片段语义关联特征向量的转移矩阵以得到所述分类特征矩阵。
69.可选地，在本技术一实施例中，将所述初始分类特征矩阵通过作为特征提取器的权重计算卷积神经网络以得到通道特征图，包括：使用所述权重计算卷积神经网络的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于二维卷积核的卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述权重计算卷积神经网络的第一层的输入为所述初始分类特征矩阵，所述权重计算卷积神经网络的最后一层的输出为所述通道特征图。
70.可选地，在本技术一实施例中，对所述通道特征图进行特征相关性累积区分机制建模以获得通道特征向量，包括：以如下公式对所述通道特征图进行特征相关性累积区分机制建模以获得所述通道特征向量；其中，所述公式为： ，其中表示所述通道特征图，和分别表示对特征图进行基于不同卷积核的单层卷积操作，表示激活函数，表示激活函数，且表示对特征图的每个特征矩阵进行全局池化操作，表示按位置加法，表示所述通道特征向量。
71.这里，所述特征相关性累积区分机制建模首先通过卷积操作来生成通道特征图的两种新的局部关联单元，再利用sigmoid函数和relu函数对局部关联特征进行类似神经网络架构的简单的嵌入、复位和更新，之后通过全局平均池化操作来累积局部特征相对于整
体特征的相关性，从而使用特征区分机制来显式地建模特征重要性序列，就可以基于所述通道特征图的各个特征矩阵的特征累积区分机制来确定通道维度下适当的加权因数。然后，再以所述通道特征向量分别与所述数据子片段语义理解向量和所述数据子片段语义关联特征向量进行点乘以进行加权，就可以提升所述分类特征矩阵通过分类器得到的分类结果的准确性。这样，能够对于超文本信息中含有农业政策相关的数据进行准确地识别提取，以此来剔除不相关的网络连接和内容等信息，优化农业资源数据库平台的构建。
72.步骤s160，将所述多个分类特征矩阵通过分类器以得到多个分类结果，所述各个分类结果用于表示数据子片段是否属于农业政策相关数据。也就是，将在所述超文本信息的各个数据子片段的多尺度语义关联特征为基础的背景下关于所述各个数据子片段的语义理解特征信息作为多个分类特征矩阵通过分类器中进行分类处理，从而得到用于表示数据子片段是否属于农业政策相关数据的多个分类结果。这样，就能够对于所述超文本信息中的各个数据子片段是否属于农业政策相关数据进行准确地判断，以此来剔除不相关的网络连接和内容等信息，优化农业资源数据库平台的构建。
73.可选地，在本技术一实施例中，将所述多个分类特征矩阵通过分类器以得到多个分类结果，所述各个分类结果用于表示数据子片段是否属于农业政策相关数据，包括：使用所述分类器以如下公式对所述多个分类特征矩阵进行处理以获得所述多个分类结果；其中，所述公式为：，其中，表示所述多个分类特征矩阵中的各个特征矩阵，表示将所述多个分类特征矩阵中的各个特征矩阵投影为向量，为权重矩阵，表示偏置向量，表示归一化指数函数，表示所述多个分类结果中的各个分类结果。
74.也就是，在本技术的技术方案中，所述分类器的标签包括数据子片段属于农业政策相关数据(第一标签)，以及，数据子片段不属于农业政策相关数据(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。也就是，将所述多个分类特征矩阵通过分类器以得到每个特征矩阵归属于第一标签的第一概率与归属与第二标签的第二概率，当第一概率大于第二概率时，则这个特征矩阵通过分类器的分类结果为数据子片段属于农业政策相关数据，说明这个特征矩阵对应的数据子片段属于农业政策相关数据。反之，当第二概率大于第一概率时，则这个特征矩阵通过分类器的分类结果为数据子片段不属于农业政策相关数据，说明这个特征矩阵对应的数据子片段不属于农业政策相关数据，剔除这个特征矩阵对应的数据子片段。
75.综上，本技术提供的一种基于网络数据的农业资源数据库平台搭建方法，能够对于超文本信息中含有农业政策相关的数据进行准确地识别提取，以此来剔除不相关的网络连接和内容等信息，优化农业资源数据库平台的构建。
76.本发明实施例还提供一种芯片系统，芯片系统包括至少一个处理器，当程序指令在该至少一个处理器中执行时，使得本技术实施例提供的方法得以实现。
77.本发明实施例还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得，该计算机执行上述方法实施例的方法。
78.本发明实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
79.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
80.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
81.在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
82.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
83.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

技术特征：
1.一种基于网络数据的农业资源数据库平台搭建方法，其特征在于，包括：获取待分析爬取的超文本信息；对所述待分析爬取的超文本信息进行切分以得到多个数据子片段；将所述多个数据子片段分别通过包含嵌入层的语义编码器以得到多个数据子片段语义理解向量；将所述多个数据子片段语义理解向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到数据子片段语义关联特征向量；分别计算所述多个数据子片段语义理解向量中各个数据子片段语义理解向量相对于所述数据子片段语义关联特征向量的转移矩阵以得到多个分类特征矩阵；将所述多个分类特征矩阵通过分类器以得到多个分类结果，所述各个分类结果用于表示数据子片段是否属于农业政策相关数据。2.根据权利要求1所述的基于网络数据的农业资源数据库平台搭建方法，其特征在于，将所述多个数据子片段分别通过包含嵌入层的语义编码器以得到多个数据子片段语义理解向量，包括：对所述多个数据子片段中各个数据子片段进行分词处理以得到多组词序列；将所述多组词序列中各组词序列分别通过所述语义编码器的词嵌入层以得到多组词嵌入向量的序列；将所述词嵌入向量的序列通过所述第一编码器的基于转换器的bert模型以得到多个词语义特征向量；将所述多组词嵌入向量的序列中各组词嵌入向量的序列中的各个词嵌入向量进行级联以得到多个段语义特征向量。3.根据权利要求2所述的基于网络数据的农业资源数据库平台搭建方法，其特征在于，将所述多个反应状态监测特征向量输入所述基于转化器的上下文编码器以得到多个上下文反应状态监测特征向量，包括：使用所述上下文编码器的基于转换器的bert模型对所述多个反应状态监测特征向量中各个反应状态监测特征向量进行基于时序全局的上下文语义编码以得到以所述第二混合溶液的酯化状态特征的基于时序全局的所述多个反应状态监测特征向量。4.根据权利要求3所述的基于网络数据的农业资源数据库平台搭建方法，其特征在于，所述多尺度邻域特征提取模块，包括：第一卷积层、与所述第一卷积层并行的第二卷积层，以及，与所述第一卷积层和所述第二卷积层连接的级联层，其中，所述第一卷积层使用具有第一尺度的一维卷积核，所述第二卷积层使用具有第二尺度的一维卷积核。5.根据权利要求4所述的基于网络数据的农业资源数据库平台搭建方法，其特征在于，将所述多个数据子片段语义理解向量排列为一维特征向量后通过多尺度邻域特征提取模块以得到数据子片段语义关联特征向量，包括：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述一维特征向量分别进行一维卷积编码以得到所述第一尺度特征向量；其中，所述公式为： ，其中，为第一卷积核在方向上的宽度、为第一卷积核参数向量、为与卷积核函数运算的局部向量矩阵，为第一卷积核的尺寸，表示所述一维特征向量，表示对所述一维特征向量分别进行一维卷积编码；使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述一维特征向量进行一维卷积编码以得到所述第二尺度特征向量；其中，所述公式为： ，其中，为第二卷积核在方向上的宽度、为第二卷
积核参数向量、为与卷积核函数运算的局部向量矩阵，为第二卷积核的尺寸，表示所述一维特征向量，表示对所述一维特征向量分别进行一维卷积编码；以及将所述第一尺度特征向量和所述第二尺度特征向量进行级联以得到所述数据子片段语义关联特征向量。6.根据权利要求5所述的基于网络数据的农业资源数据库平台搭建方法，其特征在于，分别计算所述多个数据子片段语义理解向量中各个数据子片段语义理解向量相对于所述数据子片段语义关联特征向量的转移矩阵以得到多个分类特征矩阵，包括：计算所述数据子片段语义理解向量中相对于所述数据子片段语义关联特征向量的转移矩阵以得到初始分类特征矩阵；将所述初始分类特征矩阵通过作为特征提取器的权重计算卷积神经网络以得到通道特征图；对所述通道特征图进行特征相关性累积区分机制建模以获得通道特征向量；以所述通道特征向量分别对所述数据子片段语义理解向量和所述数据子片段语义关联特征向量进行点乘以得到校正后数据子片段语义理解向量和校正后数据子片段语义关联特征向量；以及计算所述校正后数据子片段语义理解向量和所述校正后数据子片段语义关联特征向量的转移矩阵以得到所述分类特征矩阵。7.根据权利要求6所述的基于网络数据的农业资源数据库平台搭建方法，其特征在于，将所述初始分类特征矩阵通过作为特征提取器的权重计算卷积神经网络以得到通道特征图，包括：使用所述权重计算卷积神经网络的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于二维卷积核的卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化处理以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；其中，所述权重计算卷积神经网络的第一层的输入为所述初始分类特征矩阵，所述权重计算卷积神经网络的最后一层的输出为所述通道特征图。8.根据权利要求7所述的基于网络数据的农业资源数据库平台搭建方法，其特征在于，对所述通道特征图进行特征相关性累积区分机制建模以获得通道特征向量，包括：以如下公式对所述通道特征图进行特征相关性累积区分机制建模以获得所述通道特征向量；其中，所述公式为： ，其中表示所述通道特征图，和分别表示对特征图进行基于不同卷积核的单层卷积操作，表示激活函数，表示激活函数，且表示对特征图的每个特征矩阵进行全局池化操作，表示按位置加法，表示所述通道特征向量。9.根据权利要求8所述的基于网络数据的农业资源数据库平台搭建方法，其特征在于，将所述多个分类特征矩阵通过分类器以得到多个分类结果，所述各个分类结果用于表示数据子片段是否属于农业政策相关数据，包括：使用所述分类器以如下公式对所述多个分类特征矩阵进行处理以获得所述多个分类结果；其中，所述公式为：，其中，表示所述多个分类特征矩阵中的各个特征矩阵，表示将所述多个分类特征矩阵中的各个特征矩阵投影为向量，为权重矩阵，表示偏置向量，表示归一化指数函数，表示所述多个分类结果中的各个分类结果。

技术总结
本申请涉及农业资源数据库技术领域，其具体地公开了一种基于网络数据的农业资源数据库平台搭建方法，其首先获取待分析爬取的超文本信息，然后，对所述待分析爬取的超文本信息进行切分后通过包含嵌入层的语义编码器以得到多个数据子片段语义理解向量，接着，将所述多个数据子片段语义理解向量排列为一维特征向量后通过多尺度邻域特征提取模块再计算转移矩阵以得到多个分类特征矩阵，最后，将所述多个分类特征矩阵通过分类器以得到用于表示数据子片段是否属于农业政策相关数据多个分类结果，能够对于超文本信息中含有农业政策相关的数据进行准确地识别提取，以此来剔除不相关的网络连接和内容等信息，优化农业资源数据库平台的构建。库平台的构建。库平台的构建。


技术研发人员：鲍顺淑 张秋玲 宋吉祥 张婷 武耘 富建鲁 尹义蕾 李文会
受保护的技术使用者：农业农村部规划设计研究院
技术研发日：2023.03.23
技术公布日：2023/10/6