基于大数据分析的农产品市场价格预警管理系统及方法与流程

1.本技术涉及市场管理技术领域，且更为具体地，涉及一种基于大数据分析的农产品市场价格预警管理系统及方法。


背景技术：

2.农产品是国家农业经济发展的关键产业，对于保障国家粮食安全和农民的生计具有重要意义。然而，现有的农产品市场价格分析方法大都是采用定性预测方法，即靠专家人员的经验进行分析，存在专家人员的经验丰富程度差异的问题，导致分析结果较为主观，从而无法实现统一规范的标准化农产品市场价格分析。同时凭借专家人员的经验无法通过多方面因素精确分析农产品市场价格，使得农产品市场价格预测结果的准确性较低，无法及时准确地进行农产品价格波动的预警，导致农产品市场供需的不平衡，给农产品市场的生产经营者和消费者带来很大的影响。
3.因此，期望一种优化的基于大数据分析的农产品市场价格预警管理系统。


技术实现要素：

4.本技术提供一种基于大数据分析的农产品市场价格预警管理系统及方法，其基于待预测农产品的市场交易数据和气象数据来构建农产品市场价格预测模型，以生成农产品市场价格预警信息，具体地，其通过人工智能技术来获取所述气象数据的时序动态变化特征和所述待预测农产品的市场交易数据的时序动态变化特征之间的时序协同关联特征信息的充分表达，以此来准确地进行农产品的价格预测，从而对于价格过高的农产品进行价格预警，进而确保农产品的市场价格稳定，为政府进行宏观调控和农民指定生产策略提供有力支持。
5.第一方面，提供了一种基于大数据分析的农产品市场价格预警管理系统，所述基于大数据分析的农产品市场价格预警管理系统包括：数据采集模块，用于获取预定时间段内多天的气象数据和待预测农产品的市场交易数据；独热编码模块，用于分别对所述各天的气象数据进行独热编码以得到多个气象数据独热编码向量；气象时序关联特征提取模块，用于将所述多个气象数据独热编码向量排列为一维输入向量后通过基于一维卷积神经网络模型的气象时序特征提取器以得到气象时序特征向量；市场交易时序关联特征提取模块，用于将所述预定时间段内多天的待预测农产品的市场交易数据按照时间维度排列为市场交易数据时序输入向量后通过基于一维卷积神经网络模型的市场交易数据时序特征提取器以得到市场交易时序特征向量；特征融合模块，用于使用级联函数来融合所述气象时序特征向量和所述市场交易时序特征向量以得到解码特征向量；价格预测模块，用于将所述解码特征向量通过解码器进行解码回归以得到解码值，所述解码值用于表示所述待预测农产品的价格预测值；以及，价格预警模块，用于基于所述解码值与预定阈值之间的比较，确定是否生成价格预警提示信息。
6.结合第一方面，在第一方面的一种实现方式中，还包括用于对所述基于一维卷积
神经网络模型的气象时序特征提取器、所述基于一维卷积神经网络模型的市场交易数据时序特征提取器和所述解码器进行训练的训练模块。
7.结合第一方面，在第一方面的一种实现方式中，所述训练模块，包括：训练数据采集模块，用于获取训练数据，所述训练数据包括预定时间段内多天的训练气象数据和待预测农产品的训练市场交易数据，以及，所述待预测农产品的价格预测值的真实值；训练独热编码模块，用于分别对所述各天的训练气象数据进行独热编码以得到多个训练气象数据独热编码向量；训练气象时序关联特征提取模块，用于将所述多个训练气象数据独热编码向量排列为训练一维输入向量后通过所述基于一维卷积神经网络模型的气象时序特征提取器以得到训练气象时序特征向量；训练市场交易时序关联特征提取模块，用于将所述预定时间段内多天的待预测农产品的训练市场交易数据按照时间维度排列为训练市场交易数据时序输入向量后通过所述基于一维卷积神经网络模型的市场交易数据时序特征提取器以得到训练市场交易时序特征向量；训练特征融合模块，用于使用级联函数来融合所述训练气象时序特征向量和所述训练市场交易时序特征向量以得到训练解码特征向量；解码损失模块，用于将所述训练解码特征向量通过所述解码器以得到解码损失函数值；模型训练模块，用于基于所述解码损失函数值并通过梯度下降的方向传播来对所述基于一维卷积神经网络模型的气象时序特征提取器、所述基于一维卷积神经网络模型的市场交易数据时序特征提取器和所述解码器进行训练，其中，在所述训练的每一轮迭代中，对所述解码器的权重矩阵进行权重本征支持的半空间结构化约束迭代。
8.第二方面，提供了一种基于大数据分析的农产品市场价格预警管理方法，所述方法包括：获取预定时间段内多天的气象数据和待预测农产品的市场交易数据；分别对所述各天的气象数据进行独热编码以得到多个气象数据独热编码向量；将所述多个气象数据独热编码向量排列为一维输入向量后通过基于一维卷积神经网络模型的气象时序特征提取器以得到气象时序特征向量；将所述预定时间段内多天的待预测农产品的市场交易数据按照时间维度排列为市场交易数据时序输入向量后通过基于一维卷积神经网络模型的市场交易数据时序特征提取器以得到市场交易时序特征向量；使用级联函数来融合所述气象时序特征向量和所述市场交易时序特征向量以得到解码特征向量；将所述解码特征向量通过解码器进行解码回归以得到解码值，所述解码值用于表示所述待预测农产品的价格预测值；以及，基于所述解码值与预定阈值之间的比较，确定是否生成价格预警提示信息。
9.第三方面，提供了一种芯片，该芯片包括输入输出接口、至少一个处理器、至少一个存储器和总线，该至少一个存储器用于存储指令，该至少一个处理器用于调用该至少一个存储器中的指令，以执行第二方面中的方法。
10.第四方面，提供了一种计算机可读介质，用于存储计算机程序，所述计算机程序包括用于执行上述第二方面中的方法。
11.第五方面，提供了一种包括指令的计算机程序产品，当计算机运行所述计算机程序产品的所述指时，所述计算机执行上述第二方面中的方法。
12.本技术提供的一种基于大数据分析的农产品市场价格预警管理系统及方法，其基于待预测农产品的市场交易数据和气象数据来构建农产品市场价格预测模型，以生成农产品市场价格预警信息，具体地，其通过人工智能技术来获取所述气象数据的时序动态变化特征和所述待预测农产品的市场交易数据的时序动态变化特征之间的时序协同关联特征
信息的充分表达，以此来准确地进行农产品的价格预测，从而对于价格过高的农产品进行价格预警，进而确保农产品的市场价格稳定，为政府进行宏观调控和农民指定生产策略提供有力支持。
附图说明
13.图1是本技术实施例的基于大数据分析的农产品市场价格预警管理系统的示意性框图。
14.图2是本技术实施例的基于大数据分析的农产品市场价格预警管理系统中训练模块的结构示意图。
15.图3是本技术实施例的基于大数据分析的农产品市场价格预警管理方法的示意性流程图。
16.图4是本技术实施例的基于大数据分析的农产品市场价格预警管理方法的模型架构的示意图。
17.图5是本技术实施例的基于大数据分析的农产品市场价格预警管理方法中训练阶段的示意性流程图。
18.图6是本技术实施例的基于大数据分析的农产品市场价格预警管理方法中训练阶段的模型架构的示意图。
具体实施方式
19.下面将结合附图，对本技术中的技术方案进行描述。
20.这里由于涉及到基于深度学习的深度神经网络模型，下面先对本技术实施例可能涉及的深度神经网络模型的相关术语和概念进行介绍。
21.在深度神经网络模型中，隐藏层可以是卷积层和池化层。卷积层对应的一组权重值被称为滤波器，也被称为卷积核。滤波器和输入特征值都被表示为一个多维矩阵，对应地，表示成多维矩阵的滤波器也称为滤波器矩阵，表示成多维矩阵的输入特征值也称为输入特征矩阵，当然，除了可以输入特征矩阵，也可以输入特征图像，特征向量，这里只是以输入特征矩阵进行举例。卷积层的运算称为卷积运算，该卷积运算指的是，输入特征矩阵的一部分特征值与滤波器矩阵的权重值进行内积操作。
22.深度神经网络模型中每一个卷积层的运算过程可以被编成软件，然后通过在运算装置中运行该软件，得到每层网络的输出结果，即输出特征矩阵。例如，软件通过滑动窗口的方式，以每层网络的输入特征矩阵的左上角为起点，以滤波器大小为窗口，每次从特征值矩阵中提取一个窗口的数据与滤波器进行内积操作。当输入特征矩阵的右下角窗口的数据与滤波器完成内积操作后，便可得到每层网络的一个二维的输出特征矩阵。软件重复上述过程，直至产生每层网络的整个输出特征矩阵。
23.卷积层运算的过程为，将一个滤波器大小的窗口滑动过整个输入图像(即输入特征矩阵)，在每个时刻对窗口内覆盖的输入特征值与该滤波器进行内积运算，其中，窗口滑动的步长为1。具体地，以输入特征矩阵的左上角为起点，以滤波器大小为窗口，窗口滑动的步长为1，每次从特征值矩阵中提取一个窗口的输入特征值与滤波器进行内积操作，当输入特征矩阵的右下角的数据与滤波器完成内积操作后，便可得到该输入特征矩阵的一个二维
的输出特征矩阵。
24.由于常常需要减少训练参数的数量，因此卷积层之后常常需要周期性的引入池化层，在图像处理过程中，池化层的唯一目的就是减少图像的空间大小。池化层可以包括平均池化算子和/或最大池化算子，以用于对输入图像进行采样得到较小尺寸的图像。平均池化算子可以在特定范围内对图像中的像素值进行计算产生平均值作为平均池化的结果。最大池化算子可以在特定范围内取该范围内值最大的像素作为最大池化的结果。另外，就像卷积层中用权重矩阵的大小应该与图像尺寸相关一样，池化层中的运算符也应该与图像的大小相关。通过池化层处理后输出的图像尺寸可以小于输入池化层的图像的尺寸，池化层输出的图像中每个像素点表示输入池化层的图像的对应子区域的平均值或最大值。
25.由于实际在深度神经网络中需要模拟的函数往往是非线性的，而前面卷积和池化只能模拟线性函数，为了在深度神经网络模型中，引入非线性因素，以增加整个网络的表征能力，在池化层过后还会设置有激活层，激活层中设置有激活函数，常用的激励函数有sigmoid、tanh、relu函数等。
26.如上所述，现有的农产品市场价格分析方法大都是采用定性预测方法，即靠专家人员的经验进行分析，存在专家人员的经验丰富程度差异的问题，导致分析结果较为主观，从而无法实现统一规范的标准化农产品市场价格分析。同时凭借专家人员的经验无法通过多方面因素精确分析农产品市场价格，使得农产品市场价格预测结果的准确性较低，无法及时准确地进行农产品价格波动的预警，导致农产品市场供需的不平衡，给农产品市场的生产经营者和消费者带来很大的影响。因此，期望一种优化的基于大数据分析的农产品市场价格预警管理系统。
27.相应地，考虑到在实际进行农产品市场价格的检测预警过程中，由于农产品的市场价格与气象状况息息相关，因此，为了能够实现统一规范的标准化农产品市场价格分析，从而为政府进行宏观调控和农民指定生产策略提供有力支持，在本技术的技术方案中，期望基于待预测农产品的市场交易数据和气象数据来构建农产品市场价格预测模型，以生成农产品市场价格预警信息。但是，由于所述气象数据和所述待预测农产品的市场交易数据都在时间维度上有着动态性的变化规律，并且这两者之间还具有着时序的协同关联关系。因此，在此过程中，难点在于如何进行所述气象数据的时序动态变化特征和所述待预测农产品的市场交易数据的时序动态变化特征之间的时序协同关联特征信息的充分表达，以此来准确地进行农产品的价格预测，并对于价格过高的农产品进行价格预警，从而确保农产品的市场价格稳定，为政府进行宏观调控和农民指定生产策略提供有力支持。
28.近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述气象数据的时序动态变化特征和所述待预测农产品的市场交易数据的时序动态变化特征之间的时序协同关联特征信息提供了新的解决思路和方案。
29.具体地，在本技术的技术方案中，首先，获取预定时间段内多天的气象数据和待预测农产品的市场交易数据。应可以理解，对于所述气象数据来说，通常其会包含有多个参数信息，如温度、湿度、降雨量等。因此，为了将这些参数信息作为模型的输入，以此来全面地分析气象数据的时序动态变化规律，在本技术的技术方案中，进一步分别对所述各天的气象数据进行独热编码以得到多个气象数据独热编码向量。特别地，这里，使用所述独热编码
能够将所述气象数据中的每个参数信息为一个二进制向量，便于模型进行计算和处理。
30.然后，考虑到由于所述气象数据中的各个参数信息在时间维度上都有着动态性的时序协同变化规律，为了能够进行所述气象数据的时序变化特征的充分表达，需要将所述多个气象数据独热编码向量排列为一维输入向量后通过基于一维卷积神经网络模型的气象时序特征提取器中进行编码，以此来提取出所述气象数据的时序关联特征信息，从而得到气象时序特征向量。
31.进一步地，对于所述待预测农产品的市场交易数据来说，其在时间维度上也具有着时序的动态变化特征信息，因此，在本技术的技术方案中，进一步将所述预定时间段内多天的待预测农产品的市场交易数据按照时间维度排列为市场交易数据时序输入向量后通过基于一维卷积神经网络模型的市场交易数据时序特征提取器中进行特征挖掘，以提取出所述待预测农产品的市场交易数据在时间维度上的时序关联特征信息，以得到市场交易时序特征向量。
32.接着，为了能够综合所述待预测农产品的市场交易数据和所述气相数据这两者的时序变化特征来进行农产品的价格预测，在本技术的技术方案中，进一步使用级联函数来融合所述气象时序特征向量和所述市场交易时序特征向量以得到解码特征向量，以此来表示所述待预测农产品的市场交易数据的时序变化特征和所述气象数据的时序变化特征之间的时序协同关联特征信息。应可以理解，由于所述级联函数能够使网络具有一定逻辑推理能力，从而挖掘数据间关联信息。因此，在本技术的技术方案中，使用所述级联函数能够挖掘所述气象数据和所述市场交易数据之间的时序协同关联变化特征信息，从而有利于后续更准确地预测农产品价格。
33.继而，再将所述解码特征向量通过解码器进行解码回归，以得到用于表示所述待预测农产品的价格预测值的解码值。也就是说，以所述农产品的市场交易数据和所述气象数据的时序协同关联变化特征信息来进行解码，从而对于农产品的价格进行预测，并基于所述价格预测值与预定阈值之间的比较，确定是否生成价格预警提示信息。相应地，在本技术的一个具体示例中，响应于所述解码值大于所述预定阈值，生成价格预警提示信息。
34.特别地，在本技术的技术方案中，考虑到所述气象时序特征向量和所述市场交易时序特征向量分别表达气象数据的独热编码和市场交易数据的时序局部关联特征，在使用级联函数融合所述气象时序特征向量和所述市场交易时序特征向量时，可能由于点卷积操作分别相对于所述气象时序特征向量和所述市场交易时序特征向量的拟合差异，例如过拟合或者欠拟合，导致待进行级联操作的所述气象时序特征向量和所述市场交易时序特征向量各自的特征分布相对于解码器的权重矩阵对应的部分具有不同的权重拟合方向，这样，级联后得到的所述解码特征向量的整体特征分布相对于解码器的权重矩阵会具有收敛性差的问题，从而影响解码器的训练速度。
35.基于此，本技术的申请人在所述解码特征向量，例如记为v的训练过程中，在每次解码器的权重矩阵，例如记为m的迭代过程中，对权重矩阵m进行权重本征支持的半空间结构化约束，具体表示为：
[0036][0037]
其中，ve是矩阵m
t
m的本征值组成的本征集合向量。
[0038]
这里，所述权重本征支持的半空间结构化约束以所述解码器的权重矩阵m的结构
化矩阵的本征值集合与待解码的解码特征向量v的关联性集成作为支持，来对所述权重矩阵m表示的用于与所述待解码的解码特征向量v的高维流形相耦合的半空间(half-space)进行作为决策边界的超平面的结构化支持约束，以使得所述待解码的解码特征向量v的高维流形能够在所述权重矩阵m表示的半空间开放域内相对于超平面有效收敛，从而改进解码器的训练速度。这样，能够准确地进行农产品的价格预测，并对于价格过高的农产品进行价格预警，从而确保农产品的市场价格稳定，为政府进行宏观调控和农民指定生产策略提供有力支持。
[0039]
以上在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0040]
图1是本技术实施例的基于大数据分析的农产品市场价格预警管理系统的示意性框图。如图1所示，基于大数据分析的农产品市场价格预警管理系统100，包括：
[0041]
数据采集模块110，用于获取预定时间段内多天的气象数据和待预测农产品的市场交易数据。应理解，考虑到在实际进行农产品市场价格的检测预警过程中，由于农产品的市场价格与气象状况息息相关，因此，为了能够实现统一规范的标准化农产品市场价格分析，从而为政府进行宏观调控和农民指定生产策略提供有力支持，在本技术的技术方案中，期望基于待预测农产品的市场交易数据和气象数据来构建农产品市场价格预测模型，以生成农产品市场价格预警信息。但是，由于所述气象数据和所述待预测农产品的市场交易数据都在时间维度上有着动态性的变化规律，并且这两者之间还具有着时序的协同关联关系。因此，在此过程中，难点在于如何进行所述气象数据的时序动态变化特征和所述待预测农产品的市场交易数据的时序动态变化特征之间的时序协同关联特征信息的充分表达，以此来准确地进行农产品的价格预测，并对于价格过高的农产品进行价格预警，从而确保农产品的市场价格稳定，为政府进行宏观调控和农民指定生产策略提供有力支持。
[0042]
独热编码模块120，用于分别对所述各天的气象数据进行独热编码以得到多个气象数据独热编码向量。应理解，对于所述气象数据来说，通常其会包含有多个参数信息，如温度、湿度、降雨量等。因此，为了将这些参数信息作为模型的输入，以此来全面地分析气象数据的时序动态变化规律，在本技术的技术方案中，进一步分别对所述各天的气象数据进行独热编码以得到多个气象数据独热编码向量。特别地，这里，使用所述独热编码能够将所述气象数据中的每个参数信息为一个二进制向量，便于模型进行计算和处理。
[0043]
气象时序关联特征提取模块130，用于将所述多个气象数据独热编码向量排列为一维输入向量后通过基于一维卷积神经网络模型的气象时序特征提取器以得到气象时序特征向量。应理解，考虑到由于所述气象数据中的各个参数信息在时间维度上都有着动态性的时序协同变化规律，为了能够进行所述气象数据的时序变化特征的充分表达，需要将所述多个气象数据独热编码向量排列为一维输入向量后通过基于一维卷积神经网络模型的气象时序特征提取器中进行编码，以此来提取出所述气象数据的时序关联特征信息，从而得到气象时序特征向量。
[0044]
可选地，在本技术一实施例中，所述气象时序关联特征提取模块，用于：使用所述基于一维卷积神经网络模型的气象时序特征提取器的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于一维卷积核的卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化处理以得到池化特征图；对所述池化特征图进行非线性
激活以得到激活特征图；其中，所述气象时序特征提取器的第一层的输入为所述一维输入向量，所述气象时序特征提取器的最后一层的输出为所述气象时序特征向量。
[0045]
市场交易时序关联特征提取模块140，用于将所述预定时间段内多天的待预测农产品的市场交易数据按照时间维度排列为市场交易数据时序输入向量后通过基于一维卷积神经网络模型的市场交易数据时序特征提取器以得到市场交易时序特征向量。
[0046]
可选地，在本技术一实施例中，所述市场交易时序关联特征提取模块，用于：使用所述基于一维卷积神经网络模型的市场交易数据时序特征提取器的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于一维卷积核的卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化处理以得到池化特征图；对所述池化特征图进行非线性激活以得到激活特征图；其中，所述市场交易数据时序特征提取器的第一层的输入为所述市场交易数据时序输入向量后，所述市场交易数据时序特征提取器的最后一层的输出为所述市场交易时序特征向量。
[0047]
特征融合模块150，用于使用级联函数来融合所述气象时序特征向量和所述市场交易时序特征向量以得到解码特征向量。应理解，对于所述待预测农产品的市场交易数据来说，其在时间维度上也具有着时序的动态变化特征信息，因此，在本技术的技术方案中，进一步将所述预定时间段内多天的待预测农产品的市场交易数据按照时间维度排列为市场交易数据时序输入向量后通过基于一维卷积神经网络模型的市场交易数据时序特征提取器中进行特征挖掘，以提取出所述待预测农产品的市场交易数据在时间维度上的时序关联特征信息，以得到市场交易时序特征向量。
[0048]
可选地，在本技术一实施例中，所述特征融合模块，用于：使用如下级联函数来融合所述气象时序特征向量和所述市场交易时序特征向量以得到解码特征向量；
[0049]
其中，所述级联函数为：
[0050]
f(xi,xj)＝relu(wf[θ(xi),φ(xj)])
[0051]
其中，xi表示所述气象时序特征向量，θ(xi)表示对所述气象时序特征向量进行点卷积，xj表示所述市场交易时序特征向量，φ(xj)表示对所述市场交易时序特征向量进行点卷积，wf表示对输入进行点卷积，relu为激活函数，[]表示拼接操作，f(xi,xj)表示所述解码特征向量。
[0052]
价格预测模块160，用于将所述解码特征向量通过解码器进行解码回归以得到解码值，所述解码值用于表示所述待预测农产品的价格预测值。应理解，将所述解码特征向量通过解码器进行解码回归，以得到用于表示所述待预测农产品的价格预测值的解码值。也就是说，以所述农产品的市场交易数据和所述气象数据的时序协同关联变化特征信息来进行解码，从而对于农产品的价格进行预测。
[0053]
价格预警模块170，用于基于所述解码值与预定阈值之间的比较，确定是否生成价格预警提示信息。
[0054]
可选地，在本技术一实施例中，响应于所述解码值大于所述预定阈值，生成价格预警提示信息。
[0055]
图2是本技术实施例的基于大数据分析的农产品市场价格预警管理系统中训练模块的结构示意图。如图2所示，可选地，在本技术一实施例中，所述基于大数据分析的农产品市场价格预警管理系统100还包括用于对所述基于一维卷积神经网络模型的气象时序特征
提取器、所述基于一维卷积神经网络模型的市场交易数据时序特征提取器和所述解码器进行训练的训练模块200，所述训练模块200，包括：训练数据采集模块210，用于获取训练数据，所述训练数据包括预定时间段内多天的训练气象数据和待预测农产品的训练市场交易数据，以及，所述待预测农产品的价格预测值的真实值；训练独热编码模块220，用于分别对所述各天的训练气象数据进行独热编码以得到多个训练气象数据独热编码向量；训练气象时序关联特征提取模块230，用于将所述多个训练气象数据独热编码向量排列为训练一维输入向量后通过所述基于一维卷积神经网络模型的气象时序特征提取器以得到训练气象时序特征向量；训练市场交易时序关联特征提取模块240，用于将所述预定时间段内多天的待预测农产品的训练市场交易数据按照时间维度排列为训练市场交易数据时序输入向量后通过所述基于一维卷积神经网络模型的市场交易数据时序特征提取器以得到训练市场交易时序特征向量；训练特征融合模块250，用于使用级联函数来融合所述训练气象时序特征向量和所述训练市场交易时序特征向量以得到训练解码特征向量；解码损失模块260，用于将所述训练解码特征向量通过所述解码器以得到解码损失函数值；以及，模型训练模块270，用于基于所述解码损失函数值并通过梯度下降的方向传播来对所述基于一维卷积神经网络模型的气象时序特征提取器、所述基于一维卷积神经网络模型的市场交易数据时序特征提取器和所述解码器进行训练，其中，在所述训练的每一轮迭代中，对所述解码器的权重矩阵进行权重本征支持的半空间结构化约束迭代。
[0056]
可选地，在本技术一实施例中，所述解码损失模块，包括：训练解码单元，用于使用所述解码器以如下公式对所述训练解码特征向量进行解码回归以得到训练解码值；其中，所述公式为其中，x是所述训练解码特征向量，y是所述训练解码值，w是权重矩阵，表示矩阵乘法，以及，损失函数计算单元，用于计算所述训练解码值和所述待预测农产品的价格预测值的真实值之间的均方差以得到解码损失函数值。
[0057]
特别地，在本技术的技术方案中，考虑到所述气象时序特征向量和所述市场交易时序特征向量分别表达气象数据的独热编码和市场交易数据的时序局部关联特征，在使用级联函数融合所述气象时序特征向量和所述市场交易时序特征向量时，可能由于点卷积操作分别相对于所述气象时序特征向量和所述市场交易时序特征向量的拟合差异，例如过拟合或者欠拟合，导致待进行级联操作的所述气象时序特征向量和所述市场交易时序特征向量各自的特征分布相对于解码器的权重矩阵对应的部分具有不同的权重拟合方向，这样，级联后得到的所述解码特征向量的整体特征分布相对于解码器的权重矩阵会具有收敛性差的问题，从而影响解码器的训练速度。基于此，本技术的申请人在所述解码特征向量，例如记为v的训练过程中，在每次解码器的权重矩阵，例如记为m的迭代过程中，对权重矩阵m进行权重本征支持的半空间结构化约束。
[0058]
可选地，在本技术一实施例中，在所述训练的每一轮迭代中，以如下优化公式对所述解码器的权重矩阵进行权重本征支持的半空间结构化约束迭代；其中，所述优化公式为：
[0059][0060]
其中m是所述解码器的权重矩阵，ve是矩阵m
t
m的本征值组成的本征集合向量，和分别表示矩阵乘法和加法，m
′
表示迭代后的所述解码器的权重矩阵。
[0061]
这里，所述权重本征支持的半空间结构化约束以所述解码器的权重矩阵m的结构
化矩阵的本征值集合与待解码的解码特征向量v的关联性集成作为支持，来对所述权重矩阵m表示的用于与所述待解码的解码特征向量v的高维流形相耦合的半空间(half-space)进行作为决策边界的超平面的结构化支持约束，以使得所述待解码的解码特征向量v的高维流形能够在所述权重矩阵m表示的半空间开放域内相对于超平面有效收敛，从而改进解码器的训练速度。这样，能够准确地进行农产品的价格预测，并对于价格过高的农产品进行价格预警，从而确保农产品的市场价格稳定，为政府进行宏观调控和农民指定生产策略提供有力支持。
[0062]
综上，本技术提供的一种基于大数据分析的农产品市场价格预警管理系统，其基于待预测农产品的市场交易数据和气象数据来构建农产品市场价格预测模型，以生成农产品市场价格预警信息，具体地，其通过人工智能技术来获取所述气象数据的时序动态变化特征和所述待预测农产品的市场交易数据的时序动态变化特征之间的时序协同关联特征信息的充分表达，以此来准确地进行农产品的价格预测，从而对于价格过高的农产品进行价格预警，进而确保农产品的市场价格稳定，为政府进行宏观调控和农民指定生产策略提供有力支持。
[0063]
图3是本技术实施例的基于大数据分析的农产品市场价格预警管理方法的示意性流程图。如图3所示，该方法包括：s110，获取预定时间段内多天的气象数据和待预测农产品的市场交易数据；s120，分别对所述各天的气象数据进行独热编码以得到多个气象数据独热编码向量；s130，将所述多个气象数据独热编码向量排列为一维输入向量后通过基于一维卷积神经网络模型的气象时序特征提取器以得到气象时序特征向量；s140，将所述预定时间段内多天的待预测农产品的市场交易数据按照时间维度排列为市场交易数据时序输入向量后通过基于一维卷积神经网络模型的市场交易数据时序特征提取器以得到市场交易时序特征向量；s150，使用级联函数来融合所述气象时序特征向量和所述市场交易时序特征向量以得到解码特征向量；s160，将所述解码特征向量通过解码器进行解码回归以得到解码值，所述解码值用于表示所述待预测农产品的价格预测值；以及，s170，基于所述解码值与预定阈值之间的比较，确定是否生成价格预警提示信息。
[0064]
图4是本技术实施例的基于大数据分析的农产品市场价格预警管理方法的模型架构的示意图。如图4所示，所述模型架构的输入为预定时间段内多天的气象数据和待预测农产品的市场交易数据。首先，分别对所述各天的气象数据进行独热编码以得到多个气象数据独热编码向量吗，并将所述多个气象数据独热编码向量排列为一维输入向量后通过基于一维卷积神经网络模型的气象时序特征提取器以得到气象时序特征向量。同时，将所述预定时间段内多天的待预测农产品的市场交易数据按照时间维度排列为市场交易数据时序输入向量后通过基于一维卷积神经网络模型的市场交易数据时序特征提取器以得到市场交易时序特征向量。然后，使用级联函数来融合所述气象时序特征向量和所述市场交易时序特征向量以得到解码特征向量。接着，将所述解码特征向量通过解码器进行解码回归以得到解码值，所述解码值用于表示所述待预测农产品的价格预测值。最后，基于所述解码值与预定阈值之间的比较，确定是否生成价格预警提示信息。
[0065]
可选地，在本技术一实施例中，将所述多个气象数据独热编码向量排列为一维输入向量后通过基于一维卷积神经网络模型的气象时序特征提取器以得到气象时序特征向量，包括：使用所述基于一维卷积神经网络模型的气象时序特征提取器的各层在层的正向
传递中对输入数据分别进行：对所述输入数据进行基于一维卷积核的卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化处理以得到池化特征图；对所述池化特征图进行非线性激活以得到激活特征图；其中，所述气象时序特征提取器的第一层的输入为所述一维输入向量，所述气象时序特征提取器的最后一层的输出为所述气象时序特征向量。
[0066]
可选地，在本技术一实施例中，所述市场交易时序关联特征提取模块，用于：使用所述基于一维卷积神经网络模型的市场交易数据时序特征提取器的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于一维卷积核的卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化处理以得到池化特征图；对所述池化特征图进行非线性激活以得到激活特征图；其中，所述市场交易数据时序特征提取器的第一层的输入为所述市场交易数据时序输入向量后，所述市场交易数据时序特征提取器的最后一层的输出为所述市场交易时序特征向量。
[0067]
可选地，在本技术一实施例中，将所述预定时间段内多天的待预测农产品的市场交易数据按照时间维度排列为市场交易数据时序输入向量后通过基于一维卷积神经网络模型的市场交易数据时序特征提取器以得到市场交易时序特征向量，包括：使用如下级联函数来融合所述气象时序特征向量和所述市场交易时序特征向量以得到解码特征向量；其中，所述级联函数为：
[0068]
f(xi,xj)＝relu(wf[θ(xi),φ(xj)])
[0069]
其中，xi表示所述气象时序特征向量，θ(xi)表示对所述气象时序特征向量进行点卷积，xj表示所述市场交易时序特征向量，φ(xj)表示对所述市场交易时序特征向量进行点卷积，wf表示对输入进行点卷积，relu为激活函数，[]表示拼接操作，f(xi,xj)表示所述解码特征向量。
[0070]
图5是本技术实施例的基于大数据分析的农产品市场价格预警管理方法中训练阶段的示意性流程图。如图5所示，所述基于大数据分析的农产品市场价格预警管理方法还包括用于对所述基于一维卷积神经网络模型的气象时序特征提取器、所述基于一维卷积神经网络模型的市场交易数据时序特征提取器和所述解码器进行训练的训练阶段。所述训练阶段，包括：s210，训练数据采集模块，用于获取训练数据，所述训练数据包括预定时间段内多天的训练气象数据和待预测农产品的训练市场交易数据，以及，所述待预测农产品的价格预测值的真实值；s220，训练独热编码模块，用于分别对所述各天的训练气象数据进行独热编码以得到多个训练气象数据独热编码向量；s230，训练气象时序关联特征提取模块，用于将所述多个训练气象数据独热编码向量排列为训练一维输入向量后通过所述基于一维卷积神经网络模型的气象时序特征提取器以得到训练气象时序特征向量；s240，训练市场交易时序关联特征提取模块，用于将所述预定时间段内多天的待预测农产品的训练市场交易数据按照时间维度排列为训练市场交易数据时序输入向量后通过所述基于一维卷积神经网络模型的市场交易数据时序特征提取器以得到训练市场交易时序特征向量；s250，训练特征融合模块，用于使用级联函数来融合所述训练气象时序特征向量和所述训练市场交易时序特征向量以得到训练解码特征向量；s260，解码损失模块，用于将所述训练解码特征向量通过所述解码器以得到解码损失函数值；s270，模型训练模块，用于基于所述解码损失函数值并通过梯度下降的方向传播来对所述基于一维卷积神经网络模型的气象时序特征提
取器、所述基于一维卷积神经网络模型的市场交易数据时序特征提取器和所述解码器进行训练，其中，在所述训练的每一轮迭代中，对所述解码器的权重矩阵进行权重本征支持的半空间结构化约束迭代。
[0071]
图6是本技术实施例的基于大数据分析的农产品市场价格预警管理方法中训练阶段的模型架构的示意图。如图6所示，所述训练阶段的模型架构的输入为预定时间段内多天的训练气象数据和待预测农产品的训练市场交易数据，以及，所述待预测农产品的价格预测值的真实值。首先，分别对所述各天的训练气象数据进行独热编码以得到多个训练气象数据独热编码向量，并将所述多个训练气象数据独热编码向量排列为训练一维输入向量后通过所述基于一维卷积神经网络模型的气象时序特征提取器以得到训练气象时序特征向量。同时，将所述预定时间段内多天的待预测农产品的训练市场交易数据按照时间维度排列为训练市场交易数据时序输入向量后通过所述基于一维卷积神经网络模型的市场交易数据时序特征提取器以得到训练市场交易时序特征向量。然后，使用级联函数来融合所述训练气象时序特征向量和所述训练市场交易时序特征向量以得到训练解码特征向量。接着，将所述训练解码特征向量通过所述解码器以得到解码损失函数值。最后，基于所述解码损失函数值并通过梯度下降的方向传播来对所述基于一维卷积神经网络模型的气象时序特征提取器、所述基于一维卷积神经网络模型的市场交易数据时序特征提取器和所述解码器进行训练，其中，在所述训练的每一轮迭代中，对所述解码器的权重矩阵进行权重本征支持的半空间结构化约束迭代。
[0072]
可选地，在本技术一实施例中，所述解码损失模块，包括：使用所述解码器以如下公式对所述训练解码特征向量进行解码回归以得到训练解码值；
[0073]
其中，所述公式为其中，x是所述训练解码特征向量，y是所述训练解码值，w是权重矩阵，表示矩阵乘法，以及，计算所述训练解码值和所述待预测农产品的价格预测值的真实值之间的均方差以得到解码损失函数值。
[0074]
可选地，在本技术一实施例中，在所述训练的每一轮迭代中，以如下优化公式对所述解码器的权重矩阵进行权重本征支持的半空间结构化约束迭代；
[0075]
其中，所述优化公式为：
[0076][0077]
其中m是所述解码器的权重矩阵，ve是矩阵m
t
m的本征值组成的本征集合向量，和分别表示矩阵乘法和加法，m
′
表示迭代后的所述解码器的权重矩阵。
[0078]
可选地，在本技术一实施例中，响应于所述解码值大于所述预定阈值，生成价格预警提示信息。
[0079]
这里，本领域技术人员可以理解，上述基于大数据分析的农产品市场价格预警管理方法中的各个步骤的具体操作已经在上面参考图1到图5的基于大数据分析的农产品市场价格预警管理系统的描述中得到了详细介绍，并因此，将省略其重复描述。
[0080]
本发明实施例还提供一种芯片系统，芯片系统包括至少一个处理器，当程序指令在该至少一个处理器中执行时，使得本技术实施例提供的方法得以实现。
[0081]
本发明实施例还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得，该计算机执行上述方法实施例的方法。
[0082]
本发明实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
[0083]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0084]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0085]
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0086]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0087]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

技术特征：
1.一种基于大数据分析的农产品市场价格预警管理系统，其特征在于，包括：数据采集模块，用于获取预定时间段内多天的气象数据和待预测农产品的市场交易数据；独热编码模块，用于分别对所述各天的气象数据进行独热编码以得到多个气象数据独热编码向量；气象时序关联特征提取模块，用于将所述多个气象数据独热编码向量排列为一维输入向量后通过基于一维卷积神经网络模型的气象时序特征提取器以得到气象时序特征向量；市场交易时序关联特征提取模块，用于将所述预定时间段内多天的待预测农产品的市场交易数据按照时间维度排列为市场交易数据时序输入向量后通过基于一维卷积神经网络模型的市场交易数据时序特征提取器以得到市场交易时序特征向量；特征融合模块，用于使用级联函数来融合所述气象时序特征向量和所述市场交易时序特征向量以得到解码特征向量；价格预测模块，用于将所述解码特征向量通过解码器进行解码回归以得到解码值，所述解码值用于表示所述待预测农产品的价格预测值；以及价格预警模块，用于基于所述解码值与预定阈值之间的比较，确定是否生成价格预警提示信息。2.根据权利要求1所述的基于区块链的数据处理方法，其特征在于，所述气象时序关联特征提取模块，用于：使用所述基于一维卷积神经网络模型的气象时序特征提取器的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于一维卷积核的卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化处理以得到池化特征图；对所述池化特征图进行非线性激活以得到激活特征图；其中，所述气象时序特征提取器的第一层的输入为所述一维输入向量，所述气象时序特征提取器的最后一层的输出为所述气象时序特征向量。3.根据权利要求2所述的基于区块链的数据处理方法，其特征在于，所述市场交易时序关联特征提取模块，用于：使用所述基于一维卷积神经网络模型的市场交易数据时序特征提取器的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于一维卷积核的卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化处理以得到池化特征图；对所述池化特征图进行非线性激活以得到激活特征图；其中，所述市场交易数据时序特征提取器的第一层的输入为所述市场交易数据时序输入向量后，所述市场交易数据时序特征提取器的最后一层的输出为所述市场交易时序特征向量。4.根据权利要求3所述的基于区块链的数据处理方法，其特征在于，所述特征融合模块，用于：使用如下级联函数来融合所述气象时序特征向量和所述市场交易时序特征向量以得到解码特征向量；其中，所述级联函数为：f(x
i
,x
j
)＝relu(w
f
[θ(x
i
),φ(x
j
)])其中，x
i
表示所述气象时序特征向量，θ(x
i
)表示对所述气象时序特征向量进行点卷积，
x
j
表示所述市场交易时序特征向量，φ(x
j
)表示对所述市场交易时序特征向量进行点卷积，w
f
表示对输入进行点卷积，relu为激活函数，[]表示拼接操作，f(x
i
,x
j
)表示所述解码特征向量。5.根据权利要求4所述的基于区块链的数据处理方法，其特征在于，还包括用于对所述基于一维卷积神经网络模型的气象时序特征提取器、所述基于一维卷积神经网络模型的市场交易数据时序特征提取器和所述解码器进行训练的训练模块。6.根据权利要求5所述的基于区块链的数据处理方法，其特征在于，所述训练模块，包括：训练数据采集模块，用于获取训练数据，所述训练数据包括预定时间段内多天的训练气象数据和待预测农产品的训练市场交易数据，以及，所述待预测农产品的价格预测值的真实值；训练独热编码模块，用于分别对所述各天的训练气象数据进行独热编码以得到多个训练气象数据独热编码向量；训练气象时序关联特征提取模块，用于将所述多个训练气象数据独热编码向量排列为训练一维输入向量后通过所述基于一维卷积神经网络模型的气象时序特征提取器以得到训练气象时序特征向量；训练市场交易时序关联特征提取模块，用于将所述预定时间段内多天的待预测农产品的训练市场交易数据按照时间维度排列为训练市场交易数据时序输入向量后通过所述基于一维卷积神经网络模型的市场交易数据时序特征提取器以得到训练市场交易时序特征向量；训练特征融合模块，用于使用级联函数来融合所述训练气象时序特征向量和所述训练市场交易时序特征向量以得到训练解码特征向量；解码损失模块，用于将所述训练解码特征向量通过所述解码器以得到解码损失函数值；模型训练模块，用于基于所述解码损失函数值并通过梯度下降的方向传播来对所述基于一维卷积神经网络模型的气象时序特征提取器、所述基于一维卷积神经网络模型的市场交易数据时序特征提取器和所述解码器进行训练，其中，在所述训练的每一轮迭代中，对所述解码器的权重矩阵进行权重本征支持的半空间结构化约束迭代。7.根据权利要求6所述的基于区块链的数据处理方法，其特征在于，所述解码损失模块，包括：训练解码单元，用于使用所述解码器以如下公式对所述训练解码特征向量进行解码回归以得到训练解码值；其中，所述公式为其中，x是所述训练解码特征向量，y是所述训练解码值，w是权重矩阵，表示矩阵乘法，以及损失函数计算单元，用于计算所述训练解码值和所述待预测农产品的价格预测值的真实值之间的均方差以得到解码损失函数值。8.根据权利要求7所述的基于区块链的数据处理方法，其特征在于，在所述训练的每一轮迭代中，以如下优化公式对所述解码器的权重矩阵进行权重本征支持的半空间结构化约束迭代；
其中，所述优化公式为：其中m是所述解码器的权重矩阵，v
e
是矩阵m
t
m的本征值组成的本征集合向量，和分别表示矩阵乘法和加法，m
′
表示迭代后的所述解码器的权重矩阵。9.根据权利要求8所述的基于区块链的数据处理方法，其特征在于，响应于所述解码值大于所述预定阈值，生成价格预警提示信息。10.一种基于大数据分析的农产品市场价格预警管理方法，其特征在于，包括：获取预定时间段内多天的气象数据和待预测农产品的市场交易数据；分别对所述各天的气象数据进行独热编码以得到多个气象数据独热编码向量；将所述多个气象数据独热编码向量排列为一维输入向量后通过基于一维卷积神经网络模型的气象时序特征提取器以得到气象时序特征向量；将所述预定时间段内多天的待预测农产品的市场交易数据按照时间维度排列为市场交易数据时序输入向量后通过基于一维卷积神经网络模型的市场交易数据时序特征提取器以得到市场交易时序特征向量；使用级联函数来融合所述气象时序特征向量和所述市场交易时序特征向量以得到解码特征向量；将所述解码特征向量通过解码器进行解码回归以得到解码值，所述解码值用于表示所述待预测农产品的价格预测值；以及基于所述解码值与预定阈值之间的比较，确定是否生成价格预警提示信息。

技术总结
本申请涉及市场管理技术领域，其具体地公开了一种基于大数据分析的农产品市场价格预警管理系统及方法，其基于待预测农产品的市场交易数据和气象数据来构建农产品市场价格预测模型，以生成农产品市场价格预警信息，具体地，其通过人工智能技术来获取所述气象数据的时序动态变化特征和所述待预测农产品的市场交易数据的时序动态变化特征之间的时序协同关联特征信息的充分表达，以此来准确地进行农产品的价格预测，从而对于价格过高的农产品进行价格预警，进而确保农产品的市场价格稳定，为政府进行宏观调控和农民指定生产策略提供有力支持。有力支持。有力支持。


技术研发人员：杨景榆 湛碧琨 张峻华 庾莎菲
受保护的技术使用者：东莞市卓承文化发展有限公司
技术研发日：2023.05.31
技术公布日：2023/8/31