一种高效深度学习气象预测模型的构建方法

1.本发明涉及气象预测技术领域，尤其涉及一种高效深度学习气象预测模型的构建方法。


背景技术：

2.伴随着计算机技术的迅猛发展，深度学习开启了人工智能新时代。以深度学习为代表，伴随其在计算机视觉、语音识别、自然语言处理等领域取得的突破性进展，新技术创新带来的不仅是挑战，同时也给气象预测技术的发展带来了机遇。天气现象与人类的生产生活、社会经济、军事活动等方方面面都密切相关，天气直接影响着每个生物体的健康；伴随信息存储、传感器探测等技术的不断提高，气象装备日益丰富，气象部门能收集的气象数据资料越来越多，内容与种类也越来越丰富，这对于气象大数据分析处理技术提出了更高的标准。对于高分辨率、短时精细化气象预报技术研究，是未来天气预报发展的方向；因此，发明出一种高效深度学习气象预测模型的构建方法变得尤为重要。
3.现有的气象预测模型的构建方法无法使气象大数据能在有限系统资源下高效运行，同时数据容易存在冗，无法保证数据的质量；此外，现有的气象预测模型的构建方法模型构建效率低下，操作难度较高，且参数精准性低；为此，我们提出一种高效深度学习气象预测模型的构建方法。


技术实现要素：

4.本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种高效深度学习气象预测模型的构建方法。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种高效深度学习气象预测模型的构建方法，该构建方法具体步骤如下：
7.(1)对原始气象数据并对其进行数据预处理；
8.(2)分析处理后的原始气象数据相关性并记录；
9.(3)依据处理后的各组数据构建预测气象模型；
10.(4)收集气象预测模型预测数据并进行区块化存储；
11.(5)采集并分析管理平台所存储的操作日志。
12.作为本发明的进一步方案，步骤(1)中所述数据预处理具体步骤如下：
13.步骤一：对不同接口进行梳理，并获取各组原始气象数据异同的原因，同时依据梳理结果获判断各组数据的数据源信息，依据不同数据源对采集到的各组原始气象数据进行分类；
14.步骤二：当存在缺损值时，将该值替换成前后两个值的平均值或是某一时间区间的均值；当存在奇异值，则将该值重置为前后值或一段时间内的平均值；当存在非数值型数字时，则对该数据进行数据格式编码；
15.步骤三：通过编码转换以及格式处理对原始气象数据进行数据清洗，再对清洗后
的数据进行特征降维处理，并通过z-score标准化方法对原始气象数据进行标准化处理以获取样本数据。
16.作为本发明的进一步方案，步骤三中所述z-score标准化方法具体计算公式如下：
[0017][0018][0019]
式中，σ为原始气象数据的标准差；vn为原始气象数据的数据偏差；x表示原始气象数据的特征参数；代表所有原始气象数据的平均值。
[0020]
作为本发明的进一步方案，步骤(2)中所述原始气象数据相关性分析具体步骤如下：
[0021]
步骤ⅰ：初始化多维候选变量集以及等输出转换特征集，之后再通过先验知识与互信息法对各组样本数据的特征属性进行筛选；
[0022]
步骤ⅱ：比较各组特征属性的最大信息系数来确定属性间的关联度，并选取出关联度比较高的特征属性进行保留，不断重复上述步骤，直至最终结果满足mmifs评价标准，然后输出经过筛选后的等输出转换特征集。
[0023]
作为本发明的进一步方案，步骤ⅱ中所述最大信息系数具体计算公式如下：
[0024][0025]
式中，u以及v分别代表不同特征属性，p(u,v)为两组边缘概率p(u)以及p(v)的联合概率；
[0026]
步骤ⅱ中所述mmifs评价标准具体计算公式如下：
[0027][0028]
式中，β代表评价相关与冗余性的度量参数，g为输出值。
[0029]
作为本发明的进一步方案，步骤(3)中所述预测气象模型具体构建步骤如下：
[0030]
步骤
①
：设置一组卷积神经网络，之后将筛选出的特征属性划分为训练集以及测试集，再将训练集作为输入传输至该卷积神经网络中，并获取输出层为隐节点的线性组合，再采用最小二乘法定义该卷积神经网络多轮学习后的能量函数；
[0031]
步骤
②
：当能量函数小于目标误差时，训练过程结束并输出预测气象模型，再将测试集导入预测气象模型中进行测试，并计算该预测气象模型损失值，若损失值不满足期望值，则在该预测气象模型的规定区间内初始化网络连接权值，之后从训练时的输入以及输出对的集合中提交训练样本，并计算该预测气象模型的输出，在比较期望的网络输出与实际的网络输出，同时计算所有神经元的局部误差；
[0032]
步骤
③
：当局部误差超出工作人员预设阈值后，依据学习规则方程对该预测气象模型的权值进行训练以及更新，并依据预设的学习率以及步长列出所有可能的数据结果，
同时对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练测试模型后对测试集进行检测，并统计检测结果的均方根误差；
[0033]
步骤
④
：将测试集更换为另一子集，再取剩余子集作为训练集，再次统计均方根误差，直至对所有数据都进行一次预测，通过选取均方根误差最小时对应的组合参数作为数据区间内最优的参数并替换预测气象模型原有参数。
[0034]
作为本发明的进一步方案，步骤(4)中所述区块化存储具体步骤如下：
[0035]
第一步：将预测数据预处理成符合条件的区块，在该区块入网时，区块链网络中各节点生成本地的公私钥对作为自己在网络中的标识码，当某一节点等待本地角色成为候选节点时，向网络中其他节点广播领导申请并发送；
[0036]
第二步：当该候选节点成为领导节点后，其他节点成为跟随节点，之后领导节点广播区块记录信息，跟随节点收到信息以后向其他跟随节点广播收到的信息并记录重复次数，并使用重复次数最多的信息生成区块头；
[0037]
第三步：向领导节点发送验证申请，验证通过后，领导节点发送添加命令并进入沉睡期，跟随节点收到确认信息后,将新生成的各组区块添加至区块链上并返回候选身份。
[0038]
作为本发明的进一步方案，步骤(5)中所述操作日志具体的分析步骤如下：
[0039]
第ⅰ步：在不同的系统的管理平台上部署相关的日志采集插件或者通过syslog服务器获取管理平台中所记录的操作日志，并筛选出满足预设条件的操作日志；
[0040]
第ⅱ步：将筛选出的操作日志处理为统一格式的日志数据，再将处理后的操作日志中记录的操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息；
[0041]
第ⅲ步：对各告警信息风险分数进行计算并输出计算结果，之后将该告警信息反馈给相关维护人员，并中断相关操作进程。
[0042]
相比于现有技术，本发明的有益效果在于：
[0043]
1、该高效深度学习气象预测模型的构建方法相较于以往的构建方法，本发明通过依据不同数据源对采集到的各组原始气象数据进行分类，同时针对存在缺损值、奇异值以及非数值型数字的数据进行相应处理。之后通过编码转换以及格式处理对原始气象数据进行数据清洗，再对清洗后的数据进行特征降维处理以及标准化处理，之后初始化多维候选变量集以及等输出转换特征集，之后再通过先验知识与互信息法对各组样本数据的特征属性进行筛选，比较各组特征属性的最大信息系数来确定属性间的关联度，并选取出关联度比较高的特征属性进行保留，不断重复上述步骤，直至最终结果满足mmifs评价标准，然后输出经过筛选后的等输出转换特征集，能够使气象大数据能在有限系统资源下高效运行，同时有效地剔除了无关属性，精减了数据，为后继模型构建提供了优质数据来源。
[0044]
2、该高效深度学习气象预测模型的构建方法通过将筛选出的特征属性划分为训练集以及测试集，再将训练集传输至该卷积神经网络中以获取相关线性组合，之后当能量函数满足预设条件后，训练过程结束并输出预测气象模型，再将测试集导入预测气象模型中进行测试，并计算该预测气象模型损失值，若损失值不满足期望值，则在该预测气象模型的规定区间内初始化网络连接权值，之后比较期望的网络输出与实际的网络输出，同时计算所有神经元的局部误差，当局部误差超出预设阈值后，对该预测气象模型的权值进行训练以及更新，并获取所有可能的数据结果，再通过交叉验证法选取均方根误差最小时对应的组合参数作为数据区间内最优的参数并替换预测气象模型原有参数，能够自行建模与寻
参，减少工作人员工作量，提高模型构建效率，降低操作难度，提高使用体验，同时提高参数精准性，保障了气象预测准确性。
附图说明
[0045]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0046]
图1为本发明提出的一种高效深度学习气象预测模型的构建方法的流程框图。
具体实施方式
[0047]
实施例1
[0048]
参照图1，一种高效深度学习气象预测模型的构建方法，该构建方法具体步骤如下：
[0049]
对原始气象数据并对其进行数据预处理。
[0050]
具体的，对不同接口进行梳理，并获取各组原始气象数据异同的原因，同时依据梳理结果获判断各组数据的数据源信息，依据不同数据源对采集到的各组原始气象数据进行分类，当存在缺损值时，将该值替换成前后两个值的平均值或是某一时间区间的均值；当存在奇异值，则将该值重置为前后值或一段时间内的平均值；当存在非数值型数字时，则对该数据进行数据格式编码，通过编码转换以及格式处理对原始气象数据进行数据清洗，再对清洗后的数据进行特征降维处理，并通过z-score标准化方法对原始气象数据进行标准化处理以获取样本数据。
[0051]
具体的，z-score标准化方法具体计算公式如下：
[0052][0053][0054]
式中，σ为原始气象数据的标准差；vn为原始气象数据的数据偏差；x表示原始气象数据的特征参数；代表所有原始气象数据的平均值。
[0055]
分析处理后的原始气象数据相关性并记录。
[0056]
具体的，初始化多维候选变量集以及等输出转换特征集，之后再通过先验知识与互信息法对各组样本数据的特征属性进行筛选，比较各组特征属性的最大信息系数来确定属性间的关联度，并选取出关联度比较高的特征属性进行保留，不断重复上述步骤，直至最终结果满足mmifs评价标准，然后输出经过筛选后的等输出转换特征集。
[0057]
本实施例中，最大信息系数具体计算公式如下：
[0058][0059]
式中，u以及v分别代表不同特征属性，p(u,v)为两组边缘概率p(u)以及p(v)的联合概率；
[0060]
mmifs评价标准具体计算公式如下：
[0061][0062]
式中，β代表评价相关与冗余性的度量参数，g为输出值。
[0063]
依据处理后的各组数据构建预测气象模型。
[0064]
具体的，设置一组卷积神经网络，之后将筛选出的特征属性划分为训练集以及测试集，再将训练集作为输入传输至该卷积神经网络中，并获取输出层为隐节点的线性组合，再采用最小二乘法定义该卷积神经网络多轮学习后的能量函数，当能量函数小于目标误差时，训练过程结束并输出预测气象模型，再将测试集导入预测气象模型中进行测试，并计算该预测气象模型损失值，若损失值不满足期望值，则在该预测气象模型的规定区间内初始化网络连接权值，之后从训练时的输入以及输出对的集合中提交训练样本，并计算该预测气象模型的输出，在比较期望的网络输出与实际的网络输出，同时计算所有神经元的局部误差，当局部误差超出工作人员预设阈值后，依据学习规则方程对该预测气象模型的权值进行训练以及更新，并依据预设的学习率以及步长列出所有可能的数据结果，同时对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练测试模型后对测试集进行检测，并统计检测结果的均方根误差，将测试集更换为另一子集，再取剩余子集作为训练集，再次统计均方根误差，直至对所有数据都进行一次预测，通过选取均方根误差最小时对应的组合参数作为数据区间内最优的参数并替换预测气象模型原有参数。
[0065]
实施例2
[0066]
参照图1，一种高效深度学习气象预测模型的构建方法，该构建方法具体步骤如下：
[0067]
收集气象预测模型预测数据并进行区块化存储。
[0068]
具体的，将预测数据预处理成符合条件的区块，在该区块入网时，区块链网络中各节点生成本地的公私钥对作为自己在网络中的标识码，当某一节点等待本地角色成为候选节点时，向网络中其他节点广播领导申请并发送，当该候选节点成为领导节点后，其他节点成为跟随节点，之后领导节点广播区块记录信息，跟随节点收到信息以后向其他跟随节点广播收到的信息并记录重复次数，并使用重复次数最多的信息生成区块头，向领导节点发送验证申请，验证通过后，领导节点发送添加命令并进入沉睡期，跟随节点收到确认信息后,将新生成的各组区块添加至区块链上并返回候选身份。
[0069]
采集并分析管理平台所存储的操作日志。
[0070]
具体的，在不同的系统的管理平台上部署相关的日志采集插件或者通过syslog服务器获取管理平台中所记录的操作日志，并筛选出满足预设条件的操作日志，将筛选出的操作日志处理为统一格式的日志数据，再将处理后的操作日志中记录的操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息，对各告警信息风险分数进行计算并输出计算结果，之后将该告警信息反馈给相关维护人员，并中断相关操作进程。

技术特征：
1.一种高效深度学习气象预测模型的构建方法，其特征在于，该构建方法具体步骤如下：(1)对原始气象数据并对其进行数据预处理；(2)分析处理后的原始气象数据相关性并记录；(3)依据处理后的各组数据构建预测气象模型；(4)收集气象预测模型预测数据并进行区块化存储；(5)采集并分析管理平台所存储的操作日志。2.根据权利要求1所述的一种高效深度学习气象预测模型的构建方法，其特征在于，步骤(1)中所述数据预处理具体步骤如下：步骤一：对不同接口进行梳理，并获取各组原始气象数据异同的原因，同时依据梳理结果获判断各组数据的数据源信息，依据不同数据源对采集到的各组原始气象数据进行分类；步骤二：当存在缺损值时，将该值替换成前后两个值的平均值或是某一时间区间的均值；当存在奇异值，则将该值重置为前后值或一段时间内的平均值；当存在非数值型数字时，则对该数据进行数据格式编码；步骤三：通过编码转换以及格式处理对原始气象数据进行数据清洗，再对清洗后的数据进行特征降维处理，并通过z-score标准化方法对原始气象数据进行标准化处理以获取样本数据。3.根据权利要求2所述的一种高效深度学习气象预测模型的构建方法，其特征在于，步骤三中所述z-score标准化方法具体计算公式如下：score标准化方法具体计算公式如下：式中，σ为原始气象数据的标准差；v
n
为原始气象数据的数据偏差；x表示原始气象数据的特征参数；代表所有原始气象数据的平均值。4.根据权利要求2所述的一种高效深度学习气象预测模型的构建方法，其特征在于，步骤(2)中所述原始气象数据相关性分析具体步骤如下：步骤ⅰ：初始化多维候选变量集以及等输出转换特征集，之后再通过先验知识与互信息法对各组样本数据的特征属性进行筛选；步骤ⅱ：比较各组特征属性的最大信息系数来确定属性间的关联度，并选取出关联度比较高的特征属性进行保留，不断重复上述步骤，直至最终结果满足mmifs评价标准，然后输出经过筛选后的等输出转换特征集。5.根据权利要求4所述的一种高效深度学习气象预测模型的构建方法，其特征在于，步骤ⅱ中所述最大信息系数具体计算公式如下：
式中，u以及v分别代表不同特征属性，p(u,v)为两组边缘概率p(u)以及p(v)的联合概率；步骤ⅱ中所述mmifs评价标准具体计算公式如下：式中，β代表评价相关与冗余性的度量参数，g为输出值。6.根据权利要求4所述的一种高效深度学习气象预测模型的构建方法，其特征在于，步骤(3)中所述预测气象模型具体构建步骤如下：步骤
①
：设置一组卷积神经网络，之后将筛选出的特征属性划分为训练集以及测试集，再将训练集作为输入传输至该卷积神经网络中，并获取输出层为隐节点的线性组合，再采用最小二乘法定义该卷积神经网络多轮学习后的能量函数；步骤
②
：当能量函数小于目标误差时，训练过程结束并输出预测气象模型，再将测试集导入预测气象模型中进行测试，并计算该预测气象模型损失值，若损失值不满足期望值，则在该预测气象模型的规定区间内初始化网络连接权值，之后从训练时的输入以及输出对的集合中提交训练样本，并计算该预测气象模型的输出，在比较期望的网络输出与实际的网络输出，同时计算所有神经元的局部误差；步骤
③
：当局部误差超出工作人员预设阈值后，依据学习规则方程对该预测气象模型的权值进行训练以及更新，并依据预设的学习率以及步长列出所有可能的数据结果，同时对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练测试模型后对测试集进行检测，并统计检测结果的均方根误差；步骤
④
：将测试集更换为另一子集，再取剩余子集作为训练集，再次统计均方根误差，直至对所有数据都进行一次预测，通过选取均方根误差最小时对应的组合参数作为数据区间内最优的参数并替换预测气象模型原有参数。7.根据权利要求1所述的一种高效深度学习气象预测模型的构建方法，其特征在于，步骤(4)中所述区块化存储具体步骤如下：第一步：将预测数据预处理成符合条件的区块，在该区块入网时，区块链网络中各节点生成本地的公私钥对作为自己在网络中的标识码，当某一节点等待本地角色成为候选节点时，向网络中其他节点广播领导申请并发送；第二步：当该候选节点成为领导节点后，其他节点成为跟随节点，之后领导节点广播区块记录信息，跟随节点收到信息以后向其他跟随节点广播收到的信息并记录重复次数，并使用重复次数最多的信息生成区块头；第三步：向领导节点发送验证申请，验证通过后，领导节点发送添加命令并进入沉睡期，跟随节点收到确认信息后,将新生成的各组区块添加至区块链上并返回候选身份。8.根据权利要求1所述的一种高效深度学习气象预测模型的构建方法，其特征在于，步骤(5)中所述操作日志具体的分析步骤如下：第ⅰ步：在不同的系统的管理平台上部署相关的日志采集插件或者通过syslog服务器获取管理平台中所记录的操作日志，并筛选出满足预设条件的操作日志；第ⅱ步：将筛选出的操作日志处理为统一格式的日志数据，再将处理后的操作日志中
记录的操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息；第ⅲ步：对各告警信息风险分数进行计算并输出计算结果，之后将该告警信息反馈给相关维护人员，并中断相关操作进程。

技术总结
本发明公开了一种高效深度学习气象预测模型的构建方法，属于气象预测技术领域，该构建方法具体步骤如下：(1)对原始气象数据并对其进行数据预处理；(2)分析处理后的原始气象数据相关性并记录；(3)依据处理后的各组数据构建预测气象模型；(4)收集气象预测模型预测数据并进行区块化存储；(5)采集并分析管理平台所存储的操作日志；本发明能够使气象大数据能在有限系统资源下高效运行，同时有效地剔除了无关属性，精减了数据，为后继模型构建提供了优质数据来源，能够自行建模与寻参，减少工作人员工作量，提高模型构建效率，降低操作难度，提高使用体验，同时提高参数精准性，保障了气象预测准确性。气象预测准确性。气象预测准确性。


技术研发人员：晏星 蒋一泽 罗娜娜
受保护的技术使用者：北京师范大学
技术研发日：2023.06.16
技术公布日：2023/9/23