一种雷达图外推预测方法、系统、设备及介质与流程

1.本发明涉及气象预测技术领域，特别是涉及一种雷达图外推预测方法、系统、设备及介质。


背景技术：

2.降水是一种动态的非线性的多时间尺度环流系统在气象上的表征，同时也是局部环流和热效应与地形和地貌相结合的产物。中国幅员辽阔，地形复杂，各地的气候差异大。特别是南方，地处季风区，往往会在夏季出现非常强的短时降雨，从而引发城市内涝和山洪泥石流等自然灾害。所以如何给出准确且快速的降水预报，是一项非常重要的工作，不光关系到水资源的开发利用，也关系到每个人的生命财产安全。雷达能够敏锐地探测降雨，一般降雨的雷达反射率因子在20～50dbz，且雷达回波越大则对应的降水强度越大。所以一种广泛应用于降水预测的方法就是：先通过历史雷达数据预测未来的雷达数据，然后再利用预测的雷达数据生成降水预测，其中的关键就在于如何准确的预测未来某一时刻的雷达数据。目前，主要采用光流法和使用时间序列预测的方法。
3.光流，顾名思义就是光的流动。比如人眼感受到的夜空中划过的流星。在计算机视觉中，定义图像中对象的移动，这个移动可以是相机移动或者物体移动引起的。具体是指，视频图像的一帧中的代表同一对象(物体)像素点移动到下一帧的移动量，使用二维向量表示，其中一个变量代表这个点横向移动，一个变量代表这个点纵向移动。光流场是一个二维矢量场，它反映了图像上每一点灰度的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场。它包含的信息即是各像素点的瞬时运动速度矢量信息。研究光流场的目的就是为了从序列图像中近似计算不能直接得到的运动场。在理想情况下，光流场对应于运动场。
4.求解光流场主要依据两条基本假设：一是亮度恒定不变。即同一目标在不同帧间运动时，其亮度不会发生改变，这是基本光流法的假定(所有光流法变种都必须满足)，用于得到光流法基本方程；二是时间连续或运动是“小运动”。即时间的变化不会引起目标位置的剧烈变化，相邻帧之间位移要比较小。同样也是光流法不可或缺的假定。通过上述假设和推导，主要可以获得如下公式：
5.i
x
u+iyv+i
t
＝0
6.其中，i
x
，iy，i
t
分别表示图像中像素点的灰度沿x,y,t方向的偏导数(t方向是指时间方向，即前后两个时刻图像中相同位置像素值的变化)，可由图像数据求得，u,v分别为光流沿x轴与y轴的速度矢量，即为所求目标。方程只有一个，而方程的未知量有两个，这种情况下无法求得u和v的确切值。此时需要引入另外的约束条件，从不同的角度引入约束条件，导致了不同光流场计算方法。按照理论基础与数学方法的区别把它们分成四种：基于梯度(微分)的方法、基于匹配的方法、基于能量(频率)的方法、基于相位的方法和神经动力学方法。
7.除了根据原理的不同来区分光流法外，还可以根据所形成的光流场中二维矢量的
疏密程度将光流法分为稠密光流与稀疏光流两种。稠密光流是一种针对图像或指定的某一片区域进行逐点匹配的图像配准方法，它计算图像上所有的点的偏移量，从而形成一个稠密的光流场。通过这个稠密的光流场，可以进行像素级别的图像配准。与稠密光流相反，稀疏光流并不对图像的每个像素点进行逐点计算。它通常需要指定一组点进行跟踪，这组点最好具有某种明显的特性，例如harris角点等，那么跟踪就会相对稳定和可靠。稀疏跟踪的计算开销比稠密跟踪小得多。
8.使用光流法外推雷达回波，主要是利用观测时两帧雷达图像之间的相对运动，来预测未来的可能雷达图像。光流指空间运动物体在观察成像平面上的像素运动瞬时速度。是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的相应关系。一般而言，光流是因为场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。实际的使用中通常是从历史雷达回波中计算出光流，然后使用光流场预测未来的变化，从而预测出未来的雷达回波图。这里计算光流的方法有很多种，比较经典的有horn-schunck算法和lucas-kanade算法。
9.如图1所示，使用光流法首先输入两张连续时刻的雷达图img_0和img_1，然后使用光流算法计算对应的光流场。假设img_0为之前图像，img_1为当前图像，通过计算img_0向img_1图像发生变化时，每个点的移动大小获得对应的光流信息，例如一个点在img_0中的坐标为(0，0)，而在img_1中坐标则为(1，1)，那么这个点的光流信息就是(1，1)，然后使用光流信息预测下一时刻的雷达图，得到预测结果，从而完成预测。
10.使用光流来预测未来图片，由于光流代表的是两帧之间的物体变化，所以无法利用更久的历史信息，所以现有的基于光流的算法在较长时间的预测精度较差，普遍低于使用convlstm和其改进的时间卷积模型。且光流法在处理边界问题上表现很差，例如整个图像都是向左移动，那么单纯利用光流来预测得到的下一帧图片，左侧表现会很差。且传统的光流算法基于公式推导，虽然适用场景广，但速度慢。
11.除了通过使用数学方法计算光流外推雷达回波图外，现在比较流行使用深度学习来预测未来雷达图，具体思想就是将降水临近预报定义为一个时空序列预测问题，其中输入和预测目标都是时空序列(雷达回波图)。得益于convlstm模型的发明，可以在很好地使用lstm结构提取时间信息的同时，使用卷积神经网络来提取空间特征。后续很多工作都是在convlstm的基础上做的改进，例如尝试让模型能够“记住”更多的历史信息，或者增加辅助模块帮助模型预测运动变化。
12.最早使用深度学习cnn解决光流估计问题的方法是iccv2015提出的flownet，并且同一团队在2017年提出了改进版本flownet2.0，是光流估计邻域最经典的文章。如图2所示，flownet的思路是使用深度学习end-to-end的网络模型解决光流估计问题，并且由于稠密光流的groundtruth为图像每个像素的光流值，人工标注光流值几乎不可能，作者通过模拟运动生成相关图像和需要预测的groundtruth。flownet2.0的改进主要体现在两个方面，一方面是通过堆叠多个flownet网络，实现coarse-to-fine的效果；另一方面是设计了适合小偏移的flownet-sd(small-displacement)，通过修改flownet中卷积核和stride的大小，使其更适合小偏移。
13.基于历史的观测数据对时空系统未来数据的预测，即时空序列预测stsf(spatiotemporal sequence forecasting)，是一个重要且有挑战性的问题。虽然很多现实
问题都可看成时空序列预测问题，并且最近很多利用机器学习来解决这一问题的工作。
14.在使用雷达回波图进行降水预测的问题上，现有的模型大多采用循环神经网络和卷积相结合的模块对时空数据进行处理。长短期记忆网络由于其独特的设计，引入“门”机制，可以很好地处理序列数据中的长期依赖问题。但是由于其设计之初，主要是为了应用于自然语言处理领域，所以并不适合处理带有空间信息的时间序列。为了解决长短期记忆网络无法适配空间序列数据这一问题，施行健在其基础上，设计了convlstm模型结构，如图3所示。
15.convlstm模型的具体计算公式如下：
[0016][0017][0018][0019][0020][0021]
其中，*代表卷积操作，代表乘积运算。所有的w和b都是神经网络在该位置的参数。例如图3左下角中w
x
和x
t
进行卷积操作*，实际上w
x
是由w
xi
，w
xf
，w
xo
，w
xc
等多个部分组成的，代表所有与x
t
进行卷积操作的神经网络参数集合。同理，w
x
代表所有与h
t-1
进行卷积操作的神经网络参数集合，包含w
hi
，w
hf
，w
ho
，w
hc
，wc代表所有与c
t-1
进行卷积操作的神经网络参数集合，包含w
ci
，w
cf
，w
co
，b包含bi，bf，bo，bc。总的来说，以w
xi
为例，w代表是神经网络的参数权重，下标x代表和变量x进行运算，i代表这是用于计算变量i。那么以第一个公式为例，w
xi
，w
hi
，w
ci
都是模型参数，分别和变量的x，h，c计算，目的是为了计算得到输出i；bi代表偏置，用于计算输出i。xi代表当前输入，而h
t-1
和c
t-1
则是上一时刻该神经网络的输出，h
t
和c
t
则是当前时刻该神经网络的输出，tanh和σ则是两种神经网络的激活函数，i，f，o则是神经网络计算中的中间值。相比于熟知的长短期记忆网络，convlstm主要是将部分乘积运算转变为卷积运算，从而能够保证不丢失空间信息的同时，提取数据中的时间信息。
[0022]
后续实验中发现，当多个convlstm堆叠之后，层与层之间相互独立，最底层就会忽略之前的时间步中的最高层的时间信息；并且层与层之间只能通过h
t
传递时间信息，而忽略了隐藏在c
t
中的信息。为了解决这一问题，最终选择了convlstm的改进结构st-lstm，具体对比如图4及图5所示。图4为st-lstm的四层堆叠结构图，图5为convlstm的四层堆叠图。在图5中每一层的网络主要使用的是图3的子结构，其中的和对应图3的输出c
t
和h
t
，即lstm的cell state和hidden state。而和的角标分别表示t时刻和第l层。x
t
代表t时刻图像的输入，而代表模型输出的对t+1时刻的预测图像。w
l
代表第l层的神经网络权重。图4的每一层的网络主要使用的是st-lstm，相较于图5中，主要是在层与层之间多个来传递信息，其计算方法可以参照下一段的计算公式。st-lstm的主要改进就是增加了信息流动，具体地，既增加了在同一时间中不同层之间的信息流动，又增加了不同时间步中信息的传承。
[0023]
st-lstm模型的具体计算公式如下，其公式和上述计算convlstm的公式相似。*代
表卷积操作，代表乘积运算。所有的w和b都是神经网络在该位置的参数。以w
xg
为例，w代表是神经网络的参数权重，下标x代表和变量x进行运算，g代表这是用于计算变量g。x
t
代表当前图像输入，而和则是上一时刻该神经网络的输出，代表上一层的神经网络输出，如果是第一层，那么就用上一时刻最后一层的m代替。和则是当前时刻该神经网络的输出，tanh和σ则是两种神经网络的激活函数，g，i，f，g'，i'，f'，o则是神经网络计算中的中间值。相较于convlstm主要是增加了m变量的输出。
[0024][0025][0026][0027][0028][0029][0030][0031][0032][0033][0034]
基于时间卷积模型的预测结果虽然精度比较高，但相较于光流法生成的图像往往比较模糊，不符合实际使用场景需要。同时模型的训练没有对雷达图中的“运动”进行直接的约束训练，只能通过预测的雷达图和真实雷达图之间计算损失值来间接约束。
[0035]
综上所述，现有的雷达图外推预测方法存在预测精度低、无法得到清晰准确的雷达图的问题。


技术实现要素：

[0036]
本发明的目的是提供一种雷达图外推预测方法、系统、设备及介质，以提高预测精度，得到更清晰准确的雷达图。
[0037]
为实现上述目的，本发明提供了如下方案：
[0038]
一种雷达图外推预测方法，包括：
[0039]
获取当前时刻的真实雷达图和上一时刻的真实雷达图；
[0040]
将当前时刻的真实雷达图和上一时刻的真实雷达图输入至雷达图外推预测模型中进行预测，得到下一时刻的预测雷达图；所述下一时刻的预测雷达图用于预测下一时刻的云层分布和降水情况；所述雷达图外推预测模型是基于光流提取网络和时空卷积网络确定的。
[0041]
可选地，所述雷达图外推预测模型包括：光流提取模块、时空卷积模块和预测模块；将当前时刻的真实雷达图和上一时刻的真实雷达图输入至雷达图外推预测模型中进行预测，得到下一时刻的预测雷达图，具体包括：
[0042]
将当前时刻的真实雷达图和上一时刻的真实雷达图输入至所述光流提取模块中进行光流提取，得到当前时刻与上一时刻之间的预测光流场；
[0043]
将当前时刻的真实雷达图输入至所述时空卷积模块中进行特征提取，得到当前时刻的时空特征图；
[0044]
将当前时刻与上一时刻之间的预测光流场和当前时刻的时空特征图输入至所述预测模块中进行预测，得到下一时刻的预测雷达图。
[0045]
可选地，雷达图外推预测模型的确定方法，具体包括：
[0046]
获取训练数据集；所述训练数据集包括若干个连续历史时刻的真实雷达图；其中，将任意三个相邻历史时刻的真实雷达图作为一个训练数据组；在一个训练数据组中，将前一时刻的真实雷达图作为第一雷达图，将中间时刻的真实雷达图作为第二雷达图，将后一时刻的真实雷达图作为第三雷达图；所述第一雷达图与所述第二雷达图构成一个第一数据对；所述第二雷达图与所述第三雷达图构成一个第二数据对；
[0047]
构建初始神经网络模型；所述初始神经网络模型包括：光流提取网络、时空卷积网络和预测网络；
[0048]
根据所述第一数据对，对所述光流提取网络进行训练，得到雷达图外推预测模型的光流提取模块；
[0049]
根据所述第一数据对、所述第二数据对和所述光流提取模块，对所述时空卷积网络和所述预测网络进行训练，得到雷达图外推预测模型的时空卷积模块和预测模块。
[0050]
可选地，根据所述第一数据对，对所述光流提取网络进行训练，得到雷达图外推预测模型的光流提取模块，具体包括：
[0051]
采用光流算法，确定所述第一数据对对应的真实光流场；
[0052]
将所述第一数据对输入至所述光流提取网络中进行光流提取，得到所述第一数据对对应的第一预测光流场；
[0053]
根据所述第一数据对对应的真实光流场和所述第一数据对对应的第一预测光流场确定第一损失值；
[0054]
以所述第一损失值最小为目标对所述光流提取网络进行训练，得到雷达图外推预测模型的光流提取模块。
[0055]
可选地，根据所述第一数据对、所述第二数据对和所述光流提取模块，对所述时空卷积网络和所述预测网络进行训练，得到雷达图外推预测模型的时空卷积模块和预测模块，具体包括：
[0056]
将所述第一数据对输入至所述光流提取模块中进行光流提取，得到所述第一数据对对应的第二预测光流场；
[0057]
将所述第二雷达图输入至所述时空卷积网络中进行特征提取，得到所述第二雷达图对应的时空特征图；
[0058]
将所述第一数据对对应的第二预测光流场和所述第二雷达图对应的时空特征图输入至所述预测网络中进行预测，得到所述第一数据对对应的预测雷达图；
[0059]
将所述第二数据对输入至所述光流提取模块中进行光流提取，得到所述第二数据对对应的第二预测光流场；
[0060]
将所述第二雷达图和所述第一数据对对应的预测雷达图输入至所述光流提取模块中进行光流提取，得到所述预测雷达图对应的第二预测光流场；
[0061]
根据所述第二数据对对应的第二预测光流场和所述预测雷达图对应的第二预测光流场确定第二损失值；
[0062]
根据所述第一数据对对应的预测雷达图和所述第三雷达图确定第三损失值；
[0063]
以所述第二损失值与所述第三损失值的和最小为目标对所述时空卷积网络和所述预测网络进行训练，得到雷达图外推预测模型的时空卷积模块和预测模块。
[0064]
可选地，所述光流提取网络为pwc-net；所述时空卷积网络为predrnn；所述预测网络为卷积神经网络。
[0065]
可选地，所述光流算法为horn-schunck算法、lucas-kanada算法、pyramidal lk算法和dis算法中的任意一种。
[0066]
一种雷达图外推预测系统，包括：
[0067]
雷达图获取模块，用于获取当前时刻的真实雷达图和上一时刻的真实雷达图；
[0068]
雷达图预测模块，用于将当前时刻的真实雷达图和上一时刻的真实雷达图输入至雷达图外推预测模型中进行预测，得到下一时刻的预测雷达图；所述下一时刻的预测雷达图用于预测下一时刻的云层分布和降水情况；所述雷达图外推预测模型是基于光流提取网络和时空卷积网络确定的。
[0069]
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的雷达图外推预测方法。
[0070]
一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的雷达图外推预测方法。
[0071]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0072]
本发明提供的雷达图外推预测方法，采用了基于光流提取网络和时空卷积网络确定的雷达图外推预测模型，能够将光流提取网络和时空卷积网络提取的信息相融合，使得模型在预测未来的雷达图时可以利用到更多的信息，提高模型预测精度；同时，由于引入光流作为模型训练的额外约束，能够让模型关注点与点之间的关系，使输出的图像更加清晰准确。
附图说明
[0073]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0074]
图1为现有的光流法的流程图；
[0075]
图2为现有的使用时间序列预测的方法的流程图；
[0076]
图3为现有的convlstm模型的结构图；
[0077]
图4为现有的st-lstm模型的四层堆叠结构图；
[0078]
图5为现有的convlstm模型的四层堆叠结构图；
[0079]
图6为本发明提供的雷达图外推预测方法的流程图；
[0080]
图7为本发明提供的雷达图外推预测模型的训练过程图；
[0081]
图8为本发明提供的光流提取模块的训练过程图；
[0082]
图9为本发明提供的时空卷积模块和预测模块的训练过程图。
具体实施方式
[0083]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0084]
本发明的目的是提供一种雷达图外推预测方法、系统、设备及介质，以提高预测精度，得到更清晰准确的雷达图。
[0085]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0086]
本发明将光流提取网络和时空卷积网络提取的信息相融合，使得模型在预测未来图像时可以利用到更多的信息，提高模型精度，同时引入光流作为训练的额外约束，让模型关注点与点之间的关系，使输出的图像更加准确，图片也更加合理。
[0087]
如图6所示，本发明提供的雷达图外推预测方法包括：
[0088]
步骤s1：获取当前时刻的真实雷达图和上一时刻的真实雷达图。
[0089]
步骤s2：将当前时刻的真实雷达图和上一时刻的真实雷达图输入至雷达图外推预测模型中进行预测，得到下一时刻的预测雷达图；所述下一时刻的预测雷达图用于预测下一时刻的云层分布和降水情况；所述雷达图外推预测模型是基于光流提取网络和时空卷积网络确定的。
[0090]
进一步地，所述雷达图外推预测模型包括：光流提取模块、时空卷积模块和预测模块。步骤s2具体包括：
[0091]
步骤s2.1：将当前时刻的真实雷达图和上一时刻的真实雷达图输入至所述光流提取模块中进行光流提取，得到当前时刻与上一时刻之间的预测光流场。
[0092]
步骤s2.2：将当前时刻的真实雷达图输入至所述时空卷积模块中进行特征提取，得到当前时刻的时空特征图。
[0093]
步骤s2.3：将当前时刻与上一时刻之间的预测光流场和当前时刻的时空特征图输入至所述预测模块中进行预测，得到下一时刻的预测雷达图。
[0094]
进一步地，图7为本发明提供的雷达图外推预测模型的训练过程图，其中，i代表雷达图，i
t
代表t时刻的雷达图，i
t-1
代表t-1时刻的雷达图，i
t+1
代表t+1时刻的雷达图，i'
t+1
代表模型预测所得t+1时刻的雷达图，f
t,t-1
则代表t时刻和t-1时刻雷达图之间的光流场(即光流信息)，使用的是数学的光流算法得到的；f'
t,t-1
则代表模型预测的t时刻和t-1时刻雷达图之间的光流场，使用的是光流提取模块(或光流提取网络)得到的；f
t+1,t
则代表t+1时刻和t时刻雷达图之间的光流场，f'
t+1,t
则代表模型预测的t+1时刻和t时刻雷达图之间的光流场，二者均使用的是训练好的光流提取模块得到的，h
t
为t时刻的时空特征图，h
t-1
为t-1时
刻的时空特征图。loss1为第一损失值，loss2为第二损失值，loss3为第三损失值。
[0095]
图7中的光流提取模块、时空卷积模块和预测模块都是使用神经网络搭建的，也是最后实际用来预测的部分。在训练完成之前，上述三个模块分别称为光流提取网络、时空卷积网络和预测网络。光流算法是指现有的数学的光流算法，如kl(lucas-kanada)算法，hs(horn-schunck)算法，dis(dense inverse search，密集逆搜索)算法等，它们是已经设计好的工具，可以直接拿来算出光流信息。损失函数则是使用的mae(meanabsolute error，平均绝对值误差)和mse(mean-square error，均方误差)等算法，用于计算真实值和模型预测值之间的差异。
[0096]
如图7所示，雷达图外推预测模型的确定方法具体包括：
[0097]
步骤s3.1：获取训练数据集；所述训练数据集包括若干个连续历史时刻的真实雷达图；其中，将任意三个相邻历史时刻的真实雷达图作为一个训练数据组；在一个训练数据组中，将前一时刻的真实雷达图作为第一雷达图，将中间时刻的真实雷达图作为第二雷达图，将后一时刻的真实雷达图作为第三雷达图；所述第一雷达图与所述第二雷达图构成一个第一数据对；所述第二雷达图与所述第三雷达图构成一个第二数据对。
[0098]
步骤s3.2：构建初始神经网络模型；所述初始神经网络模型包括：光流提取网络、时空卷积网络和预测网络。
[0099]
步骤s3.3：根据所述第一数据对，对所述光流提取网络进行训练，得到雷达图外推预测模型的光流提取模块。
[0100]
步骤s3.4：根据所述第一数据对、所述第二数据对和所述光流提取模块，对所述时空卷积网络和所述预测网络进行训练，得到雷达图外推预测模型的时空卷积模块和预测模块。
[0101]
在本实施例中，训练数据集为一组时空序列数据，由多帧连续的二维图像组成。就像视频一样，每一个时刻是一张二维图像，多个时刻在一起表现出图像中物体的运动和变化。常见的时间序列预测模型往往都建立在对连续的图片进行特征提取，最常见的是使用convlstm和其改进模型，使用时空卷积模块中的卷积层提取图像特征，使用时空卷积模块中的循环神经网络层提取时间信息，得到时空特征图，然后进行预测。本发明通过添加光流提取模块，帮助模型提取出输入数据的光流信息，也就是图像中每个像素点的运动信息，从而辅助模型的预测模块进行预测。
[0102]
并且，本发明通过选择的成熟光流算法帮助模型获得对应的光流信息的groundtruth，用loss1训练光流提取模块，同时使用loss2辅助预测模块更好地探查点与点之间的关系，让预测结果在细节上表现更佳。
[0103]
如图8所示，步骤s3.3具体包括：
[0104]
1)采用光流算法，确定所述第一数据对对应的真实光流场。
[0105]
优选地，所述光流算法为horn-schunck算法、lucas-kanada算法、pyramidallk算法和dis算法中的任意一种。
[0106]
2)将所述第一数据对输入至所述光流提取网络中进行光流提取，得到所述第一数据对对应的第一预测光流场。
[0107]
3)根据所述第一数据对对应的真实光流场和所述第一数据对对应的第一预测光流场确定第一损失值。
[0108]
4)以所述第一损失值最小为目标对所述光流提取网络进行训练，得到雷达图外推预测模型的光流提取模块。
[0109]
在实际应用中，使用光流算法计算出相邻时刻雷达图的光流信息f
t,t-1
，作为训练由神经网络搭建的光流提取网络的label，即真实值。使用的算法为成熟的dis算法。通过训练学习，让神经网络预测的f'
t,t-1
接近f
t,t-1
，从而完成将知识从光流算法传递给光流提取网络，即得到训练好的光流提取模块。这里的光流提取网络优选为pwc-net(pwc-net:cnns for optical flow using pyramid,warping,and cost volume，使用金字塔(pyramid)，扭曲(warping)，代价体积(costvolume)的光流cnn)。在完成这一步的训练后，光流提取模块将不再更改其参数，保持不变。
[0110]
如图9所示，步骤s3.4具体包括：
[0111]
1)将所述第一数据对输入至所述光流提取模块中进行光流提取，得到所述第一数据对对应的第二预测光流场。
[0112]
2)将所述第二雷达图输入至所述时空卷积网络中进行特征提取，得到所述第二雷达图对应的时空特征图。
[0113]
3)将所述第一数据对对应的第二预测光流场和所述第二雷达图对应的时空特征图输入至所述预测网络中进行预测，得到所述第一数据对对应的预测雷达图。
[0114]
4)将所述第二数据对输入至所述光流提取模块中进行光流提取，得到所述第二数据对对应的第二预测光流场。
[0115]
5)将所述第二雷达图和所述第一数据对对应的预测雷达图输入至所述光流提取模块中进行光流提取，得到所述预测雷达图对应的第二预测光流场。
[0116]
6)根据所述第二数据对对应的第二预测光流场和所述预测雷达图对应的第二预测光流场确定第二损失值。
[0117]
7)根据所述第一数据对对应的预测雷达图和所述第三雷达图确定第三损失值。
[0118]
8)以所述第二损失值与所述第三损失值的和最小为目标对所述时空卷积网络和所述预测网络进行训练，得到雷达图外推预测模型的时空卷积模块和预测模块。
[0119]
在实际应用中，由前述步骤训练得到的光流提取模块在这一步中不参与梯度下降，即神经网络参数保持不变，主要训练时空卷积网络和预测网络，得到时空卷积模块和预测模块。
[0120]
其中，时空卷积网络优选为predrnn(predictive recurrent neural network，预测循环神经网络)，是基于卷积lstm构建得到的。时空卷积网络通过对时间序列的处理分析，输出为含有时间信息和空间信息的时空特征图h
t
(即时空卷积网络根据当前输入i
t
和上一时刻的时空特征图h
t-1
预测输出的高维特征，类似于循环神经网络中的hiddenstate，是一种featuremap)。
[0121]
预测网络为卷积神经网络，其具体包括顺序连接的第一卷积层、第一归一化层、第一激活函数层、第二卷积层、第二归一化层、第二激活函数层和第三卷积层。其输入为当时时刻的f'
t,t-1
和h
t
，输出为预测的下一时刻的i'
t+1
，结合包含时间信息和空间信息的时空特征图h以及光流信息f，预测下一时刻的雷达图i'
t+1
。
[0122]
对于时空卷积网络和预测网络，通过两种loss组合约束，训练得到时空卷积模块和预测模块。这两部分loss，一个用于比较输出的i'
t+1
和真实的i
t+1
之间的差异，作为
loss3，另一个用于比较i'
t+1
与i
t
之间的光流f'
t+1,t
和i
t+1
与i
t
之间的光流f
t+1,t
的差异，作为loss2。
[0123]
由于在第一步中训练的模型，可以通过光流提取模块提取光流信息，而光流信息包含有运动信息，那么对于时空卷积模块来说，它的任务就会相对变轻，让这其在学习的过程中可以更多地关注到光流外的时空信息。而传统的模型训练只使用预测的i'
t+1
和真实的i
t+1
之间的差异来训练，本发明多使用了光流的损失，让模型能够关注到点和点之间的关系，让生成的图像准确度更高。
[0124]
最终，训练好的光流提取模块、时空卷积模块和预测模块共同构成雷达图外推预测模型，通过输入当前时刻和前一时刻的两张雷达图，即i
t
和i
t-1
，即可输出预测得到的下一时刻的雷达图i'
t+1
。
[0125]
为了执行上述方法，以实现相应的功能和技术效果，下面提供一种雷达图外推预测系统，该系统包括：雷达图获取模块和雷达图预测模块；其中，雷达图获取模块用于获取当前时刻的真实雷达图和上一时刻的真实雷达图；雷达图预测模块用于将当前时刻的真实雷达图和上一时刻的真实雷达图输入至雷达图外推预测模型中进行预测，得到下一时刻的预测雷达图；所述下一时刻的预测雷达图用于预测下一时刻的云层分布和降水情况；所述雷达图外推预测模型是基于光流提取网络和时空卷积网络确定的。
[0126]
进一步地，本发明还提供一种电子设备，包括存储器和处理器，该存储器用于存储计算机程序，该处理器用于运行计算机程序以使电子设备执行上述的雷达图外推预测方法。所述电子设备可以是服务器。
[0127]
另外，本发明还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现上述的雷达图外推预测方法。
[0128]
本发明提供的雷达图外推预测模型，一方面将光流信息和时空信息结合起来，将模型中的特征提取部分分成两个部分，分别用于提取光流信息和时空信息，让模型预测时可使用更多的信息，从而在生成最终预测结果时有更好的结果。此外，本发明利用光流信息辅助模型训练、收敛，可让模型在训练时多关注到前后雷达图像上点的对应关系，提高模型的精度。
[0129]
与现有技术相比，本发明具有以下优势：
[0130]
1、将光流提取模块和时空卷积模块提取的信息相融合，通过对光流提取模块的预测约束，强调雷达图中运动信息。
[0131]
2、将光流提取模块和时空卷积模块结合，使得模型在细节轮廓上表现得到提升，使模型的预测结果更接近实际雷达图像。
[0132]
3、模型框架的可扩展性很高，光流提取模块和时空卷积模块都可以切换到其他模型结构。
[0133]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0134]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据
本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种雷达图外推预测方法，其特征在于，包括：获取当前时刻的真实雷达图和上一时刻的真实雷达图；将当前时刻的真实雷达图和上一时刻的真实雷达图输入至雷达图外推预测模型中进行预测，得到下一时刻的预测雷达图；所述下一时刻的预测雷达图用于预测下一时刻的云层分布和降水情况；所述雷达图外推预测模型是基于光流提取网络和时空卷积网络确定的。2.根据权利要求1所述的雷达图外推预测方法，其特征在于，所述雷达图外推预测模型包括：光流提取模块、时空卷积模块和预测模块；将当前时刻的真实雷达图和上一时刻的真实雷达图输入至雷达图外推预测模型中进行预测，得到下一时刻的预测雷达图，具体包括：将当前时刻的真实雷达图和上一时刻的真实雷达图输入至所述光流提取模块中进行光流提取，得到当前时刻与上一时刻之间的预测光流场；将当前时刻的真实雷达图输入至所述时空卷积模块中进行特征提取，得到当前时刻的时空特征图；将当前时刻与上一时刻之间的预测光流场和当前时刻的时空特征图输入至所述预测模块中进行预测，得到下一时刻的预测雷达图。3.根据权利要求1所述的雷达图外推预测方法，其特征在于，雷达图外推预测模型的确定方法，具体包括：获取训练数据集；所述训练数据集包括若干个连续历史时刻的真实雷达图；其中，将任意三个相邻历史时刻的真实雷达图作为一个训练数据组；在一个训练数据组中，将前一时刻的真实雷达图作为第一雷达图，将中间时刻的真实雷达图作为第二雷达图，将后一时刻的真实雷达图作为第三雷达图；所述第一雷达图与所述第二雷达图构成一个第一数据对；所述第二雷达图与所述第三雷达图构成一个第二数据对；构建初始神经网络模型；所述初始神经网络模型包括：光流提取网络、时空卷积网络和预测网络；根据所述第一数据对，对所述光流提取网络进行训练，得到雷达图外推预测模型的光流提取模块；根据所述第一数据对、所述第二数据对和所述光流提取模块，对所述时空卷积网络和所述预测网络进行训练，得到雷达图外推预测模型的时空卷积模块和预测模块。4.根据权利要求3所述的雷达图外推预测方法，其特征在于，根据所述第一数据对，对所述光流提取网络进行训练，得到雷达图外推预测模型的光流提取模块，具体包括：采用光流算法，确定所述第一数据对对应的真实光流场；将所述第一数据对输入至所述光流提取网络中进行光流提取，得到所述第一数据对对应的第一预测光流场；根据所述第一数据对对应的真实光流场和所述第一数据对对应的第一预测光流场确定第一损失值；以所述第一损失值最小为目标对所述光流提取网络进行训练，得到雷达图外推预测模型的光流提取模块。5.根据权利要求3所述的雷达图外推预测方法，其特征在于，根据所述第一数据对、所述第二数据对和所述光流提取模块，对所述时空卷积网络和所述预测网络进行训练，得到
雷达图外推预测模型的时空卷积模块和预测模块，具体包括：将所述第一数据对输入至所述光流提取模块中进行光流提取，得到所述第一数据对对应的第二预测光流场；将所述第二雷达图输入至所述时空卷积网络中进行特征提取，得到所述第二雷达图对应的时空特征图；将所述第一数据对对应的第二预测光流场和所述第二雷达图对应的时空特征图输入至所述预测网络中进行预测，得到所述第一数据对对应的预测雷达图；将所述第二数据对输入至所述光流提取模块中进行光流提取，得到所述第二数据对对应的第二预测光流场；将所述第二雷达图和所述第一数据对对应的预测雷达图输入至所述光流提取模块中进行光流提取，得到所述预测雷达图对应的第二预测光流场；根据所述第二数据对对应的第二预测光流场和所述预测雷达图对应的第二预测光流场确定第二损失值；根据所述第一数据对对应的预测雷达图和所述第三雷达图确定第三损失值；以所述第二损失值与所述第三损失值的和最小为目标对所述时空卷积网络和所述预测网络进行训练，得到雷达图外推预测模型的时空卷积模块和预测模块。6.根据权利要求3所述的雷达图外推预测方法，其特征在于，所述光流提取网络为pwc-net；所述时空卷积网络为predrnn；所述预测网络为卷积神经网络。7.根据权利要求4所述的雷达图外推预测方法，其特征在于，所述光流算法为horn-schunck算法、lucas-kanada算法、pyramidallk算法和dis算法中的任意一种。8.一种雷达图外推预测系统，其特征在于，包括：雷达图获取模块，用于获取当前时刻的真实雷达图和上一时刻的真实雷达图；雷达图预测模块，用于将当前时刻的真实雷达图和上一时刻的真实雷达图输入至雷达图外推预测模型中进行预测，得到下一时刻的预测雷达图；所述下一时刻的预测雷达图用于预测下一时刻的云层分布和降水情况；所述雷达图外推预测模型是基于光流提取网络和时空卷积网络确定的。9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行如权利要求1至7中任意一项所述的雷达图外推预测方法。10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的雷达图外推预测方法。

技术总结
本发明公开一种雷达图外推预测方法、系统、设备及介质，涉及气象预测技术领域，该方法包括：获取当前时刻的真实雷达图和上一时刻的真实雷达图；将当前时刻的真实雷达图和上一时刻的真实雷达图输入至雷达图外推预测模型中进行预测，得到下一时刻的预测雷达图；所述下一时刻的预测雷达图用于预测下一时刻的云层分布和降水情况；所述雷达图外推预测模型是基于光流提取网络和时空卷积网络确定的。本发明能够提高预测精度，得到更清晰准确的雷达图。得到更清晰准确的雷达图。得到更清晰准确的雷达图。


技术研发人员：苏敬勇 刘皓 周洲
受保护的技术使用者：深圳六零四五科技有限公司
技术研发日：2023.04.06
技术公布日：2023/7/18