光流预测方法、装置、电子设备及存储介质与流程

1.本技术涉及光流估计技术领域，尤其涉及一种光流预测方法、装置、电子设备及存储介质。


背景技术：

2.光流在计算机视觉领域中有广泛的应用，如视频压缩、视频超分、视频行为识别、视频插帧以及视频降噪等。而在使用连续两帧预测光流，若其中一帧中的物体出现了遮挡，则会使得在另外一帧中不能找到对应的像素。此时在进行光流预测时，会出现预测出错。


技术实现要素：

3.本技术实施例的目的是提供一种光流预测方法、装置、电子设备及存储介质，提高光流预测的准确性。
4.在第一方面，为实现上述目的，本技术实施例提供了一种光流预测方法，包括：
5.对待预测的第一图片及第二图片分别进行特征提取，得到与所述第一图片对应的第一特征及与所述第二图片对应的第二特征所述第一特征与第二特征均包括若干层特征，且所述第一特征与所述第二特征包含的特征的层数相同；
6.获取上层采样光流；
7.根据所述第一特征、所述第二特征以及所述上层采样光流进行特征处理，确定所述第一图片与所述第二图片在每一层的运动特征；
8.根据所述上层采样光流以及所述运动特征预测所述第一图片与所述第二图片之间的光流。
9.在第二方面，为了解决相同的技术问题，本技术实施例提供了一种光流预测装置，包括：
10.特征提取模块，用于对待预测的第一图片及第二图片分别进行特征提取，得到与所述第一图片对应的第一特征及与所述第二图片对应的第二特征，所述第一特征与第二特征均包括若干层特征，且所述第一特征与所述第二特征包含的特征的层数相同；
11.中间采样模块，用于获取上层采样光流；
12.特征确定模块，用于根据所述第一特征、所述第二特征以及所述上层采样光流进行特征处理，确定所述第一图片与所述第二图片在每一层的运动特征；
13.光流预测模块，用于根据所述上层采样光流以及所述运动特征预测所述第一图片与所述第二图片之间的光流。
14.在第三方面，为了解决相同的技术问题，本技术实施例提供了一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述存储器与所述处理器耦接，且所述处理器执行所述计算机程序时，实现上述任一项所述的光流预测方法中的步骤。
15.在第四方面，为了解决相同的技术问题，本技术实施例提供了一种计算机可读存
储介质，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的光流预测方法中的步骤。
16.本技术实施例提供了一种光流预测方法、装置、电子设备及存储介质，该方法在进行光流预测时，首先对进行光流预测的第一图片和第二图片进行特征提取，得到对应的第一特征和第二特征，然后根据第一特征和第二特征确定在每一层中所对应的上层采样光流和运动特征，最后根据所得到的上层采样光流和运动特征，得到第一图片和第二图片之间的光流。实现在进行光流预测时，提取图片的多层特征，降低因遮挡而带来的预测错误的问题，同时通过获取图片的运动特征作为光流预测的依据，提高光流预测的准确性。
附图说明
17.图1为本技术实施例提供的光流预测方法的一种流程示意图；
18.图2为本技术实施例提供的得到上层采样光流的步骤的一流程示意图；
19.图3为本技术实施例提供的光流预测网络的一结构框图示意图；
20.图4为本技术实施例提供的得到运动特征的步骤的一流程示意图；
21.图5为本技术实施例提供的得到光流的步骤的一流程示意图；
22.图6为本技术实施例提供的光流预测装置的一种结构示意图；
23.图7为本技术实施例提供的电子设备的一种结构示意图；
24.图8为本技术实施例提供的电子设备的另一种结构示意图。
具体实施方式
25.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
26.应当理解的是，本技术公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本技术公开的范围在此方面不受限制。
27.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
28.请参见图1，图1为本技术实施例提供的光流预测方法的一种流程示意图，如图1所示，本技术实施例提供的光流预测方法包括步骤s101至步骤s104。
29.步骤s101、对待预测的第一图片及第二图片分别进行特征提取，得到与所述第一图片对应的第一特征及与所述第二图片对应的第二特征，所述第一特征与第二特征均包括若干层特征，且所述第一特征与所述第二特征包含的特征的层数相同。
30.光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法，简单来说，光流表示的是相邻
两帧图像中每个像素的运动速度和运动方向。而光流的产生主要是由于场景中前景目标本身的移动、相机的运动或者两者的共同运动。
31.在进行光流预测时，首先确定进行光流预测的两张图片或者两帧图片，然后根据两张图片的特征信息实现对当前光流的计算或者预测。
32.在一实施例中，在得到第一图片和第二图片时，首先对第一图片和第二图片进行特征的提取，然后根据所得到的特征实现后的光流预测。在实际应用中，在进行光流的预测时，是基于一神经网络实现光流的预测和计算，如金字塔网络结构的光流估计网络，包括：flownet、pwc-net、liteflownet以及irr等，对于本技术所使用的光流估计网络不限，可以是上述描述的任一一种。
33.因此，在实现光流的估计和预测时，利用所优化好的光流估计网络可以实现对光流的预测，而具体地，在进行光流的预测时，利用所有话的光流估计网络对第一图片和第二图片进行特征提取，以得到第一图片和第二图片分别对应的若干层特征。
34.示例性地，在进行特征提取时，分别对第一图片和第二图片进行金字塔特征的提取，对于金字塔的层数通常来说不做限制，但是为了在保证计算效率以及计算准确性的情况下，可以将金字塔的层数设置为6层，也就是在进行特征提取时，提取6层金字塔特征。而对于所提取的6层金字塔特征，主要的区别在于每一层对应的图片分辨率的高低不同，如第一层的分辨率最高，而第六层的分辨率最低。
35.在进行光流预测时，通过在不同层的光流预测，使得最终得到的光流预测结果具有更好准确性。实际上，在进行光流预测时，第一图片和第二图片都具有六层金字塔特征，其中特征用f
ij
表示，且i表示哪一张图片，j表示第几层特征，如f
16
表示第一图片的第六层特征。每一层都会根据不同层所对应的特征得到对应的光流预测结果，而为了提高光流预测的准确性，在进行下一层光流预测时，将上一层光流预测的结果作为下一层光流预测的数据输入，通过不断的由粗到细使得最终得到的光流预测结果具有更好的精确度。
36.步骤s102、获取上层采样光流。
37.在整个的光流预测过程中，光流预测是一层一层由粗到细进行优化处理的，因此对于上层采样光流，也就是上一层在进行光流预测时所得到的预测结果。需要说明的是，在第一层进行光流预测，也是可以获取上层采样光流的，只是此时所得到的上层采样光流为0。
38.对于所获取的上层采样光流而言，是在不同的层进行光流预测的输出结果，因此在得到上层采样光流时，需要根据不同层对应的特征利用光流估计器实现光流的估计和预测，才能得到相对应的上层采样光流。
39.因此，在获取上层采样光流时，包括：根据第一特征以及第二特征得到上层采样光流。实际上，第一特征和第二特征均包含有多层特征，在得到每一层对应的上层采样光流时，根据每一层对应的第一特征和第二特征来确定。
40.参照图2，图2为本技术实施例提供的得到上层采样光流的步骤的一流程示意图。其中，该步骤包括步骤s201至步骤s203。
41.步骤s201、根据所述第一起始特征以及所述第二起始特征进行特征相关性的处理，得到第二层对应的相关性特征；
42.步骤s202、根据所述第二层对应的相关性特征以及所述第一起始特征进行光流估
计，得到第二层对应的上层采样光流；
43.步骤s203、根据所述第一中间层特征、所述第二中间层特征以及所述第二层对应的上层采样光流，得到每一层对应的上层采样光流。
44.在一实施例中，第一特征和第二特征中均包含有若干层特征，且不同层特征对应的分辨率不同，具体的，第一特征包含有第一起始特征、第一结束特征以及若干第一中间层特征，第二特征包括第二起始特征、第二结束特征以及若干第二中间层特征，并且起始特征的分辨率最低，然后依次提升至结束特征的分辨率最高。
45.在得到上层采样光流时，也就是在不同的层进行光流的预测，具体地，在第一层进行光流预测时，根据第一起始特征和第二起始特征得到，由于是在第一层进行处理，此时第一层对应的上层采样光流不存在，也就是第一层对应的上层采样光流为0，此时将会根据第一起始特征和第二起始特征，得到在当前层对应的相关性运动特征，而对于中间层所对应的相关性运动特征，则需要首先得到上层光流，进而根据所得到的上层光流和第一特征和第二特征中对应层的特征，得到相关性运动特征。
46.具体地，每一层在进行光流的估计和预测时，是基于上层采样光流所得到的，因此在根据第一起始特征和第二起始特征得到第二层对应的上层采样光流之后，根据第一二层特征和第二二层特征以及所得到的第二层对应的上层采样光流，得到第三层对应的上层采样光流。同样地，对于各不同层的上层采样光流，根据在当前层的第一特征和第二特征以及当前层所对应的上层采样光流来得到，并且当前层所对应的上层采样光流为前一层进行处理之后经过光流估计所得到的。
47.步骤s103、根据所述第一特征、所述第二特征以及所述上层采样光流进行特征处理，确定所述第一图片与所述第二图片在每一层的运动特征。
48.在得到第一特征、第二特征以及上层采样光流之后，将会进行光流的预测，得到第一图片与第二图片所对应的光流信息。
49.实际上在进行光流预测时，利用预先所优化好的光流预测网络来实现的，对于所构建的光流预测网络，可以如图3所示，图3为本技术实施例提供的光流预测网络的一结构框图示意图。具体地，该光流预测网络包括warping操作模块、cost volume操作模块、自注意力模块以及光流估计器，其中，warping操作模块、cost volume操作模块以及光流估计器的数据处理过程为常规操作，依据现有技术的实现方式即可完成。在得到第一特征、第二特征以及上层采样光流之后，利用优化好的光流预测网络实现光流的预测。
50.具体地，在进行光流预测时，首先在warping操作模块中根据第二特征和上层采样光流进行特征还原，得到第一还原特征，然后在cost volume操作模块中根据第一特征和第一还原特征进行相关性特征的计算，得到相关性特征，接着在自注意力模块中根据第一特征、上层采样光流以及相关性特征，得到图片对应的运动特征，进而根据所得到的运动特征以及第一特征利用光流估计器实现在光流的估计，最后根据所得到的光流估计结果以及上层采样光流，得到最终输出的光流信息。
51.在一实施例中，在进行特征提取的时候，得到了若干层的特征，如第一特征包括第一n层特征，第二特征包括第二n层特征，在进行光流预测时，根据分辨率的高低从高到低，一层一层的进行光流预测，进而提高光流预测的精度和准确度。
52.示例性地，以有6层特征为例，且第6层特征的分辨率最低，在进行处理时，由于在
第六层进行处理时，没有上层光流的输入，此时根据f
16
与f
26
在cost volume操作模块进行计算，以计算得到在第六层的相关性特征，然后再通过光流估计器预测光流，而此时所预测得到的光流为第五层进行处理时的上层采样光流，以此类推，可以得到每一层在进行处理时的上层采样光流。
53.以第五层为例，在第五层进行处理时，使用第六层输出的光流对特征f
25
进行warping操作，然后将warping操作后得到的特征与f
15
进行相关性计算得到相关性特征，接着将相关性特征、上层采样光流以及特征f
15
通过自注意力模块得到注意力特征，并且将带注意力的特征与特征f
15
接后用1*1卷积降维得到运动特征，再送入光流估计器预测得到残差光流，并与上层采样光流相加得到本层的光流预测，也就是得到第五层输出的光流，即第四层在进行处理时的上层采样光流。
54.在得到不同层对应的上层采样光流之后，可以在不同层进行处理时得到各层对应的运动特征。具体地，参照图4，图4为本技术实施例提供的得到运动特征的步骤的一流程示意图。其中，该步骤包括步骤s401至步骤s403。
55.步骤s401、根据所述上层采样光流以及所述第二特征进行特征还原，得到第一还原特征；
56.步骤s402、计算所述第一特征与所述第一还原特征的相关性，得到相关性特征；
57.步骤s403、将所述相关性特征与所述上层采样光流进行拼接，并对拼接后的特征进行卷积降维处理得到每一层对应的运动特征。
58.在得到运动特征时，首先根据上层采样光流以及第二特征进行特征还原，得到此时基于上层采样光流得到的第一还原特征，实际上，第一特征与第一还原特征是很接近的两个特征，但是也会存在一定的差异，因此在得到第一还原特征之后，光流估计网络中的warping操作模块根据第一还原特征和第一特征进行相关性的计算，得到其所对应的相关性特征，最后将所得到的相关性特征与上层采样光流进行拼接，并对拼接后的特征进行卷积降维处理，得到最终的运动特征。
59.示例性地，以第五层为例，在得到上层采样光流时，使用上层采样光流对第二图片中的第五层特征f
25
进行warping操作，由于第一图片经过运动得到第二图片，那么在进行warping操作时，可以理解为根据第二图片以及运动的光流信息进行反向预测，预测得到运动之前的图片，而此时所预测得到的图片与实际的图片之间存在有一定的差异，具体为第一还原特征与第一特征不完全相同，因此会计算warping操作后的特征与特征f
15
之间的相关性特征，最后在得到相关性特征时，利用自注意力模块实现对运动特征的确定。
60.而对于其他层所对应的运动特征，可以依据第五层所对应的运动特征的确定方式来得到。
61.步骤s104、根据所述上层采样光流以及所述运动特征预测所述第一图片与所述第二图片之间的光流。
62.在得到上层采样光流以及运动特征之后，根据上层采样光流与运动特征实现光流的预测，进而得到第一图片与第二图片的光流。
63.由上述描述可以知道，对于每一层的特征，都会得到一个光流，也就是每一层会对应一光流，同时，前一层所得到的光流对后一层的光流预测有一定的影响，因此在根据上层采样光流和运动特征得到第一图片与第二图片之间的光流时，是完成各层的光流预测之后
所得到的。
64.在一实施例中，所提取到的金字塔特征有6层，而在进行光流预测时，可以使用后五层特征实现光流的预测，也就是在进行光流预测时可以不使用分辨率最高的那一层特征进行光流预测。当然，也可以使用分辨率最高的一层进行最后的光流预测，在此不作限制。
65.在确定第一图片与第二图片之间的光流时，参照图5，图5为本技术实施例提供的得到光流的步骤的一流程示意图。其中，该步骤包括步骤s501至步骤s505。
66.步骤s501、对所述运动特征进行特征重塑，得到第一重塑特征；
67.步骤s502、基于所述第一特征得到注意力矩阵，并将所述第一重塑特征与所述注意力矩阵进行外积，得到外积特征；
68.步骤s503、对所述外积特征进行特征重塑，得到第二重塑特征；
69.步骤s504、根据所述第二重塑特征与所述运动特征得到自注意力特征，并根据所述自注意力特征以及所述第一特征，利用光流估计器得到中间光流；
70.步骤s505、将所述中间光流与所述上层采样光流进行相加，得到所述第一图片和所述第二图片之间的光流。
71.在得到第一图片与第二图片之间的光流时，利用自注意力模块得到包含有注意力的运动特征。
72.具体地，首先对所得到的运动特征进行特征重塑，得到第一重塑特征，并且还基于第一特征得到对应的注意力矩阵，然后将进行特征重塑得到的第一重塑特征与注意力矩阵进行矩阵外积，接着对矩阵外积得到的外积特征再次进行特征重塑，得到第二重塑特征，进而根据第二重塑特征与运动特征得到自注意力特征，并根据自注意力特征与第一特征利用光流估计器得到中间光流，最后将中间光流与上层采样光流进行相加，至计算到光流输出层时得到第一图片与第二图片之间的光流。
73.需要说明的是，对于不同层的特征而言，对于不同层所得到的运动特征，在进行光流预测时的影响度有所差异，具体可以体现在每一层所得到的中间光流的选择程度有所差异，因此对于不同的层在进行光流的预测时，可以对其所得到的中间光流赋予相应的权重值，具体根据实际情况所设定。
74.对于注意力矩阵，每一层的注意力矩阵有所不同，其中，注意力矩阵的得到方式包括：对所述第一特征进行卷积处理，得到第一卷积特征；对所述第一卷积特征进行卷积投影，并降维得到第二卷积特征；对所述第二卷积特征进行特征重塑，得到重塑后的第三卷积特征；对所述第三卷积特征进行归一化，得到注意力矩阵。
75.示例性地，以第五层为例，在得到第五层对应的注意力矩阵时，将第一图片的特征f
15
利用3*3的卷积网络进行处理，得到第一卷积特征，然后分成两个分支对第一卷积特征进行进行1*1卷积投影，并对卷积投影后的结果进行降维处理，得到第二卷积特征，其中第二卷积特征包括y和z，接着对第二卷积特征y和z进行特征重塑，得到第三卷积特征，最后再进行softmax的归一化操作，得到相应的注意力矩阵。
76.在上述描述中，在得到运动特征时会进行一次特征重塑，同时在完成外积得到外积特征时还会进行特征重塑，两次特征重塑为相对立的重塑过程。
77.同时，在根据第二重塑特征以及运动特征得到自注意力特征时，包括：将所述第二重塑特征与所述运动特征进行特征相加，得到中间运动特征；将所述中间运动特征与所述
运动特征进行特征拼接，得到自注意力特征。
78.而在得到自注意力特征之后，将得到的自注意力特征、第一特征以及上层采样光流输入到光流估计器中，得到中间光流，而最终所输出的光流结果是通过将中间光流与上层采样光流进行相加所得的到的。
79.在前述描述的实施例中，光流预测是由粗到细的过程，如在完成第六层的光流预测之后，根据第六层的所得到的光流进行第五层的光流预测，直至进行光流输出的层完成光流的预测，便得到了最终的光流结果。
80.示例性地，在6层金字塔特征中，利用后5层特征实现光流的预测，那么在第二层完成光流预测之后，其所输出的光流即为所得到的光流信息，即第一图片与第二图片之间的光流。
81.在一实施例中，得到两图片之间的光流的一步骤流程可以如下，以提取6层金字塔特征为例，具体包括：
82.步骤1、提取金字塔特征，对输入图片1和输入图片2分别提取6层金字塔特征，从底层到顶层分辨率逐渐缩小；
83.步骤2、第6层特征f
16
与f
26
，使用cost volume操作计算匹配代价相关性，再通过光流估计器预测光流；
84.步骤3、使用上采样的第6层光流对第5层特征f
25
进行warping操作，warping后的特征与特征f
15
进行相关性计算得到相关性特征；
85.步骤4、将相关性特征、上采样光流以及特征f
15
通过自注意力模块得到注意力特征；
86.步骤5、将注意力特征与特征f
15
拼接后用1*1卷积降维，再送入光流估计器预测得到残差光流，并与上采样光流相加得到本层的光流预测；
87.步骤6、重复步骤2-5，预测其他层的光流，最终将第二层的光流作为最终整体的光流预测。
88.综上所述，本技术实施例提供的光流预测方法，在进行光流预测时，首先对进行光流预测的第一图片和第二图片进行特征提取，得到对应的第一特征和第二特征，然后根据第一特征和第二特征确定在每一层中所对应的上层采样光流和运动特征，最后根据所得到的上层采样光流和运动特征，得到第一图片和第二图片之间的光流。实现在进行光流预测时，提取图片的多层特征，降低因遮挡而带来的预测错误的问题，同时通过获取图片的运动特征作为光流预测的依据，提高光流预测的准确性。
89.根据上述实施例所描述的方法，本实施例将从光流预测装置的角度进一步进行描述，该光流预测装置具体可以作为独立的实体来实现，也可以集成在电子设备，比如终端中来实现，该终端可以包括手机、平板电脑等。
90.请参见图6，图6为本技术实施例提供的光流预测装置的一种结构示意图，如图6所示，本技术实施例提供的光流预测装置600，包括：
91.特征提取模块601，用于对待预测的第一图片及第二图片分别进行特征提取，得到与所述第一图片对应的第一特征及与所述第二图片对应的第二特征，所述第一特征与第二特征均包括若干层特征，且所述第一特征与所述第二特征包含的特征的层数相同；
92.中间采样模块602，用于获取上层采样光流；
gsm environment,edge)，宽带码分多址技术(wideband code division multiple access,wcdma)，码分多址技术(code division access,cdma)、时分多址技术(time division multiple access,tdma)，无线保真技术(wireless fidelity，wi-fi)(如美国电气和电子工程师协会标准ieee 802.11a，ieee 802.11b,ieee802.11g和/或ieee 802.11n)、网络电话(voice over internet protocol,voip)、全球微波互联接入(worldwide interoperability for microwave access，wi-max)、其他用于邮件、即时通讯及短消息的协议，以及任何其他合适的通讯协议，甚至可包括那些当前仍未被开发出来的协议。
106.存储器820可用于存储软件程序以及模块，如上述实施例中光流预测方法对应的程序指令/模块，处理器880通过运行存储在存储器820内的软件程序以及模块，从而执行各种功能应用以及光流预测，即实现如下功能：
107.对待预测的第一图片及第二图片分别进行特征提取，得到与所述第一图片对应的第一特征及与所述第二图片对应的第二特征所述第一特征与第二特征均包括若干层特征，且所述第一特征与所述第二特征包含的特征的层数相同；
108.获取上层采样光流；
109.根据所述第一特征、所述第二特征以及所述上层采样光流进行特征处理，确定所述第一图片与所述第二图片在每一层的运动特征；
110.根据所述上层采样光流以及所述运动特征预测所述第一图片与所述第二图片之间的光流。
111.存储器820可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器820可进一步包括相对于处理器880远程设置的存储器，这些远程存储器可以通过网络连接至电子设备800。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
112.输入单元830可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元830可包括触敏表面831以及其他输入设备832。触敏表面831，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面831上或在触敏表面831附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面831可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器880，并能接收处理器880发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面831。除了触敏表面831，输入单元830还可以包括其他输入设备832。具体地，其他输入设备832可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
113.显示单元840可用于显示由用户输入的信息或提供给用户的信息以及电子设备800的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元840可包括显示面板841，可选的，可以采用lcd(liquid crystal display，液晶显示器)、oled(organic light-emitting diode,有机发光二极管)等形式来配置显示
面板841。进一步的，触敏表面831可覆盖显示面板841，当触敏表面831检测到在其上或附近的触摸操作后，传送给处理器880以确定触摸事件的类型，随后处理器880根据触摸事件的类型在显示面板841上提供相应的视觉输出。虽然在图中，触敏表面831与显示面板841是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面831与显示面板841集成而实现输入和输出功能。
114.电子设备800还可包括至少一种传感器850，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板841的亮度，接近传感器可在翻盖合上或者关闭时产生中断。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于电子设备800还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
115.音频电路860、扬声器861，传声器862可提供用户与电子设备800之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号，传输到扬声器861，由扬声器861转换为声音信号输出；另一方面，传声器862将收集的声音信号转换为电信号，由音频电路860接收后转换为音频数据，再将音频数据输出处理器880处理后，经rf电路810以发送给比如另一终端，或者将音频数据输出至存储器820以便进一步处理。音频电路860还可能包括耳塞插孔，以提供外设耳机与电子设备800的通信。
116.电子设备800通过传输模块870(例如wi-fi模块)可以帮助用户接收请求、发送信息等，它为用户提供了无线的宽带互联网访问。虽然图中示出了传输模块870，但是可以理解的是，其并不属于电子设备800的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
117.处理器880是电子设备800的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器820内的软件程序和/或模块，以及调用存储在存储器820内的数据，执行电子设备800的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器880可包括一个或多个处理核心；在一些实施例中，处理器880可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解地，上述调制解调处理器也可以不集成到处理器880中。
118.电子设备800还包括给各个部件供电的电源890(比如电池)，在一些实施例中，电源可以通过电源管理系统与处理器880逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源890还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
119.尽管未示出，电子设备800还包括摄像头(如前置摄像头、后置摄像头)、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备的显示单元是触摸屏显示器，移动终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行一个或者一个以上程序包含用于进行以下操作的指令：
120.对待预测的第一图片及第二图片分别进行特征提取，得到与所述第一图片对应的
第一特征及与所述第二图片对应的第二特征所述第一特征与第二特征均包括若干层特征，且所述第一特征与所述第二特征包含的特征的层数相同；
121.获取上层采样光流；
122.根据所述第一特征、所述第二特征以及所述上层采样光流进行特征处理，确定所述第一图片与所述第二图片在每一层的运动特征；
123.根据所述上层采样光流以及所述运动特征预测所述第一图片与所述第二图片之间的光流。
124.具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
125.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本技术实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本技术实施例所提供的光流预测方法中任一实施例的步骤。
126.其中，该存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。
127.由于该存储介质中所存储的指令，可以执行本技术实施例所提供的光流预测方法任一实施例中的步骤，因此，可以实现本技术实施例所提供的任一光流预测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
128.以上对本技术实施例所提供的一种光流预测方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。并且，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本技术的保护范围。

技术特征：
1.一种光流预测方法，其特征在于，所述方法包括：对待预测的第一图片及第二图片分别进行特征提取，得到与所述第一图片对应的第一特征及与所述第二图片对应的第二特征，所述第一特征与第二特征均包括若干层特征，且所述第一特征与所述第二特征包含的特征的层数相同；获取上层采样光流；根据所述第一特征、所述第二特征以及所述上层采样光流进行特征处理，确定所述第一图片与所述第二图片在每一层的运动特征；根据所述上层采样光流以及所述运动特征确定所述第一图片与所述第二图片之间的光流。2.根据权利要求1所述的光流预测方法，其特征在于，所述获取上层采样光流包括：根据所述第一特征以及所述第二特征，得到上层采样光流。3.根据权利要求2所述的光流预测方法，其特征在于，所述第一特征包括第一起始层特征、第一结束层特征以及若干第一中间层特征，所述第二特征包括第二起始层特征、第二结束层特征以及若干第二中间层特征；所述根据所述第一特征以及所述第二特征，得到上层采样光流，包括：根据所述第一起始特征以及所述第二起始特征进行特征相关性的确定，得到第二层对应的相关性特征；根据所述第二层对应的相关性特征以及所述第一起始特征进行光流估计，得到第二层对应的上层采样光流；根据所述第一中间层特征、所述第二中间层特征以及所述第二层对应的上层采样光流，得到每一层对应的上层采样光流。4.根据权利要求1所述的光流预测方法，其特征在于，所述根据所述第一特征、所述第二特征以及所述上层采样光流，得到所述第一图片与所述第二图片在每一层的运动特征，包括：根据所述上层采样光流以及所述第二特征进行特征还原，得到第一还原特征；计算所述第一特征与所述第一还原特征的相关性，得到相关性特征；将所述相关性特征与所述上层采样光流进行拼接，并对拼接后的特征进行卷积降维处理得到每一层对应的运动特征。5.根据权利要求1所述的光流预测方法，其特征在于，所述根据所述上层采样光流以及所述运动特征，得到所述第一图片与所述第二图片的光流，包括：对所述运动特征进行特征重塑，得到第一重塑特征；基于所述第一特征得到注意力矩阵，并将所述第一重塑特征与所述注意力矩阵进行外积，得到外积特征；对所述外积特征进行特征重塑，得到第二重塑特征；根据所述第二重塑特征与所述运动特征得到自注意力特征，并根据所述自注意力特征以及所述第一特征，利用光流估计器得到中间光流；将所述中间光流与所述上层采样光流进行相加，得到所述第一图片和所述第二图片之间的光流。6.根据权利要求5所述的光流预测方法，其特征在于，所述基于所述第一特征得到注意
力矩阵，包括：对所述第一特征进行卷积处理，得到第一卷积特征；对所述第一卷积特征进行卷积投影，并降维得到第二卷积特征；对所述第二卷积特征进行特征重塑，得到重塑后的第三卷积特征；对所述第三卷积特征进行归一化，得到注意力矩阵。7.根据权利要求5所述的光流预测方法，其特征在于，所述根据所述第二重塑特征与所述运动特征得到自注意力特征，包括：将所述第二重塑特征与所述运动特征进行特征相加，得到中间运动特征；将所述中间运动特征与所述运动特征进行特征拼接，得到自注意力特征。8.一种光流预测装置，其特征在于，包括：特征提取模块，用于对待预测的第一图片及第二图片分别进行特征提取，得到与所述第一图片对应的第一特征及与所述第二图片对应的第二特征，所述第一特征与第二特征均包括若干层特征，且所述第一特征与所述第二特征包含的特征的层数相同；中间采样模块，用于获取上层采样光流；特征确定模块，用于根据所述第一特征、所述第二特征以及所述上层采样光流进行特征处理，确定所述第一图片与所述第二图片在每一层的运动特征；光流确定模块，用于根据所述上层采样光流以及所述运动特征确定所述第一图片与所述第二图片之间的光流。9.一种电子设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述存储器与所述处理器耦接，且所述处理器执行所述计算机程序时，实现如权利要求1至7任一项所述的光流预测方法中的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行如权利要求1至7任一项所述的光流预测方法中的步骤。

技术总结
本申请公开了一种光流预测方法、装置、电子设备及存储介质，该方法包括：对待预测的第一图片及第二图片分别进行特征提取，得到与所述第一图片对应的第一特征及与所述第二图片对应的第二特征，所述第一特征与第二特征均包括若干层特征，且所述第一特征与所述第二特征包含的特征的层数相同；获取上层采样光流；根据所述第一特征、所述第二特征以及所述上层采样光流进行特征处理，确定所述第一图片与所述第二图片在每一层的运动特征；根据所述上层采样光流以及所述运动特征确定所述第一图片与所述第二图片之间的光流。实现了在进行光流预测时，通过自注意力机制模块实现运动特征的重塑，并基于重塑的运动特征进行光流预测，提高了光流预测的准确性。了光流预测的准确性。了光流预测的准确性。


技术研发人员：徐璐 樊顺利 刘阳兴
受保护的技术使用者：武汉TCL集团工业研究院有限公司
技术研发日：2022.03.11
技术公布日：2023/9/20