基于全局脉冲聚合的光流估计方法、装置及系统

1.本发明属于光流估计领域，具体涉及一种基于全局脉冲聚合的光流估计方法、装置及系统。


背景技术：

2.光流估计是计算机视觉研究中的一个重要方向，在目标跟踪、图像增强、动作识别等方面中发挥着重要作用。目前，深度学习技术凭借其强大的特征表示能力在光流估计方面取得了成功。然而，面向极端环境或高速运动的场景，传统相机由于低频率成像特点，易因运动模糊丢失或漏检目标。为了捕捉高速场景下的运动特征，脉冲相机成为当下研究的热点，其为高速场景下的光流估计提供了新的视角。然而，之前的研究只关注两段脉冲流之间的运动求解问题，其忽略了全局聚合脉冲流中的时间信息，进而降低模型在复杂场景中对脉冲流特征的表达能力。


技术实现要素：

3.针对上述问题，本发明提出一种基于全局脉冲聚合的光流估计方法、装置及系统，能够从连续脉冲流中提炼出含有全局时序信息的上下文特征和运动特征，进而学习得到光流。
4.为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
5.第一方面，本发明提供了一种基于全局脉冲聚合的光流估计方法，包括：
6.获取待测脉冲图像；
7.将所述待测脉冲图像输入至预先训练好的光流估计网络，得到预测光流；所述光流估计网络包括特征提取模块、特征匹配模块和循环解码模块；所述特征提取模块用于将接收到的脉冲图像剪辑为若干个脉冲子流，分别对个脉冲子流进行特征提取，生成对应的上下文特征；所述特征匹配模块用于对上下文特征和对上一时刻的脉冲图像进行卷积操作获得的特征进行匹配，并将匹配结果编码为具有相应流场的运动特征；所述循环解码模块用于基于所述上下文特征和运动特征进行循环解码，得到光流。
8.可选地，所述特征提取模块包括：
9.全局脉冲信息聚合模块，用于基于接收到的脉冲子流，计算出全局像素矩阵g；
10.时序信息聚合模块，用于基于接收到的脉冲子流，计算出时序像素矩阵a；
11.最大脉冲信息聚合模块，用于基于接收到的脉冲子流，基于每个像素点的最大值，计算出最大脉冲像素矩阵m；
12.卷积摸块，分别与所述全局脉冲信息聚合模块、时序信息聚合模块和最大脉冲信息聚合模块相连，基于所述全局像素矩阵g、时序像素矩阵a和最大脉冲像素矩阵m计算出上下文特征。
13.可选地，所述全局像素矩阵g的计算公式为：
[0014][0015]
所述时序像素矩阵a的计算公式为：
[0016][0017]
所述最大脉冲像素矩阵m的计算公式为：
[0018][0019]
其中，g(i,j)表示脉冲子流在像素点(i,j)处的全局脉冲信息，是全局脉冲信息聚合变换，s(x,t)表示脉冲子流，表示第k幅图像上像素点(i,j)的信息，n表示脉冲子流的长度，是时序信息聚合变换，δ2(x,t)和δ1(x,t)分别表示下一个和上一个脉冲子流在时空时刻(x,t)的发射时间,x表示像素集合，t表示某个时刻，||
·
||2表示l2正则化，是最大脉冲信息聚合变换，m(i,j)表示脉冲子流在像素点(i,j)处的最大脉冲信息。
[0020]
可选地，所述特征匹配模块包括：相关度计算模块、第一卷积操作块、第二卷积操作块、第一特征堆叠块、第三卷积操作块、第四卷积操作块、第五卷积操作块和第二特征堆叠块；
[0021]
所述相关度计算模块基于接收到的上下文特征计算出相关度；
[0022]
所述第一卷积操作块、第二卷积操作块顺次设置，用于对相关度计算模块的输出数据做卷积；
[0023]
所述第三卷积操作块、第四卷积操作块顺次设置，用于对上一时刻的脉冲图像做卷积；
[0024]
所述第一特征堆叠块、第五卷积操作块和第二特征堆叠块顺次设置，所述第一特征堆叠块对第二卷积操作块和第四卷积操作块输出的特征进行堆叠，然后所述第五卷积操作块将堆叠后的特征再进行卷积，得到特征后再与上一时刻的脉冲图像进行堆叠，得到运动特征。
[0025]
可选地，特征之间的相关度的计算公式为：
[0026][0027]
其中，ci(x,y,x',y')表示采样时刻i对应的上下文特征和对上一时刻的脉冲图像进行卷积操作获得的特征之间的相关度，(x,y)是上下文特征的坐标，(x',y')是对上一时刻的脉冲图像进行卷积操作获得的特征的坐标，t表示转置，单个脉冲图像的大小为h
×
w。
[0028]
可选地，所述循环解码模块包括：第三特征堆叠块、第一卷积门控循环单元、第二卷积门控循环单元、n个预测头、第四特征堆叠块和上采样块；
[0029]
所述第三特征堆叠块将接收到的上下文特征和运动特征进行堆叠，并将堆叠后的特征分别输入至第一卷积门控循环单元和第二卷积门控循环单元，得到隐藏状态h
t+1
；
[0030]
将所述隐藏状态h
t+1
分别送入各预测头，每个预测头为1个3
×
3卷积，得到初始流
量
[0031]
利用第四特征堆叠块对初始流量进行堆叠，在利用上采样模块进行上采样，得到最终的光流o1～on。
[0032]
可选地，所述第一卷积门控循环单元、第二卷积门控循环单元的数学表达式为：
[0033]zt
＝σ(conv3×3([h
t-1
,x
t
],wz))
[0034]rt
＝σ(conv3×3([h
t-1
,x
t
],wr))
[0035]ht
＝tanh(conv3×3([r
t
⊙ht-1
,x
t
],wh))
[0036]ht+1
＝(1-z
t
)
⊙ht-1
+z
t
⊙ht
[0037]
其中，x
t
为对运动特征和上下文特征堆叠后的特征，h
t-1
为t-1时刻的隐含特征，σ为sigmoid函数，
⊙
为按元素相乘，wz、wr、wh均表示对应的权重，conv3×3表示3
×
3卷积，z
t
和r
t
分别表示更新门和重置门，更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明上个时刻的状态信息带入越多，重置门控制前一状态有多少信息被写入到当前的候选集h
t
上，重置门的值越小，前一状态的信息被写入的越少，h
t
为候选隐藏特征，h
t
为最终隐藏特征，h
t+1
为t+1时刻的隐含特征。
[0038]
可选地，在光流估计网络的训练过程中，利用损失函数来判定是否停止训练，所述损失函数的表达式为：
[0039][0040]
其中，oi为与真值流场对应的预测光流值，||
·
||1表示l1正则化。
[0041]
第二方面，本发明提供了一种基于全局脉冲聚合的光流估计装置，包括：
[0042]
获取模块，用于获取待测脉冲图像；
[0043]
估计模块，用于将所述待测脉冲图像输入至预先训练好的光流估计网络，得到预测光流；所述光流估计网络包括特征提取模块、特征匹配模块和循环解码模块；所述特征提取模块用于将接收到的脉冲图像剪辑为若干个脉冲子流，分别对个脉冲子流进行特征提取，生成对应的上下文特征；所述特征匹配模块用于对上下文特征和对上一时刻的脉冲图像进行卷积操作获得的特征进行匹配，并将匹配结果编码为具有相应流场的运动特征；所述循环解码模块用于基于所述上下文特征和运动特征进行循环解码，得到光流。
[0044]
第三方面，本发明提供了一种基于全局脉冲聚合的光流估计系统，包括存储介质和处理器；
[0045]
所述存储介质用于存储指令；
[0046]
所述处理器用于根据所述指令进行操作以执行根据第一方面中任一项所述的方法。
[0047]
与现有技术相比，本发明的有益效果：
[0048]
本发明提出一种基于全局脉冲聚合的光流估计方法、装置及系统，能够从连续脉冲流中提炼出含有全局时序信息的上下文特征和运动特征，进而学习得到光流。
[0049]
本发明提出了一种全新的光流估计网络，将全局脉冲聚合模块与光流估计相结合，通过时序信息聚合模块转换二进制脉冲流，以便更好地表示每个脉冲流的积分过程。同时，沿时间轴平均脉冲流，全局聚合脉冲流中的时序信息，对提取的脉冲流特征进行特征匹
配得到运动特征。此外，通过上下文特征和运动特征来估计流场的残差，从而优化流场，最后对流场进行循环解码。通过上述设置，该网络能够从连续脉冲流中提炼全局时序信息，并进而学习得到光流。
附图说明
[0050]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图，其中：
[0051]
图1为本发明一种实施例的基于全局脉冲聚合的光流估计方法的流程示意图；
[0052]
图2为本发明一种实施例的特征提取、上下文提取网络结构图；
[0053]
图3为本发明一种实施例的特征匹配结构图；
[0054]
图4为本发明一种实施例的循环解码模块结构图；
[0055]
图5为本发明一种实施例的网络总体结构图。
具体实施方式
[0056]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0057]
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
[0058]
实施例1
[0059]
本发明实施例中提供了一种基于全局脉冲聚合的光流估计方法，包括以下步骤：
[0060]
(1)获取待测脉冲图像；
[0061]
(2)将所述待测脉冲图像输入至预先训练好的光流估计网络，得到预测光流；所述光流估计网络包括特征提取模块、特征匹配模块和循环解码模块；所述特征提取模块用于将接收到的脉冲图像剪辑为若干个脉冲子流，分别对个脉冲子流进行特征提取，生成对应的上下文特征；所述特征匹配模块用于对上下文特征和对上一时刻的脉冲图像进行卷积操作获得的特征进行匹配，并将匹配结果编码为具有相应流场的运动特征；所述循环解码模块用于基于所述上下文特征和运动特征进行循环解码，得到光流。
[0062]
在本发明实施例的一种具体实施方式中，如图2和5所示，所述特征提取模块包括：
[0063]
全局脉冲信息聚合模块，用于基于接收到的脉冲子流，计算出全局像素矩阵g；
[0064]
时序信息聚合模块，用于基于接收到的脉冲子流，计算出时序像素矩阵a；
[0065]
最大脉冲信息聚合模块，用于基于接收到的脉冲子流，基于每个像素点的最大值，
计算出最大脉冲像素矩阵m；
[0066]
卷积摸块，分别与所述全局脉冲信息聚合模块、时序信息聚合模块和最大脉冲信息聚合模块相连，基于所述全局像素矩阵g、时序像素矩阵a和最大脉冲像素矩阵m计算出上下文特征。
[0067]
其中，所述全局像素矩阵g的计算公式为：
[0068][0069]
所述时序像素矩阵a的计算公式为：
[0070][0071]
所述最大脉冲像素矩阵m的计算公式为：
[0072][0073]
其中，g(i,j)表示脉冲子流在像素点(i,j)处的全局脉冲信息，是全局脉冲信息聚合变换，s(x,t)表示脉冲子流，表示第k幅图像上像素点(i,j)的信息，n表示脉冲子流的长度，是时序信息聚合变换，δ2(x,t)和δ1(x,t)分别表示下一个和上一个脉冲子流在时空时刻(x,t)的发射时间,x表示像素集合，t表示某个时刻，||
·
||2表示l2正则化，是全局脉冲信息聚合变换，m(i,j)表示脉冲子流在像素点(i,j)处的最大脉冲信息。
[0074]
在本发明实施例的一种具体实施方式中，如图3所示，所述特征匹配模块包括：相关度计算模块、第一卷积操作块、第二卷积操作块、第一特征堆叠块、第三卷积操作块、第四卷积操作块、第五卷积操作块和第二特征堆叠块；在具体实施过程中，所述第一卷积操作块选用1*1卷积核；所述第二卷积操作块选用3*3卷积核；所述第三卷积操作块选用7*7卷积核；所述第二卷积操作块选用3*3卷积核；所述第五卷积操作块选用3*3卷积核；
[0075]
所述相关度计算模块基于接收到的上下文特征计算出相关度；
[0076]
所述第一卷积操作块、第二卷积操作块顺次设置，用于对相关度计算模块的输出数据做卷积；
[0077]
所述第三卷积操作块、第四卷积操作块顺次设置，用于对上一时刻的脉冲图像做卷积；
[0078]
所述第一特征堆叠块、第五卷积操作块和第二特征堆叠块顺次设置，所述第一特征堆叠块对第二卷积操作块和第四卷积操作块输出的特征进行堆叠，然后所述第五卷积操作块将堆叠后的特征再进行卷积，得到特征后再与上一时刻的脉冲图像进行堆叠，得到运动特征。具体地，图3中，如果我们定义脉冲子流s0～sn的对应的流量为o1～on，那么图3中左上角输入就是相关度c1～cn。当前估计流量实际上是上一时刻的流量，定义为那么红色输入就是红色输入就是默认为0，这样依次类推。然后进行卷积操作。两路出来的特征进行堆叠(注意这块的意思是ci对应的特征与oi对应的特征进行堆叠，所以是执行n次堆叠的)，然后将堆叠后的特征再进行卷积，得到特征后再与当前估计流量进行堆叠，得到运动特征，比如定义为u0～un。然后再把所有运动特征和上下文特征做堆叠，得到输出，比
如定义为
[0079]
其中，特征之间的相关度的计算公式为：
[0080][0081]
其中，ci(x,y,x',y')表示采样时刻i对应的上下文特征和对上一时刻的脉冲图像进行卷积操作获得的特征之间的相关度，(x,y)是上下文特征的坐标，(x',y')是对上一时刻的脉冲图像进行卷积操作获得的特征的坐标，t表示转置，单个脉冲图像的大小为h
×
w。
[0082]
在本发明实施例的一种具体实施方式中，如图5所示，所述循环解码模块包括：第三特征堆叠块、第一卷积门控循环单元、第二卷积门控循环单元、n个预测头、第四特征堆叠块和上采样块；
[0083]
所述第三特征堆叠块将接收到的上下文特征和运动特征进行堆叠，并将堆叠后的特征分别输入至第一卷积门控循环单元和第二卷积门控循环单元，得到隐藏状态h
t+1
；
[0084]
将所述隐藏状态h
t+1
分别送入各预测头，每个预测头为1个3
×
3卷积，得到初始流量
[0085]
利用第四特征堆叠块对初始流量进行堆叠，在利用上采样模块进行上采样，得到最终的光流o1～on。具体地，图4的输入就是图3的输出经过两个卷积循环门控单元，得到隐藏状态h
t+1
。再把隐藏状态h
t+1
分别送入预测头1～n(每个预测头为1个3
×
3卷积)，得到初始流量再把进行堆叠，然后整体进行上采样，得到最终的光流o1～on。
[0086]
其中，所述第一卷积门控循环单元、第二卷积门控循环单元的数学表达式为：
[0087]zt
＝σ(conv3×3([h
t-1
,x
t
],wz))
[0088]rt
＝σ(conv3×3([h
t-1
,x
t
],wr))
[0089]ht
＝tanh(conv3×3([r
t
⊙ht-1
,x
t
],wh))
[0090]ht+1
＝(1-z
t
)
⊙ht-1
+z
t
⊙ht
[0091]
其中，x
t
为对运动特征和上下文特征堆叠后的特征，h
t-1
为t-1时刻的隐含特征，σ为sigmoid函数，
⊙
为按元素相乘，wz、wr、wh均表示对应的权重，conv3×3表示3
×
3卷积，z
t
和r
t
分别表示更新门和重置门，更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明上个时刻的状态信息带入越多，重置门控制前一状态有多少信息被写入到当前的候选集h
t
上，重置门的值越小，前一状态的信息被写入的越少，h
t
为候选隐藏特征，h
t
为最终隐藏特征，h
t+1
为t+1时刻的隐含特征。
[0092]
在本发明实施例的一种具体实施方式中在光流估计网络的训练过程中，利用损失函数来判定是否停止训练，所述损失函数的表达式为：
[0093][0094]
其中，oi为与真值流场对应的预测光流值，||
·
||1表示l1正则化。
[0095]
下面结合一具体实施方式对本发明实施例中的方法进行详细说明。
[0096]
如图1所示，所述方法包括：
[0097]
s1.准备数据集；
[0098]
准备用于光流网络训练的连续脉冲图像，即脉冲流s(x,t)。
[0099]
s2.特征提取。
[0100]
将输入的脉冲流s(x,t)剪辑为脉冲子流s(x,t)，提取脉冲子流的特征。具体地：
[0101]
构建时序信息聚合模块，脉冲流中的每个脉冲代表光子积分过程的结果，而不是当前时刻的状态。这里将光子累积到一定数量达到阈值时记为“1”，没有达到阈值则记为“0”。因此，使用从二进制脉冲提取的特征进行匹配可能不适合反映场景的结构。建议用发射时间来表示脉冲中包含的信息，这样可以更好地表示光子到达每个像素的速率，从而聚合阶段性时序信息。
[0102]
如果将脉冲子流s(x,t)的时序信息表示为a(x,t)，则阶段性时序信息聚合可以用公式表示为：
[0103][0104]
其中，是时序信息聚合变换。δ2(x,t)和δ1(x,t)表示下一个和上一个脉冲子流在时空时刻(x,t)的发射时间,x代表像素集合，t代表某个时刻。||
·
||2表示l2正则化。本发明中使用时序信息聚合模块来反映脉冲的发射速率。这里的射速是一个统计概念，个体射速间隔的平均值与射速有关。场景中的运动改变了亮度，光子到达的泊松过程导致发射速率的波动。因此，发射速率在每个像素上是时间变化的。该模块可以较好地恢复脉冲的动态过程，而不是在较长的时间间隔下获得更恒定的发射速率。
[0105]
同时，构建全局脉冲信息聚合模块，通过沿时间轴平均脉冲流，聚合脉冲流中的全局时序信息。如果将脉冲子流s(x,t)的全局脉冲信息聚合信息表示为g，g(i,j)∈g，则全局脉冲信息聚合信息可以用公式表示为：
[0106][0107]
其中，是全局脉冲信息聚合变换。g(i,j)表示脉冲子流在像素点(i,j)处的全局脉冲信息，表示第k幅图像上点(i,j)的信息，n表示脉冲子流的长度。
[0108]
然后，求脉冲子流上的每个像素点的最大脉冲信息聚合得到像素矩阵m，m(i,j)∈m。记脉冲子流s(x,t)在像素点(i,j)处沿时间轴方向“0”的个数为m，“1”的个数为n，则：
[0109][0110]
其中，是最大脉冲信息聚合变换。m(i,j)表示脉冲子流在点(i,j)处的最大脉冲信息。随后，分别对a、g、m进行相应的卷积变换操作(采用3
×
3卷积核)，从而提取脉冲子流的特征。
[0111]
s3.特征匹配；
[0112]
为了提取脉冲中光学场景的连续运动过程，对脉冲流特征之间的相关性进行特征匹配，并将其编码为具有相应流场的运动特征。对于每个采样时刻i，构建特征之间的相关度：
[0113][0114]
其中，ci(x,y,x',y')表示采样时刻i对应的上下文特征和对上一时刻的脉冲图像进行卷积操作获得的特征之间的相关度，(x,y)是上下文特征的坐标，(x',y')是对上一时刻的脉冲图像进行卷积操作获得的特征的坐标，t表示转置，单个脉冲图像的大小为h
×
w。c的值越大，相似度越高，反之，c的值越小，相似度越低。
[0115]
s4.循环解码
[0116]
构建循环解码模块，在每次迭代中，循环解码模块通过运动特征和上下文特征来估计流场的残差，从而优化流场。对于所有要估计的流场，使用一个隐藏状态。采用不同的预测头来估计不同流场的残差。为了使流场进一步细化，引入更新操作，对原始流场进行更新。更新操作从初始起点估计流序列，其核心组件是基于gru单元的门控循环单元：
[0117]zt
＝σ(conv3×3([h
t-1
,x
t
],wz))
ꢀꢀ
(5)
[0118]rt
＝σ(conv3×3([h
t-1
,x
t
],wr))
ꢀꢀ
(6)
[0119]ht
＝tanh(conv3×3([r
t
⊙ht-1
,x
t
],wh))
ꢀꢀ
(7)
[0120]ht+1
＝(1-z
t
)
⊙ht-1
+z
t
⊙ht
ꢀꢀ
(8)
[0121]
其中，x
t
为输入特征，即运动特征和上下文特征的堆叠。h
t-1
为t-1时刻的隐含特征，包含了之前节点的相关信息。σ为sigmoid函数，通过这个函数可以将数据变换为0-1范围内的数值，从而来充当门控信号。
⊙
为按元素相乘，w表示对应的权重。conv3×3表示3
×
3卷积，z
t
和r
t
分别表示更新门和重置门。h
t
为候选隐藏特征，h
t
为最终隐藏特征。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明上个时刻的状态信息带入越多。重置门控制前一状态有多少信息被写入到当前的候选集h
t
上，重置门的值越小，前一状态的信息被写入的越少。
[0122]
通过利用3
×
3卷积来构建流预测头，从而学习得到光流。流预测头共有n个，分别输出对应脉冲流序列帧与帧之间的流场。
[0123]
给定脉冲子流中某两帧之间的真值流场则损失函数定义为:
[0124][0125]
其中，oi为与真值流场对应的预测光流值，||
·
||1表示l1正则化。
[0126]
s5.网络训练
[0127]
训练各模块并将其相互连接，固定提取光流特征的权值，进行循环解码的训练，得到光流估计网络。。
[0128]
s6.网络测试
[0129]
利用损失函数来判定是否停止训练，所述损失函数的表达式为：
[0130][0131]
其中，oi为与真值流场对应的预测光流值，||
·
||1表示l1正则化。
[0132]
s7.实际应用
[0133]
利用训练得到的光流估计网络对测试图像对进行前向计算，输出即为预测所得到的光流。
[0134]
实施例2
[0135]
基于与实施例1相同的发明构思，本发明实施例中提供了一种基于全局脉冲聚合的光流估计装置，包括：
[0136]
获取模块，用于获取待测脉冲图像；
[0137]
估计模块，用于将所述待测脉冲图像输入至预先训练好的光流估计网络，得到预测光流；所述光流估计网络包括特征提取模块、特征匹配模块和循环解码模块；所述特征提取模块用于将接收到的脉冲图像剪辑为若干个脉冲子流，分别对个脉冲子流进行特征提取，生成对应的上下文特征；所述特征匹配模块用于对上下文特征和对上一时刻的脉冲图像进行卷积操作获得的特征进行匹配，并将匹配结果编码为具有相应流场的运动特征；所述循环解码模块用于基于所述上下文特征和运动特征进行循环解码，得到光流。
[0138]
实施例3
[0139]
基于与实施例1相同的发明构思，本发明实施例中提供了一种基于全局脉冲聚合的光流估计系统，包括存储介质和处理器；
[0140]
所述存储介质用于存储指令；
[0141]
所述处理器用于根据所述指令进行操作以执行根据实施例1中任一项所述的方法。
[0142]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0143]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0144]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0145]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0146]
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员
在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
[0147]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：
1.一种基于全局脉冲聚合的光流估计方法，其特征在于，包括：获取待测脉冲图像；将所述待测脉冲图像输入至预先训练好的光流估计网络，得到预测光流；所述光流估计网络包括特征提取模块、特征匹配模块和循环解码模块；所述特征提取模块用于将接收到的脉冲图像剪辑为若干个脉冲子流，分别对个脉冲子流进行特征提取，生成对应的上下文特征；所述特征匹配模块用于对上下文特征和对上一时刻的脉冲图像进行卷积操作获得的特征进行匹配，并将匹配结果编码为具有相应流场的运动特征；所述循环解码模块用于基于所述上下文特征和运动特征进行循环解码，得到光流。2.根据权利要求1所述的一种基于全局脉冲聚合的光流估计方法，其特征在于，所述特征提取模块包括：全局脉冲信息聚合模块，用于基于接收到的脉冲子流，计算出全局像素矩阵g；时序信息聚合模块，用于基于接收到的脉冲子流，计算出时序像素矩阵a；最大脉冲信息聚合模块，用于基于接收到的脉冲子流，基于每个像素点的最大值，计算出最大脉冲像素矩阵m；卷积摸块，分别与所述全局脉冲信息聚合模块、时序信息聚合模块和最大脉冲信息聚合模块相连，基于所述全局像素矩阵g、时序像素矩阵a和最大脉冲像素矩阵m计算出上下文特征。3.根据权利要求2所述的一种基于全局脉冲聚合的光流估计方法，其特征在于，所述全局像素矩阵g的计算公式为：所述时序像素矩阵a的计算公式为：所述最大脉冲像素矩阵m的计算公式为：其中，g(i,j)表示脉冲子流在像素点(i,j)处的全局脉冲信息，是全局脉冲信息聚合变换，s(x,t)表示脉冲子流，表示第k幅图像上像素点(i,j)的信息，n表示脉冲子流的长度，是时序信息聚合变换，δ2(x,t)和δ1(x,t)分别表示下一个和上一个脉冲子流在时空时刻(x,t)的发射时间,x表示像素集合，t表示某个时刻，||
·
||2表示l2正则化，是最大脉冲信息聚合变换，m(i,j)表示脉冲子流在像素点(i,j)处的最大脉冲信息。4.根据权利要求1所述的一种基于全局脉冲聚合的光流估计方法，其特征在于，所述特征匹配模块包括：相关度计算模块、第一卷积操作块、第二卷积操作块、第一特征堆叠块、第三卷积操作块、第四卷积操作块、第五卷积操作块和第二特征堆叠块；所述相关度计算模块基于接收到的上下文特征计算出相关度；所述第一卷积操作块、第二卷积操作块顺次设置，用于对相关度计算模块的输出数据做卷积；
所述第三卷积操作块、第四卷积操作块顺次设置，用于对上一时刻的脉冲图像做卷积；所述第一特征堆叠块、第五卷积操作块和第二特征堆叠块顺次设置，所述第一特征堆叠块对第二卷积操作块和第四卷积操作块输出的特征进行堆叠，然后所述第五卷积操作块将堆叠后的特征再进行卷积，得到特征后再与上一时刻的脉冲图像进行堆叠，得到运动特征。5.根据权利要求4所述的一种基于全局脉冲聚合的光流估计方法，其特征在于：特征之间的相关度的计算公式为：其中，c
i
(x,y,x',y')表示采样时刻i对应的上下文特征和对上一时刻的脉冲图像进行卷积操作获得的特征之间的相关度，(x,y)是上下文特征的坐标，(x',y')是对上一时刻的脉冲图像进行卷积操作获得的特征的坐标，t表示转置，单个脉冲图像的大小为h
×
w。6.根据权利要求1所述的一种基于全局脉冲聚合的光流估计方法，其特征在于，所述循环解码模块包括：第三特征堆叠块、第一卷积门控循环单元、第二卷积门控循环单元、n个预测头、第四特征堆叠块和上采样块；所述第三特征堆叠块将接收到的上下文特征和运动特征进行堆叠，并将堆叠后的特征分别输入至第一卷积门控循环单元和第二卷积门控循环单元，得到隐藏状态h
t+1
；将所述隐藏状态h
t+1
分别送入各预测头，每个预测头为1个3
×
3卷积，得到初始流量3卷积，得到初始流量利用第四特征堆叠块对初始流量进行堆叠，在利用上采样模块进行上采样，得到最终的光流o1～o
n
。7.根据权利要求6所述的一种基于全局脉冲聚合的光流估计方法，其特征在于：所述第一卷积门控循环单元、第二卷积门控循环单元的数学表达式为：z
t
＝σ(conv3×3([h
t-1
,x
t
],w
z
))r
t
＝σ(conv3×3([h
t-1
,x
t
],w
r
))h
t
＝tanh(conv3×3([r
t
⊙
h
t-1
,x
t
],w
h
))h
t+1
＝(1-z
t
)
⊙
h
t-1
+z
t
⊙
h
t
其中，x
t
为对运动特征和上下文特征堆叠后的特征，h
t-1
为t-1时刻的隐含特征，σ为sigmoid函数，
⊙
为按元素相乘，w
z
、w
r
、w
h
均表示对应的权重，conv3×3表示3
×
3卷积，z
t
和r
t
分别表示更新门和重置门，更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明上个时刻的状态信息带入越多，重置门控制前一状态有多少信息被写入到当前的候选集h
t
上，重置门的值越小，前一状态的信息被写入的越少，h
t
为候选隐藏特征，h
t
为最终隐藏特征，h
t+1
为t+1时刻的隐含特征。8.根据权利要求1所述的一种基于全局脉冲聚合的光流估计方法，其特征在于：在光流估计网络的训练过程中，利用损失函数来判定是否停止训练，所述损失函数的表达式为：其中，o
i
为与真值流场对应的预测光流值，||
·
||1表示l1正则化。
9.一种基于全局脉冲聚合的光流估计装置，其特征在于，包括：获取模块，用于获取待测脉冲图像；估计模块，用于将所述待测脉冲图像输入至预先训练好的光流估计网络，得到预测光流；所述光流估计网络包括特征提取模块、特征匹配模块和循环解码模块；所述特征提取模块用于将接收到的脉冲图像剪辑为若干个脉冲子流，分别对个脉冲子流进行特征提取，生成对应的上下文特征；所述特征匹配模块用于对上下文特征和对上一时刻的脉冲图像进行卷积操作获得的特征进行匹配，并将匹配结果编码为具有相应流场的运动特征；所述循环解码模块用于基于所述上下文特征和运动特征进行循环解码，得到光流。10.一种基于全局脉冲聚合的光流估计系统，其特征在于，包括存储介质和处理器；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行根据权利要求1-8中任一项所述的方法。

技术总结
本发明公开了一种基于全局脉冲聚合的光流估计方法、装置及系统，所述光流估计方法包括获取待测脉冲图像；将所述待测脉冲图像输入至预先训练好的光流估计网络，得到预测光流；所述光流估计网络包括特征提取模块、特征匹配模块和循环解码模块；所述特征提取模块用于将接收到的脉冲图像剪辑为若干个脉冲子流，分别对个脉冲子流进行特征提取，生成对应的上下文特征；所述特征匹配模块用于对上下文特征和对上一时刻的脉冲图像进行卷积操作获得的特征进行匹配，并将匹配结果编码为具有相应流场的运动特征；所述循环解码模块用于基于所述上下文特征和运动特征进行循环解码，得到光流。本发明能够从连续脉冲流中提炼出含有全局时序信息的上下文特征和运动特征，进而学习得到光流。流。流。


技术研发人员：翟明亮
受保护的技术使用者：南京邮电大学
技术研发日：2023.06.08
技术公布日：2023/8/24