一种面向时空事件脉冲流的目标区域分割方法及系统

1.本发明涉及一种面向时空事件脉冲流的目标区域分割方法及系统，尤其涉及一种低光照、高速环境下的目标区域分割方法，属于视频物体分割领域。


背景技术：

2.视频物体分割方法是计算机视觉的一个基本任务，在人机交互、自动驾驶、目标跟踪等许多领域得到了广泛应用。近年来使用深度学习方法进行视频物体分割取得了长足的发展，并成为该类问题的主流解决方式。然而，现有的方法都是基于传统的视觉传感器来获得图片模态的数据，这已经越来越不能满足现有视觉任务的需求，尤其是在涉及到低光照、高动态、高速的场景时不能产生良好的分割结果。这主要是由两个原因导致的：(1)这些传感器通常按照预设的固定频率对场景进行完整采样，而这种采样方式不能自适应场景的动态变化，导致在低光场景下没有捕捉到足够的信息。(2)采集到的图片在时间上不连续，帧间运动信息未被记录，而在高速场景下传统的视觉传感器往往会造成严重的动态模糊，对目标分割产生不利的影响。
3.根据生物视网膜的视觉采样机制的原理，一系列采集脉冲阵列信号的新型相机逐渐进入人们视野，包括根据光照强度的变化发放脉冲信号的传感器，如动态视觉传感器(dynamic vision sensor,dvs)、基于异步时间的图像传感器(asynchronous time-based image sensor,atis)、动态有源像素视觉传感器(dynamic and active pixel vision sensor,davis)等；基于光照强度累积强度发放信号的传感器，如脉冲相机(vidar)等。与传统相机的采样方式不同，这种摄像机的传感器采集一定时间，一定区域内光信号的信息，具有低运动模糊、高动态范围、高时间分辨率等优点。
4.近年来，时空事件脉冲流已被应用于多种计算机视觉任务，如：物体分类、目标检测、语义分割、深度估计等，并已取得一定的成果。这种数据模态仍有极大的潜力，并有望解决传统图片模态所不能适配的场景。


技术实现要素：

5.针对现有的视频物体分割方法不能很好的适配低光、高速场景，本发明主要目的是提供一种能够在上述场景下进行准确目标区域分割的方法及系统。依据时空事件脉冲流的数据特性，通过将连续的事件脉冲流转化为特定的输入表示，以此来适配传统神经网络的输入；通过循环神经网络提取信息并记忆过去特征，提高目标区域分割模型对连续事件脉冲输入的特征提取能力；通过循环特征编码器匹配目标，同时更新的隐藏状态，建模时空关系，提高模型对目标的查询匹配能力；通过特征解码器获取目标在当前与过去时刻的注意力关系矩阵，提高模型对特征匹配的鲁棒性；通过跳跃连接将中间特征输入分割头，提高模型对粗粒度和细粒度信息的特征融合能力，进而提高预测目标区域的准确性。本发明不仅能够在低光、高速场景下取得准确的分割结果，还能够分割任意时刻的目标区域。
6.本发明的目的通过如下技术方案实现。
7.本发明公开的一种面向时空事件脉冲流的目标区域分割方法，包含以下步骤：
8.步骤101：通过事件脉冲相机采集时空事件脉冲流e，为了适配神经网络的输入形式，利用体素能够保留事件在时间维度信息、且能够表征事件空间分布的优点，根据事件体素转换关系，将连续时空事件脉冲流e转化为适配神经网络的输入表示v。
9.所述连续的时空事件脉冲流e，包括但不限于：事件相机产生的事件数据、脉冲相机产生的脉冲数据。
10.所述连续的时空事件流e为n
×
4矩阵，其中n为事件个数，每个事件由4维数据(timestamp,x,y,polarity)表示，其中timestamp为事件产生时的时间戳，1≤x≤w,1≤y≤h为事件所对应的像素位置，h
×
w为事件的空间分辨率，polarity∈{-1,1}为事件的极性。为了适配神经网络的输入形式，根据公式(1)所示事件体素转换关系将连续的时空事件脉冲流e转化为适配神经网络的输入表示v。
[0011][0012]
其中t0,tn为整段事件流的起止时间，ti为每个事件的发出时间，b为指定的体素维数，δt为整段事件流时间间隔，pi为事件极性，x
l
,ym为空间坐标。
[0013]
步骤102：使用循环神经网络对时刻t的输入表示v
t
进行特征提取，获取每一层的特征同时更新循环神经网络的隐藏状态提高目标区域分割模型对连续事件脉冲输入的特征提取能力。
[0014]
所述特征提取循环神经网络包括但不限于：convlstm、convgru、snn，作为优选，所述循环神经网络选用convlstm提取体素特征。
[0015]
事件数据反映的是像素点在某一时刻的光强变化，但对于光强变化小、物体运动不明显的情况则不会发出足够的事件信号，进而导致事件在空间上分布稀疏，部分体素数据v中没有足够的信息。基于事件在时间维度上高度连续的特性，利用过去的事件信息能够提高目标区域分割模型的特征提取能力。因此通过循环神经网络convlstm提取体素特征，并使用隐藏状态state记录过去的事件信息，自适应的从稀疏或稠密的体素中提取的特征，在保证模型鲁棒性的同时，增强目标区域分割模型的信息记忆能力，提高目标区域分割模型的分割精度，convlstm提取体素特征具体的实现公式为：
[0016][0017]
其中i为convlstm的层数索引，v
t
为t时刻的体素，当t＝1时，被初始化为全0矩阵；当t≥1时,为每一层convlstm上次迭代时的隐藏状态，为更新后隐藏状态，为每一层的体素中间特征。
[0018]
步骤103：给定待检测目标区域标签，使用标签融合特征提取循环神经网络对t-1时刻的输入表示v
t-1
和进行特征融合，获取标签融合特征同时更新隐藏状态
[0019]
所述待检测目标区域标签，标签获取方法包括但不限于：人为指定目标区域及类
别、使用显著性区域检测模型获取目标标签；所述标签融合特征提取循环神经网络包括但不限于：convlstm、convgru、snn，作为优选，所述标签融合特征提取循环神经网络选用convlstm融合特征。
[0020]
由于事件数据的获取取决于光强变化，每次输入的体素中事件密度变化较大，为了适应不同的输入密度，使用convlstm记忆过去的特征与标签信息。在标签与体素特征融合时，使用背景卷积conv
bg
和前景卷积conv
fg
处理标签，得到的特征通过加和的形式附加到体素特征上，获取融合后的标签融合特征。对t-1时刻的体素v
t-1
和标签进行特征融合，具体的实现公式为：
[0021][0022]
其中当t＝1时，为给定的物体标签，被初始化为全0矩阵；当t≥2时，为上一次预测所生成的物体标签，为每一层convlstm迭代的隐藏状态。
[0023]
步骤104：将步骤102与103中的最后一层特征与循环注意力模块的输出拼接起来，作为特征编码器的输入z
t
，在空间和时间维度上建模目标特征提高模型对目标的查询匹配能力。
[0024]
特征编码器包括但不限于：cnn卷积神经网络、全连接神经网络、transformer，作为优选，使用transformer模型中的transformer encoder作为特征编码器。
[0025]
transformer encoder的自注意力机制能够建模每个像素之间的关系，将步骤102与103中convlstm的最后一层特征：标签融合特征体素特征以及循环注意力模块特征进行拼接，构成输入z
t
，具体公式为：
[0026][0027]
其中z
t
∈r
3hw
×n×d,h、w为特征的分辨率，n为序列中目标物体的个数。对z
t
使用自注意力机制操作，在时间维度建立像素间的信息关联，并在空间维度查询目标物体特征。利用多头注意力机制从多个维度提取特征信息，能够防止过拟合，接着使用前馈神经网络ffn提取目标特征具体公式为：
[0028][0029][0030]
d为隐藏层的维数,m为多头注意力机制的个数,dk＝d/m，为维度映射矩阵，将特征映射回d维度。为每个多头注意力机制的特征向量，由公式(7)确定：
[0031]
[0032]
为每个多头注意力模块的可学习参数。
[0033]
步骤105：使用步骤104的输出中属于t时刻输入表示v
t
的特征作为循环注意力模块的输入，获取下一次步骤104的部分输入同时更新隐藏状态提高目标区域分割模型检测目标运动的能力。
[0034]
使用循环注意力模块记忆特征编码器的输出特征，截取中属于输入表示v
t
的特征作为输入，获取注意力矩阵循环注意力模块的输出通过残差连接更新并获得下次迭代时特征编码器的输入
[0035][0036][0037][0038][0039]
其中当t＝1时，被初始化为全0矩阵；当t≥1时,为循环注意力模块上次迭代时的隐藏状态，σ为elu()函数，和分别为输入分支和隐藏状态分支多头注意力模块的可学习参数，为两分支的合并输出。循环注意力模块的输出通过残差连接更新并获得下次迭代时特征编码器的部分输入，ln为layernorm操作，具体的实现公式为：
[0040][0041][0042]
步骤106：使用和一个可训练的查询向量q
emb
作为特征解码器的输入，获取目标查询特征并使用和计算关系矩阵am
t
，am
t
和拼接后作为分割头的输入s
t
，提高模型对特征匹配的鲁棒性。
[0043]
特征解码器包括但不限于：cnn卷积神经网络、全连接神经网络、transformer，作为优选，使用transformer中的transformer decoder作为特征解码器。
[0044]
使用transformer decoder和查询向量q
emb
∈rd查询目标物体的特征，根据序列中所包含的物体个数n将q
emb
复制n次，得到向量q
dec
∈rn×d，q
dec
和作为transformer decoder输入，通过跨注意力操作获取查询特征计算公式与公式(5)(6)(7)相同。
[0045]
此时中含有丰富的语义信息，但其中夹杂了t-1时刻的体素和循环注意力模块的特征信息，因此仍需要一个关系提取操作获取t时刻的目标物体信息。使用目标注意力模块计算和像素间的关联关系，使用多头注意力机制从不同的维度提取信息，得到注意力关系矩阵am
i,t
，其中i为多头注意力模块的索引，具体公式为：
[0046][0047]
注意力矩阵am
i,t
中包含了中的目标物体信息，因此将二者拼接在一起，记为s
t
∈r
hw
×n×
(d+m)
，能够增强特征所包含的目标信息，具体公式为：
[0048][0049]
步骤107：步骤102的中间特征通过跳跃连接输入到分割头中，通过上采样操作提高特征分辨率，提高模型对粗粒度和细粒度信息的特征融合能力，进而提高预测目标区域的准确性。
[0050]
通过卷积操作将s
t
映射到再使用上采样和卷积操作将特征尺寸调整到原图像的1/4，具体公式为：
[0051][0052]
通过线性插值将放大到原图像尺寸，记为o
t
，对o
t
计算softmax得到每个像素所对应的类别，得到t时刻v
t
所预测的即对应目标的分割区域。
[0053]
步骤108：重复步骤101-107，使用预测得到的作为下次迭代时给定标签，通过循环神经网络融合特征，提高对连续时间脉冲输入的特征提取能力；通过循环特征编码器和解码器建模时空关系，提高特征匹配的查询能力和鲁棒性，进而提高预测目标区域的准确性，达到在低光、高速场景下分割任意时刻目标区域的目的。
[0054]
本发明公开的一种面向时空事件脉冲流的目标区域分割系统，基于所述一种面向时空事件脉冲流的目标区域分割方法实现。所述一种面向时空事件脉冲流的目标区域分割系统包括时空事件流采集模块、特征提取模块、标签融合特征提取模块、目标特征匹配模块、目标区域生成模块。
[0055]
所述时空事件流采集模块，通过事件脉冲相机采集时空事件流e，根据事件体素转换关系将连续的时空事件脉冲流e转化为适配神经网络的输入表示v，将所述当前时刻体素表示v
t
输入至特征提取模块，将上一时刻体素表示v
t-1
输入至标签融合特征提取模块。
[0056]
所述特征提取模块用于提取连续事件数据的空间与时间信息，通过循环神经网络达到对信息长时记忆的目的，在更新内部隐藏状态的同时，输出含有当前时刻目标信息的特征提高对连续时间脉冲输入的特征提取能力，输入至目标特征匹配模块。
[0057]
所述标签融合特征提取模块用于将给定的目标标签与上一时刻的目标特征进行融合，将标签信息与目标特征融合获得提高给定目标标签的利用能力，输入至目标特征匹配模块。
[0058]
所述目标特征匹配模块用于在目标特征和标签融合特征中查询目标位置，通过循环特征编解码器的自注意力和跨注意力操作，完成两个特征间的目标查询，获得目标关系矩阵s
t
，提高特征匹配的查询能力和鲁棒性，s
t
输入到目标区域生成模块。
[0059]
所述目标区域生成模块用于生成当前时刻的预测目标区域，根据输入的s
t
目标关
系矩阵，使用softmax函数确定每个像素所属的目标类别，得到当前时刻预测的区域接着作为下一次标签融合特征模块的给定标签，输入到标签融合特征模块中，进行下一次循环迭代，直到时空事件流采集模块停止输出数据表示v。
[0060]
有益效果：
[0061]
1、本发明公开的一种面向时空事件脉冲流的目标区域分割方法及系统，使用时空事件脉冲流作为目标区域分割模型的输入，不仅能够在低光、高速场景下取得准确的分割结果，还能够分割任意时刻的目标区域；
[0062]
2、本发明公开的一种面向时空事件脉冲流的目标区域分割方法及系统，通过循环神经网络提取信息并记忆过去特征，提高目标区域分割模型对连续事件脉冲输入的特征提取能力；
[0063]
3、本发明公开的一种面向时空事件脉冲流的目标区域分割方法及系统，通过循环特征编码器匹配目标，建模时空关系；通过特征解码器获取目标在当前与过去时刻特征的注意力关系矩阵，提高目标区域分割模型对目标的查询匹配能力和特征匹配的鲁棒性；
[0064]
4、本发明公开的一种面向时空事件脉冲流的目标区域分割方法及系统，通过跳跃连接将中间特征输入分割头，提高目标区域分割模型对粗粒度和细粒度信息的特征融合能力，进而提高预测目标区域的准确性。
附图说明
[0065]
图1是本发明公开的一种面向时空事件脉冲流的目标区域分割方法及系统的流程图。
[0066]
图2是本发明公开的一种面向时空事件脉冲流的目标区域分割方法及系统的系统框架图。
[0067]
图3是本发明公开的一种面向时空事件脉冲流的目标区域分割方法及系统对真实事件脉冲流输入的结果图。
[0068]
图4是本发明公开的一种面向时空事件脉冲流的目标区域分割方法及系统在低光、高速场景下的分割结果图。
[0069]
图5是本发明公开的一种面向时空事件脉冲流的目标区域分割方法及系统对任意时刻事件脉冲流的分割结果图。
具体实施方式
[0070]
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0071]
实施例1：
[0072]
图1展示了本发明实施例提供的目标区域分割框架，如图1所示，本实施例公开的一种面向时空事件脉冲流的目标区域分割方法，包含以下步骤：
[0073]
步骤101：通过事件脉冲相机采集时空事件脉冲流e，为了适配神经网络的输入形式，利用体素能够保留事件在时间维度信息、且能够表征事件空间分布的优点，根据事件体
素转换关系，将连续时空事件脉冲流e转化为适配神经网络的输入表示v。
[0074]
所述连续的时空事件流e为n
×
4矩阵，其中n为时间间隔内的事件个数，每个事件由4维数据(timestamp,x,y,polarity)表示，其中timestamp为事件产生时的时间戳，1≤x≤260,1≤y≤346为事件所对应的像素位置，260
×
346为事件的空间分辨率，polarity∈{-1,1}为事件的极性。为了适配神经网络的输入形式，根据公式(1)所示事件体素转换关系将连续的时空事件脉冲流e转化为适配神经网络的输入表示v。
[0075][0076]
其中t0,tn为整段事件流的起止时间，ti为每个事件的发出时间，b为指定的体素维数，本实施例将b设定为5，得到的体素v∈r5×
260
×
346
，δt为整段事件流时间间隔，pi为事件极性，x
l
,ym为空间坐标。
[0077]
步骤102：使用循环神经网络对时刻t的输入表示v
t
进行特征提取，获取每一层的特征同时更新循环神经网络的隐藏状态提高目标区域分割模型对连续事件脉冲输入的特征提取能力。
[0078]
事件数据反映的是像素点在某一时刻的光强变化，但对于光强变化小、物体运动不明显的情况则不会发出足够的事件信号，进而导致事件在空间上分布稀疏，部分体素数据v中没有足够的信息。基于事件在时间维度上高度连续的特性，利用过去的事件信息能够提高目标区域分割模型的特征提取能力。因此通过循环神经网络convlstm提取体素特征，并使用隐藏状态state记录过去的事件信息，自适应的从稀疏或稠密的体素中提取的特征，在保证模型鲁棒性的同时，增强目标区域分割模型的信息记忆能力，提高目标区域分割模型的分割精度，convlstm提取体素特征具体的实现公式为：
[0079][0080]
在本实施例中使用3层convlstm作为特征提取循环神经网络，i为convlstm的层数索引，v
t
为t时刻的体素，当t＝1时，被初始化为全0矩阵；当t≥1时,为每一层convlstm上次迭代时的隐藏状态，为更新后隐藏状态，为每一层的体素中间特征。
[0081]
步骤103：给定待检测目标区域标签，使用标签融合特征提取循环神经网络对t-1时刻的输入表示v
t-1
和进行特征融合，获取标签融合特征同时更新隐藏状态
[0082]
由于事件数据的获取取决于光强变化，每次输入的体素中事件密度变化较大，为了适应不同的输入密度，使用convlstm记忆过去的特征与标签信息。在标签与体素特征融合时，使用背景卷积conv
bg
和前景卷积conv
fg
处理标签，得到的特征通过加和的形式附加到体素特征上，获取融合后的标签融合特征。对t-1时刻的体素v
t-1
和标签进行特征融合，具体的实现公式为：
[0083]
[0084]
在本实施例中使用3层convlstm作为标签融合特征提取循环神经网络，其中当t＝1时，为给定的目标标签，被初始化为全0矩阵；当t≥2时，为上一次预测所生成目标标签，为每一层convlstm上次迭代的隐藏状态。
[0085]
步骤104：将步骤102与103中的最后一层特征与循环注意力模块的输出拼接起来，作为特征编码器的输入z
t
，在空间和时间维度上建模目标特征提高模型对目标的查询匹配能力。
[0086]
transformer encoder的自注意力机制能够建模每个像素之间的关系，将步骤102与103中convlstm的最后一层特征：标签融合特征体素特征以及循环注意力模块特征进行拼接，构成输入z
t
，具体公式为：
[0087][0088]
其中z
t
∈r
1122
×n×
256
,n为序列中目标物体的个数。对z
t
使用自注意力机制操作，在时间维度建立像素间的信息关联，并在空间维度查询目标物体特征。利用多头注意力机制从多个维度提取特征信息，能够防止过拟合，接着使用前馈神经网络ffn提取目标特征具体公式为：
[0089][0090][0091]
本实施例使用6层transformer encoder作为特征编码器，其中每层含有8个多头注意力模块，dk＝32为每个多头注意力模块的向量维数，为维度映射矩阵，为每个多头注意力机制的特征向量，由公式(7)确定：
[0092][0093]
为每个多头注意力模块的可学习参数。
[0094]
步骤105：使用步骤104的输出中属于t时刻输入表示v
t
的特征作为循环注意力模块的输入，获取下一次步骤104的部分输入同时更新隐藏状态提高目标区域分割模型检测目标运动的能力。
[0095]
使用循环注意力模块记忆特征编码器的输出特征，截取中属于输入表示v
t
的特征作为输入，获取注意力矩阵循环注意力模块的输出通过残差连接更新并获得下次迭代时特征编码器的输入
[0096][0097]
[0098][0099][0100]
其中当t＝1时，被初始化为全0矩阵；当t≥1时,为循环注意力模块上次迭代时的隐藏状态，σ为elu()函数，和分别为输入分支和隐藏状态分支多头注意力模块的可学习参数，为两分支的合并输出。循环注意力模块的输出通过残差连接更新并获得下次迭代时特征编码器的部分输入ln为layernorm操作，具体的实现公式为：
[0101][0102][0103]
步骤106：使用和一个可训练的查询向量q
emb
作为特征解码器的输入，获取目标查询特征并使用和计算关系矩阵am
t
，am
t
和拼接后作为分割头的输入s
t
，提高模型对特征匹配的鲁棒性。
[0104]
使用6层transformer decoder和查询向量q
emb
∈r
256
查询目标物体的特征，根据序列中所包含的物体个数n将q
emb
复制n次，得到向量q
dec
∈rn×
256
，q
dec
和作为transformer decoder输入，通过跨注意力操作获取查询特征计算公式与公式(5)(6)(7)相同。
[0105]
此时中含有丰富的语义信息，但其中夹杂了t-1时刻的体素和循环注意力模块的特征信息，因此仍需要一个关系提取操作获取t时刻的目标物体信息。使用目标注意力模块计算和像素间的关联关系，使用8个多头注意力模块从不同的维度提取信息，得到注意力关系矩阵am
i,t
∈r
374
×8×
256
，具体公式为：
[0106][0107]
其中为切分成8份的特征向量作为多头注意力模块的输入，此时注意力矩阵am
i,t
中包含了中的目标物体信息，因此将二者拼接在一起，记为s
t
∈r
374
×n×
264
，能够增强特征所包含的目标信息，具体公式为：
[0108][0109]
步骤107：步骤102的中间特征通过跳跃连接输入到分割头中，通过上采样操作提高特征分辨率，提高模型对粗粒度和细粒度信息的特征融合能力，进而提高预测目标区域的准确性。
[0110]
通过卷积操作将s
t
映射到再使用2次上采样和卷积操作将特征尺寸调整到65
×
87，具体公式为：
[0111][0112]
通过线性插值将放大到原图像尺寸，记为o
t
∈rn×
260
×
346
，对o
t
计算softmax得到每个像素所对应的类别，得到t时刻v
t
所预测的即对应目标的分割区域。
[0113]
步骤108：重复步骤101-107，使用预测得到的作为下次迭代时给定标签，通过循环神经网络融合特征，提高对连续时间脉冲输入的特征提取能力；通过循环特征编码器和解码器建模时空关系，提高特征匹配的查询能力和鲁棒性，进而提高预测目标区域的准确性，达到在低光、高速场景下分割任意时刻目标区域的目的。
[0114]
本实施例公开的一种面向时空事件脉冲流的目标区域分割系统，基于所述一种面向时空事件脉冲流的目标区域分割方法实现。图2展示了实施例的系统模块，如图2所示，所述一种面向时空事件脉冲流的目标区域分割系统包括以下模块：
[0115]
所述时空事件流采集模块，通过事件脉冲相机采集时空事件流e，根据事件体素转换关系将连续的时空事件脉冲流e转化为适配神经网络的输入表示v，将所述当前时刻体素表示v
t
输入至特征提取模块，将上一时刻体素表示v
t-1
输入至标签融合特征提取模块。
[0116]
所述特征提取模块用于提取连续事件数据的空间与时间信息，通过循环神经网络达到对信息长时记忆的目的，在更新内部隐藏状态的同时，输出含有当前时刻目标信息的特征提高对连续时间脉冲输入的特征提取能力，之后输入至目标特征匹配模块。
[0117]
所述标签融合特征提取模块用于将给定的目标标签与上一时刻的目标特征进行融合，将标签信息与目标特征融合获得提高给定目标标签的利用能力，之后输入至目标特征匹配模块。
[0118]
所述目标特征匹配模块用于在目标特征和标签融合特征中查询目标位置，通过循环特征编解码器的自注意力和跨注意力操作，完成两个特征间的目标查询，获得目标关系矩阵s
t
，提高特征匹配的查询能力和鲁棒性，s
t
输入到目标区域生成模块。
[0119]
所述目标区域生成模块用于生成当前时刻的预测目标区域，根据输入的s
t
目标关系矩阵，使用softmax函数确定每个像素所属的目标类别，得到当前时刻预测的区域接着作为下一次标签融合特征模块的给定标签，输入到标签融合特征模块中，进行下一次循环迭代，直到时空事件流采集模块停止输出数据表示v。
[0120]
本实施例将通过目标区域预测的结果来说明本发明的有效性。
[0121]
1.实验条件
[0122]
本实验的硬件测试条件为：intel xeon gold 6240c，内存32g。gpu为nvidia geforce rtx 3090，显存24g，cuda版本为11.1；所用相机为davis 346事件相机。为了保证对比实验的公平，在时空事件脉冲流数据输入的基础上，额外使用e2vid重建连续事件脉冲的灰度图像，以此来适配对比方法的图片模态输入。所有的对比方法都使用原本的训练超参数，在eos事件分割数据集上重新训练相同的迭代次数。
[0123]
2.实验结果
[0124]
为了定量的衡量目标分割结果的质量，使用区域相似度(region similarity j)
和轮廓准确性(contour accuracy f)衡量预测目标区域的相似性和轮廓的准确性，同时根据事件脉冲流反映光强变化的特性，将场景分为相机运动和目标物体运动两种情景。
[0125]
表1展示了输入图片模态数据、体素模态数据的方法在训练后，在eos事件分割数据集上的目标区域分割指标结果，从表中可以看出，本发明的方法相较于对比方法有着明显的提升，不论是相机移动还是目标移动都能够取得良好的分割精度。图3展示了本方法对事件流输入的结果示意图，不论是对单目标还是多目标场景，本发明的方法都能够准确的分割出目标区域。
[0126]
表1不同方法的对比实验分割指标结果表
[0127][0128]
图4展示了本发明方法在低光、高速场景下的分割结果图，从图中可以看出，本发明的目标分割方法可以有效的检测出离散、稀疏事件流中的目标区域；同时能够很好的适应低光、高速环境，极大的拓宽了视频物体分割方法的应用场景，具有较高的应用价值。除此之外，事件流在时间维度连续，可以截取任意时间间隔内的数据。图5展示了对任意时刻事件的分割结果。
[0129]
综上所述，本实施例提出的一种面向时空事件脉冲流的目标区域分割方法及系统，通过数据表征转换、循环神经网络记忆过去信息，同时使用循环特征编解码器查询目标特征，显著的提高了对连续时空脉冲流的利用能力，成功的将其应用在了视频目标分割领域。本实例所提的一种面向时空事件脉冲流的目标区域分割方法及系统，不仅拓宽了视频目标分割的使用场景，还在低光、高速场景中的人机交互、目标跟踪、自动驾驶等领域有着重要的应用价值。
[0130]
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种面向时空事件脉冲流的目标区域分割方法，其特征在于：包括如下步骤，步骤101：通过事件脉冲相机采集时空事件脉冲流e，为了适配神经网络的输入形式，利用体素能够保留事件在时间维度信息、且能够表征事件空间分布的优点，根据事件体素转换关系，将连续时空事件脉冲流e转化为适配神经网络的输入表示v；步骤102：使用循环神经网络对时刻t的输入表示v
t
进行特征提取，获取每一层的特征同时更新循环神经网络的隐藏状态提高目标区域分割模型对连续事件脉冲输入的特征提取能力；步骤103：给定待检测目标区域标签，使用标签融合特征提取循环神经网络对t-1时刻的输入表示v
t-1
和进行特征融合，获取标签融合特征同时更新隐藏状态步骤104：将步骤102与103中的最后一层特征与循环注意力模块的输出拼接起来，作为特征编码器的输入z
t
，在空间和时间维度上建模目标特征提高模型对目标的查询匹配能力；步骤105：使用步骤104的输出中属于t时刻输入表示v
t
的特征作为循环注意力模块的输入，获取下一次步骤104的部分输入同时更新隐藏状态提高目标区域分割模型检测目标运动的能力；步骤106：使用和一个可训练的查询向量q
emb
作为特征解码器的输入，获取目标查询特征并使用和计算关系矩阵am
t
，am
t
和拼接后作为分割头的输入s
t
，提高模型对特征匹配的鲁棒性；步骤107：步骤102的中间特征通过跳跃连接输入到分割头中，通过上采样操作提高特征分辨率，提高模型对粗粒度和细粒度信息的特征融合能力，进而提高预测目标区域的准确性；步骤108：重复步骤101-107，使用预测得到的作为下次迭代时给定标签，通过循环神经网络融合特征，提高对连续时间脉冲输入的特征提取能力；通过循环特征编码器和解码器建模时空关系，提高特征匹配的查询能力和鲁棒性，进而提高预测目标区域的准确性，达到在低光、高速场景下分割任意时刻目标区域的目的。2.如权利要求1所述的一种面向时空事件脉冲流的目标区域分割方法，其特征在于：步骤101中所述连续的时空事件脉冲流e，包括但不限于：事件相机产生的事件数据、脉冲相机产生的脉冲数据等；所述连续的时空事件流e为n
×
4矩阵，其中n为事件个数，每个事件由4维数据(timestamp,x,y,polarity)表示，其中timestamp为事件产生时的时间戳，1≤x≤w,1≤y≤h为事件所对应的像素位置，h
×
w为事件的空间分辨率，polarity∈{-1,1}为事件的极性；为了适配神经网络的输入形式，根据公式(1)所示事件体素转换关系将连续的时空事件脉冲流e转化为适配神经网络的输入表示v；
其中t0,t
n
为整段事件流的起止时间，t
i
为每个事件的发出时间，b为指定的体素维数，δt为整段事件流时间间隔，p
i
为事件极性，x
l
,y
m
为空间坐标。3.如权利要求2所述的一种面向时空事件脉冲流的目标区域分割方法，其特征在于：步骤102中所述待检测目标区域标签，标签获取方法包括但不限于：人为指定目标区域及类别、使用显著性区域检测模型获取目标标签；所述特征提取循环神经网络包括但不限于：convlstm、convgru、snn，所述循环神经网络选用convlstm提取体素特征；事件数据反映的是像素点在某一时刻的光强变化，但对于光强变化小、物体运动不明显的情况则不会发出足够的事件信号，进而导致事件在空间上分布稀疏，部分体素数据v中没有足够的信息；基于事件在时间维度上高度连续的特性，利用过去的事件信息能够提高目标区域分割模型的特征提取能力；因此通过循环神经网络convlstm提取体素特征，并使用隐藏状态state记录过去的事件信息，自适应的从稀疏或稠密的体素中提取的特征，在保证模型鲁棒性的同时，增强目标区域分割模型的信息记忆能力，提高目标区域分割模型的分割精度，convlstm提取体素特征具体的实现公式为：其中i为convlstm的层数索引，v
t
为t时刻的体素，当t＝1时，被初始化为全0矩阵；当t≥1时,为每一层convlstm上次迭代时的隐藏状态，为更新后隐藏状态，为每一层的体素中间特征。4.如权利要求3所述的一种面向时空事件脉冲流的目标区域分割方法，其特征在于：步骤103所述给定所述标签融合特征提取循环神经网络包括但不限于：convlstm、convgru、snn，所述标签融合特征提取循环神经网络选用convlstm融合特征；由于事件数据的获取取决于光强变化，每次输入的体素中事件密度变化较大，为了适应不同的输入密度，使用convlstm记忆过去的特征与标签信息；在标签与体素特征融合时，使用背景卷积conv
bg
和前景卷积conv
fg
处理标签，得到的特征通过加和的形式附加到体素特征上，获取融合后的标签融合特征；对t-1时刻的体素v
t-1
和标签进行特征融合，具体的实现公式为：其中当t＝1时，为给定的物体标签，被初始化为全0矩阵；当t≥2时，为上一次预测所生成的物体标签，为每一层convlstm迭代的隐藏状态。5.如权利要求4所述的一种面向时空事件脉冲流的目标区域分割方法，其特征在于：步骤104所述特征编码器包括但不限于：cnn卷积神经网络、全连接神经网络、transformer，使用transformer模型中的transformer encoder作为特征编码器；
transformer encoder的自注意力机制能够建模每个像素之间的关系，将步骤102与103中convlstm的最后一层特征：标签融合特征体素特征以及循环注意力模块特征进行拼接，构成输入z
t
，具体公式为：其中z
t
∈r
3hw
×
n
×
d
,h、w为特征的分辨率，n为序列中目标物体的个数；对z
t
使用自注意力机制操作，在时间维度建立像素间的信息关联，并在空间维度查询目标物体特征；利用多头注意力机制从多个维度提取特征信息，能够防止过拟合，接着使用前馈神经网络ffn提取目标特征具体公式为：具体公式为：d为隐藏层的维数,m为多头注意力机制的个数,d
k
＝d/m，为维度映射矩阵，将特征映射回d维度；为每个多头注意力机制的特征向量，由公式(7)确定：定：为每个多头注意力模块的可学习参数。6.如权利要求5所述的一种面向时空事件脉冲流的目标区域分割方法，其特征在于：步骤105中使用循环注意力模块记忆特征编码器的输出特征，截取中属于输入表示v
t
的特征作为输入，获取注意力矩阵循环注意力模块的输出通过残差连接更新并获得下次迭代时特征编码器的输入并获得下次迭代时特征编码器的输入并获得下次迭代时特征编码器的输入并获得下次迭代时特征编码器的输入并获得下次迭代时特征编码器的输入其中当t＝1时，被初始化为全0矩阵；当t≥1时,为循环注意力模块上次迭代时的隐藏状态，σ为elu()函数，和分别为输入分支和隐藏状态分支多头注意力模块的可学习参数，为两分支的合并输出；循环注意力模块的输出通过残差连接更新并获得下次迭代时特征编码器的部分输入，ln为layernorm操作，具体的实现公式为：
7.如权利要求6所述的一种面向时空事件脉冲流的目标区域分割方法，其特征在于：步骤106中所述特征解码器包括但不限于：cnn卷积神经网络、全连接神经网络、transformer，使用transformer中的transformer decoder作为特征解码器；使用transformer decoder和查询向量q
emb
∈r
d
查询目标物体的特征，根据序列中所包含的物体个数n将q
emb
复制n次，得到向量q
dec
∈r
n
×
d
，q
dec
和作为transformer decoder输入，通过跨注意力操作获取查询特征计算公式与公式(5)(6)(7)相同；此时中含有丰富的语义信息，但其中夹杂了t-1时刻的体素和循环注意力模块的特征信息，因此仍需要一个关系提取操作获取t时刻的目标物体信息；使用目标注意力模块计算和像素间的关联关系，使用多头注意力机制从不同的维度提取信息，得到注意力关系矩阵am
i,t
，其中i为多头注意力模块的索引，具体公式为：注意力矩阵am
i,t
中包含了中的目标物体信息，因此将二者拼接在一起，记为s
t
∈r
hw
×
n
×
(d+m)
，能够增强特征所包含的目标信息，具体公式为：8.如权利要求7所述的一种面向时空事件脉冲流的目标区域分割方法及系统，其特征在于：步骤107中通过卷积操作将s
t
映射到再使用上采样和卷积操作将特征尺寸调整到原图像的1/4，具体公式为：通过线性插值将放大到原图像尺寸，记为o
t
，对o
t
计算softmax得到每个像素所对应的类别，得到t时刻v
t
所预测的即对应目标的分割区域。9.如权利要求8所述的一种面向时空事件脉冲流的目标区域分割方法，其特征在于：步骤108中通过循环迭代获取连续时空事件脉冲流任意时刻的目标分割区域。10.一种面向时空事件脉冲流的目标区域分割系统，基于如权利要求1至9任意一项所述一种面向时空事件脉冲流的目标区域分割方法实现，其特征在于：包括时空事件流采集模块、特征提取模块、标签融合特征提取模块、目标特征匹配模块、目标区域生成模块；所述时空事件流采集模块，通过事件脉冲相机采集时空事件流e，根据事件体素转换关系将连续的时空事件脉冲流e转化为适配神经网络的输入表示v，将所述当前时刻体素表示v
t
输入至特征提取模块，将上一时刻体素表示v
t-1
输入至标签融合特征提取模块；所述特征提取模块用于提取连续事件数据的空间与时间信息，通过循环神经网络达到对信息长时记忆的目的，在更新内部隐藏状态的同时，输出含有当前时刻目标信息的特征提高对连续时间脉冲输入的特征提取能力，输入至目标特征匹配模块；所述标签融合特征提取模块用于将给定的目标标签与上一时刻的目标特征进行融合，
将标签信息与目标特征融合获得提高给定目标标签的利用能力，输入至目标特征匹配模块；所述目标特征匹配模块用于在目标特征和标签融合特征中查询目标位置，通过循环特征编解码器的自注意力和跨注意力操作，完成两个特征间的目标查询，获得目标关系矩阵s
t
，提高特征匹配的查询能力和鲁棒性，s
t
输入到目标区域生成模块；所述目标区域生成模块用于生成当前时刻的预测目标区域，根据输入的s
t
目标关系矩阵，使用softmax函数确定每个像素所属的目标类别，得到当前时刻预测的区域接着作为下一次标签融合特征模块的给定标签，输入到标签融合特征模块中，进行下一次循环迭代，直到时空事件流采集模块停止输出数据表示v。

技术总结
本发明公开一种面向时空事件脉冲流的目标区域分割方法及系统，属于视频分割领域。本发明通过将连续的事件脉冲流转化为特定的输入表示，有效的适配传统神经网络的输入；通过循环神经网络提取信息并记忆过去特征，提高模型对连续事件脉冲输入的特征提取能力；通过循环特征编码器匹配目标，同时更新的隐藏状态，建模时空关系，提高模型对目标的查询匹配能力；通过特征解码器获取目标在当前与过去时刻的注意力关系矩阵，提高模型对特征匹配的鲁棒性；通过跳跃连接将中间特征输入分割头，提高目标区域分割模型对粗粒度和细粒度信息的特征融合能力，进而提高预测目标区域的准确性。本发明适配低光、高速场景，且能够分割任意时刻的目标区域。刻的目标区域。刻的目标区域。


技术研发人员：朱林 陈现章 王立志 张磊 黄华
受保护的技术使用者：北京理工大学
技术研发日：2023.04.11
技术公布日：2023/7/12