一种基于事件相机的自监督卷帘快门图像矫正方法及设备

1.本发明属于图像处理领域，涉及用事件相机实现卷帘快门图像的矫正和高帧率图像重建。


背景技术：

2.传统相机主要分为全局快门(global shutter，gs)相机和卷帘快门(rolling shutter，rs)相机。全局快门相机捕获的图像帧中所有像素同时曝光，能直接反映丰富的场景信息。卷帘快门相机以一种逐行曝光的方式，从第一行到最后一行(或者从最后一行到第一行)按照固定的时间间隔开始曝光，并且每一行的曝光时长相等。因此每一行的曝光区间不同，当物体快速运动时，会容易产生物体的形变，造成视觉效果的下降，这种现象也被称作卷帘效应，会严重影响后续算法处理，因此需要将卷帘快门图像矫正为全局快门图像来保证后续目标检测，三维重建等算法处理并提供良好的视觉体验。
3.当前基于帧图像的矫正算法通常假设两帧之间的运动是线性的，通过连续的两帧或多帧卷帘快门图像重建出一帧全局快门图像。但是这种运动假设难以在实际场景中保证，尤其时在遇到复杂的非线性运动时，重建的全局快门图像往往很不理想。
4.一种基于生物神经机制的视觉传感器—事件相机成为了解决这种问题的突破口。与传统的光学相机不同，事件相机可以记录场景中的亮度变化，能够以微妙级别的延迟产生异步的事件，记录变化发生的坐标位置，时间以及变化极性，具有高时间分辨率，同时具有低功耗，低带宽需求的特点。事件相机可以在高速运动的场景下，记录目标的边缘纹理和帧间的运动信息。
5.当前的基于事件相机的卷帘快门图像矫正方法只能够重建出曝光时间范围内的全局快门图像。在实际情况中连续卷帘快门图像的曝光区间存在时间间隔，会导致重建的结果并不连续，存在帧外时间上的缺失，造成不佳的观感体验，这促使了对帧内/帧外的连续全局快门图像重建的需求。
6.另外，由于真实数据集的获取难度很大，当前的基于事件相机的卷帘快门图像矫正方法都是基于仿真数据集，实际上由于多种因素的影响，如相机响应函数，事件触发阈值，传输带宽的导致的输出延迟等，真实数据和仿真数据之间存在数据分布的差异。另外由于事件和图像之间存在模态差异，现有方法所建立起的这两种数据之间的联系极易受到数据分布带来的影响,其在真实场景测试时往往由性能下降的问题，促使对自监督框架的需求。


技术实现要素：

7.基于以上分析，本发明提供了一种基于事件相机的自监督卷帘快门图像矫正方法。该方法利用事件相机的高时间分辨率优势，从一张卷帘快门图像中重建出连续帧内/帧外的全局快门图像序列，提出了一种时间和空间的统一变换可以灵活地实现卷帘快门图像和全局快门图像之间的转换，并且建立一种自监督学习的框架，使得本算法可以在没有
ground truth的情况下直接进行训练。
8.本发明提供的基于事件相机的自监督卷帘快门图像矫正方法包括以下具体步骤：
9.步骤1，通过高速相机拍摄全局快门视频来仿真生成卷帘快门图像和事件流，或者直接拍摄卷帘快门图像和事件流。
10.步骤2事件流预处理：对于每一组输入数据，根据待重建的目标时刻切分事件流并预处理转化为多通道的图像格式作为网络的输入。
11.步骤3，根据基于事件的时间域转换和空间域转换，构建了一个基于事件的统一帧内和帧外的补偿器，并且基于该补偿器建立了一个卷积神经网络。
12.步骤4：使用自监督框架进行网络的训练：首先通过卷帘快门图像重建出高帧率的全局快门视频，再利用重建的全局快门视频重建出原始卷帘快门图像。利用卷帘快门图像，重建的全局快门图像和重建的卷帘快门图像之间的相互关系进行自监督训练。
13.步骤5：利用事件相机捕获事件流，卷帘快门相机捕获卷帘快门图像，事件流经过步骤2进行处理后得到可以输入到网络的事件帧，将事件帧和卷帘快门图像通过优化后的网络模型，重建出高帧率的全局快门视频。
14.各步骤具体细节如下：
15.对于真实场景，步骤1中可以通过卷帘相机和事件相机拍摄卷帘快门图像i
rs
和事件流ε。步骤1中也可以通过高速相机拍摄全局快门视频来仿真生成卷帘快门图像和事件流。具体步骤为：按照卷帘快门的曝光方式，从全局快门视频选取连续的h帧全局快门图像，根据时间顺序选取第i张全局快门图像的第i行后，将h个单行图像逐行拼接后的一张卷帘快门图像，按照相同的方式选取不同的帧生成连续的卷帘快门视频，最后通过拍摄的全局快门视频生成事件流。
16.具体的仿真数据生成步骤如下：
17.一张全局快门图像i
gs
，其形成过程为
[0018][0019]
其中为连续全局快门视频，t是时间，是像素的坐标位置。
[0020]
步骤1中的卷帘快门图像i
rs
在曝光过程是逐行进行的，其形成过程为
[0021][0022]
其中是一个和像素位置相关的事件移动操作符，上标表示对于移动过程是逐行进行的。
[0023][0024]
h表示图像的高度，t表示图像的曝光时间间隔，y是像素的纵坐标。
[0025]
步骤1中生成的事件流为
[0026]
根据事件流ε和全局快门视频之间的关系，当对数域的亮度变化超过事件触发阈值η＞0时：
[0027][0028]
从时间τ到时间t，视频在坐标x处的亮度对数值变化量超过阈值η，则会产生
一个事件点(t，x，p),p为事件极性，当亮度对数值是变大时为1，变小时为-1；事件流ε表示整个时间段内触发的事件集和；
[0029]
通过步骤1，可以获得连续的卷帘快门图像i
rs
和事件流ε。
[0030]
从数据中选取连续的两张卷帘快门图像和对应的事件流作为一组数据，设定目标时间t为待重建的全局快门图像时间，表示如下：
[0031][0032]
其中表示前一张卷帘快门图像，表示后一张卷帘快门图像，表示两张卷帘快门图像曝光时间之间的事件流，为待重建的全局快门图像时间。
[0033]
步骤2中的事件流切分方式为根据目标时间将切分为和
[0034]
步骤2中的预处理方式为两种，第一种将事件流的绝对时间戳转化为相对于开始时刻的时间位移，记为事件流中单个事件(t，x，p)的处理方式表示为
[0035][0036]
第二种将事件流的绝对时间戳转化为相对于结束时刻的时间位移并进行翻转，然后进行事件的极性反转，记为一段事件流中单个事件(t，x，p)的处理方式表示为
[0037][0038]
和经过两种预处理方式后可以得到四段事件流和，也可以记为和上标和分别表示事件流经过和预处理。最后将经过处理得到
[0039]
将事件流转化为多通道的图像格式具体流程为：每段事件流根据事件点的纵坐标划分为h段事件流，根据每一段事件流的时间跨度划分为n个时间间隔，并在个时间间隔内将事件点累加形成尺寸为2
×1×
w的事件帧(2表示正负极性，1和w表示事件帧的高度和宽度)，最终形成n
×2×h×
w事件帧。
[0040]
步骤3中的时间域转换：一个像素点从rs图到gs图的时间域上的灰度值变化可以通过事件表示为
[0041][0042]
其中表示到之间的亮度变化
[0043][0044]
其中时使用狄拉克函数δ(
·
)来表示连续事件流(x，t0，p)。
[0045]
步骤三中的空间域转换：事件中隐含着场景中的运动信息，因此通过事件流来预测像素点的位移
[0046]
[0047]
其中表示通过事件流估计的光流。
[0048]
步骤3中的网络模型分为三部分：空间域的补偿器e-ics，时间域的补偿器e-ic
t
和融合模块fusion。空间域的补偿器e-ics由shuffle层、卷积层、残差密集模块reshuffle层和relu激活函数组成。时间域的补偿器e-ic
t
和融合模块fusion的每部分都是由卷积层、残差模块和relu激活函数组成。只使用空间域变化或者只使用时间域变化都会受到事件阈值不稳定和事件噪声的影响，因此加入了融合模块提升网络性能。
[0049]
构建网络后先将事件流和卷帘快门图像输入到网络当中，并通过下式计算得到从rs图到gs图的空间变化结果和时间变化结果
[0050][0051][0052]
然后通过融合模块，结合空间域的补偿器和时间域的补偿器的优势，估计最终的结果
[0053][0054]
整体的网络模型为
[0055][0056]
步骤4：使用自监督框架进行网络的训练：首先通过卷帘快门图像重建出高帧率的全局快门视频，再利用重建的全局快门视频重建出原始卷帘快门图像。利用卷帘快门图像，重建的全局快门图像和重建的卷帘快门图像之间的相互关系进行自监督训练。
[0057]
步骤4所述的自监督框架为
[0058][0059]
其中为潜在一致性约束；为循环一致性约束；为时序一致性的约束；λ1，λ2，λ3为权重标量。
[0060]
潜在一致性约束被定义为
[0061][0062]
循环一致性约束被定义为
[0063][0064]
时序一致性约束被定义为
[0065][0066]
||
·
||1表示l1范数。
[0067]
步骤4所述寻优方法为：adam优化算法，通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率，基于训练数据迭代地更新神经网络卷积层参数；
[0068]
优化后多层卷积神经网络为根据优化后每层卷积层优化参数构建多层卷积神经
网络。
[0069]
基于同一发明构思，本发明还设计了一种电子设备，包括：
[0070]
一个或多个处理器；
[0071]
存储装置，用于存储一个或多个程序；
[0072]
当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现基于事件相机的自监督卷帘快门图像矫正方法。
[0073]
基于同一发明构思，本发明还设计了一种计算机可读介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现基于事件相机的自监督卷帘快门图像矫正方法。
[0074]
与现有技术相比，本发明的优点和有益效果：
[0075]
本发明提出了一个基于事件的统一帧内和帧外的补偿器，用于基于事件相机的卷帘快门图像矫正，能够实现卷帘快门图像和全局快门图像在时间域和空间域上的统一变换；
[0076]
本发明可以从一张卷帘快门图像和连续的事件流中重建出连续的帧内/帧间的全局快门序列；
[0077]
最后，本发明提出了一个自监督框架对网络进行训练。
[0078]
本发明利用率事件相机低延时的优势，解决了卷帘快门效应以及帧内/帧间信息丢失的问题，并设计了自监督学习框架使得网络可以在真实拍摄的数据集上直接进行训练，并且具有较好的矫正和视频重建效果。
附图说明
[0079]
图1，2，3分别为本发明提出的自监督框架中的三个约束：潜在一致性约束，循环一致性约束和时序一致性的约束的流程图。
[0080]
图4为本发明提出的基于事件的统一帧内和帧外的补偿器的示意图。
[0081]
图5为本发明提出的网络模型selfunroll的示意图。
[0082]
图6为在仿真数据集fastec-rs上与当前卷帘快门图像矫正算法的对比结果图。
[0083]
图7为在仿真数据集gev-rs上与当前卷帘快门图像矫正算法的对比结果图。
[0084]
图8为在真实数据集上与当前卷帘快门图像矫正算法的对比结果图。
[0085]
具体实施方法
[0086]
为了更清楚地了解本发明，下面具体介绍本发明技术内容。
[0087]
步骤1，通过高速相机拍摄全局快门视频来仿真生成卷帘快门图像i
rs
和事件流ε，或者直接拍摄卷帘快门图像i
rs
和事件流ε。
[0088]
对于真实场景，步骤1中可以通过卷帘相机和事件相机拍摄卷帘快门图像i
rs
和事件流ε。
[0089]
步骤1中也可以通过高速相机拍摄全局快门视频来仿真生成卷帘快门图像和事件流的具体步骤为：按照卷帘快门的曝光方式，从全局快门视频选取连续的h帧全局快门图像，根据时间顺序选取第i张全局快门图像的第i行后，将h个单行图像逐行拼接后的一张卷帘快门图像，按照相同的方式选取不同的帧生成连续的卷帘快门视频，最后通过拍摄的全局快门视频生成事件流。
[0090]
具体的仿真数据生成步骤如下：
[0091]
一张全局快门图像i
gs
，其形成过程为
[0092][0093]
其中为连续全局快门视频，t是时间，是像素的坐标位置。
[0094]
步骤1中的卷帘快门图像i
rs
在曝光过程是逐行进行的，其形成过程为
[0095][0096]
其中是一个和像素位置相关的事件移动操作符，上标表示对于移动过程是逐行进行的。
[0097][0098]
h表示图像的高度，t表示图像的曝光时间间隔，y是像素的纵坐标。
[0099]
步骤1中生成的事件流为
[0100]
根据事件流ε和gs视频之间的关系，当对数域的亮度变化超过事件触发阈值η＞0时：
[0101][0102]
从时间τ到时间t，视频在坐标x处的亮度对数值变化量超过阈值η，则会产生一个事件点(t，x，p),p为事件极性，当亮度对数值是变大时为1，变小时为-1；事件流ε表示整个时间段内触发的事件集和；
[0103]
通过步骤1，我们可以获得连续的卷帘快门图像i
rs
和事件流ε。
[0104]
从数据中选取连续的两张卷帘快门图像和对应的事件流作为一组数据，设定目标时间为待重建的全局快门图像时间，表示如下：
[0105][0106]
其中表示前一张卷帘快门图像，表示后一张卷帘快门图像，表示两张卷帘快门图像曝光时间之间的事件流，为待重建的全局快门图像时间。
[0107]
步骤2事件流预处理：对于每一组输入数据，根据待重建的目标时刻切分事件流并预处理转化为多通道的图像格式作为网络的输入。
[0108]
步骤2中的事件流切分方式为根据目标时间将切分为和
[0109]
步骤2中的预处理方式为两种，第一种将事件流的绝对时间戳转化为相对于开始时刻的时间位移，记为事件流中单个事件(t，x，p)的处理方式表示为
[0110][0111]
第二种将事件流的绝对时间戳转化为相对于结束时刻的时间位移并进行翻转，然后进行事件的极性反转，记为一段事件流中单个事件(t，x，p)的处理方式表示为
[0112]
[0113]
和经过两种预处理方式后可以得到四段事件流和上标和分别表示事件流经过和预处理。最后将经过处理得到
[0114]
将事件流转化为多通道的图像格式具体流程为：每段事件流根据事件点的纵坐标划分为h段事件流，根据每一段事件流的时间跨度划分为n个时间间隔，并在个时间间隔内将事件点累加形成尺寸为2
×1×
w的事件帧(2表示正负极性，1和w表示事件帧的高度和宽度)，最终形成n
×2×h×
w事件帧。
[0115]
步骤3，根据基于事件的时间域转换和空间域转换，构建了一个基于事件的统一帧内和帧外的补偿器，并且基于该补偿器建立了一个卷积神经网络。
[0116]
步骤3中的时间域转换：一个像素点从rs图到gs图的时间域上的灰度值变化可以通过事件表示为
[0117][0118]
其中表示到之间的亮度变化
[0119][0120]
其中时使用狄拉克函数δ(
·
)来表示连续事件流(x，t0，p)。
[0121]
步骤三中的空间域转换：事件中隐含着场景中的运动信息，因此通过事件流来预测像素点的位移
[0122][0123]
其中表示通过事件流估计的光流。
[0124]
步骤3中的网络模型分为三部分：空间域的补偿器e-ics，时间域的补偿器e-ic
t
和融合模块fusion。空间域的补偿器e-ics由shuffle层、卷积层、残差密集模块、reshuffle层和relu激活函数组成。时间域的补偿器e-ic
t
和融合模块fusion的每部分都是由卷积层、残差模块和relu激活函数组成。只使用空间域变化或者只使用时间域变化都会受到事件阈值不稳定和事件噪声的影响，因此我们加入了融合模块提升网络性能。
[0125]
构建网络后先将事件流和卷帘快门图像输入到网络当中，并通过下式计算得到从rs图到gs图的空间变化结果和时间变化结果
[0126][0127][0128]
然后通过融合模块，结合空间域的补偿器和时间域的补偿器的优势，估计最终的结果
[0129]
[0130]
整体的网络模型为
[0131][0132]
步骤3中的空间域的补偿器e-ics由一个reshuffle层，一个shuffle层，6个卷积层，10个残差密集模块和relu激活函数组成。将事件帧和卷帘快门图像连接起来，经过reshuffle层，输出至卷积层1，得到中间结果f1。将f1输入至由卷积层2后的结果输入10个残差密集模块的级联，将10个残差密集模块的输出连接得到f2。将f1输入到卷积层3，4的串联，将输出加上f1得到f3。将f3输入至由卷积层5，reshuffle层和卷积层6将输出的分辨率放缩至输入卷帘快门图像的大小，得到残差r。将残差r和输入的卷帘快门图像相加得到最终的输出。除卷积层3的卷积核为1
×
1外，所有的卷积层的卷积核都为3
×
3。
[0133]
步骤3中的时间域的补偿器e-ic
t
和融合模块fusion由7个卷积层，1个残差模块和relu激活函数组成。输入经过串联的卷积层1，2，3，4，得到中间结果分别为f1，f2，f3，f4，将f4经过残差模块后得到f5。将f5和f4串联经过卷积层5得到f6，f6和f3串联经过卷积层6得到f7，f7和f2串联经过卷积层7得到输出。所有的卷积层的卷积核都为3
×
3。
[0134]
步骤4：使用自监督框架进行网络的训练：首先通过卷帘快门图像重建出高帧率的全局快门视频，再利用重建的全局快门视频重建出原始卷帘快门图像。利用卷帘快门图像，重建的全局快门图像和重建的卷帘快门图像之间的相互关系进行自监督训练。
[0135]
步骤4所述的自监督框架为
[0136][0137]
其中为潜在一致性约束；为循环一致性约束；为时序一致性的约束；λ1，λ2，λ3为权重标量，本实施例中可以取为{1，1，1}。
[0138]
潜在一致性约束被定义为
[0139][0140]
循环一致性约束被定义为
[0141][0142]
时序一致性约束被定义为
[0143][0144]
||
·
||1表示l1范数。
[0145]
步骤4所述寻优方法为：adam优化算法，通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率，基于训练数据迭代地更新神经网络卷积层参数；
[0146]
优化后多层卷积神经网络为根据优化后每层卷积层优化参数构建多层卷积神经网络。
[0147]
步骤5：利用事件相机捕获事件流，卷帘快门相机捕获卷帘快门图像，事件流经过步骤2进行处理后得到可以输入到网络的事件帧，将事件帧和卷帘快门图像通过优化后的网络模型，重建出高帧率的全局快门视频。
[0148]
通过对比一下几种卷帘快门矫正方法：
[0149]
1)dsun：基于深度学习和监督的图像矫正方法。
[0150]
2)sunet：基于深度学习和监督的图像矫正方法。
[0151]
3)rssr：基于深度学习和监督的图像矫正和视频重建方法。
[0152]
4)cvr：基于深度学习和监督的图像矫正和视频重建方法。
[0153]
5)evunroll：基于深度学习和监督的事件流和图像矫正和视频重建方法。
[0154]
6)selfunroll(ours)：基于深度学习和自监督的事件流和图像矫正和视频重建方法。
[0155]
gev-rs和fastec-rs数据集都是通过高速相机拍摄视频后，按照步骤1中的仿真过程生成rs图像和事件流。
[0156]
我们衡量了相同数据集下的数值指标：
[0157]
表1模型在gev-rs数据集上的单张重建和序列重建测试结果
[0158][0159][0160]
表2模型在fastec-rs数据集上的单张重建测试结果
[0161][0162]
实验中使用峰值信噪比(psnr)，结构相似性(ssim)和图像感知相似度(lpips)作为衡量指标，三者的具体定义如下：
[0163]
psnr＝10*log10(2552/mean(mean((x-y).2)))
[0164]
ssim＝[l(x，y)a]
×
[c(x，y)b]
×
[s(x，y)c]
[0165]
其中μ
x
和μy分别代表x，y的均值，σ
x
，σy和σ
xy
分别代表x，y的方差和两者之间的协方差。
[0166][0167][0168]
其中d(x，x0)代表x和x0之间在特征上的距离。从l层提取特征堆(feature stack)并在通道维度中进行单位规格化(unit-normalize)。利用向量w
l
来放缩激活通道数并计算l2距离。最后在空间上平均，在通道上求和。
[0169][0170]
psnr与ssim数值越高，lpips数值越低，则说明重建效果越好。如表1、表2的数值结果所示，本发明在卷帘快门图像矫正的单张和多张图像重建任务上都展现出较高的性能，验证了本发明的有效性。
[0171]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

技术特征：
1.一种基于事件相机的自监督卷帘快门图像矫正方法，其特征在于，包括以下步骤：步骤1，通过高速相机拍摄全局快门视频来仿真生成卷帘快门图像和事件流，或者直接拍摄卷帘快门图像和事件流；步骤2，事件流预处理：对于每一组输入数据，根据待重建的目标时刻切分事件流并预处理转化为多通道的图像格式作为网络的输入；步骤3，根据基于事件的时间域转换和空间域转换，构建了一个基于事件的统一帧内和帧外的补偿器，并且基于该补偿器建立了一个卷积神经网络；步骤4：使用自监督框架进行网络的训练：首先通过卷帘快门图像重建出高帧率的全局快门视频，再利用重建的全局快门视频重建出原始卷帘快门图像；利用卷帘快门图像，重建的全局快门图像和重建的卷帘快门图像之间的相互关系进行自监督训练；步骤5：利用事件相机捕获事件流，卷帘快门相机捕获卷帘快门图像，事件流经过步骤2进行处理后得到可以输入到网络的事件帧，将事件帧和卷帘快门图像通过优化后的网络模型，重建出高帧率的全局快门视频。2.根据权利要求1所述的基于事件相机的自监督卷帘快门图像矫正方法，其特征在于：步骤1中通过高速相机拍摄全局快门视频来仿真生成卷帘快门图像和事件流的具体步骤为：按照卷帘快门的曝光方式，从全局快门视频选取连续的h帧全局快门图像，根据时间顺序选取第i张全局快门图像的第i行后，将h个单行图像逐行拼接后的一张卷帘快门图像，按照相同的方式选取不同的帧生成连续的卷帘快门视频，最后通过拍摄的全局快门视频生成事件流。3.根据权利要求2所述的基于事件相机的自监督卷帘快门图像矫正方法，其特征在于：步骤1中仿真生成卷帘快门图像和事件流具体过程为：步骤1中的一张gs图像i
gs
，其形成过程为其中为连续全局快门视频，t是时间，是像素的坐标位置；步骤1中的卷帘快门图像i
rs
在曝光过程是逐行进行的，其形成过程为其中是一个和像素位置相关的事件移动操作符，上标表示对于移动过程是逐行进行的；h表示图像的高度，h表示图像的曝光时间间隔，y是像素的纵坐标；根据事件流ε和全局快门视频之间的关系，当对数域的亮度变化超过事件触发阈值η＞0时：从时间τ到时间t，视频在坐标x处的亮度对数值变化量超过阈值η，则会产生一个事件点(t，x，p)，p为事件极性，当亮度对数值是变大时为1，变小时为-1；事件流ε表示整个时间段内触发的事件集和；
从仿真或真实拍摄的数据中选取连续的两张卷帘快门图像和对应的事件流作为一组数据，设定目标时间为待重建的全局快门图像时间，表示如下：其中表示前一张卷帘快门图像，表示后一张卷帘快门图像，表示两张卷帘快门图像曝光时间之间的事件流，为待重建的全局快门图像时间。4.根据权利要求1所述的基于事件相机的自监督卷帘快门图像矫正方法，其特征在于：步骤2中的事件流切分方式为根据目标时间将切分为和和表示两张卷帘快门图像曝光时间之间的事件流；事件流转化为多通道的图像格式具体流程为：每段事件流根据事件点的纵坐标划分为h段事件流，根据每一段事件流的时间跨度划分为n个时间间隔，并在个时间间隔内将事件点累加形成尺寸为2
×1×
w的事件帧，最终形成n
×2×
h
×
w事件帧；其中，2表示正负极性，1和w表示事件帧的高度和宽度。5.根据权利要求1所述的基于事件相机的自监督卷帘快门图像矫正方法，其特征在于：预处理方式有两种，第一种将事件流的绝对时间戳转化为相对于开始时刻的时间位移，记为事件流中单个事件(t，x，p)的处理方式表示为第二种将事件流的绝对时间戳转化为相对于结束时刻的时间位移并进行翻转，然后进行事件的极性反转，记为一段事件流中单个事件(t，x，p)的处理方式表示为中单个事件(t，x，p)的处理方式表示为和经过两种预处理方式后可以得到四段事件流和，也可以记为和上标和分别表示事件流经过和预处理，最后将经过处理得到6.根据权利要求1所述的基于事件相机的自监督卷帘快门图像矫正方法，其特征在于：步骤3中时间域转换和空间域转换具体如下：时间域转换：一个像素点从rs图到gs图的时间域上的灰度值变化可以通过事件表示为其中表示到之间的亮度变化其中时使用狄拉克函数δ(
·
)来表示连续事件流(t，x0，p)；空间域转换：通过事件流来预测像素点的位移
其中表示通过事件流估计的光流。7.根据权利要求1所述的基于事件相机的自监督卷帘快门图像矫正方法，其特征在于：步骤3中的网络模型分为三部分：空间域的补偿器e-ic
s
，时间域的补偿器e-ic
t
和融合模块fusion；空间域的补偿器e-ic
s
由shuffle层、卷积层、残差密集模块reshuffle层和relu激活函数组成；时间域的补偿器e-ic
t
和融合模块fusion的每部分都是由卷积层、残差模块和relu激活函数组成；只使用空间域变化或者只使用时间域变化都会受到事件阈值不稳定和事件噪声的影响，因此我们加入了融合模块提升网络性能；构建网络后先将事件流和卷帘快门图像输入到网络当中，并通过下式计算得到从rs图到gs图的空间变化结果和时间变化结果和时间变化结果和时间变化结果然后通过融合模块，结合空间域的补偿器和时间域的补偿器的优势，估计最终的结果然后通过融合模块，结合空间域的补偿器和时间域的补偿器的优势，估计最终的结果整体的网络模型为8.根据权利要求1所述的基于事件相机的自监督卷帘快门图像矫正方法，其特征在于：步骤4所述的自监督框架为其中为潜在一致性约束；为循环一致性约束；为时序一致性的约束；λ1，λ2，λ3为权重标量，可以取为{1，1，1}；潜在一致性约束被定义为循环一致性约束被定义为时序一致性约束被定义为||
·
||1表示l1范数；步骤4所述寻优方法为：adam优化算法，通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率，基于训练数据迭代地更新神经网络卷积层参数；优化后多层卷积神经网络为根据优化后每层卷积层优化参数构建多层卷积神经网络。
9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。10.一种计算机可读介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。

技术总结
本发明提出了一种基于事件相机的自监督卷帘快门图像矫正方法及设备，包括卷帘快门图像与事件流数据集的构建，事件流的预处理，构建一个基于事件的统一帧内和帧外的补偿器和网络模型来处理卷帘快门图像和事件流以及一个自监督的框架来进行网络训练并生成高帧率的全局快门视频。根据事件流来联系卷帘快门图像和全局快门图像，构建了统一帧内和帧外的补偿器，并拓展了一个网络模型来实现。利用卷帘快门图像和重建图像之间的约束关系，提出了一个自监督框架对网络模型进行训练，并用训练后的网络模型重建出高帧率的全局快门图像。本发明解决了卷帘快门效应产生的畸变以及帧间信息丢失的问题，具有较好的去畸变和图像重建效果。果。果。


技术研发人员：余磊 王阳光 张翔 刘熠晨
受保护的技术使用者：武汉大学
技术研发日：2023.03.30
技术公布日：2023/8/14