基于事件相机的振动感知方法及系统

1.本发明属于图像处理技术领域，具体涉及基于事件相机的振动感知方法及系统。


背景技术：

2.振动是一种普遍存在的现象，振动原理广泛应用于音乐、建筑、医疗、制造、建材、探测、军事等行业，有许多细小的分支，对任何分支的深入研究都能够促进科学的向前发展，推动社会进步。因此，探寻一种更为高效准确的振动感知技术对各学科的继续发展都有着重要意义。
3.目前常见的振动感知的方法大致分为三种，一是人工测量,二是基于传感器的振动感知,三是基于视觉的振动感知。人工巡查测量需要消耗大量的人力，测量精度难以保证且受到主观因素的影响。基于传感器的振动监测方法通过传感器实时掌握到监测目标的振动状态,但需要在每个被测物体上安装传感器，耗费大量物力财力，同时传感器的精确度受到温度、辐射等环境因素的影响。基于视觉的振动感知方法只需要通过画面就能快速的感知目标的振动参数，但需要通过使用价格昂贵的高速相机捕捉画面，再使用数字图像相关法，标记跟踪法或光流法分析物体的振动，需要再被测物体上预设标记物，准备工作繁琐，且对光照敏感，容易受到环境影响导致噪声。


技术实现要素：

4.本发明是为了解决上述问题而进行的，目的在于提供基于事件相机的振动感知方法及系统，能够便捷、高效地获取和重建振动信号，操作简单且精度高。
5.为了实现以上目的，本发明采用了以下方案：
6.《方法》
7.本发明提供基于事件相机的振动感知方法，其特征在于，包括以下步骤：
8.步骤1，在静态场景中，使用激光发射器照射被测振动物体反射率较低的位置，将事件相机对准被测物体上的激光点；
9.步骤2，采用事件相机拍摄激光散斑运动图像；调整事件相机镜头，使其对焦于被测物体和事件相机之间的某个平面上，拍摄获得激光散斑事件流
10.步骤3，激光散斑图集中在事件相机画面的某一区域，对于孤立的事件点将其视为硬件固有噪声进行去除，得到去噪后的事件流
11.步骤4，按照所需的采样周期对事件流按时间戳进行分割，得到分割后的事件流
12.步骤5，振动信号重建；
13.统计每段事件流εn中正事件点个数和负事件点个数将正事件点数量与负事件点数量相减得到重建后的振动信号
14.优选地，本发明提供的基于事件相机的振动感知方法，还可以包括：步骤6，设置噪声信号阈值，将中低于该阈值的信号记为噪声去除，得到去噪后的振动信号
15.步骤7，针对被测信号的频率分布特性，设计滤波器组e(n)来加强或削弱特定频段的能量，均衡化后得到最终的振动信号
16.优选地，本发明提供的基于事件相机的振动感知方法，还可以具有这样的特征：在步骤1中，激光发射器照射在被测物体上激光点和事件相机应尽量在同一光轴上。
17.优选地，本发明提供的基于事件相机的振动感知方法，在步骤4中，取分割时间窗长δt＝200us，时间窗重叠量ο＝0us。
18.具体地，本发明提供的基于事件相机的振动感知方法，在步骤5中，振动重建原理为：
19.在第n段事件流内，对事件相机的每个像素点xi：
[0020][0021]
在一张图像中：
[0022][0023]
式中，nr为事件相机的分辨率；令表示t时刻获得的图像的几何平均亮度，等式右侧令：
[0024][0025][0026][0027]
分别表示第n段事件流中正负事件点的数量统计值，化简可得：
[0028][0029]
即当平均亮度周期性变化时，等式左边也将以同样的周期变化，则也以同样的周期变化；因此利用得到的信号包含有声源音频振动信号的频率信息，得到的重建音频振动信号：
[0030][0031]
优选地，本发明提供的基于事件相机的振动感知方法，在步骤6中，设置噪声信号阈值令所有幅度小于η
thresh
的值置零：
[0032][0033]
《系统》
[0034]
进一步，本发明还提供了基于事件相机的振动感知系统，能够自动实现上述《方法
》，其特征在于，包括：
[0035]
操作提示部，提示操作员在静态场景中，使用激光发射器照射被测振动物体反射率较低的位置，将事件相机对准被测物体上的激光点；并提示操作员应调整事件相机镜头，使其对焦于被测物体和事件相机之间的某个平面上进行拍摄；
[0036]
事件流获取部，采用事件相机拍摄激光散斑运动图像，获得激光散斑事件流
[0037]
事件流去噪部，激光散斑图集中在事件相机画面的某一区域，对于孤立的事件点将其视为硬件固有噪声进行去除，得到去噪后的事件流
[0038]
时域采样部，按照所需的采样周期对事件流按时间戳进行分割，得到分割后的事件流
[0039]
振动信号重建部，统计每段事件流εn中正事件点个数和负事件点个数将正事件点数量与负事件点数量相减得到重建后的振动信号
[0040]
控制部，与操作提示部、事件流获取部、事件流去噪部、时域采样部、振动信号重建部均通信相连，控制它们的运行。
[0041]
优选地，本发明提供的基于事件相机的振动感知系统，还可以包括：信号去噪部，与控制部通信相连，基于噪声信号阈值，将中低于该阈值的信号记为噪声去除，得到去噪后的振动信号和信号均衡部，与控制部通信相连，针对被测信号的频率分布特性，设计滤波器组e(n)来加强或削弱特定频段的能量，均衡化后得到最终的振动信号
[0042]
优选地，本发明提供的基于事件相机的振动感知系统，还可以包括：输入显示部，控制部均通信相连，用于让操作员输入操作指令，并进行相应显示。例如，输入显示部能够对各个部获取的数据、处理过程和输出结果分别以图或表的形式进行显示，供操作员查看。
[0043]
具体地，本发明提供的基于事件相机的振动感知系统，在振动信号重建部中，振动重建原理为：
[0044]
在第n段事件流内，对事件相机的每个像素点xi：
[0045][0046]
在一张图像中：
[0047][0048]
式中，nr为事件相机的分辨率；令表示t时刻获得的图像的几何平均亮度，等式右侧令：
[0049][0050]
[0051][0052]
分别表示第n段事件流中正负事件点的数量统计值，化简可得：
[0053][0054]
即当平均亮度周期性变化时，等式左边也将以同样的周期变化，则也以同样的周期变化；因此利用得到的信号包含有声源音频振动信号的频率信息，得到的重建音频振动信号：
[0055][0056]
发明的作用与效果
[0057]
本发明所提供的基于事件相机的振动感知方法及系统，使用激光发射器照射被测振动物体，利用事件相机在失焦状态下拍摄到的激光散斑图放大物体振动，利用散斑平均亮度和物体振动的频率一致性原理，对事件相机拍摄散斑运动获得的事件流进行时域采样和散斑平均亮度变化频率测度，重建还原振动信号，实现远距离视觉测振(远程捕捉振动)，有效解决了其他方法精度低、操作复杂、耗费人力物力的问题。
附图说明
[0058]
图1为本发明实施例一涉及的硬件平台的结构图；
[0059]
图2为本发明实施例一涉及的流程图；
[0060]
图3为本发明实施例一涉及的事件相机调焦示意图，事件相机通过对焦到被测物体和相机之间的某个平面上以起到放大散斑的作用；
[0061]
图4为本发明实施例一涉及的事件相机拍摄到的激光散斑示意图，图中良好展示了被测物体连续两个振动周期内的散斑的变化图，由上下两张图对比相似度高证明了散斑图变化频率和物体振动的频率一致性原理；
[0062]
图5为本发明实施例一涉及的音频均衡滤波后的效果图，横坐标表示频率，纵坐标表示能量增益。
[0063]
图6为本发明实施例一涉及的原音频和通过本发明方法重建得到的振动信号的频谱图，其中，(a)为原音频频谱图；(b)为通过本发明方法重建得到的振动信号的频谱图。
具体实施方式
[0064]
以下结合附图对本发明涉及的基于事件相机的振动感知方法及系统的具体实施方案进行详细地说明。
[0065]
《实施例一》
[0066]
本实施例中以声波振动信号的还原为例对本发明方案进行说明。如图1所示，本实施例搭建的硬件平台包括：事件相机，声源，被测物体，激光发射器，电脑终端。声源包括音响，吉他，音叉等可以产生声波，能够使自身或周遭物体产生振动的一系列物体。被测物体包括声源以及收到声源发出的声波影响而自身产生振动的一系列物体。激光发射器用于照射正在振动的被测物体；电脑终端与事件相机相连接；事件相机用于采集事件流数据，并传
输至电脑终端，事件相机选型为dvxplorer事件相机；电脑终端通过usb3.0转microusb3.0与事件相机连接。
[0067]
如图2所示，本实施例的基于事件相机的振动感知方法具体步骤如下：
[0068]
步骤1：在静态场景中，使用激光发射器照射被测振动物体反射率较低的位置，将事件相机对准被测物体上的激光点。激光发射器照射在被测物体上激光点和事件相机应尽量在同一光轴上。
[0069]
步骤2：事件相机拍摄激光散斑运动图像。如图3所示，调整事件相机镜头，使其对焦于被测物体和事件相机之间的某个平面上，拍摄获得激光散斑事件流当激光照射在粗糙表面上时，会产生漫反射。而激光具有很强的相干性，在反射过程中会引起不同的光程差，从而产生干涉，形成随机分布的颗粒状散斑图案。而当事件相机的焦平面远离被测物体时，可以让散斑占据更大的屏幕范围，从而起到放大的作用。事件相机传感器每个单元异步工作，且仅当场景亮度产生变化才输出事件点。当场景中存在声源时，被测物体表面产生微小形变，导致激光散斑在焦平面上发生微小的偏移，引起亮度变化，可以被事件相机感知从而输出事件。而当场景内不存在声源时，散斑亮度不发生改变，事件相机不输出事件。
[0070]
事件相机成像过程为：
[0071][0072]
式中，i(x,t)、i(x,t-τ)分别代表像素点x处在t，t-τ时刻的亮度。pj∈{1,-1}，代表事件点极性。δ(x,tj)代表在x处，tj时刻触发的事件点。c是常数。
[0073]
令代表xm处在tm时刻触发的事件点，其极性为pm。为所有事件的集合，me为总事件点个数。
[0074]
步骤3，事件流去噪。激光散斑图集中在事件相机画面的某一区域，对于孤立的事件点将其视为硬件固有噪声进行去除，得到去噪后的事件流事件去噪的具体方式为：
[0075]
设置事件个数阈值λ
thresh
，对每一个到来取其r
×
r邻域对所有统计落在邻域的事件个数则将其视为噪声去除。得到去噪后的事件流为
[0076]
步骤4：时域采样。按照所需的音频采样周期对事件流按时间戳进行分割，得到分割后的事件流时域采样方式具体为：
[0077]
设置分割的时间窗长δt＝200us，通过调整连续两段事件的时间窗重叠量ο可得到不同的采样率。如要求采样率为50000hz，则采样周期为20us，那么设置ο＝180us，此时应注意采样频率应满足奈奎斯特采样定理。得到分割后的事件流其中n
ε
为总分割得到的总事件流段数。每段事件流εn都含有双极性事件，即εn＝{ε
n+
,ε
n-}，其中：
[0078]
ε
n+
＝{em|tm∈[(n-1)δt,nδt),pm＝1}，
[0079]
ε
n-＝{em|tm∈[(n-1)δt,nδt),pm＝-1}，
[0080]
在实验过程中取δt＝200us，ο＝0us具有最好效果，此时采样频率为5000hz，可以满足大部分振动的采样要求。
[0081]
步骤5：振动信号重建。结合散斑平均亮度和物体振动的频率一致性原理和事件相
机成像原理，统计每段事件流εn中正事件点个数和负事件点个数将正事件点数量与负事件点数量相减得到重建后的振动信号音频重建的具体原理为：
[0082]
根据附图图3所示，该组图像的两行分别为单频振动物体在连续两个振动周期内的散斑图像，可以看到上下两张对应图像几乎相同，证明散斑的平均亮度会依附于被测物体的振动s(n)而产生周期性变化，且两者应具有相同的振动基频。
[0083]
在第n段事件流内，对事件相机的每个像素点xi有：
[0084][0085]
在一张图像中有：
[0086][0087][0088]
式中，nr为事件相机的分辨率。令表示t时刻获得的图像的几何平均亮度，等式右侧令：
[0089][0090][0091][0092]
分别表示第n段事件流中正负事件点的数量统计值，可得：
[0093][0094]
即当平均亮度周期性变化时，等式左边也将以同样的周期变化，则也以同样的周期变化。因此利用得到的信号包含有声源音频振动信号的频率信息。得到的重建音频振动信号：
[0095][0096]
步骤6，振动信号去噪。设置噪声信号阈值，将中低于该阈值的信号记为噪声去除，得到去噪后的振动信号振动信号去噪的具体方法为：
[0097]
设置噪声信号阈值η
thresh
，将重建的音频信号令所有幅度小于η
thresh
的值置零，即：
[0098][0099]
在实验中设置
[0100]
步骤7，振动信号均衡化。针对被测信号的频率分布特性，设计滤波器组e(n)来加
强或削弱特定频段的能量。均衡化后得到最终的振动信号振动信号均衡化的具体方法为：
[0101]
设计均衡化滤波器组e(n)，对去噪后的振动信号进行滤波，即：
[0102][0103]
式中，*代表卷积。
[0104]
图5中展示了振动信号均衡化滤波后的效果，它抑制了80hz以下的交流电带来的低频噪声，抑制了600hz以上的谐波成分，增强了乐音所在的80～600hz的频段。
[0105]
根据图6中展示的原音频和通过本发明方法重建得到的振动信号的频谱图，可以看到两者具有相同的时频谱线，证明了本发明方法的重建效果。
[0106]
视觉振动感知是振动感知领域中一种非常有用的方法，特别适用于远程捕捉振动，本发明以事件相机的原理为出发点，经过长期的实验研究总结出本方案，使用激光照射被测物体，再使用事件相机捕捉反射散斑的事件流，基于散斑平均亮度和物体振动的频率一致性原理和事件相机成像原理重构振动信号。本发明在基于事件相机的振动感知领域开拓了可能性并总结了一套行之有效的方法。并在以上实施例中以声波振动信号的还原为例验证了算法的可行性。
[0107]
《实施例二》
[0108]
进一步，本实施例二中提供能够自动实现以上本发明方法的基于事件相机的振动感知系统，该系统包括操作提示部、事件流获取部、事件流去噪部、时域采样部、振动信号重建部、信号去噪部、信号均衡部、输入显示部、控制部。
[0109]
操作提示部用于提示操作员：在静态场景中，使用激光发射器照射被测振动物体反射率较低的位置，将事件相机对准被测物体上的激光点；并提示操作员应调整事件相机镜头，使其对焦于被测物体和事件相机之间的某个平面上进行拍摄。
[0110]
事件流获取部采用事件相机拍摄激光散斑运动图像，获得激光散斑事件流
[0111]
事件流去噪部执行上文步骤3所描述的内容，激光散斑图集中在事件相机画面的某一区域，对于孤立的事件点将其视为硬件固有噪声进行去除，得到去噪后的事件流
[0112]
时域采样部执行上文步骤4所描述的内容，按照所需的采样周期对事件流按时间戳进行分割，得到分割后的事件流
[0113]
振动信号重建部执行上文步骤5所描述的内容，统计每段事件流εn中正事件点个数和负事件点个数将正事件点数量与负事件点数量相减得到重建后的振动信号
[0114]
信号去噪部执行上文步骤6所描述的内容，基于噪声信号阈值，将中低于该阈值的信号记为噪声去除，得到去噪后的振动信号
[0115]
信号均衡部执行上文步骤7所描述的内容，针对被测信号的频率分布特性，设计滤波器组e(n)来加强或削弱特定频段的能量，均衡化后得到最终的振动信号
[0116]
输入显示部用于让操作员输入操作指令，并进行相应显示。例如，输入显示部能够根据操作指令对各个部获取的数据、处理过程和输出结果分别以图(比如图4～6)或表的形
式进行显示，供操作员查看。
[0117]
控制部与操作提示部、事件流获取部、事件流去噪部、时域采样部、振动信号重建部、信号去噪部、信号均衡部、输入显示部均通信相连，控制它们的运行。
[0118]
以上实施例仅仅是对本发明技术方案所做的举例说明。本发明所涉及的基于事件相机的振动感知方法及系统并不仅仅限定于在以上实施例中所描述的内容，而是以权利要求所限定的范围为准。本发明所属领域技术人员在该实施例的基础上所做的任何修改或补充或等效替换，都在本发明的权利要求所要求保护的范围内。

技术特征：
1.基于事件相机的振动感知方法，其特征在于，包括以下步骤：步骤1，在静态场景中，使用激光发射器照射被测振动物体反射率较低的位置，将事件相机对准被测物体上的激光点；步骤2，采用事件相机拍摄激光散斑运动图像；调整事件相机镜头，使其对焦于被测物体和事件相机之间的某个平面上，拍摄获得激光散斑事件流步骤3，激光散斑图集中在事件相机画面的某一区域，对于孤立的事件点将其视为硬件固有噪声进行去除，得到去噪后的事件流步骤4，按照所需的采样周期对事件流按时间戳进行分割，得到分割后的事件流步骤5，振动信号重建；统计每段事件流中正事件点个数和负事件点个数将正事件点数量与负事件点数量相减得到重建后的振动信号2.根据权利要求1所述的基于事件相机的振动感知方法，其特征在于，还包括：步骤6，设置噪声信号阈值，将中低于该阈值的信号记为噪声去除，得到去噪后的振动信号步骤7，针对被测信号的频率分布特性，设计滤波器组e(n)来加强或削弱特定频段的能量，均衡化后得到最终的振动信号3.根据权利要求1所述的基于事件相机的振动感知方法，其特征在于，还包括：其中，在步骤1中，激光发射器照射在被测物体上激光点和事件相机应尽量在同一光轴上。4.根据权利要求1所述的基于事件相机的振动感知方法，其特征在于：其中，在步骤4中，取分割时间窗长度δt＝200us，时间窗重叠量ο＝0us。5.根据权利要求1所述的基于事件相机的振动感知方法，其特征在于＝：其中，在步骤5中，振动重建原理为：在第n段事件流内，对事件相机的每个像素点x
i
：在一张图像中：式中，n
r
为事件相机的分辨率；令表示t时刻获得的图像的几何平均亮度，等式右侧令：何平均亮度，等式右侧令：
分别表示第n段事件流中正负事件点的数量统计值，化简可得：即当平均亮度周期性变化时，等式左边也将以同样的周期变化，则也以同样的周期变化；因此利用得到的信号包含有声源音频振动信号的频率信息，得到的重建音频振动信号：6.根据权利要求1所述的基于事件相机的振动感知方法，其特征在于：其中，在步骤6中，设置噪声信号阈值令所有幅度小于η
thresh
的值置零：7.基于事件相机的振动感知系统，其特征在于，包括：操作提示部，提示操作员在静态场景中，使用激光发射器照射被测振动物体反射率较低的位置，将事件相机对准被测物体上的激光点；并提示操作员应调整事件相机镜头，使其对焦于被测物体和事件相机之间的某个平面上进行拍摄；事件流获取部，采用事件相机拍摄激光散斑运动图像，获得激光散斑事件流事件流去噪部，激光散斑图集中在事件相机画面的某一区域，对于孤立的事件点将其视为硬件固有噪声进行去除，得到去噪后的事件流时域采样部，按照所需的采样周期对事件流按时间戳进行分割，得到分割后的事件流振动信号重建部，统计每段事件流ε
n
中正事件点个数和负事件点个数将正事件点数量与负事件点数量相减得到重建后的振动信号控制部，与所述操作提示部、所述事件流获取部、所述事件流去噪部、所述时域采样部、所述振动信号重建部均通信相连，控制它们的运行。8.根据权利要求7所述的基于事件相机的振动感知系统，其特征在于，还包括：信号去噪部，与所述控制部通信相连，基于噪声信号阈值，将中低于该阈值的信号记为噪声去除，得到去噪后的振动信号信号均衡部，与所述控制部通信相连，针对被测信号的频率分布特性，设计滤波器组e(n)来加强或削弱特定频段的能量，均衡化后得到最终的振动信号9.根据权利要求7所述的基于事件相机的振动感知系统，其特征在于，还包括：输入显示部，与所述控制部通信相连，用于让操作员输入操作指令，并进行相应显示。10.根据权利要求7所述的基于事件相机的振动感知系统，其特征在于：其中，在所述振动信号重建部中，振动重建原理为：
在第n段事件流内，对事件相机的每个像素点x
i
：在一张图像中：式中，n
r
为事件相机的分辨率；令表示t时刻获得的图像的几何平均亮度，等式右侧令：何平均亮度，等式右侧令：何平均亮度，等式右侧令：分别表示第n段事件流中正负事件点的数量统计值，化简可得：即当平均亮度周期性变化时，等式左边也将以同样的周期变化，则也以同样的周期变化；因此利用得到的信号包含有声源音频振动信号的频率信息，得到的重建音频振动信号：

技术总结
本发明提供基于事件相机的振动感知方法及系统，能够便捷、高效地获取和重建振动信号。基于事件相机的振动感知方法包括：步骤1，使用激光发射器照射被测振动物体反射率较低的位置，将事件相机对准被测物体上的激光点；步骤2，调整事件相机镜头，使其对焦于被测物体和事件相机之间的某个平面上，拍摄获得激光散斑事件流；步骤3，激光散斑图集中在事件相机画面的某一区域，对于孤立的事件点将其视为硬件固有噪声进行去除，得到去噪后的事件流；步骤4，按照所需的采样周期对事件流按时间戳进行分割，得到分割后的事件流；步骤5，统计每段事件流中正事件点个数和负事件点个数，将正事件点数量与负事件点数量相减得到重建后的振动信号。与负事件点数量相减得到重建后的振动信号。与负事件点数量相减得到重建后的振动信号。


技术研发人员：余磊 姜晨旭 王均 黄维 薛源江 谢瑞清
受保护的技术使用者：武汉大学
技术研发日：2023.03.01
技术公布日：2023/7/20