一种基于视觉脑网络背景建模的运动目标检测方法

1.本发明涉及运动目标检测技术领域，特别涉及一种固定场景下实现运动目标检测的方法。


背景技术：

2.运动目标检测算法是视频智能分析中最基础最重要的部分，主要是指通过定义相应数学模型及分割算法，将视频帧序列中持续运动目标自动从背景中检测出来的一种技术。现有传统的方法主要分为三类：帧间差分法、光流法、背景建模法。其中帧间差分法是对相邻两帧作差分运算来获得运动目标轮廓的方法，其不能提取出对象的完整区域，只能提取出边界；光流法是通过估算视频图像的光流场检测运动目标，但其计算量大,耗时长，且对光照敏感；背景建模法是用图像序列中的当前帧和背景参考模型比较，来检测运动物体的一种方法，其具有检测速度快、检测目标较为完整的特点。背景建模法主要包括：码本方法、混合高斯模型、像素点分类等，而现有的背景建模算法存在碎化、拖影现象。
3.基于深度学习的方法通过大量的训练数据，得到视频帧图像中复杂的背景和前景的非线性映射，实现对运动目标的检测。但是深度学习算法的训练需要大量的数据和计算资源，自然场景中的运动目标数据通常比较稀缺，而且难以获取。这使得基于深度学习的运动目标感知和检测算法的研究和发展面临着数据不足的困境。并且在训练过程中需要进行大量的参数调整，否则容易出现过拟合或欠拟合等问题。其次，运动目标检测需要在各种不同的光照和姿态下进行检测，因此需要对不同的场景和条件进行优化和调整。目前，大多数运动目标检测算法是针对特定场景和条件进行优化的，因此在其他场景和条件下可能需要进行专门的调整和优化。


技术实现要素：

4.有鉴于此，本发明的目的是提供一种基于视觉脑网络背景建模的运动目标检测方法，以解决现有背景建模算法存在的碎化、拖影现象。
5.本发明基于视觉脑网络背景建模的运动目标检测方法包括步骤：
6.一)利用视觉脑网络机制，获取初级视皮层的光流信息，其包括：
7.1)利用三维高斯滤波器函数fr(x,y,t)，模拟初级视皮层v1简单细胞感受野内对输入尺度刺激ir(x,y,t)的滤波运算；ir(x,y,t)的描述如下：
[0008][0009]
式中：*表示卷积运算；ir(x,y,t)表示输入的视频序列，即t时刻空间位置(x,y)处的刺激，下标r表示时空尺度，r＝0，1,2，r＝0表示原始输入；
[0010]
所述滤波运算描述如下：
[0011][0012]
式中：σ
v1simple
为初级视皮层v1简单细胞的感受野半径；则初级视皮层v1的简单神经元在空间位置(x,y)、尺度r及时空方向k处的线性响应描述为：
[0013][0014]
式中：！表示阶乘运算，t＝0,1,2,3，y＝0,1,...,3-t，x＝3-y-t，α
v1lin
为比例因子；单位向量来描述滤波器所对应的时空方向，式中k＝1,2,3，...,28；
[0015]
构建初级视皮层v1简单细胞的输出响应s
kr
：
[0016][0017]
上式中，α
filt
→
rate,r
是将无单位的滤波响应值映射到更有意义的放电频率上；α
v1semi
为半饱和常数，α
v1rect
为比例因子，σ
v1norm
为高斯半径；
[0018]
初级视皮层v1神经元的平均放电频率c
kr
计算如下：
[0019][0020]
上式中，α
v1comp
为比例因子，σ
v1comp
为高斯半径；
[0021]
2)采用izh神经元模型描述mt层的神经元特性，mt层由cds细胞与pds细胞组成，mt层在感受野范围内接收来自初级视皮层v1的脉冲信息，利用mt层细胞的方向选择性获取光流运动信息；从初级视皮层v1复杂细胞到mt层细胞的连接权值设定如下：
[0022][0023]
上式中，br表示初级视皮层v1简单细胞微分部分，m为部分对应的28
×
28矩阵；值为乘积可以用一组插值权值表示，其中矩阵第k个元素定义了从第k个v1复杂细胞到cds细胞的连接强度；只有当两个细胞位于相同的像素位置(x，y)时，它们才会产生连接；对运动方向θ
cds
有选择性的cds细胞(x
cds
,y
cds
)与对运动方向θ
pds
有选择性的pds细胞(x
pds
,y
pds
)的连接权重设计如下：
[0024][0025]
上式中，δθ＝θ
pds-θ
cds
、δx＝x
pds-x
cds
、δy＝y
pds-y
cds
,σ
pds,pool
为高斯邻域半径；α
cds
→
pds
为缩放因子；如果|δθ|＞π/2，所得到的连接权重将会是负值，故连接被传递到一个
抑制性中间神经元的群体，调谐的归一化通过将抑制性投射传递到抑制性中间神经元池来实现的：
[0026][0027]
上式中，σ
pds,tuned,dir
＜45
°
，σ
pds,tuned,loc
＝2；
[0028]
图像在(x，y)像素点的光流运动信息计算为如下：
[0029][0030]
其中，r
θ
(x,y)表示在空间位置(x,y)处的mt pds神经元对θ运动方向选择性的放电频率，e
θ
是一个指向θ方向的单位向量；
[0031]
二)获取背景序列并构建背景模型：
[0032]
利用步骤一)获得的光流运动信息，通过如下视觉皮层运动感知模型将图像划分为背景区域和运动目标存在的候选区域；
[0033][0034]
其中||
·
||表示欧几里得二范数，f
threshold
为设定的放电阈值，i
t
(x，y)为t时刻视频序列中当前帧图像，为在当前帧图像(x,y)像素点的光流运动信息；当mt层细胞的脉冲频率达到设定的放电阈值f
threshold
时，则认为当前像素点为动态部分ao，反之则认为是静态背景部分a
bg
；
[0035]
将连续的视频帧输入到视觉皮层运动感知模型中，获取n帧不含运动目标的背景图像，对背景区域采用均值法整合，得到完整的初始背景模型b；
[0036]
三)获取二值前景及目标提取：
[0037]
利用待检测帧与已经构建的背景进行比较，获取二值前景：
[0038][0039]
表示t时刻待检测视频帧图像在位置(x,y)处的像素值，b(x,y)表示背景模型图像中(x,y)点的像素值；t则表示阈值，d
t
(x,y)表示前景图像；利用二值前景d
t
(x,y)与当前帧i
t
(x,y)进行与运算，提取运动目标。
[0040]
进一步，所述的基于视觉脑网络背景建模的运动目标检测方法还包括通过以下公式更新背景模型：
[0041][0042]
式中，α、β均为介于0和1之间的实数。
[0043]
进一步，在步骤三)中，采用融合最大类间差分和最小类内离散度的自适应阈值选择策略选取阈值t。
[0044]
本发明的有益效果：
[0045]
(1)本发明基于视觉脑网络背景建模的运动目标检测方法，利用初级视皮层v1和大脑中颞叶区mt对视觉信息的处理机制，构建的模型具有生物合理性。
[0046]
(2)本发明基于视觉脑网络背景建模的运动目标检测方法，利用视觉皮层光流信息对视频图像进行动态划分，将图像中的动态部分(如运动物体等)与静态部分(如背景)进行区分，并标识其中的运动区域和背景区域，进而对背景区域进行整合，生成初始背景模型，结合背景差分，实现运动目标的准确提取。与传统的背景建模算法相比，本发明运动目标检测方法可以有效克服“鬼影”、碎化等问题，且检测的目标比较完整。较深度学习的目标检测算法相比，本发明方法不需要数据进行训练。
[0047]
(3)本发明基于视觉脑网络背景建模的运动目标检测方法，其采用最大类间差分和最小类内离散度的自适应阈值选择策略消除前景图像中的噪声和虚假目标；有效克服了固定阈值时，阈值过高会导致一些前景物体被错误地判定为背景，阈值过低会导致出现大量噪点的情况。
附图说明
[0048]
图1为基于视觉脑网络背景建模的运动目标检测方法流程图；
[0049]
图2为mt神经元放电情况图；
[0050]
图3为视觉皮层光流信息；
[0051]
图4为基于视觉皮层光流信息的区域划分；
[0052]
图5为背景模型；
[0053]
图6为待检测帧与二值前景；
[0054]
图7为提取的运动目标。
具体实施方式
[0055]
下面结合附图和实施例对本发明作进一步描述。
[0056]
本实施例中中基于视觉脑网络背景建模的运动目标检测方法包括步骤：
[0057]
一)利用视觉脑网络机制，获取初级视皮层的光流信息，其包括：
[0058]
1)利用三维高斯滤波器函数fr(x,y,t)，模拟初级视皮层v1简单细胞感受野内对输入尺度刺激ir(x,y,t)的滤波运算；ir(x,y,t)的描述如下：
[0059][0060]
式中：*表示卷积运算；ir(x,y,t)表示输入的视频序列，即t时刻空间位置(x,y)处的刺激，下标r表示时空尺度，r＝0，1,2，r＝0表示原始输入。
[0061]
所述滤波运算描述如下：
[0062]
[0063]
式中：σ
v1simple
为初级视皮层v1简单细胞的感受野半径，σ
v1simple
＝1.25像素；则初级视皮层v1的简单神经元在空间位置(x,y)、尺度r及时空方向k处的线性响应描述为：
[0064][0065]
式中：！表示阶乘运算，t＝0,1,2,3，y＝0,1,...,3-t，x＝3-y-t，α
v1lin
为比例因子；单位向量来描述滤波器所对应的时空方向，式中k＝1,2,3，...,28。
[0066]
当位置(x,y)靠近图片边缘时，初级视皮层v1简单细胞的响应l
kr
会变得很大，因此，当空间位置接近图像边界时，需要利用比例因子来抑制l
kr
边缘效应，通过对l
kr
线性响应半平方和归一化大高斯包络内，来构建初级视皮层v1简单细胞的输出响应s
kr
：
[0067][0068]
上式中，α
filt
→
rate,r
是将无单位的滤波响应值映射到更有意义的放电频率上，设置为15hz；α
v1semi
为半饱和常数，α
v1semi
＝0.1，α
v1rect
为比例因子，α
v1rect
＝1.9263，σ
v1norm
为高斯半径，σ
v1norm
＝1像素。
[0069]
初级视皮层v1神经元的平均放电频率c
kr
计算如下：
[0070][0071]
上式中，α
v1comp
为比例因子，α
v1comp
＝0.1，σ
v1comp
为高斯半径，σ
v1comp
＝1.6。
[0072]
2)采用izh神经元模型描述mt层的神经元特性，mt层由cds细胞与pds细胞组成，mt层在感受野范围内接收来自初级视皮层v1的脉冲信息，利用mt层细胞的方向选择性获取光流运动信息；从初级视皮层v1复杂细胞到mt层细胞的连接权值设定如下：
[0073][0074]
上式中，br表示初级视皮层v1简单细胞微分部分，m为部分对应的28
×
28矩阵；值为乘积可以用一组插值权值表示，其中矩阵第k个元素定义了从第k个v1复杂细胞到cds细胞的连接强度；只有当两个细胞位于相同的像素位置(x，y)时，它们才会产生连接；对运动方向θ
cds
有选择性的cds细胞(x
cds
,y
cds
)与对运动方向θ
pds
有选择性的pds细胞(x
pds
,y
pds
)的连接权重设计如下：
[0075][0076]
上式中，δθ＝θ
pds-θ
cds
、δx＝x
pds-x
cds
、δy＝y
pds-y
cds
,σ
pds,pool
为高斯邻域半径，σ
pds,pool
＝3像素；α
cds
→
pds
为缩放因子；如果δθ＞π2，所得到的连接权重将会是负值，故连接
被传递到一个抑制性中间神经元的群体，调谐的归一化通过将抑制性投射传递到抑制性中间神经元池来实现的：
[0077][0078]
上式中，σ
pds,tuned,dir
＜45
°
，这样8个亚群中只有一个被激活；σ
pds,tuned,loc
＝2像素抑制性群体将一对一的连接回pds细胞。
[0079]
图像在(x，y)像素点的光流运动信息计算为如下：
[0080][0081]
其中，r
θ
(x,y)表示在空间位置(x,y)处的mt pds神经元对θ运动方向选择性的放电频率，e
θ
是一个指向θ方向的单位向量；在这里，矢量的角度代表运动方向，矢量的长度代表方向判断的置信度，而不是光学流场中常见的速度。
[0082]
mt层的神经元响应如图2所示，本实施例为每个像素点分配8个神经元，每个方向的脉冲数量即代表该方向运动置信度的大小。由mt神经元整合的光流信息如图3所示，即由mt的脉冲响所提取的光流信息，与实际的运动信息相符。
[0083]
二)获取背景序列并构建背景模型：
[0084]
利用步骤一)获得的光流运动信息，通过如下视觉皮层运动感知模型将图像划分为背景区域和运动目标存在的候选区域；
[0085][0086]
其中
·
表示欧几里得二范数，f
threshold
为设定的放电阈值，i
t
(x，y)为t时刻视频序列中当前帧图像，为在当前帧图像(x,y)像素点的光流运动信息；当mt层细胞的脉冲频率达到设定的放电阈值f
threshold
时，则认为当前像素点为动态部分ao，反之则认为是静态背景部分a
bg
。
[0087]
将连续的视频帧输入到视觉皮层运动感知模型中，获取n帧不含运动目标的背景图像，对背景区域采用均值法整合，得到完整的初始背景模型b(x,y)。
[0088]
本实施例具体将视频序列的前30帧，利用视觉皮层光流运动信息将其划分为背景区域与运动目标存在的候选区域，如图4所示。将30帧的候选区域采用均值法进行整合，构建一个不含运动目标的“干净”背景模型，如图5所示。
[0089]
三)获取二值前景及目标提取：
[0090]
利用待检测帧与已经构建的背景进行比较，获取二值前景：
[0091][0092]
表示t时刻待检测视频帧图像在位置(x,y)处的像素值，b(x,y)表示背景图像中(x,y)点的像素值；t则表示阈值，d
t
(x,y)表示前景图像；其中阈值t的选取采用融合最大类间差分和最小类内离散度的自适应阈值选择策略，以消除前景图像中的噪声和虚
假目标；利用二值前景d
t
(x,y)与当前帧i
t
(x,y)进行与运算，提取运动目标。待检测帧与提取到的二值前景，如图6所示。并利用提取得到的二值前景，制作掩膜提取运动目标，效果如图7所示。
[0093]
作为上述实施例的改进，所述的基于视觉脑网络背景建模的运动目标检测方法还包括通过以下公式更新背景模型：
[0094][0095]
式中，α、β均为介于0和1之间的实数。学习率α和β分别决定了前景目标的融合比例和背景的更新速度，它们共同决定了当前帧图像对背景模型的影响大小及背景模型更新的速度。在更新背景模型时，对背景中的静态部分进行快速更新，以适应场景中光照等环境背景的动态变化，同时对被划分为前景的像素点的背景图像进行慢更新，阻止前景像素侵蚀背景模型，有效解决目标长时间不运动导致被融和为背景的问题。因为场景中的背景会因为光照、环境等原因产生变化，背景更新保证了背景模型的精度和鲁棒性。
[0096]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，则均应涵盖在本发明的权利要求范围当中。

技术特征：
1.基于视觉脑网络背景建模的运动目标检测方法，其特征在于：包括步骤：一)利用视觉脑网络机制，获取初级视皮层的光流信息，其包括：1)利用三维高斯滤波器函数f
r
(x,y,t)，模拟初级视皮层v1简单细胞感受野内对输入尺度刺激i
r
(x,y,t)的滤波运算；i
r
(x,y,t)的描述如下：式中：*表示卷积运算；i
r
(x,y,t)表示输入的视频序列，即t时刻空间位置(x,y)处的刺激，下标r表示时空尺度，r＝0,1,2，r＝0表示原始输入；所述滤波运算描述如下：式中：σ
v1simple
为初级视皮层v1简单细胞的感受野半径；则初级视皮层v1的简单神经元在空间位置(x,y)、尺度r及时空方向k处的线性响应描述为：式中：！表示阶乘运算，t＝0,1,2,3，y＝0,1,...,3-t,x＝3-y-t，α
v1lin
为比例因子；单位向量来描述滤波器所对应的时空方向，式中k＝1,2,3，...,28；构建初级视皮层v1简单细胞的输出响应s
kr
：上式中，α
filt
→
rate,r
是将无单位的滤波响应值映射到更有意义的放电频率上；α
v1semi
为半饱和常数，α
v1rect
为比例因子，σ
v1norm
为高斯半径；初级视皮层v1神经元的平均放电频率c
kr
计算如下：上式中，α
v1comp
为比例因子，σ
v1comp
为高斯半径；2)采用izh神经元模型描述mt层的神经元特性，mt层由cds细胞与pds细胞组成，mt层在感受野范围内接收来自初级视皮层v1的脉冲信息，利用mt层细胞的方向选择性获取光流运动信息；从初级视皮层v1复杂细胞到mt层细胞的连接权值设定如下：
上式中，b
r
表示初级视皮层v1简单细胞微分部分，m为部分对应的28
×
28矩阵；值为乘积可以用一组插值权值表示，其中矩阵第k个元素定义了从第k个v1复杂细胞到cds细胞的连接强度；只有当两个细胞位于相同的像素位置(x，y)时，它们才会产生连接；对运动方向θ
cds
有选择性的cds细胞(x
cds
,y
cds
)与对运动方向θ
pds
有选择性的pds细胞(x
pds
,y
pds
)的连接权重设计如下：上式中，δθ＝θ
pds-θ
cds
、δx＝x
pds-x
cds
、δy＝y
pds-y
cds
,σ
pds,pool
为高斯邻域半径；α
cds
→
pds
为缩放因子；如果|δθ|＞π/2，所得到的连接权重将会是负值，故连接被传递到一个抑制性中间神经元的群体，调谐的归一化通过将抑制性投射传递到抑制性中间神经元池来实现的：上式中，σ
pds,tuned,dir
＜45
°
，σ
pds,tuned,loc
＝2；图像在(x，y)像素点的光流运动信息计算为如下：其中，r
θ
(x,y)表示在空间位置(x,y)处的mt pds神经元对θ运动方向选择性的放电频率，e
θ
是一个指向θ方向的单位向量；二)获取背景序列并构建背景模型：利用步骤一)获得的光流运动信息，通过如下视觉皮层运动感知模型将图像划分为背景区域和运动目标存在的候选区域；其中||
·
||表示欧几里得二范数，f
thrshold
为设定的放电阈值，i
t
(x，y)为t时刻视频序列中当前帧图像，为在当前帧图像(x,y)像素点的光流运动信息；当mt层细胞的脉冲频率达到设定的放电阈值f
thrshold
时，则认为当前像素点为动态部分a
o
，反之则认为是静态背景部分a
bg
；将连续的视频帧输入到视觉皮层运动感知模型中，获取n帧不含运动目标的背景图像，对背景区域采用均值法整合，得到完整的初始背景模型b；三)获取二值前景及目标提取：利用待检测帧与已经构建的背景进行比较，获取二值前景：
表示t时刻待检测视频帧图像在位置(x,y)处的像素值，b(x,y)表示背景模型图像中(x,y)点的像素值；t则表示阈值，d
t
(x,y)表示前景图像；利用二值前景d
t
(x,y)与当前帧i
t
(x,y)进行与运算，提取运动目标。2.根据权利要求1所述的基于视觉脑网络背景建模的运动目标检测方法，其特征在于：还包括通过以下公式更新背景模型：式中，α、β均为介于0和1之间的实数。3.根据权利要求1所述的基于视觉脑网络背景建模的运动目标检测方法，其特征在于：在步骤三)中，采用融合最大类间差分和最小类内离散度的自适应阈值选择策略选取阈值t。

技术总结
本发明公开了一种基于视觉脑网络背景建模的运动目标检测方法，其首先利用视觉脑网络机制，获取视觉皮层光流信息，并基于视觉皮层光流信息将视频帧划分为运动候选区域与背景区域，并利用背景区域构建背景模型。接着将待检测帧与背景模型进行差分，获取二值前景。最后利用二值前景制作掩膜，实现对运动目标的提取及背景模型的更新。与传统的背景建模算法相比，本发明运动目标检测方法可以有效克服“鬼影”、碎化等问题，且检测的目标比较完整。较深度学习的目标检测算法相比，本发明方法不需要数据进行训练。数据进行训练。数据进行训练。


技术研发人员：李秀敏 余洁 江少鹏 林菀艳 邵博 卫丕甲
受保护的技术使用者：重庆大学
技术研发日：2023.07.10
技术公布日：2023/10/7