一种基于线流的视频运动稀疏化表征方法

1.本发明属于图像处理技术领域，具体涉及一种基于线流的视频运动稀疏化表征方法。


背景技术：

2.英国神经系统学家与心理学家marr指出人类视觉在本质上是一个信息处理过程，并提出了一个视觉计算理论框架。该视觉计算理论框架对后来的计算机视觉的研究和发展起到了巨大的作用。在该视觉计算理论框架中，marr将从图像中获取物体信息的过程分为以下三个阶段：1)初始素描图，2)2.5维素描图，3)3维模型。本质上，初始素描图是图像灰度变化、几何特征分布和结构信息组合的符号表示。在marr提出的视觉计算理论的基础上，许多学者对图像中初始素描图的提取方法进行了研究。受marr视觉计算理论框架的启发，guo等人提出了初始素描模型，该模型结合了用于表示几何结构的稀疏编码模型和用于表示纹理结构的马尔可夫随机场。guo等人指出，基于稀疏编码理论的模型对信息熵较低的几何结构区域具有较好的表示能力，而基于马尔可夫随机场理论的模型对信息熵较高的纹理结构区域具有较好的表示能力。因此，通过将图像划分为可素描部分和不可素描部分，并为每个部分使用不同的模型，可以实现较好的图像内容表达。视觉计算理论的成功应用说明其不仅可以表示图像的结构信息，而且为视觉分析和理解提供了新的手段和平台。
3.光流作为视频分析技术的前置任务，通过计算相邻帧之间物体的运动信息，可以提高视频相关任务的性能，例如物体跟踪、物体分割、物体检测、显着性检测、动作识别、异常检测、质量增强、场景分类和人群事件检测等。然而，光流以像素为单位捕捉视频的运动信息，没有考虑到运动区域内的一致性，导致计算复杂，实际应用受限。通常，视频的帧序列中包含了丰富的运动信息。然而，一个物体的运动部分是相关的，而不是像素或小区域的独立运动。目前的运动信息提取技术并没有反映出这种相关性。


技术实现要素：

4.为了解决现有技术中所存在的上述问题，本发明提供了一种基于线流的视频运动稀疏化表征方法。
5.本发明要解决的技术问题通过以下技术方案实现：
6.一种基于线流的视频运动稀疏化表征方法，所述表征方法包括：
7.s1、对视频v中的图像帧序列进行素描化，得到每一帧图像的素描图；
8.s2、对每一个时刻t，通过将第t帧的素描图到第t+k帧的素描图进行叠加，得到第t帧图像的初始素描运动场；
9.s3、根据第t帧图像的初始素描运动场中任意两条素描线段的匹配度确定素描线段是否为重复素描线段，若是，则将后一个素描线段从第t帧图像的初始素描运动场中删除，得到更新后的第t帧图像的初始素描运动场；
10.s4、去除更新后的第t帧图像的初始素描运动场中的噪声素描线段，并将剩余的素
描线段作为运动素描线段，得到第t帧图像的素描运动场；
11.s5、基于聚类方法，将第t帧图像的素描运动场中相邻的运动素描线段划分到同一区域中，以得到划分结果集合；
12.s6、对于划分结果集合中每个划分区域，计算每一帧图像的运动素描线段集合；
13.s7、基于运动素描线段集合得到的每个划分区域的轨迹得到轨迹集合；
14.s8、基于轨迹集合，计算第t帧图像的运动素描线段集合中每条运动素描线段的运动向量，以得到运动向量集合。
15.可选地，第t帧图像的素描图的素描线段集合表示为n为视频v的帧数，为第t帧图像的素描图的素描线段集合中第i条素描线段，和分别为第i条素描线段的中点的x坐标、中点的y坐标、角度和长度，为第t帧图像的素描图的素描线段集合s
t
中素描线段的个数。
16.可选地，步骤s2包括：
17.s2.1、在所有帧图像的素描图的素描线段集合中得到从第t帧到第t+k帧的k+1个素描图的素描线段集合，其中，k为叠加到第t帧图像的素描图的数量；
18.s2.2、将步骤s2.1得到的k+1个素描图的素描线段集合添加至第t帧图像对应的初始素描运动场中，该初始素描运动场表示为：
[0019][0020]
其中，为第t帧图像的初始素描运动场，s
t+k
第t+k帧图像的素描图的素描线段集合。
[0021]
可选地，步骤s3包括：
[0022]
s3.1、遍历第t帧图像的初始素描运动场中任意两条素描线段和
[0023]
s3.2、利用匹配函数计算素描线段和素描线段之间的匹配度
[0024]
s3.3、判断匹配度与匹配度阈值τ之间的关系，若匹配度小于匹配度阈值τ，说明素描线段和素描线段不是重复素描线段，若匹配度大于或者等于匹配度阈值τ，说明素描线段和素描线段是重复素描线段，则将素描线段从第t帧图像的初始素描运动场中删除，得到更新后的第t帧图像的初始素描运动场。
[0025]
可选地，所述匹配函数表示为：
[0026][0027]
其中，为素描线段和素描线段之间的匹配度，λ1、λ2、λ3和λ4是权衡参数，且λ1＝λ2，素描线段素描线段和
分别为第i条素描线段的中点的x坐标、中点的y坐标、角度和长度,和分别为第j条素描线段的中点的x坐标、中点的y坐标、角度和长度，g
x
(
·
，
·
)、gy(
·
，
·
)、g
θ
(
·
，
·
)和g
l
(
·
，
·
)分别为度量函数在对应的中点的x坐标、中点的y坐标、角度θ和长度l上的分量。
[0028]
可选地，步骤s4包括：
[0029]
s4.1、设置一组参数其中，z为总步数，(rz，minz)表示半径rz内的素描线段的最少数量为minz；
[0030]
s4.2、对于更新后的第t帧图像的初始素描运动场，以每一条素描线段的中点为圆心、以rz为半径的圆内其它素描线段中点的数量，当该圆内其它素描线段重点的数量小于minz时，该素描线段则为噪声素描线段，将该噪声素描线段从更新后的第t帧图像的初始素描运动场中移除，并将剩余的素描线段作为运动素描线段，以得到由运动素描线段组成的最终的第t帧图像的素描运动场。
[0031]
可选地，步骤s5包括：
[0032]
s5.1、根据第t帧图像的素描运动场中运动素描线段的数量|ψ
t
|，得到簇的数量，其中，簇的数量为c
num
为每个簇中运动素描线段的最大数量；
[0033]
s5.2、利用k均值算法将第t帧图像的素描运动场划分为个簇；
[0034]
s5.3、基于个簇，得到最终的划分结果集合其中，c
t
为第t帧图像的素描运动场的所有划分的集合，为第t帧图像的素描运动场的第c个划分区域。
[0035]
可选地，步骤s6包括：
[0036]
s6.1、从所有帧图像的素描图的素描线段集合中得到从第t帧到第t+k帧的k+1个素描图的素描线段集合；
[0037]
s6.2、依次判断第t帧到第t+k帧的k+1个素描线段集合中的素描线段是否在第c个划分区域中，如果在，则将该素描线段存入运动素描线集合中，得到第c个划分区域中属于每一帧图像的运动素描线段集合。
[0038]
可选地，步骤s7包括：
[0039]
s7.1、计算每一帧图像的运动素描线段集合中所有素描线段在中点的x坐标、中点的y坐标、角度θ和长度l四个分量上的均值，得到对应的轨迹。
[0040]
s7.2、重复执行步骤s7.1，直至得到所有帧图像对应的轨迹，并将所有帧图像对应的轨迹作为最终的轨迹集合。
[0041]
可选地，步骤s8包括：
[0042]
s8.1、对于轨迹集合中的每一组轨迹，在中点的x坐标、中点的y坐标、角度θ和长度l四个分量上，计算轨迹前半部分的均值和后半部分的均值；
[0043]
s8.2、根据轨迹前半部分的均值和后半部分的均值得到对应的运动素描线段的运动向量，并将该运动向量作为对应划分区域中属于第t帧图像的素描线段的运动向量；
[0044]
s8.3、合并所有划分区域中属于第t帧图像的素描线段的运动向量，得到第t帧图
像中所有运动素描线段的运动向量集合。
[0045]
与现有技术相比，本发明的有益效果：
[0046]
本发明提供的基于线流的视频运动信息稀疏化表征方法，去除了由背景产生的重复素描线段和由相机噪声、光照变化、轻微抖动等原因产生的噪声素描线段，从而以稀疏化的形式来表征视频中的运行信息，所以本发明提出的视频运动信息表征方法具有更加稀疏的表征。与基于光流的视频运动信息表征方法相比，该算法用运动素描线段的运动向量来表示视频中的运动信息，提供了一种新的以更加稀疏的形式来表征视频运动信息的方法，从而降低了存储空间。
[0047]
以下将结合附图及对本发明做进一步详细说明。
附图说明
[0048]
图1是本发明实施例提供的一种基于线流的视频运动稀疏化表征方法的流程示意图；
[0049]
图2a-图2f是本发明中视频帧图像素描化前后对比图，其中，图2a、图2c和图2e是三个视频帧图像的原图，图2b、图2d和图2f是三个视频帧图像原图素描化后的素描图；
[0050]
图3是本发明中的初始素描运动场的示意图；
[0051]
图4是本发明中移除重复素描线段后的结果的示意图；
[0052]
图5是本发明中移除噪声素描线段后的素描运动场的示意图；
[0053]
图6是本发明中划分后的素描运动场的示意图；
[0054]
图7a、图7b和图7c是本发明中属于三个视频帧的划分的结果示意图；
[0055]
图8是本发明中线流的可视化方法的示意图；
[0056]
图9a-图9b是用本发明与光流方法的比对图，其中，图9a是本发明中提取的线流的效果图，图9b是提取的光流的效果图。
具体实施方式
[0057]
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
[0058]
实施例一
[0059]
上世纪八十年代，marr通过总结心理物理学、神经生理学及解剖学等方面关于人类视觉的研究成果，指出人类视觉本质上是一种信息处理的过程，并提出了视觉计算理论的框架原型。后来，guo和朱松纯等人基于marr视觉计算理论中的素描理论，提出了适用于自然图像的初始素描模型和方法，并利用自然图像的素描信息实现了图像的压缩和重构。
[0060]
借鉴朱松纯等人提出的初始素描模型，本发明针对视频中的运动信息，在视频的邻近时间一致性和局部空间一致性的基础上提供了一种基于线流的视频运动稀疏化表征方法，请参见图1，图1是本发明实施例提供的一种基于线流的视频运动稀疏化表征方法的流程示意图，本发明提供一种基于线流的视频运动稀疏化表征方法包括：
[0061]
s1、对视频v中的图像帧序列进行素描化，得到视频v中每一帧图像的素描图。
[0062]
这里，每一帧图像的素描图对应一素描线段集合，第t帧图像的素描图的素描线段
集合表示为n为视频v的帧数，为第t帧图像的素描图的素描线段集合中第i条素描线段，段集合中第i条素描线段，和分别为第i条素描线段的中点的x坐标、中点的y坐标、角度和长度，为第t帧图像的素描图的素描线段集合s
t
中素描线段的个数，所有帧图像的素描图的素描线段集合即为
[0063]
在一个具体实施例中，步骤s1包括：
[0064]
s1.1、对于输入的视频v的图像帧序列中的每一帧图像，设计边-线模板并采用检测算子计算具有cfar特性的响应图和基于梯度的响应图。
[0065]
s1.2、融合s1.1中得到的两种响应图以获得强度图。
[0066]
s1.3、采用非极大值抑制操作和双阈值连边操作，从s1.2得到的强度图中提取边线图。
[0067]
s1.4、以直线逼近的方式将边线图中的每一条曲线进行素描化，并基于图的边线模型计算出每一条素描线的编码长度增益，通过素描追踪获得图像的素描图。
[0068]
s1.5、利用素描线编码长度增益对得到的素描图进一步评估、修剪得到图像的素描图；所有帧图像的素描图的素描线段集合即为
[0069]
请参见图2a、图2b和图2c，图2a、图2c和图2e中是三个视频帧图像的原图，图2b、图2d和图2f中是三个视频帧图像原图素描化后的素描图。
[0070]
s2、对每一个时刻t，通过将第t帧的素描图到第t+k帧的素描图进行叠加，得到第t帧图像的初始素描运动场。
[0071]
具体而言，对每一个时刻t，通过将第t帧的素描图到第t+k帧的素描图进行叠加，构建第t帧图像的初始素描运动场进而得到所有帧图像的初始素描运动场集合ψ
init
。
[0072]
在一个具体实施例中，步骤s2包括：
[0073]
s2.1、在所有帧图像的素描图的素描线段集合中得到从第t帧到第t+k帧的k+1个素描图的素描线段集合，其中，k为叠加到第t帧图像的素描图的数量。
[0074]
具体而言，首先设置一个超参数k，其为叠加到第t帧图像的素描图的数量。之后从所有帧图像的素描图的素描线段集合s中得到从第t帧到第t+k帧的k+1个素描线段集合s
t
，s
t+1
，...s
t+k
，...，s
t+k
。
[0075]
s2.2、将步骤s2.1得到的k+1个素描图的素描线段集合(s
t
，s
t+1
，...s
t+k
，...，s
t+k
)添加至第t帧图像对应的初始素描运动场中，该初始素描运动场表示为：
[0076][0077]
其中，为第t帧图像的初始素描运动场，s
t+k
第t+k帧图像的素描图的素描线段集合。
[0078]
请参见图3，图3中展示了该步骤中得到的初始素描运动场，其中k＝9。
[0079]
s3、根据第t帧图像的初始素描运动场中任意两条素描线段的匹配度确定素描线段是否为重复素描线段，若是，则将后一个素描线段从第t帧图像的初始素描运动场中删
除，得到更新后的第t帧图像的初始素描运动场。
[0080]
具体而言，根据步骤s2中得到的初始素描运动场集合ψ
init
，对于第t帧图像的初始素描运动场用匹配函数φm(
·
，
·
)计算任意两条素描线段和的匹配度然后通过设定的匹配度阈值τ来判断初始素描运动场中的任意两条素描线段是否为重复素描线段，如果素描线段和素描线段为重复素描线段，则将素描线段移除。
[0081]
在一个具体实施例中，步骤s3包括：
[0082]
s3.1、遍历第t帧图像的初始素描运动场中任意两条素描线段和
[0083]
s3.2、利用匹配函数计算素描线段和素描线段之间的匹配度
[0084]
这里，匹配函数表示为：
[0085][0086]
其中，为素描线段和素描线段之间的匹配度，λ1、λ2、λ3和λ4是权衡参数，且λ1＝λ2，素描线段素描线段和分别为第i条素描线段的中点的x坐标、中点的y坐标、角度和长度,和分别为第j条素描线段的中点的x坐标、中点的y坐标、角度和长度，g
x
(
·
，
·
)、gy(
·
，
·
)、g
θ
(
·
，
·
)和g
l
(
·
，
·
)分别为度量函数在对应的中点的x坐标、中点的y坐标、角度θ和长度l上的分量。
[0087]
s3.3、判断匹配度与匹配度阈值τ之间的关系，若匹配度小于匹配度阈值τ，说明素描线段和素描线段不是重复素描线段，若匹配度大于或者等于匹配度阈值τ，说明素描线段和素描线段是重复素描线段，则将素描线段从第t帧图像的初始素描运动场中删除，得到更新后的第t帧图像的初始素描运动场。
[0088]
这里：
[0089][0090]
其中，τ为匹配度阈值，表示素描线段和素描线段是否为重复素描线段。也就是说，当两条素描线段的匹配度大于或者等于τ时，的值取1，将素描线段和素描线段看作是重复素描线段，否则的值取0，将素描线段和素描线段看作是不重复的素描线段。
[0091]
若素描线段和素描线段为重复素描线段，则将后一条素描线段从初始素描运动场中移除。
[0092]
如图4所示，其是该步骤中移除重复素描线段后的结果，移除的素描线段如图4蓝色框中所示。
[0093]
s4、去除更新后的第t帧图像的初始素描运动场中的噪声素描线段，并将剩余的素描线段作为运动素描线段，得到第t帧图像的素描运动场。
[0094]
具体而言，在移除重复素描线段后，通过设置一组参数来逐步移除噪声素描线段，得到最终的第t帧图像的素描运动场ψ
t
，并将素描运动场中的素描线段称为运动素描线段。
[0095]
在一个具体实施例中，步骤s4包括：
[0096]
s4.1、设置一组参数其中，z为总步数，(rz，minz)表示半径rz内的素描线段的最少数量为minz；
[0097]
s4.2、对于更新后的第t帧图像的初始素描运动场，以每一条素描线段的中点为圆心、以rz为半径的圆内其它素描线段中点的数量，当该圆内其它素描线段重点的数量小于minz时，该素描线段则为噪声素描线段，将该噪声素描线段从更新后的第t帧图像的初始素描运动场中移除，并将剩余的素描线段作为运动素描线段，以得到由运动素描线段组成的最终的第t帧图像的素描运动场ψ
t
。
[0098]
如图5所示，其是该步骤中移除噪声素描线段后的素描运动场，移除的素描线段如图5红色框中所示。
[0099]
s5、基于聚类方法，将第t帧图像的素描运动场中相邻的运动素描线段划分到同一区域中，以得到划分结果集合。
[0100]
具体而言，利用步骤s4中得到的第t帧图像的素描运动场ψ
t
，通过聚类算法将相邻的运动素描线段划分到同一区域中，得到划分其中，c
num
为每个簇中素描线段的最大数量，为第c个划分区域，也是聚类后的第c簇，为簇的数量。
[0101]
在一个具体实施例中，步骤s5包括：
[0102]
s5.1、首先定义每个簇中素描线段的最大数量为c
num
，之后根据第t帧图像的素描运动场中运动素描线段的数量|ψ
t
|，得到簇的数量，其中，簇的数量为c
num
为每个簇中运动素描线段的最大数量。
[0103]
s5.2、利用k均值算法将第t帧图像的素描运动场划分为个簇；
[0104]
s5.3、基于个簇，得到最终的划分结果集合其中，c
t
为第t帧图像的素描运动场的所有划分的集合，为第t帧图像的素描运动场的第c个划分区域。
[0105]
如图6所示，其是该步骤中通过聚类算法划分后的素描运动场。
[0106]
s6、对于划分结果集合中每个划分区域，计算每一帧图像的运动素描线段集合。
[0107]
具体而言，利用步骤s5中得到的划分结果c
t
，在每个划分区域中，计算属于每一帧的运动素描线段集合其中，为第c个划分区域内属于第t+k帧的运动素描线集合。
[0108]
在一个具体实施例中，步骤s6包括：
[0109]
s6.1、从所有帧图像的素描图的素描线段集合s中得到从第t帧到第t+k帧的k+1个素描图的素描线段集合s
t
，s
t+1
，...s
t+k
，...，s
t+k
。
[0110]
s6.2、依次判断第t帧到第t+k帧的k+1个素描线段集合中的素描线段是否在第c个划分区域中，如果在，则将该素描线段存入运动素描线集合中，得到第c个划分区域中属于每一帧图像的运动素描线段集合。
[0111]
具体而言，计算素描线段集合s
t
中的素描线段是否在第c个划分区域中，如果在，则将素描线段存入运动素描线集合中；并按照上述方式依次对素描线段集合s
t
，s
t+1
，...s
t+k
，...，s
t+k
分别进行计算；最终得到第c个划分区域中属于每一帧的运动素描线段集合以及所有划分c
t
中属于每一帧的运动素描线段集合的集合
[0112]
如图7a、图7b和图7c，其是该步骤中得到的属于三个视频帧的运动素描线段。
[0113]
s7、基于运动素描线段集合得到的每个划分区域的轨迹得到轨迹集合。
[0114]
具体而言，利用步骤s6中得到的第c个划分区域的运动素描线集合计算出第c个划分区域中从第t帧到第t+k帧的轨迹进而得到所有个划分的轨迹集合
[0115]
在一个具体实施例中，步骤s7包括：
[0116]
s7.1、计算每一帧图像的运动素描线段集合中所有素描线段在中点的x坐标、中点的y坐标、角度θ和长度l四个分量上的均值，得到对应的轨迹。
[0117]
这里，计算均值的方式为：计算每一帧图像的运动素描线段集合中所有素描线段的中点的x坐标的均值，计算每一帧图像的运动素描线段集合中所有素描线段的中点的y坐标的均值，计算每一帧图像的运动素描线段集合中所有素描线段的角度θ的均值，计算每一帧图像的运动素描线段集合中所有素描线段的长度l的均值。
[0118]
s7.2、重复执行步骤s7.1，直至得到所有帧图像对应的轨迹，并将所有帧图像对应的轨迹作为最终的轨迹集合。
[0119]
具体而言，首先，得到ψct中的所有素描线段其中，为第c个划分区域中属于第t+k帧的运动素描线的数量；其次，计算素描线段集合中
所有素描线段在x、y、θ和l等四个分量上的均值，得到同样地，也对等素描线段集合分别计算均值得到等轨迹；然后，得到第c个划分区域中从第t帧到第t+k帧的轨迹最终，针对所有的个划分，得到轨迹集合
[0120]
s8、基于轨迹集合，计算第t帧图像的运动素描线段集合中每条运动素描线段的运动向量，以得到运动向量集合。
[0121]
具体而言，利用步骤s7中得到的轨迹集合trt，对于第c个划分区域中从第t帧到第t+k帧的轨迹计算属于第t帧的运动素描线段集合中每条运动素描线段的运动向量进而得到第t帧中所有运动素描线段的运动向量集合其中为第t帧中所有运动素描线段的数量。
[0122]
在一个具体实施例中，步骤s8包括：
[0123]
s8.1、对于轨迹集合中的每一组轨迹，在中点的x坐标、中点的y坐标、角度θ和长度l四个分量上，计算轨迹前半部分的均值和后半部分的均值。
[0124]
具体而言，对于第c个划分区域中从第t帧到第t+k帧的轨迹在x、y、θ和l等四个分量上，计算轨迹前半部分的均值和后半部分的均值
[0125]
s8.2、根据轨迹前半部分的均值和后半部分的均值得到对应的运动素描线段的运动向量，并将该运动向量作为对应划分区域中属于第t帧图像的素描线段的运动向量。
[0126]
这里，运动向量为并将运动向量作为第c个划分区域中属于第t帧的素描线段的运动向量。
[0127]
s8.3、合并所有划分区域中属于第t帧图像的素描线段的运动向量，得到第t帧图像中所有运动素描线段的运动向量集合。
[0128]
这里，合并所有个划分区域中属于第t帧的素描线段的运动向量，继而得到第t帧中所有运动素描线段的运动向量集合该运动向量集合即为视频第t帧中运动信息的稀疏化表征，被称为第t帧的线流。
[0129]
如图8所示，其是线流的可视化方法，用颜色来表示运动素描线段的运动方向，用颜色的深浅来表示运动素描线段的运动距离；如图9a所示，其是该步骤中提取的线流的可视化。
[0130]
本发明提供的基于线流的视频运动信息稀疏化表征方法，由于步骤s1中利用初始素描模型将视频图像中边界、轮廓等突变部分保留，将视频图像中的纹理等部分去除，得到了能够稀疏表示图像的素描线段集合，所以在此基础上以稀疏化的形式来表征视频中的信息。在步骤s3和步骤s4中，该发明进一步去除了由背景产生的重复素描线段和由相机噪声、光照变化、轻微抖动等原因产生的噪声素描线段，从而以稀疏化的形式来表征视频中的运
行信息，所以本发明提出的视频运动信息表征方法具有更加稀疏的表征。与基于光流的视频运动信息表征方法相比，该算法用运动素描线段的运动向量来表示视频中的运动信息，提供了一种新的以更加稀疏的形式来表征视频运动信息的方法，从而降低了存储空间。
[0131]
本发明的效果可通过以下仿真结果进一步说明。
[0132]
1.仿真条件
[0133]
本发明仿真的硬件条件为：智能感知与图像理解实验室图形工作站hp z840。本发明仿真的软件条件为：windows 10系统，pycharm 2020，visual studio 2017，python3.6，opencv 2.1.0。
[0134]
本发明仿真的参数如表1所示：
[0135]
表1
[0136][0137]
2.仿真内容
[0138]
利用一组视频帧图像，本发明提取以稀疏形式来表征视频中运动信息的线流，实验结果如附图9所示，其中，图9a为本发明提取的线流的效果图，图9b为提取的光流的效果图。
[0139]
本发明与光流方法的运动信息存储空间的对比，如表2所示。
[0140]
表2
[0141]
方法视频帧图像大小存储空间的大小光流方法200
×
20022.2kb本发明200
×
2004.48kb
[0142]
3.仿真结果分析：
[0143]
从图9可以看出，光流提取运动信息具有明显的噪声，且比较稠密。本发明提取的线流具有更加稀疏的表现形式，且具有较少的噪声，实现了对运动信息更好的表示。从表2可以看出，本发明较光流提取运动信息的存储空间明显降低，说明本发明能够提取更加稀疏的运动信息。
[0144]
综上所述，本发明实现了对视频中运动信息的提取，不仅具有更少的噪声，而且提取效果更好，能够以更加稀疏的形式来表征视频中的运动信息，同时占有更少的存储空间。
[0145]
需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0146]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的
是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
[0147]
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图以及公开内容，可理解并实现所述公开实施例的其他变化。在说明书中，“包括”一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。相互不同的实施例中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
[0148]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

技术特征：
1.一种基于线流的视频运动稀疏化表征方法，其特征在于，所述表征方法包括：s1、对视频v中的图像帧序列进行素描化，得到每一帧图像的素描图；s2、对每一个时刻t，通过将第t帧的素描图到第t+k帧的素描图进行叠加，得到第t帧图像的初始素描运动场；s3、根据第t帧图像的初始素描运动场中任意两条素描线段的匹配度确定素描线段是否为重复素描线段，若是，则将后一个素描线段从第t帧图像的初始素描运动场中删除，得到更新后的第t帧图像的初始素描运动场；s4、去除更新后的第t帧图像的初始素描运动场中的噪声素描线段，并将剩余的素描线段作为运动素描线段，得到第t帧图像的素描运动场；s5、基于聚类方法，将第t帧图像的素描运动场中相邻的运动素描线段划分到同一区域中，以得到划分结果集合；s6、对于划分结果集合中每个划分区域，计算每一帧图像的运动素描线段集合；s7、基于运动素描线段集合得到的每个划分区域的轨迹得到轨迹集合；s8、基于轨迹集合，计算第t帧图像的运动素描线段集合中每条运动素描线段的运动向量，以得到运动向量集合。2.根据权利要求1所述的基于线流的视频运动稀疏化表征方法，其特征在于，第t帧图像的素描图的素描线段集合表示为n为视频v的帧数，为第t帧图像的素描图的素描线段集合中第i条素描线段，图像的素描图的素描线段集合中第i条素描线段，和分别为第i条素描线段的中点的x坐标、中点的y坐标、角度和长度，为第t帧图像的素描图的素描线段集合s
t
中素描线段的个数。3.根据权利要求1所述的基于线流的视频运动稀疏化表征方法，其特征在于，步骤s2包括：s2.1、在所有帧图像的素描图的素描线段集合中得到从第t帧到第t+k帧的k+1个素描图的素描线段集合，其中，k为叠加到第t帧图像的素描图的数量；s2.2、将步骤s2.1得到的k+1个素描图的素描线段集合添加至第t帧图像对应的初始素描运动场中，该初始素描运动场表示为：其中，为第t帧图像的初始素描运动场，s
t+k
第t+k帧图像的素描图的素描线段集合。4.根据权利要求1所述的基于线流的视频运动稀疏化表征方法，其特征在于，步骤s3包括：s3.1、遍历第t帧图像的初始素描运动场中任意两条素描线段和s3.2、利用匹配函数计算素描线段和素描线段之间的匹配度s3.3、判断匹配度与匹配度阈值τ之间的关系，若匹配度小于匹配度阈值τ，说明素描线段和素描线段不是重复素描线段，若匹配度
大于或者等于匹配度阈值τ，说明素描线段和素描线段是重复素描线段，则将素描线段从第t帧图像的初始素描运动场中删除，得到更新后的第t帧图像的初始素描运动场。5.根据权利要求4所述的基于线流的视频运动稀疏化表征方法，其特征在于，所述匹配函数表示为：其中，为素描线段和素描线段之间的匹配度，λ1、λ2、λ3和λ4是权衡参数，且λ1＝λ2，素描线段素描线段素描线段和分别为第i条素描线段的中点的x坐标、中点的y坐标、角度和长度，和分别为第j条素描线段的中点的x坐标、中点的y坐标、角度和长度，g
x
(
·
，
·
)、g
y
(
·
，
·
)、g
θ
(
·
，
·
)和g
l
(
·
，
·
)分别为度量函数在对应的中点的x坐标、中点的y坐标、角度θ和长度l上的分量。6.根据权利要求1所述的基于线流的视频运动稀疏化表征方法，其特征在于，步骤s4包括：s4.1、设置一组参数其中，z为总步数，(r
z
，min
z
)表示半径r
z
内的素描线段的最少数量为min
z
；s4.2、对于更新后的第t帧图像的初始素描运动场，以每一条素描线段的中点为圆心、以r
z
为半径的圆内其它素描线段中点的数量，当该圆内其它素描线段重点的数量小于min
z
时，该素描线段则为噪声素描线段，将该噪声素描线段从更新后的第t帧图像的初始素描运动场中移除，并将剩余的素描线段作为运动素描线段，以得到由运动素描线段组成的最终的第t帧图像的素描运动场。7.根据权利要求1所述的基于线流的视频运动稀疏化表征方法，其特征在于，步骤s5包括：s5.1、根据第t帧图像的素描运动场中运动素描线段的数量|ψ
t
|，得到簇的数量，其中，簇的数量为c
num
为每个簇中运动素描线段的最大数量；s5.2、利用k均值算法将第t帧图像的素描运动场划分为个簇；s5.3、基于个簇，得到最终的划分结果集合其中，c
t
为第t帧图像的素描运动场的所有划分的集合，为第t帧图像的素描运动场的第c个划分区域。8.根据权利要求1所述的基于线流的视频运动稀疏化表征方法，其特征在于，步骤s6包括：s6.1、从所有帧图像的素描图的素描线段集合中得到从第t帧到第t+k帧的k+1个素描图的素描线段集合；s6.2、依次判断第t帧到第t+k帧的k+1个素描线段集合中的素描线段是否在第c个划分区域中，如果在，则将该素描线段存入运动素描线集合中，得到第c个划分区域中属于每一帧图像的运动素描线段集合。
9.根据权利要求1所述的基于线流的视频运动稀疏化表征方法，其特征在于，步骤s7包括：s7.1、计算每一帧图像的运动素描线段集合中所有素描线段在中点的x坐标、中点的y坐标、角度θ和长度l四个分量上的均值，得到对应的轨迹。s7.2、重复执行步骤s7.1，直至得到所有帧图像对应的轨迹，并将所有帧图像对应的轨迹作为最终的轨迹集合。10.根据权利要求1所述的基于线流的视频运动稀疏化表征方法，其特征在于，步骤s8包括：s8.1、对于轨迹集合中的每一组轨迹，在中点的x坐标、中点的y坐标、角度θ和长度l四个分量上，计算轨迹前半部分的均值和后半部分的均值；s8.2、根据轨迹前半部分的均值和后半部分的均值得到对应的运动素描线段的运动向量，并将该运动向量作为对应划分区域中属于第t帧图像的素描线段的运动向量；s8.3、合并所有划分区域中属于第t帧图像的素描线段的运动向量，得到第t帧图像中所有运动素描线段的运动向量集合。

技术总结
本发明公开了一种基于线流的视频运动稀疏化表征方法，包括：得到每一帧图像的素描图；得到第t帧图像的初始素描运动场；根据素描线段是否为重复素描线段得到更新后的第t帧图像的初始素描运动场；去除的噪声素描线段，将剩余的素描线段作为运动素描线段，得到第t帧图像的素描运动场；将第t帧图像的素描运动场中相邻的运动素描线段划分到同一区域中，以得到划分结果集合；对于划分结果集合中每个划分区域，计算每一帧图像的运动素描线段集合；基于运动素描线段集合得到的每个划分区域的轨迹得到轨迹集合；计算第t帧图像的运动素描线段集合中每条运动素描线段的运动向量，以得到运动向量集合。本发明的方法具有更少的噪声，提取效果更好。取效果更好。取效果更好。


技术研发人员：刘芳 李玲玲 李硕 焦李成 陈璞花 马文萍 鲍骞月 刘旭
受保护的技术使用者：西安电子科技大学
技术研发日：2023.04.26
技术公布日：2023/8/13