监控视频的群体行为识别方法以及系统与流程

1.本发明涉及图像处理技术领域，特别是涉及一种监控视频的群体行为识别方法以及系统。


背景技术：

2.近年来，随着城市化进程不断加快，车辆保有量数量逐渐增加，但由于停车泊位严重不足，随之带来停车难、交通拥堵等问题。为规范化路侧停车的管理，高位视频技术随之发展起来，通过在路侧安装高位视频摄像头，可对车辆的泊车进行判断与管理，从而对于城市的交通管理具有积极地促进作用。基于现有的高位视频监控设备、所得到的监控数据以及利用目前的视觉处理算法等，不单可以实现路侧泊位的收费和管理，同时还可以进行车辆违章行为的判别、套牌车、限行车的识别等，能够更加有效的利用高位视频技术促进城市交通的良好发展，并且还可以实现对路侧行人的行为进行识别，及时对违法、具有危险行为的、扰乱公共治安的、突发摔倒的等行为进行识别，从而有助于智能化的交通管理和公共治安等。
3.然而，传统方法在进行人体行为识别时，仅仅依靠单个行人在时间维度上的特征来进行识别，使得对于多个行人之间的一些群体行为缺乏准确识别，容易遗漏掉关键性的特征，导致传统方法的识别准确性偏低。


技术实现要素：

4.本发明的目的是解决传统方法识别准确性偏低的技术问题。为实现上述目的，本发明提供一种监控视频的群体行为识别方法以及系统。
5.本发明提供一种监控视频的群体行为识别方法，包括：
6.对路侧监控视频进行个体行为动作标注与群体行为动作标注，获得行人群体训练视频数据集；
7.将所述行人群体训练视频数据集输入至行人动作特征网络，获得连续时间内每个行人的动作特征与位置特征；
8.将所述连续时间内每个行人的所述动作特征输入至时间动作演化网络中，获得所述连续时间内每个行人的动作演化特征；
9.将单个时间内视频图像中所有行人的所述动作特征与所述位置特征输入至空间关系网络中，获得所述单个时间内视频图像中所有行人的空间关系特征；
10.将所述空间关系特征、所述动作特征以及所述位置特征进行融合，获得第一融合特征，并将所述第一融合特征输入至所述时间动作演化网络中，获得第一分支特征；
11.将所述动作演化特征、所述动作特征以及所述位置特征进行融合，获得第二融合特征，并将所述第二融合特征输入至所述空间关系网络中，获得第二分支特征；
12.对所述第一分支特征与所述第二分支特征取平均，获得双分支特征；
13.将所述双分支特征输入至行人群体分类网络中，获得行人动作分类与群体行为分
类；
14.根据所述行人动作分类、所述群体行为分类、所述第一分支特征以及所述第二分支特征构建模型损失函数，对初始群体行为识别模型进行模型训练，获得群体行为识别模型，所述群体行为识别模型包括所述行人动作特征网络、所述时间动作演化网络、所述空间关系网络以及所述行人群体分类网络；
15.根据所述群体行为识别模型对待测路侧监控视频进行群体行为识别，获得行人的动作分类以及群体的行为分类。
16.在一个实施例中，所述将所述行人群体训练视频数据集输入至行人动作特征网络，获得连续时间内每个行人的动作特征与位置特征，包括：
17.将所述行人群体训练视频数据集输入至卷积神经网络中，输出所述连续时间内每个视频帧图像的特征；
18.根据目标检测网络对所述连续时间内每个视频帧图像的特征进行行人检测，获得所述连续时间内每个行人的所述动作特征与所述位置特征。
19.在一个实施例中，所述将所述空间关系特征、所述动作特征以及所述位置特征进行融合，获得第一融合特征，并将所述第一融合特征输入至所述时间动作演化网络中，获得第一分支特征，包括：
20.将所述空间关系特征、所述动作特征以及所述位置特征进行加和处理或者在通道维度上进行拼接，获得所述第一融合特征。
21.在一个实施例中，所述将所述动作演化特征、所述动作特征以及所述位置特征进行融合，获得第二融合特征，并将所述第二融合特征输入至所述空间关系网络中，获得第二分支特征，包括：
22.将所述动作演化特征、所述动作特征以及所述位置特征进行加和处理或者在通道维度上进行拼接，获得所述第二融合特征。
23.在一个实施例中，所述根据所述行人动作分类、所述群体行为分类、所述第一分支特征以及所述第二分支特征构建模型损失函数，对初始群体行为识别模型进行模型训练，获得群体行为识别模型，包括：
24.根据所述行人动作分类与所述群体行为分类，构建交叉熵分类损失函数；
25.根据所述第一分支特征与所述第二分支特征，构建余弦相似度损失函数；
26.根据所述交叉熵分类损失函数与所述余弦相似度损失函数，形成所述模型损失函数。
27.在一个实施例中，本发明提供一种监控视频的群体行为识别系统，包括：
28.行人群体数据模块，用于对路侧监控视频进行个体行为动作标注与群体行为动作标注，获得行人群体训练视频数据集；
29.行人动作特征网络模块，用于将所述行人群体训练视频数据集输入至行人动作特征网络，获得连续时间内每个行人的动作特征与位置特征；
30.时间动作演化网络模块，用于将所述连续时间内每个行人的所述动作特征输入至时间动作演化网络中，获得所述连续时间内每个行人的动作演化特征；
31.空间关系网络模块，用于将单个时间内视频图像中所有行人的所述动作特征与所述位置特征输入至空间关系网络中，获得所述单个时间内视频图像中所有行人的空间关系
特征；
32.第一分支模块，用于将所述空间关系特征、所述动作特征以及所述位置特征进行融合，获得第一融合特征，并将所述第一融合特征输入至所述时间动作演化网络中，获得第一分支特征；
33.第二分支模块，用于将所述动作演化特征、所述动作特征以及所述位置特征进行融合，获得第二融合特征，并将所述第二融合特征输入至所述空间关系网络中，获得第二分支特征；
34.双分支特征获取模块，用于对所述第一分支特征与所述第二分支特征取平均，获得双分支特征；
35.行人群体分类网络模块，用于将所述双分支特征输入至行人群体分类网络中，获得行人动作分类与群体行为分类；
36.模型训练模块，用于根据所述行人动作分类、所述群体行为分类、所述第一分支特征以及所述第二分支特征构建模型损失函数，对初始群体行为识别模型进行模型训练，获得群体行为识别模型，所述群体行为识别模型包括所述行人动作特征网络、所述时间动作演化网络、所述空间关系网络以及所述行人群体分类网络；
37.行为获取模块，用于根据所述群体行为识别模型对待测路侧监控视频进行群体行为识别，获得行人的动作分类以及群体的行为分类。
38.在一个实施例中，所述行人动作特征网络模块包括：
39.图像特征获取模块，用于将所述行人群体训练视频数据集输入至卷积神经网络中，输出所述连续时间内每个视频帧图像的特征；
40.动作位置特征获取模块，用于根据目标检测网络对所述连续时间内每个视频帧图像的特征进行行人检测，获得所述连续时间内每个行人的所述动作特征与所述位置特征。
41.在一个实施例中，所述第一分支模块包括：
42.第一融合特征获取模块，用于将所述空间关系特征、所述动作特征以及所述位置特征进行加和处理或者在通道维度上进行拼接，获得所述第一融合特征。
43.在一个实施例中，所述第二分支模块包括：
44.第二融合特征获取模块，用于将所述动作演化特征、所述动作特征以及所述位置特征进行加和处理或者在通道维度上进行拼接，获得所述第二融合特征。
45.在一个实施例中，所述模型训练模块包括：
46.第一损失函数模块，用于根据所述行人动作分类与所述群体行为分类，构建交叉熵分类损失函数；
47.第二损失函数模块，用于根据所述第一分支特征与所述第二分支特征，构建余弦相似度损失函数；
48.模型损失函数模块，用于根据所述交叉熵分类损失函数与所述余弦相似度损失函数，形成所述模型损失函数。
49.上述监控视频的群体行为识别方法以及系统中，通过行人动作特征网络获得连续时间内每个行人的动作特征与位置特征，并分别经过时间动作演化网络与空间关系网络进行进一步特征提取，获得连续时间内每个行人的动作演化特征与单个时间内视频图像中所有行人的空间关系特征。行为表征了在相对较长时间段内单人或者多人的行为，动作表征
了在相对较短时间内单人的动作。进一步，构建了先时间后空间以及先空间后时间的双分支结构，获得双分支特征，实现了每个视频帧中的多个行人进行空间特征的建模，也实现了每个行人在多个视频帧中的特征建模，能够更加清晰地理解到多人的行人动作。经过行人群体分类网络对双分支特征进行行人与群体的动作分类，能够更加全面的且准确的对视频中的行人行为进行理解。
50.因此，通过本发明提供的监控视频的群体行为识别方法，实现了在连续时间的视频序列内的每个行人的行为识别，进而实现了对一段时间内的多人的行为识别理解。当识别有危险行为或是其他突发的不安全行为时，能够及时向相关部门预警，进而对相关行为进行处理，能够实现智能化的交通管理和社会治安管理等，也避免了在深夜等特殊时段或是人流量较少的特殊路段发生危险情况。
附图说明
51.图1是本发明提供的监控视频的群体行为识别方法的步骤流程示意图。
52.图2是本发明提供的监控视频的群体行为识别系统的结构示意图。
具体实施方式
53.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
54.请参见图1，本发明提供一种监控视频的群体行为识别方法，包括：
55.s10，对路侧监控视频进行个体行为动作标注与群体行为动作标注，获得行人群体训练视频数据集；
56.s20，将行人群体训练视频数据集输入至行人动作特征网络，获得连续时间内每个行人的动作特征与位置特征；
57.s30，将连续时间内每个行人的动作特征输入至时间动作演化网络中，获得连续时间内每个行人的动作演化特征；
58.s40，将单个时间内视频图像中所有行人的动作特征与位置特征输入至空间关系网络中，获得单个时间内视频图像中所有行人的空间关系特征；
59.s50，将空间关系特征、动作特征以及位置特征进行融合，获得第一融合特征，并将第一融合特征输入至时间动作演化网络中，获得第一分支特征；
60.s60，将动作演化特征、动作特征以及位置特征进行融合，获得第二融合特征，并将第二融合特征输入至空间关系网络中，获得第二分支特征；
61.s70，对第一分支特征与第二分支特征取平均，获得双分支特征；
62.s80，将双分支特征输入至行人群体分类网络中，获得行人动作分类与群体行为分类；
63.s90，根据行人动作分类、群体行为分类、第一分支特征以及第二分支特征构建模型损失函数，对初始群体行为识别模型进行模型训练，获得群体行为识别模型，群体行为识别模型包括行人动作特征网络、时间动作演化网络、空间关系网络以及行人群体分类网络；
64.s100，根据群体行为识别模型对待测路侧监控视频进行群体行为识别，获得行人的动作分类以及群体的行为分类。
65.本实施例中，在s10中，行人群体训练视频数据集由多个短视频片段构成，每个视
频片段包括k帧图像。对每个视频片段中的每个图像中的每个行人的二维目标检测框和行人的动作类别进行标注以及对每个视频片段的群体行为类别进行标注。每个行人的二维目标检测框标注可以理解为描述行人的二维矩形框的左上角和右下角的坐标。行人动作类别可以理解为单个行人的一些动作，例如：抬手、踢腿、跳跃、摔倒等行为。群体行为类别可以理解为具有多人聚集的一个行为。
66.在s20中，行人动作特征网络可以为卷积神经网络。行人动作特征网络的输入为行人群体训练视频数据集中视频片段中的每个视频帧图像，输出为连续时间内，每个行人的动作特征表示以及每个行人的位置特征表示。
67.在s30中，时间动作演化网络是为了建模在一个短视频片段的连续时间图像帧中，每个行人的动作变化。时间动作演化网络的输入为某个行人在连续k帧图像中的动作特征向量，记作为p，p∈r
k*c
其中，k表示k帧图像，c表示动作特征向量维度为c，输出为某个行人在连续视频帧图像中的动作演化特征。时间动作演化网络包括但不限于采用卷积神经网络或transformer等方式进行动作演化特征学习。
68.在s40中，空间关系网络是为了建模在单个视频图像中，所有各个行人之间的空间关系。空间关系网络的输入为某个视频帧图像中，所有的行人的动作特征向量表示以及每个行人的位置特征向量，输出为单个视频图像中所有行人的空间关系。空间关系网络可以为图卷积神经网络，将单个视频图像中，每个行人作为图结构的节点，每个行人之间的位置关系作为节点之间的边，从而形成空间维度的图结构数据，利用图卷积神经网络强大的图结构数据的学习能力，实现对单个时间内视频图像中多个行人在空间位置上的关系预测。
69.在s50与s60中，建立双分支结构，分之一为将空间关系网络输出的空间关系特征、行人动作特征网络输出获得的动作特征、位置特征进行融合，作为一个整体形成第一融合特征，并将第一融合特征输入至时间动作演化网络中，获得第一分支特征。
70.分支二为将时间动作演化网络输出的动作演化特征、行人动作特征网络输出获得的动作特征、位置特征进行融合，作为一个整体形成第二融合特征，并将第二融合特征输入至空间关系网络中，获得第二分支特征。
71.在s70中，将双分支结构分别输出的结果，第一分支特征与第二分支特征进行取平均，作为双分支特征。
72.在s80中，行人群体分类网络为行人动作分类和群体行为分类部分，构建行人动作分类器和群体行为分类器。行人群体分类网络中行人动作分类器和群体行为分类器可以分别采用全连接神经网络构成，输入为双分支特征，输出为分别对每个行人的行人动作分类和群体行为的分类。
73.在s90中，根据行人动作特征网络、时间动作演化网络、空间关系网络以及行人群体分类网络的各个输出结果构建模型损失函数对初始群体行为识别模型进行训练。行人动作特征网络、时间动作演化网络、空间关系网络以及行人群体分类网络构成群体行为识别模型，通过各个网络的输出进行训练。模型损失函数包括两个部分，分别为行人群体分类网络对应的分类损失函数以及双分支结构的监督损失函数。
74.在s100中，群体行为识别模型的输入一个路侧场景监控视频的视频片段，输出得到短视频片段中的每个行人的动作分类以及每个群体的行为分类。根据对监控视频中的视频片段进行群体行为识别，当识别结果中出现危险行为、突发情况等具体不安全因素的行
为时，实时监控不安全行为，避免意外情况的发生。
75.本发明提供的监控视频的群体行为识别方法，通过行人动作特征网络获得连续时间内每个行人的动作特征与位置特征，并分别经过时间动作演化网络与空间关系网络进行进一步特征提取，获得连续时间内每个行人的动作演化特征与单个时间内视频图像中所有行人的空间关系特征。行为表征了在相对较长时间段内单人或者多人的行为，动作表征了在相对较短时间内单人的动作。进一步，构建了先时间后空间以及先空间后时间的双分支结构，获得双分支特征，实现了每个视频帧中的多个行人进行空间特征的建模，也实现了每个行人在多个视频帧中的特征建模，能够更加清晰地理解到多人的行人动作。经过行人群体分类网络对双分支特征进行行人与群体的动作分类，能够更加全面的且准确的对视频中的行人行为进行理解。
76.因此，通过本发明提供的监控视频的群体行为识别方法，实现了在连续时间的视频序列内的每个行人的行为识别，进而实现了对一段时间内的多人的行为识别理解。当识别有危险行为或是其他突发的不安全行为时，能够及时向相关部门预警，进而对相关行为进行处理，能够实现智能化的交通管理和社会治安管理等，也避免了在深夜等特殊时段或是人流量较少的特殊路段发生危险情况。
77.在一个实施例中，s20，将行人群体训练视频数据集输入至行人动作特征网络，获得连续时间内每个行人的动作特征与位置特征，包括：
78.s210，将行人群体训练视频数据集输入至卷积神经网络中，输出连续时间内每个视频帧图像的特征；
79.s220，根据目标检测网络对连续时间内每个视频帧图像的特征进行行人检测，获得连续时间内每个行人的动作特征与位置特征。
80.本实施例中，将行人群体训练视频数据集中视频片段中的每个视频帧图像输入至卷积神经网络，输出为视频片段中的每个视频帧图像特征，进一步将每个视频帧图像特征输入至目标检测网络中进行行人检测，输出为每个行人的动作特征表示以及每个行人的位置特征表示。目标检测网络包括但不限于采用基于yolo、ssd、centernet等常用的行人检测方法。
81.在一个实施例中，s50，将空间关系特征、动作特征以及位置特征进行融合，获得第一融合特征，并将第一融合特征输入至时间动作演化网络中，获得第一分支特征，包括：
82.s510，将空间关系特征、动作特征以及位置特征进行加和处理或者在通道维度上进行拼接，获得第一融合特征。
83.本实施例中，通过相加处理或者在通道维度上进行特征拼接，获得第一融合特征。第一融合特征融合了空间关系特征、动作特征以及位置特征，从多个维度对每个行人的动作和群体的行为进行了分析，可以更加准确地获知监控视频中每个行人的行为，实现了在连续时间的视频序列内的每个行人的行为识别，进而实现了对一段时间内的多人的行为识别理解。
84.在一个实施例中，s60，将动作演化特征、动作特征以及位置特征进行融合，获得第二融合特征，并将第二融合特征输入至空间关系网络中，获得第二分支特征，包括：
85.s610，将动作演化特征、动作特征以及位置特征进行加和处理或者在通道维度上进行拼接，获得第二融合特征。
86.本实施例中，通过相加处理或者在通道维度上进行特征拼接，获得第二融合特征。第二融合特征融合了动作演化特征、动作特征以及位置特征，从多个维度对每个行人的动作和群体的行为进行了分析，可以更加准确地获知监控视频中每个行人的行为，实现了在连续时间的视频序列内的每个行人的行为识别，进而实现了对一段时间内的多人的行为识别理解。
87.在一个实施例中，s90，根据行人动作分类、群体行为分类、第一分支特征以及第二分支特征构建模型损失函数，对初始群体行为识别模型进行模型训练，获得群体行为识别模型，包括：
88.s910，根据行人动作分类与群体行为分类，构建交叉熵分类损失函数；
89.s920，根据第一分支特征与第二分支特征，构建余弦相似度损失函数；
90.s930，根据交叉熵分类损失函数与余弦相似度损失函数，形成模型损失函数。
91.本实施例中，对于行人动作分类器与群体行为分类器对应的损失函数，均可以采用交叉熵分类损失函数。交叉熵分类损失函数可以为：
[0092][0093]
其中，p表示行人动作分类器预测的类别，或者群体行为分类器预测的类别，y＝0与y＝1表示实际真实类别为0或者1。
[0094]
余弦相似度损失函数为两个分支的监督损失函数，能够约束两个分支的输出相似，表示通过空间-时间分支输出的特征以及时间-空间分支输出的特征趋近于相同，即第一分支特征与第二分支特征趋近于相同。
[0095]
余弦相似度损失函数表示为：
[0096]
l
sim
＝1-cos(ai,bi)
[0097]
其中，ai、bi分别表示第一分支特征与第二分支特征。
[0098]
通过交叉熵分类损失函数与余弦相似度损失函数，共同形成了模型损失函数，对初始群体行为识别模型进行训练，实现对行人动作特征网络、时间动作演化网络、空间关系网络以及行人群体分类网络的网络参数的更新与优化，获得稳定的群体行为识别模型，对待测路侧监控视频进行群体行为识别，获得行人的动作分类以及群体的行为分类。
[0099]
在一个实施例中，本发明提供一种监控视频的群体行为识别系统01。监控视频的群体行为识别系统01包括行人群体数据模块10、行人动作特征网络模块20、时间动作演化网络模块30、空间关系网络模块40、第一分支模块50、第二分支模块60、双分支特征获取模块70、行人群体分类网络模块80、模型训练模块90以及行为获取模块100。行人群体数据模块10用于对路侧监控视频进行个体行为动作标注与群体行为动作标注，获得行人群体训练视频数据集。行人动作特征网络模块20用于将行人群体训练视频数据集输入至行人动作特征网络，获得连续时间内每个行人的动作特征与位置特征。
[0100]
时间动作演化网络模块30用于将连续时间内每个行人的动作特征输入至时间动作演化网络中，获得连续时间内每个行人的动作演化特征。空间关系网络模块40用于将单个时间内视频图像中所有行人的动作特征与位置特征输入至空间关系网络中，获得单个时间内视频图像中所有行人的空间关系特征。第一分支模块50用于将空间关系特征、动作特征以及位置特征进行融合，获得第一融合特征，并将第一融合特征输入至时间动作演化网
络中，获得第一分支特征。
[0101]
第二分支模块60用于将动作演化特征、动作特征以及位置特征进行融合，获得第二融合特征，并将第二融合特征输入至空间关系网络中，获得第二分支特征。双分支特征获取模块70用于对第一分支特征与第二分支特征取平均，获得双分支特征。行人群体分类网络模块80用于将双分支特征输入至行人群体分类网络中，获得行人动作分类与群体行为分类。
[0102]
模型训练模块90用于根据行人动作分类、群体行为分类、第一分支特征以及第二分支特征构建模型损失函数，对初始群体行为识别模型进行模型训练，获得群体行为识别模型，群体行为识别模型包括行人动作特征网络、时间动作演化网络、空间关系网络以及行人群体分类网络。行为获取模块100用于根据群体行为识别模型对待测路侧监控视频进行群体行为识别，获得行人的动作分类以及群体的行为分类。
[0103]
本实施例中，行人群体数据模块10的相关描述可参考上述实施例中s10的相关描述。行人动作特征网络模块20的相关描述可参考上述实施例中s20的相关描述。时间动作演化网络模块30的相关描述可参考上述实施例中s30的相关描述。空间关系网络模块40的相关描述可参考上述实施例中s40的相关描述。第一分支模块50的相关描述可参考上述实施例中s50的相关描述。第二分支模块60的相关描述可参考上述实施例中s60的相关描述。双分支特征获取模块70的相关描述可参考上述实施例中s70的相关描述。行人群体分类网络模块80的相关描述可参考上述实施例中s80的相关描述。模型训练模块90的相关描述可参考上述实施例中s90的相关描述。行为获取模块100的相关描述可参考上述实施例中s100的相关描述。
[0104]
在一个实施例中，行人动作特征网络模块20包括图像特征获取模块与动作位置特征获取模块。图像特征获取模块用于将行人群体训练视频数据集输入至卷积神经网络中，输出连续时间内每个视频帧图像的特征。动作位置特征获取模块用于根据目标检测网络对连续时间内每个视频帧图像的特征进行行人检测，获得连续时间内每个行人的动作特征与位置特征。
[0105]
本实施例中，图像特征获取模块的相关描述可参考上述实施例中s210的相关描述。动作位置特征获取模块的相关描述可参考上述实施例中s220的相关描述。
[0106]
在一个实施例中，第一分支模块包括第一融合特征获取模块。第一融合特征获取模块用于将空间关系特征、动作特征以及位置特征进行加和处理或者在通道维度上进行拼接，获得第一融合特征。
[0107]
本实施例中，第一融合特征获取模块的相关描述可参考上述实施例中s510的相关描述。
[0108]
在一个实施例中，第二分支模块包括第二融合特征获取模块。第二融合特征获取模块用于将动作演化特征、动作特征以及位置特征进行加和处理或者在通道维度上进行拼接，获得第二融合特征。
[0109]
本实施例中，第二融合特征获取模块的相关描述可参考上述实施例中s610的相关描述。
[0110]
在一个实施例中，模型训练模块包括第一损失函数模块、第二损失函数模块以及模型损失函数模块。第一损失函数模块用于根据行人动作分类与群体行为分类，构建交叉
熵分类损失函数。第二损失函数模块用于根据第一分支特征与第二分支特征，构建余弦相似度损失函数。模型损失函数模块用于根据交叉熵分类损失函数与余弦相似度损失函数，形成模型损失函数。
[0111]
本实施例中，第一损失函数模块的相关描述可参考上述实施例中s910的相关描述。第二损失函数模块的相关描述可参考上述实施例中s920的相关描述。模型损失函数模块的相关描述可参考上述实施例中s930的相关描述。
[0112]
上述各个实施例中，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于的特定顺序或层次。
[0113]
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，模块和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，模块和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
[0114]
本发明实施例中所描述的各种说明性的逻辑块，或模块都可以通过通用处理器，数字信号处理器，专用集成电路(asic)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
[0115]
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd-rom或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于asic中，asic可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
[0116]
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种监控视频的群体行为识别方法，其特征在于，包括：对路侧监控视频进行个体行为动作标注与群体行为动作标注，获得行人群体训练视频数据集；将所述行人群体训练视频数据集输入至行人动作特征网络，获得连续时间内每个行人的动作特征与位置特征；将所述连续时间内每个行人的所述动作特征输入至时间动作演化网络中，获得所述连续时间内每个行人的动作演化特征；将单个时间内视频图像中所有行人的所述动作特征与所述位置特征输入至空间关系网络中，获得所述单个时间内视频图像中所有行人的空间关系特征；将所述空间关系特征、所述动作特征以及所述位置特征进行融合，获得第一融合特征，并将所述第一融合特征输入至所述时间动作演化网络中，获得第一分支特征；将所述动作演化特征、所述动作特征以及所述位置特征进行融合，获得第二融合特征，并将所述第二融合特征输入至所述空间关系网络中，获得第二分支特征；对所述第一分支特征与所述第二分支特征取平均，获得双分支特征；将所述双分支特征输入至行人群体分类网络中，获得行人动作分类与群体行为分类；根据所述行人动作分类、所述群体行为分类、所述第一分支特征以及所述第二分支特征构建模型损失函数，对初始群体行为识别模型进行模型训练，获得群体行为识别模型，所述群体行为识别模型包括所述行人动作特征网络、所述时间动作演化网络、所述空间关系网络以及所述行人群体分类网络；根据所述群体行为识别模型对待测路侧监控视频进行群体行为识别，获得行人的动作分类以及群体的行为分类。2.根据权利要求1所述的监控视频的群体行为识别方法，其特征在于，所述将所述行人群体训练视频数据集输入至行人动作特征网络，获得连续时间内每个行人的动作特征与位置特征，包括：将所述行人群体训练视频数据集输入至卷积神经网络中，输出所述连续时间内每个视频帧图像的特征；根据目标检测网络对所述连续时间内每个视频帧图像的特征进行行人检测，获得所述连续时间内每个行人的所述动作特征与所述位置特征。3.根据权利要求1所述的监控视频的群体行为识别方法，其特征在于，所述将所述空间关系特征、所述动作特征以及所述位置特征进行融合，获得第一融合特征，并将所述第一融合特征输入至所述时间动作演化网络中，获得第一分支特征，包括：将所述空间关系特征、所述动作特征以及所述位置特征进行加和处理或者在通道维度上进行拼接，获得所述第一融合特征。4.根据权利要求1所述的监控视频的群体行为识别方法，其特征在于，所述将所述动作演化特征、所述动作特征以及所述位置特征进行融合，获得第二融合特征，并将所述第二融合特征输入至所述空间关系网络中，获得第二分支特征，包括：将所述动作演化特征、所述动作特征以及所述位置特征进行加和处理或者在通道维度上进行拼接，获得所述第二融合特征。5.根据权利要求1所述的监控视频的群体行为识别方法，其特征在于，所述根据所述行
人动作分类、所述群体行为分类、所述第一分支特征以及所述第二分支特征构建模型损失函数，对初始群体行为识别模型进行模型训练，获得群体行为识别模型，包括：根据所述行人动作分类与所述群体行为分类，构建交叉熵分类损失函数；根据所述第一分支特征与所述第二分支特征，构建余弦相似度损失函数；根据所述交叉熵分类损失函数与所述余弦相似度损失函数，形成所述模型损失函数。6.一种监控视频的群体行为识别系统，其特征在于，包括：行人群体数据模块，用于对路侧监控视频进行个体行为动作标注与群体行为动作标注，获得行人群体训练视频数据集；行人动作特征网络模块，用于将所述行人群体训练视频数据集输入至行人动作特征网络，获得连续时间内每个行人的动作特征与位置特征；时间动作演化网络模块，用于将所述连续时间内每个行人的所述动作特征输入至时间动作演化网络中，获得所述连续时间内每个行人的动作演化特征；空间关系网络模块，用于将单个时间内视频图像中所有行人的所述动作特征与所述位置特征输入至空间关系网络中，获得所述单个时间内视频图像中所有行人的空间关系特征；第一分支模块，用于将所述空间关系特征、所述动作特征以及所述位置特征进行融合，获得第一融合特征，并将所述第一融合特征输入至所述时间动作演化网络中，获得第一分支特征；第二分支模块，用于将所述动作演化特征、所述动作特征以及所述位置特征进行融合，获得第二融合特征，并将所述第二融合特征输入至所述空间关系网络中，获得第二分支特征；双分支特征获取模块，用于对所述第一分支特征与所述第二分支特征取平均，获得双分支特征；行人群体分类网络模块，用于将所述双分支特征输入至行人群体分类网络中，获得行人动作分类与群体行为分类；模型训练模块，用于根据所述行人动作分类、所述群体行为分类、所述第一分支特征以及所述第二分支特征构建模型损失函数，对初始群体行为识别模型进行模型训练，获得群体行为识别模型，所述群体行为识别模型包括所述行人动作特征网络、所述时间动作演化网络、所述空间关系网络以及所述行人群体分类网络；行为获取模块，用于根据所述群体行为识别模型对待测路侧监控视频进行群体行为识别，获得行人的动作分类以及群体的行为分类。7.根据权利要求6所述的监控视频的群体行为识别系统，其特征在于，所述行人动作特征网络模块包括：图像特征获取模块，用于将所述行人群体训练视频数据集输入至卷积神经网络中，输出所述连续时间内每个视频帧图像的特征；动作位置特征获取模块，用于根据目标检测网络对所述连续时间内每个视频帧图像的特征进行行人检测，获得所述连续时间内每个行人的所述动作特征与所述位置特征。8.根据权利要求6所述的监控视频的群体行为识别系统，其特征在于，所述第一分支模块包括：
第一融合特征获取模块，用于将所述空间关系特征、所述动作特征以及所述位置特征进行加和处理或者在通道维度上进行拼接，获得所述第一融合特征。9.根据权利要求6所述的监控视频的群体行为识别系统，其特征在于，所述第二分支模块包括：第二融合特征获取模块，用于将所述动作演化特征、所述动作特征以及所述位置特征进行加和处理或者在通道维度上进行拼接，获得所述第二融合特征。10.根据权利要求6所述的监控视频的群体行为识别系统，其特征在于，所述模型训练模块包括：第一损失函数模块，用于根据所述行人动作分类与所述群体行为分类，构建交叉熵分类损失函数；第二损失函数模块，用于根据所述第一分支特征与所述第二分支特征，构建余弦相似度损失函数；模型损失函数模块，用于根据所述交叉熵分类损失函数与所述余弦相似度损失函数，形成所述模型损失函数。

技术总结
本发明公开一种监控视频的群体行为识别方法以及系统。方法包括将行人群体训练视频数据集输入至行人动作特征网络，获得连续时间内每个行人的动作特征与位置特征；将动作特征输入至时间动作演化网络，获得连续时间内每个行人的动作演化特征；将动作特征与位置特征输入至空间关系网络，获得单个时间内视频图像中所有行人的空间关系特征；将空间关系特征、动作特征、位置特征进行融合，获得第一融合特征，输入至时间动作演化网络，获得第一分支特征；将动作演化特征、动作特征、位置特征进行融合，获得第二融合特征，输入至空间关系网络，获得第二分支特征，取平均获得双分支特征，输入至行人群体分类网络，获得行人动作分类与群体行为分类。分类。分类。


技术研发人员：闫军 丁丽珠 王艳清
受保护的技术使用者：超级视线科技有限公司
技术研发日：2022.12.29
技术公布日：2023/7/26