人物交互关系检测方法以及系统与流程

1.本发明涉及图像处理技术领域，特别是涉及一种人物交互关系检测方法以及系统。


背景技术：

2.近年来，随着城市化进程不断加快，机动车数量不断增加，随之而来也产生了很多城市交通拥堵、停车矛盾等问题，为此，依托人工智能算法、云服务平台、智能硬件设备以及边缘端计算设备等，实现了智能化的城市交通管理系统，能够实时、精确的对交通信息进行收集、处理、反馈的智能化管理系统。
3.通过对监控场景视频图像数据进行处理及分析，能够对交通违法行为如闯红灯、超速等行为进行证据抓拍及警示，对路侧停车进行引导和泊位记录、对交通拥堵状况进行实时更新、预测和发布等。然而，对于监控场景下行人与物体的交互问题需要更高层次的视觉理解，传统方法采用两阶段的检测方式，最终的人物关系检测结果依赖于第一阶段对人和物的检测准确性，导致检测效率低。


技术实现要素：

4.本发明的目的是解决传统方法的检测效率低的技术问题。为实现上述目的，本发明提供一种人物交互关系检测方法以及系统。
5.本发明提供一种人物交互关系检测方法，包括：
6.获取人物关系检测数据集，所述人物关系检测数据集包括标签数据；
7.将所述人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图；
8.将所述人物关系特征图输入至所述人物交互关系检测模型的交互中心点学习分支中，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高以及预测物体宽高；
9.将所述人物关系特征图输入至所述人物交互关系检测模型的交互偏移学习分支中，获得预测交互偏移量；
10.根据所述行人中心点热力图、所述物体中心点热力图、所述交互中心点热力图、所述预测行人宽高、所述预测物体宽高、所述预测交互偏移量以及所述标签数据构建损失函数，并根据所述损失函数对所述人物交互关系检测模型进行训练，获得训练完成的人物交互关系检测模型；
11.根据所述训练完成的人物交互关系检测模型，对监控场景中人物交互关系进行检测。
12.在一个实施例中，所述将所述人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图，包括：
13.将所述人物关系检测数据集中每个图像输入至所述骨干网络的第一金字塔网络
结构中进行多层下采样，获得经下采样的特征图；
14.将所述经下采样的特征图输入至所述骨干网络的第二金字塔网络结构中进行多层上采样，获得经上采样的特征图，所述经上采样的特征图为所述人物关系特征图。
15.在一个实施例中，所述将所述人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图，还包括：
16.将所述第一金字塔网络结构的多层下采样网络与所述第二金字塔网络结构的多层上采样网络中特征图尺寸相同的网络层的输出特征进行逐像素相加，获得所述人物关系特征图。
17.在一个实施例中，所述将所述人物关系特征图输入至所述人物交互关系检测模型的交互中心点学习分支中，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高以及预测物体宽高，包括：
18.根据所述交互中心点学习分支的热力图点回归方法对所述人物关系特征图进行中心点学习，获得所述人物关系特征图对应的所述行人中心点热力图、所述物体中心点热力图以及所述交互中心点热力图。
19.在一个实施例中，所述将所述人物关系特征图输入至所述人物交互关系检测模型的交互偏移学习分支中，获得预测交互偏移量，包括：
20.将所述人物关系特征图输入至所述交互偏移学习分支的多个卷积模块中，获得所述预测交互偏移量。
21.本发明提供一种人物交互关系检测系统，包括：
22.数据获取模块，用于获取人物关系检测数据集，所述人物关系检测数据集包括标签数据；
23.特征提取模块，用于将所述人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图；
24.交互中心点学习模块，用于将所述人物关系特征图输入至所述人物交互关系检测模型的交互中心点学习分支中，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高以及预测物体宽高；
25.交互偏移学习模块，用于将所述人物关系特征图输入至所述人物交互关系检测模型的交互偏移学习分支中，获得预测交互偏移量；
26.模型训练模块，用于根据所述行人中心点热力图、所述物体中心点热力图、所述交互中心点热力图、所述预测行人宽高、所述预测物体宽高、所述预测交互偏移量以及所述标签数据构建损失函数，并根据所述损失函数对所述人物交互关系检测模型进行训练，获得训练完成的人物交互关系检测模型；
27.检测模块，用于根据所述训练完成的人物交互关系检测模型，对监控场景中人物交互关系进行检测。
28.在一个实施例中，所述特征提取模块包括：
29.下采样模块，用于将所述人物关系检测数据集中每个图像输入至所述骨干网络的第一金字塔网络结构中进行多层下采样，获得经下采样的特征图；
30.上采样模块，用于将所述经下采样的特征图输入至所述骨干网络的第二金字塔网络结构中进行多层上采样，获得经上采样的特征图，所述经上采样的特征图为所述人物关
系特征图。
31.在一个实施例中，所述特征提取模块还包括：
32.特征融合模块，用于将所述第一金字塔网络结构的多层下采样网络与所述第二金字塔网络结构的多层上采样网络中特征图尺寸相同的网络层的输出特征进行逐像素相加，获得所述人物关系特征图。
33.在一个实施例中，所述交互中心点学习模块包括：
34.热力图生成模块，用于根据所述交互中心点学习分支的热力图点回归方法对所述人物关系特征图进行中心点学习，获得所述人物关系特征图对应的所述行人中心点热力图、所述物体中心点热力图以及所述交互中心点热力图。
35.在一个实施例中，所述交互偏移学习模块包括：
36.交互偏移卷积模块，用于将所述人物关系特征图输入至所述交互偏移学习分支的多个卷积模块中，获得所述预测交互偏移量。
37.上述人物交互关系检测方法以及系统中，通过交互中心点学习分支学习行人中心点、物体中心点以及交互中心点，通过交互偏移学习分支学习交互中心点分别到具有交互关系的行人中心点和物体中心点的偏移量，并将两个学习分支的输出结果进行融合，获得具有交互关系的行人与物体匹配组合以及交互关系的类别，即监控场景下人物交互关系检测结果。通过本发明提供的人物交互关系检测方法，实现了端到端的人物交互关系检测，解决了两阶段检测方法中人物关系检测结果依赖于第一阶段导致的检测效率低的技术问题，能够更方便的用于监控设备。
附图说明
38.图1是本发明提供的人物交互关系检测方法的步骤流程示意图。
39.图2是本发明提供的人物交互关系检测系统的结构示意图。
具体实施方式
40.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
41.请参见图1，本发明提供一种人物交互关系检测方法，包括：
42.s10，获取人物关系检测数据集，人物关系检测数据集包括标签数据；
43.s20，将人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图；
44.s30，将人物关系特征图输入至人物交互关系检测模型的交互中心点学习分支中，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高以及预测物体宽高；
45.s40，将人物关系特征图输入至人物交互关系检测模型的交互偏移学习分支中，获得预测交互偏移量；
46.s50，根据行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高、预测物体宽高、预测交互偏移量以及标签数据构建损失函数，并根据损失函数对人物交互关系检测模型进行训练，获得训练完成的人物交互关系检测模型；
47.s60，根据训练完成的人物交互关系检测模型，对监控场景中人物交互关系进行检
测。
48.本实施例中，对监控场景下图像进行数据标注，形成标签数据。人物关系检测数据集由不同区域的监控视频的图像帧，如不同的城市，不同的街道，不同的时间段和不同季节下的不同监控场景视频及图像数据获得。物体类别包括但不限于不同类型的车辆、非机动车、不同类型的宠物、路障、手推车、婴儿车、背包、头盔、行李箱等。标签数据包括每个物体的类别与行人的矩形框位置，例如矩形框中心点坐标、矩形框的长和宽。交互行为类别包括人骑着电动车，人在遛狗、人打篮球、人踢足球等。
49.标签数据包括真实行人中心点、真实行人宽高、真实物体中心点、真实物体宽高、真实物体类别、真实交互中心点、真实交互行为类别以及真实交互偏移量。行人中心点为行人二维检测框中心点行人宽高为行人二维检测框的宽和高(w
p
，h
p
)。物体中心点为物体二维检测框中心点物体宽高为物体二维检测框的宽和高(w
t
，h
t
)，物体类别为c
t
。
50.交互中心点可以理解为具有交互关系的行人和物体的检测框中心点的连接中心也可以理解为行人中心点与物体中心点的连接线的中心点，交互行为类别为cr。交互偏移量可以理解为交互中心点分别到具有交互关系的行人中心点和物体中心点的偏移量，可以表示如下：
[0051][0052]
人物交互关系检测模型包括骨干网络部分、交互中心点学习分支以及交互偏移学习分支。交互中心点学习分支为热力图点回归方法。交互偏移学习分支由多个卷积模块组成。通过人物交互关系检测模型实现对行人中心点、行人宽高、物体中心点、物体宽高、物体类别、交互中心点、交互行为类别以及交互偏移量的学习，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高、预测物体宽高、预测交互偏移量。根据行人中心点热力图、物体中心点热力图、交互中心点热力图可以获知对应的预测行人中心点、预测物体中心点、预测物体类别、预测交互中心点以及预测交互行为类别。通过标签数据中真实数据与模型输出的预测数据构建损失函数，对模型进行训练优化，获得训练完成的人物交互关系检测模型，进而实现对监控场景中人物交互关系的检测。
[0053]
本发明提供的人物交互关系检测方法，通过交互中心点学习分支学习行人中心点、物体中心点以及交互中心点，通过交互偏移学习分支学习交互中心点分别到具有交互关系的行人中心点和物体中心点的偏移量，并将两个学习分支的输出结果进行融合，获得具有交互关系的行人与物体匹配组合以及交互关系的类别，即监控场景下人物交互关系检测结果。通过本发明提供的人物交互关系检测方法，实现了端到端的人物交互关系检测，解决了两阶段检测方法中人物关系检测结果依赖于第一阶段导致的检测效率低的技术问题，能够更方便的用于监控设备。
[0054]
在一个实施例中，s20，将人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图，包括：
[0055]
s210，将人物关系检测数据集中每个图像输入至骨干网络的第一金字塔网络结构中进行多层下采样，获得经下采样的特征图；
[0056]
s220，将经下采样的特征图输入至骨干网络的第二金字塔网络结构中进行多层上采样，获得经上采样的特征图，经上采样的特征图为人物关系特征图。
[0057]
本实施例中，骨干网络采用小的下采样率，增加骨干网络输出的特征图尺寸，有利于后续步骤的交互中心点学习分支与交互偏移学习分支的学习。在一个实施例中，骨干网络采用四倍下采样率，能够提高关键点和偏移量的网络学习精度。四倍下采样率可以理解为输入图像尺寸为h*w*3，分别表示图像的高、宽，3表示三通道图像，经过骨干网络的特征提取后，特征图尺寸变为(h/4)*(w/4)*c，表示高度和宽度均为输入图像的四分之一，c表示输出通道数。
[0058]
第一金字塔网络结构与第二金字塔网络结构形成双金字塔结构的骨干网络，能够增强对图像的语义特征提取。在一个实施例中，第一金字塔网络结构可以为五层下采样网络，每层下采样率为2，基于五个卷积模块进行下采样处理，每个卷积模块包括多个卷积层-归一化层-激活函数层等。第二金字塔网络结构为三层上采样网络，每层上采样率为2，基于三个反卷积模块进行是上采样处理，每个反卷积模块包括多个反卷积层-卷积层-归一化层-激活函数层等。第一金字塔网络结构的第五层下采样的输出作为第二金字塔网络结构的第一层上采样的输入。第一金字塔网络结构的下采样率为2的五层下采样网络与第二金字塔网络结构的采样率为2的三层上采样网络相互结合，能够使得形成的双金字塔结构的骨干网络具有四倍下采样率，进一步增加了骨干网络输出的特征图尺寸，增强了对图像的语义特征提取，提高了关键点和偏移量的网络学习精度。
[0059]
在一个实施例中，s20，将人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图，还包括：
[0060]
s230，将第一金字塔网络结构的多层下采样网络与第二金字塔网络结构的多层上采样网络中特征图尺寸相同的网络层的输出特征进行逐像素相加，获得人物关系特征图。
[0061]
本实施例中，在s220的基础上，进一步将第一金字塔网络结构的多层下采样网络输出特征与第二金字塔网络结构的多层上采样网络输出特征进行逐像素相加，实现特征融合，加强了双金字塔之间的特征融合，可以更好地将第一金字塔网络结构与第二金字塔网络结构进行联合，更好地发挥双金字塔结构的骨干网络的优势，加强对图像的语义特征提取，辅助提高关键点和偏移量的网络学习精度。
[0062]
在一个实施例中，s30，将人物关系特征图输入至人物交互关系检测模型的交互中心点学习分支中，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高以及预测物体宽高，包括：
[0063]
s310，根据交互中心点学习分支的热力图点回归方法对人物关系特征图进行中心点学习，获得人物关系特征图对应的行人中心点热力图、物体中心点热力图以及交互中心点热力图。
[0064]
本实施例中，根据行人中心点热力图获得行人中心点，根据物体中心点热力图获得物体中心点与物体类别，根据交互中心点热力图获得交互中心点与交互行为类别。
[0065]
输入为特征聚合后的人物关系特征图，尺寸为(h/4)*(w/4)*c，对于行人中心点、物体中心点、交互中心点的学习采用基于热力图进行关键点回归的方式，基于热力图可以引入更多的空间特征信息，解决了容易产生的过拟合问题，进一步提高了中心关键点预测的准确性。
[0066]
行人中心点热力图、物体中心点热力图以及交互中心点热力图均可以表示为：heatmap∈[0，1]
(w/4)*(h/4)*c
。
[0067]
其中，c表示中心点的类别数，对于物体中心点，c表示物体的类别数，为多个物体类别。对于行人中心点，c表示行人类别，为一类。对于交互中心点，c表示人物交互关系的类别数，即交互行为类别。
[0068]
利用高斯卷积核生成二维的正态分布，将行人中心点、物体中心点、交互中心点分别分布到高斯热图上。在高斯热图中，对于中心点位置值为1，其余点位置均小于1，呈现高斯分布，具体表示为：
[0069][0070]
其中，x与y表示中心点的坐标，p
x
，py表示整数量化后的中心点坐标，σ表示高斯分布的标准差：σ＝diameter/6。diameter＝2*radius+1，radius表示高斯热图的半径。
[0071]
在一个实施例中，s30，将人物关系特征图输入至人物交互关系检测模型的交互中心点学习分支中，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高以及预测物体宽高，还包括：
[0072]
s330，根据交互中心点学习分支的多个卷积模块对人物关系特征图进行宽高学习，获得人物关系特征图对应的预测行人宽高与预测物体宽高。
[0073]
本实施例中，对于行人和物体的宽高的学习，通过利用多个卷积模块进行宽度值和高度值的回归，每个卷积模块包括多个3*3卷积核的卷积层和激活函数层，以及1*1卷积核的卷积层。
[0074]
在一个实施例中，s40，将人物关系特征图输入至人物交互关系检测模型的交互偏移学习分支中，获得预测交互偏移量，包括：
[0075]
s410，将人物关系特征图输入至交互偏移学习分支的多个卷积模块中，获得预测交互偏移量。
[0076]
本实施例中，交互偏移学习分支目的为学习交互中心点分别到行人中心点和物体中心点的偏移。一组偏移即为一组具有交互关系的行人和物体。每个卷积模块包括多个3*3卷积核的卷积层和激活函数层，以及1x1卷积核的卷积层，输出获得为具有交互关系的行人和物体的偏移量。
[0077]
在一个实施例中，s50，根据行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高、预测物体宽高、预测交互偏移量以及标签数据构建损失函数，并根据损失函数对人物交互关系检测模型进行训练，获得训练完成的人物交互关系检测模型，包括：
[0078]
根据行人中心点热力图、物体中心点热力图、交互中心点热力图构建中心点回归损失函数；
[0079]
根据预测行人宽高、预测物体宽高构建宽高回归损失函数；
[0080]
根据预测交互偏移量构建偏移量回归损失函数；
[0081]
中心点回归损失函数、宽高回归损失函数以及偏移量回归损失函数构建形成总损失函数。
[0082]
本实施例中，中心点回归损失函数采用focalloss损失函数，通过控制正负样本以
及难易样本的权重，从而缓解正负样本和难易样本不均衡的状态，使得模型的学习达到更优的状态。宽高回归损失函数采用smooth l1损失函数来监督模型对于行人和物体目标检测框的宽高的学习。偏移量回归损失函数采用l1距离计算每个交互中心点到行人和物体中心点的偏移量，利用l1 loss平均绝对误差损失函数来进行模型监督。通过构建的损失函数对人物交互关系检测模型进行训练，获得训练完成的人物交互关系检测模型。进一步，通过训练完成的人物交互关系检测模型对行人与物体的交互关系进行预测。
[0083]
请参见图2，本发明提供一种人物交互关系检测系。人物交互关系检测系包括数据获取模块10、特征提取模块20、交互中心点学习模块30、交互偏移学习模块40、模型训练模块50以及检测模块60。数据获取模块10用于获取人物关系检测数据集，所述人物关系检测数据集包括标签数据。特征提取模块20用于将所述人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图。交互中心点学习模块30用于将所述人物关系特征图输入至所述人物交互关系检测模型的交互中心点学习分支中，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高以及预测物体宽高。
[0084]
交互偏移学习模块40用于将所述人物关系特征图输入至所述人物交互关系检测模型的交互偏移学习分支中，获得预测交互偏移量。模型训练模块50用于根据所述行人中心点热力图、所述物体中心点热力图、所述交互中心点热力图、所述预测行人宽高、所述预测物体宽高、所述预测交互偏移量以及所述标签数据构建损失函数，并根据所述损失函数对所述人物交互关系检测模型进行训练，获得训练完成的人物交互关系检测模型。检测模块60用于根据所述训练完成的人物交互关系检测模型，对监控场景中人物交互关系进行检测。
[0085]
本实施例中，数据获取模块10的相关描述可参考上述实施例中s10的相关描述。特征提取模块20的相关描述可参考上述实施例中s20的相关描述。交互中心点学习模块30的相关描述可参考上述实施例中s30的相关描述。交互偏移学习模块40的相关描述可参考上述实施例中s40的相关描述。模型训练模块50的相关描述可参考上述实施例中s50的相关描述。检测模块60的相关描述可参考上述实施例中s60的相关描述。
[0086]
在一个实施例中，所述特征提取模块20包括下采样模块与上采样模块。下采样模块用于将所述人物关系检测数据集中每个图像输入至所述骨干网络的第一金字塔网络结构中进行多层下采样，获得经下采样的特征图。上采样模块用于将所述经下采样的特征图输入至所述骨干网络的第二金字塔网络结构中进行多层上采样，获得经上采样的特征图，所述经上采样的特征图为所述人物关系特征图。
[0087]
本实施例中，下采样模块的相关描述可参考上述实施例中s210的相关描述。上采样模块的相关描述可参考上述实施例中s220的相关描述。
[0088]
在一个实施例中，所述特征提取模块20还包括特征融合模块。特征融合模块用于将所述第一金字塔网络结构的多层下采样网络与所述第二金字塔网络结构的多层上采样网络中特征图尺寸相同的网络层的输出特征进行逐像素相加，获得所述人物关系特征图。
[0089]
本实施例中，特征融合模块的相关描述可参考上述实施例中s230的相关描述。
[0090]
在一个实施例中，所述交互中心点学习模块30包括热力图生成模块。热力图生成模块用于根据所述交互中心点学习分支的热力图点回归方法对所述人物关系特征图进行
中心点学习，获得所述人物关系特征图对应的所述行人中心点热力图、所述物体中心点热力图以及所述交互中心点热力图。
[0091]
本实施例中，热力图生成模块的相关描述可参考上述实施例中s310的相关描述。
[0092]
在一个实施例中，所述交互偏移学习模块40包括交互偏移卷积模块。交互偏移卷积模块用于将所述人物关系特征图输入至所述交互偏移学习分支的多个卷积模块中，获得所述预测交互偏移量。
[0093]
本实施例中，交互偏移卷积模块的相关描述可参考上述实施例中s410的相关描述。
[0094]
上述各个实施例中，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
[0095]
本领域技术人员还可以了解到本技术实施例列出的各种说明性逻辑块(illustrative logical block)，模块和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，模块和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本技术实施例保护的范围。
[0096]
本技术实施例中所描述的各种说明性的逻辑块，或模块都可以通过通用处理器，数字信号处理器，专用集成电路(asic)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
[0097]
本技术实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd-rom或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于asic中，asic可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
[0098]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种人物交互关系检测方法，其特征在于，包括：获取人物关系检测数据集，所述人物关系检测数据集包括标签数据；将所述人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图；将所述人物关系特征图输入至所述人物交互关系检测模型的交互中心点学习分支中，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高以及预测物体宽高；将所述人物关系特征图输入至所述人物交互关系检测模型的交互偏移学习分支中，获得预测交互偏移量；根据所述行人中心点热力图、所述物体中心点热力图、所述交互中心点热力图、所述预测行人宽高、所述预测物体宽高、所述预测交互偏移量以及所述标签数据构建损失函数，并根据所述损失函数对所述人物交互关系检测模型进行训练，获得训练完成的人物交互关系检测模型；根据所述训练完成的人物交互关系检测模型，对监控场景中人物交互关系进行检测。2.根据权利要求1所述的人物交互关系检测方法，其特征在于，所述将所述人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图，包括：将所述人物关系检测数据集中每个图像输入至所述骨干网络的第一金字塔网络结构中进行多层下采样，获得经下采样的特征图；将所述经下采样的特征图输入至所述骨干网络的第二金字塔网络结构中进行多层上采样，获得经上采样的特征图，所述经上采样的特征图为所述人物关系特征图。3.根据权利要求2所述的人物交互关系检测方法，其特征在于，所述将所述人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图，还包括：将所述第一金字塔网络结构的多层下采样网络与所述第二金字塔网络结构的多层上采样网络中特征图尺寸相同的网络层的输出特征进行逐像素相加，获得所述人物关系特征图。4.根据权利要求1所述的人物交互关系检测方法，其特征在于，所述将所述人物关系特征图输入至所述人物交互关系检测模型的交互中心点学习分支中，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高以及预测物体宽高，包括：根据所述交互中心点学习分支的热力图点回归方法对所述人物关系特征图进行中心点学习，获得所述人物关系特征图对应的所述行人中心点热力图、所述物体中心点热力图以及所述交互中心点热力图。5.根据权利要求1所述的人物交互关系检测方法，其特征在于，所述将所述人物关系特征图输入至所述人物交互关系检测模型的交互偏移学习分支中，获得预测交互偏移量，包括：将所述人物关系特征图输入至所述交互偏移学习分支的多个卷积模块中，获得所述预测交互偏移量。6.一种人物交互关系检测系统，其特征在于，包括：
数据获取模块，用于获取人物关系检测数据集，所述人物关系检测数据集包括标签数据；特征提取模块，用于将所述人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图；交互中心点学习模块，用于将所述人物关系特征图输入至所述人物交互关系检测模型的交互中心点学习分支中，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高以及预测物体宽高；交互偏移学习模块，用于将所述人物关系特征图输入至所述人物交互关系检测模型的交互偏移学习分支中，获得预测交互偏移量；模型训练模块，用于根据所述行人中心点热力图、所述物体中心点热力图、所述交互中心点热力图、所述预测行人宽高、所述预测物体宽高、所述预测交互偏移量以及所述标签数据构建损失函数，并根据所述损失函数对所述人物交互关系检测模型进行训练，获得训练完成的人物交互关系检测模型；检测模块，用于根据所述训练完成的人物交互关系检测模型，对监控场景中人物交互关系进行检测。7.根据权利要求6所述的人物交互关系检测系统，其特征在于，所述特征提取模块包括：下采样模块，用于将所述人物关系检测数据集中每个图像输入至所述骨干网络的第一金字塔网络结构中进行多层下采样，获得经下采样的特征图；上采样模块，用于将所述经下采样的特征图输入至所述骨干网络的第二金字塔网络结构中进行多层上采样，获得经上采样的特征图，所述经上采样的特征图为所述人物关系特征图。8.根据权利要求7所述的人物交互关系检测系统，其特征在于，所述特征提取模块还包括：特征融合模块，用于将所述第一金字塔网络结构的多层下采样网络与所述第二金字塔网络结构的多层上采样网络中特征图尺寸相同的网络层的输出特征进行逐像素相加，获得所述人物关系特征图。9.根据权利要求6所述的人物交互关系检测系统，其特征在于，所述交互中心点学习模块包括：热力图生成模块，用于根据所述交互中心点学习分支的热力图点回归方法对所述人物关系特征图进行中心点学习，获得所述人物关系特征图对应的所述行人中心点热力图、所述物体中心点热力图以及所述交互中心点热力图。10.根据权利要求6所述的人物交互关系检测系统，其特征在于，所述交互偏移学习模块包括：交互偏移卷积模块，用于将所述人物关系特征图输入至所述交互偏移学习分支的多个卷积模块中，获得所述预测交互偏移量。

技术总结
本发明公开一种人物交互关系检测方法以及系统，包括：将人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图；将人物关系特征图输入至人物交互关系检测模型的交互中心点学习分支中，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高以及预测物体宽高；将人物关系特征图输入至人物交互关系检测模型的交互偏移学习分支中，获得预测交互偏移量；根据行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高、预测物体宽高、预测交互偏移量以及标签数据构建损失函数，对模型进行训练，获得训练完成的人物交互关系检测模型，对监控场景中人物交互关系进行检测。检测。检测。


技术研发人员：王凤菊 丁丽珠 王艳清
受保护的技术使用者：智慧互通科技股份有限公司
技术研发日：2023.05.16
技术公布日：2023/9/6