一种基于自适应深度神经网络的地铁人流密度估计方法

1.本发明属于计算机视觉与深度学习技术领域，尤其涉及一种基于自适应深度神经网络的地铁人流密度估计方法。


背景技术：

2.基于行人检测的方法是地铁人流密度估计的一种常用方法，其借助监控设备获得地铁环境的实时监控画面，使用图像识别技术检测出画面中的行人，从而估算出人流密度。随着计算机视觉的不断发展，基于深度学习的行人检测方法成为了研究的热点。
3.目前，基于深度学习的地铁人流密度估计方法的技术难点在于行人检测，主要包括基于区域建议的two-stage和基于区域回归的one-stage两大类。two-stage算法一般使用选择性搜索或区域建议网络等算法提取图像中的候选框，对候选框中的目标进行二次修正得到检测结果，如r-cnn、fast-rcnn等。two-stage的检测速度慢，不适合地铁环境的实时检测。one-stage算法放弃了two-stage算法的候选区域选择阶段，训练过程也相对于简单，并且可以在一个阶段直接确定目标类别和对应的检测框位置，其中最为典型的方法就是yolo系列算法。yolov5使用k-means聚类得到9个锚框，将其按照大小平均分给3个不同尺度的特征图，使用3个不同尺度的特征图来进行大、中、小尺寸目标的检测。但是通过对实际的地铁监控视频分析发现，地铁环境下行人目标均属于中小尺寸并且遮挡严重，仍然使用三个不同尺度的特征图预测仅包含小尺寸的行人存在不合理性，并且使用特征金字塔进行不同尺度的特征融合的时候会造成反向传播的梯度中既包含正样本又包含负样本的问题，从而造成不同尺度之间的冲突问题。


技术实现要素：

4.为解决现有技术所存在的问题，本发明的目的在于提供一种基于自适应深度神经网络的地铁人流密度估计方法。
5.本发明是这样实现的，一种基于自适应深度神经网络的地铁人流密度估计方法，该方法包括如下步骤：
6.s1、数据处理：采集地铁场景中的真实数据构建行人头部检测数据集，使用深度学习标注工具对采集到的数据中的行人的头部信息进行标注，确定图片中行人头部的位置和大小；
7.s2、自适应k-means聚类确定锚框数量及锚框长宽：根据标注好的人头数据集，统计标注框的长宽分布，使用减法聚类自动确定k-means算法的初始聚类中心和聚类数目，根据得到的聚类中心和聚类数目使用k-means算法确定自适应深度神经网络的锚框个数以及每个锚框的长宽大小；
8.s3、利用特征提取骨干网络提取多个尺度的特征：使用darknet-53作为特征提取骨干网络以提取3种不同尺寸的特征图；
9.s4、根据自适应k-means聚类结果自动确定特征融合网络输出特征图的尺度个数：
设定不同尺度特征图对应的锚框长宽范围，分析上述自适应k-means聚类得到的锚框所属的尺度；使用特征融合网络进行特征融合，并输出融合后的多尺度特征；
10.s5、利用自适应融合网络asff融合不同尺度特征之间的不一致性：特征融合网络使用通道拼接和按元素相加的方式进行特征融合时候会造成反向传播的梯度中既包含正样本又包含负样本，从而造成不同尺度特征图之间存在不一致性；asff通过设置可学习的权重系数α、β、γ自适应地调整各个尺度特征在进行融合时的空间权重，消除不同尺度特征图之间存在不一致性；
11.s6、行人头部检测模型网络训练：将构建好的行人头部检测数据集输入到自适应深度神经网络中进行训练，得到行人头部检测模型。
12.s7、实时的人流密度估计：将训练好的模型用于地铁环境的行人头部检测，统计行人检测边界框的个数并根据监控区域所对应的面积确定当前区域的人流密度。
13.优选地，所述步骤s2包括以下具体步骤：
14.s2-1、根据人头数据集中所有标注框的长宽，生成数据集{x1,x2,
……
,xn}，计算每个数据点xi的密度，得到密度指标；
15.s2-2、找到密度指标最大的数据点作为第一个聚类中心，剩下的样本点的密度指标按照其与第一个聚类中心点的距离进行修正，修正后的密度指标最大的样本点作为下一个聚类中心点；不断重复上述过程，直到满足收敛条件；
16.s2-3、使用人头检测框的聚类数目作为k-means算法的聚类数目即锚框的个数，以减法聚类得到的人头检测框聚类中心作为k-means算法的初始聚类中心，再使用k-means算法对人头检测框数据集{x1,x2,
……
,xn}进行聚类，最终确定每个锚框的长宽大小。
17.优选地，所述步骤s3所述的darknet-53特征提取骨干网络包括以下具体过程：
18.将大小为608*608的图片输入到特征提取骨干网络darknet-53中提取三种不同尺度的特征图；该网络主要包括5个cbl模块、1个spp模块、2种改进的csp模块，分别为csp1和csp2。其中，csp1是在其在csp模块的基础上包含了3个残差组件。csp2是在csp模块的基础上包含了2个cbl模块。csp1_3表示有3个csp1模块，csp2_1表示有1个csp2模块。输入特征先经过2个cbl模块和2个csp1_3模块得到76*76大小的特征图。再经过1个cbl模块和1个csp1_3模块得到38*38大小的特征图。最后经过2个cbl模块、1个spp模块和1个csp2_1模块得到19*19大小的特征图。
19.优选地，所述步骤s4包括以下具体步骤：
20.s4-1、设定不同尺度特征图对应的锚框长宽范围；其中，大尺度目标的锚框范围为(96*96,∞*∞)，中尺度目标的锚框范围为[96*96，32*32)，中尺度目标的锚框范围为(0*0，32*32)；
[0021]
s4-2、自适应k-means聚类得到的锚框按照大小被分配给对应尺度的特征图，若无锚框被分配到某个尺度的特征图，则不输出该尺度的特征图；
[0022]
s4-2、根据自适应k-means聚类得到的锚框所属的尺度，使用特征融合网络将darknet-53提取到的特征使用通道拼接和按元素相加的方式将底层的细粒度特征与顶层的语义信息进行融合，输出融合后的多尺度特征。
[0023]
优选地，所述步骤s5包括以下具体步骤：
[0024]
设置可学习的权重系数α、β、γ自适应的调整各个尺度在进行融合时的空间权重，
消除特征融合网络使用通道拼接和按元素相加进行特征融合时候造成的反向传播的梯度中既包含正样本又包含负样本的问题，避免了对梯度结果的干扰而造成的不同尺度之间的冲突；
[0025][0026]
其中，x是特征融合网络各个尺度的输出，y是在空间上尺度融合后输出的特征图，代表第n层尺度的特征resize到第l层后第(i，j)处的特征向量，分别是第一层，第二层，第三层特征在第l层输出层的第(i，j)的权重。
[0027]
优选地，在步骤s6中，所述将构建好的行人头部检测数据集投入到自适应深度神经网络中进行训练包括以下步骤：
[0028]
s6-1、使用马赛克数据增强对输入数据进行随机缩放、随机裁剪、随机排布的拼接；
[0029]
s6-2、将自制行人检测数据集按照设定比例划分为训练集、测试集、验证集；
[0030]
s6-3、特征提取骨干网络对增强后的图片进行特征提取与特征融合，得到不同尺度的特征图；
[0031]
s6-4、设置损失函数：自适应深度神经网络的损失函数包括置信度损失函数、分类损失函数和边界框回归损失函数。
[0032]
loss＝a*l
obj
+b*l
box
+c*l
cls
[0033]
其中，l
obj
为置信度损失，如果置信度》阈值，则判断预测框内存在目标；l
box
为边界框损失，用来回归的物体检测框；l
cls
为分类损失函数，用来判断物体的类别概率，a、b、c分别为边界框损失、分类损失、类别概率的平衡因子。
[0034]
s6-5、基于损失函数使用adam优化器对网络参数进行迭代优化，使自适应深度神经网络模型的输出不断接近真实值，当损失函数曲线趋于平缓不在收敛时，停止训练，得到行人头部检测模型；
[0035]
对该模型的训练参数设置如下：选择基于coco数据集的训练权重为模型的初始权重，迭代次数设置为1000，batch_size设置为64，优化器为adam，学习率设置为0.001。
[0036]
优选地，在步骤s7中，实时的人流密度估计包括以下步骤：
[0037]
s7-1、读取地铁环境内的实时监控画面，并送入到训练好的自适应深度神经网络中进行行人头部检测；
[0038]
s7-2、自适应深度神经网络检测到行人头部，并使用矩形框将行人头部框起来；
[0039]
s7-3、根据施工图纸，获取监控区域所对应的面积大小；
[0040]
s7-4、统计监控画面中每一帧的矩形框个数，当前区域的地铁人流密度等于矩形框个数除以监控区域实际面积。
[0041]
相比于现有技术的缺点和不足，本发明具有以下有益效果：
[0042]
(1)本发明采用自适应k-means聚类的方法分析自制行人头部检测数据集，根据密度，确定k-means的初始聚类中心和聚类数目，使得各聚类中心所分配的标注框的数目更加均匀，更能够代表训练样本的宽高值，使得锚框的数量也有了一定的减少，提高了模型的检测速度，并且预测框的大小更加的贴合检测目标；
[0043]
(2)本发明在步骤s2的基础上自动调整特征融合网络，去掉了不存在的大目标尺
度层的特征融合，使得模型的参数量大幅度的减少，模型的检测速度也有了大幅度的提升；
[0044]
(3)本发明使用自适应空间融合结构去解决特征融合网络输出的的不同尺寸特征图之间的冲突问题，消除不同尺度的特征之间的不一致性，提高了模型的检测精度。
附图说明
[0045]
图1为本发明方法的流程图；
[0046]
图2为本发明自适应深度神经网络的网络结构图；
[0047]
图3为本发明算法改进前后在608*608分辨率下行人头部检测框分布对比图；
[0048]
图4为本发明算法改进前后的聚类效果对比图；
[0049]
图5为本发明的自适应空间融合结构图；
[0050]
图6为本发明算法改进前后的检测效果对比图。
具体实施方式
[0051]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0052]
本发明公开了一种基于自适应深度神经网络的地铁人流密度估计方法，如图1、图2所示，该方法包括如下步骤：
[0053]
s1、数据处理：采集地铁场景中的真实数据构建行人头部检测数据集，使用深度学习标注工具labelimage对采集到的数据中的行人的头部信息进行标注，确定图片中行人头部的位置和大小；
[0054]
在本发明实施例步骤s1中，更具体步骤为：
[0055]
s1-1、数据采集
[0056]
考虑到在地铁环境内进行行人检测可能会遇到诸如干扰物多、行人姿态多、光线较暗、行人尺寸较小等导致的检测精度低的问题，在本发明步骤s1的数据采集过程中，通过采集来自南京地铁s3号线景明家园站，2号线油坊桥站等多个监控点不同光照、不同拍摄场景、不同人流密度的现实场景，来缓解在地铁环境内进行行人检测遇到的上述问题，具体如下表1所示：
[0057]
表1 pdh2020数据集
[0058]
[0059]
s1-2、标注
[0060]
使用基于人头的方式进行标注，避免了因为人流量大存在遮挡，而学习不到特征导致漏检的问题。
[0061]
s2、自适应k-means聚类确定锚框数量及锚框长宽：根据标注好的人头数据集，统计标注框的长宽分布，使用减法聚类自动确定k-means算法的初始聚类中心和聚类数目。根据得到的聚类中心和聚类数目使用k-means算法确定自适应深度神经网络的锚框个数以及每个锚框的长宽大小；
[0062]
该步骤s2具体包括以下步骤：
[0063]
s2-1、根据人头数据集中所有标注框的长宽，生成数据集{x1,x2,
……
,xn}，计算每个数据点xi的密度，得到密度指标di：
[0064][0065]
其中，xj＝(wj,hj)代表第j个先验框的长和宽，j＝1，
…
，n代表n个样本,ra为邻域半径；
[0066]
s2-2、找到密度指标最大的数据点x
c1
作为第一个聚类中心，剩下的样本点xi的密度指标di按照其与第一个聚类中心点的距离进行修正，修正后的密度指标最大的样本点作为下一个聚类中心点：
[0067][0068]
其中，di是xi的密度指标，ra是领域半径，rb＝1.5ra，用来指定di减小的领域；
[0069]
s2-3、重复公式(3)进行修正。
[0070][0071]
其中，di是第i个点xi的密度，x
ci
为第i次的聚类中心，其密度指标为为第i次的聚类中心，其密度指标为是第一次密度指标最大的数据点x
c1
的密度指标，为第k+1次修正后的密度指标，δ∈{0，1}。
[0072]
s2-4、当满足公式(4)，停止迭代，得到自适应深度神经网络的锚框个数以及每个锚框的长宽大小：
[0073][0074]
将本发明方法与现有的k-means方法在步骤s1所构建的数据集下做对比，如图3、图4所示。其中，图3(a)是改进前的聚类效果，图3(b)是改进后的聚类效果，图4(a)是改进前的各聚类中心数据分布情况，图4(b)是改进后的各聚类中心数据分布情况。通过图3、图4对比可知，本发明改进后的算法的聚类中心由9个变成6个，且各聚类中心的数据分布也更加均匀。
[0075]
s3、利用特征提取骨干网络提取多个尺度的特征：使用darknet-53特征提取骨干网络提取不同尺寸的特征图。
[0076]
该步骤s3包括以下具体步骤：
[0077]
将固定大小为608*608的待检测图片输入到特征提取骨干网络中进行特征提取，将图片下采样至76*76、38*38、19*19，其中，76*76对应小尺寸目标的特征，38*38对应中尺度目标的特征，19*19对应大尺度目标的特征；
[0078]
s4、根据自适应k-means聚类结果自动确定特征融合网络输出特征图的尺度个数：设定不同尺度特征图对应的锚框长宽范围，分析上述自适应k-means聚类得到的锚框所属的尺度。使用特征融合网络将对应尺度的特征按照自底向上方式的进行传递，并使用通道拼接和按元素相加的方式将底层的细粒度特征与顶层的语义信息进行融合。最后，输出融合后的多尺度特征。
[0079]
该步骤s4包括以下具体步骤：
[0080]
s4-1、根据步骤s2的聚类结果分析待检测物体的尺寸，如果聚类出来的锚框的面积大小不在(0*0，32*32)范围内，判断待检测物体中不包含小目标；
[0081]
根据步骤2的聚类结果分析待检测物体的尺寸，如果聚类出来的锚框的面积大小不在[32*32，96*96)范围内，判断待检测物体中不包含中目标；
[0082]
根据步骤2的聚类结果分析待检测物体的尺寸，如果聚类出来的锚框的面积大小不在(96*96，∞*∞)范围内，判断待检测物体中不包含大目标；
[0083]
s4-2、根据上述得到的人头目标尺度范围，确定特征融合网络的融合次数。特征融合网络采用通道拼接与元素相加的方式进行特征融合，并输出融合后的多尺度特征；
[0084]
根据步骤s4-1中得到的锚框的尺寸范围，在特征融合网络按照通道拼接与元素相加的方式进行特征融合后，输出对应的尺度，省略缺少的尺度。由于在步骤s2的基础上自动调整特征融合网络的自底向上与跨阶段融合的次数以及对应的尺度输出，去掉了不存在的大目标尺度层的特征融合，使得模型的参数量大幅度的减少，模型的检测速度也有了大幅度的提升。
[0085]
s5、利用自适应融合网络asff融合不同尺度特征之间的不一致性：特征融合网络使用通道拼接和按元素相加的方式进行特征融合时候会造成反向传播的梯度中既包含正样本又包含负样本，从而造成不同尺度特征之间存在不一致性。asff设置可学习的权重系数α、β、γ自适应地调整各个尺度特征在进行融合时的空间权重，消除不同尺度特征之间存在不一致性。
[0086]
在步骤s5中，设置可学习的权重系数α、β、γ自适应的调整各个尺度在进行融合时的空间权重，消除特征融合网络使用通道拼接和按元素相加进行特征融合时候造成的反向传播的梯度中既包含正样本又包含负样本的问题，避免了对梯度结果的干扰而造成的不同尺度之间的冲突。
[0087][0088]
其中，x是特征融合网络各个尺度的输出，y是在空间上尺度融合后输出的特征图，代表第n层尺度的特征resize到第l层后第(i，j)处的特征向量，分别是第一层，第二层，第三层特征在第l层输出层的第(i，j)的权重。如图5所示。
[0089]
s6、行人头部检测模型网络训练：将构建好的行人头部检测数据集输入到自适应深度神经网络中进行训练。
[0090]
该步骤s6包括以下具体步骤：
[0091]
s6-1、将自制行人检测数据集按照设定比例划分为训练集、测试集、验证集；
[0092]
s6-2、使用马赛克数据增强对输入数据进行随机缩放、随机裁剪、随机排布的拼接；
[0093]
s6-3、特征提取骨干网络对增强后的图片进行特征提取与下采样，特征金字塔对提取的特征进行融合，得到不同尺度的特征图；
[0094]
s6-4、设置损失函数：自适应深度神经网络的损失函数包括置信度损失函数、分类损失函数和边界框回归损失函数。
[0095]
loss＝a*l
obj
+b*l
box
+c*l
cls
[0096]
其中，l
obj
为置信度损失，如果置信度》阈值，则判断预测框内存在目标；l
box
为边界框损失，用来回归的物体检测框；l
cls
为分类损失函数，用来判断物体的类别概率，a、b、c分别为边界框损失、分类损失、类别概率的平衡因子。
[0097]
置信度函数l
obj
和分类损失函数l
cls
如公式(6)、公式(7)所示：
[0098][0099][0100]
其中，l
bce
＝-ylog(p(x))+(1-y)log(1-p(x))
[0101]
其中，num为自适应深度神经网络模型输出的特征图的大小，z为特征图的三通道，(x，y)为特征图的像素坐标，p(x)为自适应深度神经网络模型的预测输出，y为真实标签。
[0102]
分类损失函数如公式(8)所示：
[0103][0104]
其中，l
ciou
如公式(9)所示：
[0105][0106]
其中，v如公式(10)所示：
[0107][0108]
其中，iou为预测边框与bbox的交并比，c为预测边框的左上角坐标与bbox右下角的距离，β2(d，gt)为预测边框的中心点与bbox中心点的欧式距离，α为设定阈值，(w
gt
,h
gt
)为bbox的长宽，(w，h)为预测边框的长宽。
[0109]
s6-5、基于损失函数使用adam优化器对网络参数进行迭代优化，使自适应深度神经网络模型的输出不断接近真实值，当损失函数曲线趋于平缓不在收敛时，停止训练，得到行人头部检测模型。
[0110]
对该模型的训练参数设置如下：选择基于coco数据集的训练权重为模型的初始权重，迭代次数设置为1000，batch_size设置为64，优化器为adam，学习率设置为0.001。
[0111]
s7、实时的人流密度估计：将训练好的模型用于地铁环境的行人头部检测，统计行人检测边界框的个数并根据监控区域所对应的面积确定当前区域的人流密度。
[0112]
该步骤s7包括以下具体步骤：
[0113]
s7-1、读取地铁环境内的实时监控画面，并送入到训练好的自适应深度神经网络中进行行人头部检测。
[0114]
s7-2、自适应深度神经网络检测到行人头部，并使用矩形框将行人头部框起来。
[0115]
s7-3、根据施工图纸，获取监控区域所对应的面积大小。
[0116]
s7-4、统计监控画面中每一帧的矩形框个数，当前区域的地铁人流密度等于矩形框个数除以监控区域实际面积。
[0117]
将本发明方法与现有的yolov5s方法在s1所构建的数据集下作对比，如下表2、表3所示：
[0118]
表2模型大小及帧率对比
[0119][0120]
表3模型性能对比
[0121][0122]
由上表2、表3可以看出，改进后的k-means确定的yolov5，模型大小由14.8mb减小至10.8mb，检测的帧率由50fps变成59fps，准确度由57.8增长至58.2。自适应深度神经网络模型的尺寸由原来的14.8mb减少至14.4mb，检测的帧率由50fps变成56fps，检测的准确度由57.8增长至58.7。通过表2、表3对比可知，改进后的算法的准确度有了明显的提升，模型的尺度有了大幅度的减小且检测速度也有了大幅度的提升。图6为yolov5s和自适应深度神经网络检测结果对比图，可以看出自适应深度神经网络相比较yolov5s的检测框更能贴合检测物体，且去掉了冗余的检测边框，检测效果更好。
[0123]
综上所述，本发明方法能够自适应的聚类锚框的个数，确定特征金字塔的结构以及多尺度输出的层数，并能够消除不同尺度不一致的问题，有效的提高了模型的检测速度、精度，还大幅度的减小模型的尺寸，符合实际要求；此外，本发明采集真实场景下的现场数据，基于人头的方式进行标注构建深度学习行人检测数据集，避免了因为遮挡而学习不到特征的问题，提高了模型了准确度；另外，本发明采用自适应k-means聚类确定锚框的初始聚类中心和聚类数目，使得各聚类中心所分配的锚框数量相对于原k-means算法更加均匀，更能代表训练样本的宽高值，且聚类锚框数量也有了一定的减少，提高了模型的检测速度，且预测框的大小也更加贴合检测目标；最后，本发明采用自适应金字塔结构进行特征融合，自动调整特征金字塔结构并确定多尺度输出，使得模型的参数量大幅度的减少，模型的检测速度也有了大幅度的提升。
[0124]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于自适应深度神经网络的地铁人流密度估计方法，其特征在于，该方法包括如下步骤：s1、数据处理：采集地铁场景中的真实数据构建行人头部检测数据集，使用深度学习标注工具对采集到的数据中的行人的头部信息进行标注，确定图片中行人头部的位置和大小；s2、自适应k-means聚类确定锚框数量及锚框长宽：根据标注好的人头数据集，统计标注框的长宽分布，使用减法聚类自动确定k-means算法的初始聚类中心和聚类数目，根据得到的聚类中心和聚类数目使用k-means算法确定自适应深度神经网络的锚框个数以及每个锚框的长宽大小；s3、利用特征提取骨干网络提取多个尺度的特征：使用darknet-53作为特征提取骨干网络以提取3种不同尺寸的特征图；s4、根据自适应k-means聚类结果自动确定特征融合网络输出特征图的尺度个数：设定不同尺度特征图对应的锚框长宽范围，分析上述自适应k-means聚类得到的锚框所属的尺度；使用特征融合网络进行特征融合，并输出融合后的多尺度特征；s5、利用自适应融合网络asff融合不同尺度特征之间的不一致性：特征融合网络使用通道拼接和按元素相加的方式进行特征融合时候会造成反向传播的梯度中既包含正样本又包含负样本，从而造成不同尺度特征图之间存在不一致性；asff通过设置可学习的权重系数α、β、γ自适应地调整各个尺度特征在进行融合时的空间权重，消除不同尺度特征图之间存在不一致性；s6、行人头部检测模型网络训练：将构建好的行人头部检测数据集输入到自适应深度神经网络中进行训练，得到行人头部检测模型。s7、实时的人流密度估计：将训练好的模型用于地铁环境的行人头部检测，统计行人检测边界框的个数并根据监控区域所对应的面积确定当前区域的人流密度。2.如权利要求1所述的地铁人流密度估计方法，其特征在于，所述步骤s2包括以下具体步骤：s2-1、根据人头数据集中所有标注框的长宽，生成数据集{x1,x2,
……
,x
n
}，计算每个数据点x
i
的密度，得到密度指标；s2-2、找到密度指标最大的数据点作为第一个聚类中心，剩下的样本点的密度指标按照其与第一个聚类中心点的距离进行修正，修正后的密度指标最大的样本点作为下一个聚类中心点；不断重复上述过程，直到满足收敛条件；s2-3、使用人头检测框的聚类数目作为k-means算法的聚类数目即锚框的个数，以减法聚类得到的人头检测框聚类中心作为k-means算法的初始聚类中心，再使用k-means算法对人头检测框数据集{x1,x2,
……
,x
n
}进行聚类，最终确定每个锚框的长宽大小。3.如权利要求1所述的地铁人流密度估计方法，其特征在于，所述步骤s3所述的darknet-53特征提取骨干网络包括以下具体过程：将大小为608*608的图片输入到特征提取骨干网络darknet-53中提取三种不同尺度的特征图：该网络主要包括5个cbl模块、1个spp模块、2种改进的csp模块，分别为csp1和csp2。其中，csp1是在其在csp模块的基础上包含了3个残差组件。csp2是在csp模块的基础上包含了2个cbl模块。csp1_3表示有3个csp1模块，csp2_1表示有1个csp2模块。输入特征先经过2
个cbl模块和2个csp1_3模块得到76*76大小的特征图。再经过1个cbl模块和1个csp1_3模块得到38*38大小的特征图。最后经过2个cbl模块、1个spp模块和1个csp2_1模块得到19*19大小的特征图。4.如权利要求1所述的地铁人流密度估计方法，其特征在于，所述步骤s4包括以下具体步骤：s4-1、设定不同尺度特征图对应的锚框长宽范围；其中，大尺度目标的锚框范围为(96*96,∞*∞)，中尺度目标的锚框范围为[96*96，32*32)，小尺度目标的锚框范围为(0*0，32*32)；s4-2、自适应k-means聚类得到的锚框按照大小被分配给对应尺度的特征图，若无锚框被分配到某个尺度的特征图，则不输出该尺度的特征图；s4-2、根据自适应k-means聚类得到的锚框所属的尺度，使用特征融合网络将darknet-53提取到的特征使用通道拼接和按元素相加的方式将底层的细粒度特征与顶层的语义信息进行融合，输出融合后的多尺度特征。5.如权利要求1所述的地铁人流密度估计方法，其特征在于，所述步骤s5包括以下具体步骤：设置可学习的权重系数α、β、γ自适应的调整各个尺度在进行融合时的空间权重，消除特征融合网络使用通道拼接和按元素相加进行特征融合时候造成的反向传播的梯度中既包含正样本又包含负样本的问题，避免了对梯度结果的干扰而造成的不同尺度之间的冲突；其中，x是特征融合网络各个尺度的输出，y是在空间上尺度融合后输出的特征图，代表第n层尺度的特征resize到第l层后第(i，j)处的特征向量，分别是第一层，第二层，第三层特征在第l层输出层的第(i，j)的权重。6.如权利要求1所述的地铁人流密度估计方法，其特征在于，在步骤s6中，所述将构建好的行人头部检测数据集投入到自适应深度神经网络中进行训练包括以下步骤：s6-1、使用马赛克数据增强对输入数据进行随机缩放、随机裁剪、随机排布的拼接；s6-2、将自制行人检测数据集按照设定比例划分为训练集、测试集、验证集；s6-3、特征提取骨干网络对增强后的图片进行特征提取与特征融合，得到不同尺度的特征图；s6-4、设置损失函数：自适应深度神经网络的损失函数包括置信度损失函数、分类损失函数和边界框回归损失函数。loss＝a*l
obj
+b*l
box
+c*l
cls
其中，l
obj
为置信度损失，如果置信度>阈值，则判断预测框内存在目标；l
box
为边界框损失，用来回归的物体检测框；l
cls
为分类损失函数，用来判断物体的类别概率，a、b、c分别为边界框损失、分类损失、类别概率的平衡因子。s6-5、基于损失函数使用adam优化器对网络参数进行迭代优化，使自适应深度神经网络模型的输出不断接近真实值，当损失函数曲线趋于平缓不在收敛时，停止训练，得到行人
头部检测模型；对该模型的训练参数设置如下：选择基于coco数据集的训练权重为模型的初始权重，迭代次数设置为1000，batch_size设置为64，优化器为adam，学习率设置为0.001。7.如权利要求1所述的地铁人流密度估计方法，其特征在于，在步骤s7中，实时的人流密度估计包括以下步骤：s7-1、读取地铁环境内的实时监控画面，并送入到训练好的自适应深度神经网络中进行行人头部检测；s7-2、自适应深度神经网络检测到行人头部，并使用矩形框将行人头部框起来；s7-3、根据施工图纸，获取监控区域所对应的面积大小；s7-4、统计监控画面中每一帧的矩形框个数，当前区域的地铁人流密度等于矩形框个数除以监控区域实际面积。

技术总结
本发明公开了一种基于自适应深度神经网络的地铁人流密度估计方法。该方法包括步骤：数据处理，自适应K-means聚类确定锚框数量及锚框长宽，不同尺度的特征提取，根据自适应K-means聚类结果自动确定特征融合网络不同尺度的特征图，利用自适应融合网络ASFF融合不同尺度特征之间的不一致性，对不同尺度的特征图进行预测并计算损失，行人头部检测模型网络训练，以及实时的人流密度估计。相比现有技术，本发明在检测速度、检测精度上都有大幅度的提升。升。升。


技术研发人员：王莉 徐硕 曹恺 薛旻昊 李鑫 沈捷
受保护的技术使用者：南京工业大学
技术研发日：2022.12.20
技术公布日：2023/7/11