一种基于认知网络的室内空间环境探测方法与流程

1.本发明涉及环境探测领域，尤其涉及一种基于认知网络的室内空间环境探测方法，解决了室内空间环境下的快速探测问题。


背景技术：

2.无人机具有成本较低、操作简单、机动性能较好等优势，被广泛应用于军用及民用领域。军用方面，无人机主要用于侦察感知、精准攻击、电子对抗、通信支援、训练支撑等任务中。民用方面，无人机主要应用于高清航拍、国土测绘、农药喷洒、电力检查、地质勘探、森林防火、应急保障、物流支撑等领域。随着国家对空域管理政策的进一步放开以及对无人机产业的政策激励，无人机应用领域还在进一步开拓。因此，在室内空间探测领域，因室内空间有限、环境多变复杂、认知难度较大，因此无人机是最适合的平台。
3.室内空间环境探测主要包括两个任务，一是需要对室内空间目标进行识别，二是需要对人员目标进行识别。常见的处理思路：针对任务一，使用目标检测识别方法对室内空间目标进行识别；针对任务二，使用人员属性识别方法对人员属性进行识别。因此，此种处理方式需要执行两个模型才能得到室内空间环境探测结果。然而，无人机机载板卡计算能力有限，而且室内空间环境探测任务往往是紧急任务，需要快速得到室内空间探测结果。综上，以往的室内空间环境探测处理方法并不能快速得到室内空间环境探测结果。


技术实现要素：

4.本发明认为在目标检测识别模型中已经对图像进行了深层次特征提取，基于此特征可以得到目标的类别，因此这些特征同样可以用于对人员目标进行属性识别，不需要单独为人员目标再次构建人员属性识别模型进行特征提取并识别，因此可以将目标检测识别模型和人员属性识别模型合并为一个模型，从而有效降低计算量。因此，本发明提出了一种基于认知网络的室内空间环境探测方法，以解决以往室内空间环境探测方法不能快速得到探测结果的问题。
5.本发明采用的技术方案为：
6.一种基于认知网络的室内空间环境探测方法，包括以下步骤：
7.(1)采集室内空间图像数据，并对图像数据进行标注；
8.(2)构建认知网络模型；
9.(3)基于认知网络模型对室内空间图像进行认知，得到室内空间环境认知结果；
10.(4)从室内空间认知结果中得到室内空间环境中目标识别结果及人员属性识别结果。
11.进一步的，步骤(1)中，图像数据的标注方式为：
12.对于一幅图像x，对应的一个目标的标注为y＝[x,y,w,h,0,1,0,
…
]，其中，x,y,w,h代表位置信息，0,1,0,
…
代表类别信息；
[0013]
若目标为人员目标，则对应一组属性，每个属性用1或0表示有无，标注形式为y＝
[x,y,w,h,0,1,0,
…
,1,0,0,1,1,
…
]，其中最后n位表示人员属性信息，n为人员属性的个数，包括人种、标志物和服饰。
[0014]
进一步的，步骤(2)中，认知网络模型的架构使用目标检测识别网络架构为基础架构，包括yolov3、yolov4或者yolov5，结果输出层在预测置信度、预测框位置和类别的基础上，增加n维用于预测人员属性，包括人种、标志物和服饰，n为人员属性的个数。
[0015]
进一步的，步骤(2)中，认知网络模型的损失函数为：
[0016][0017]
其中，s为网格大小，b为锚点个数，λ
iou
位置损失项权重，表示对应位置的锚点与标准框的交叠比是否大于阈值，若大于，则阈值取1，否则阈值取0；表示对应位置的锚点与标准框的交叠比是否小于阈值，若小于，则阈值取1，否则阈值取0；
[0018]
其中，为位置损失项，λ
iou
为位置损失项权重，iou表示预测框与真实框的交并比，ρ2(b,b
gt
)为预测框与真实框中心点的欧式距离的平方，其中，b
gt
和b分别表示真实框和预测框的中心点坐标，c为能包含预测框与标准框最小矩形区域的对角线距离，为预测长宽比与标准长宽比之间的差值，其中，w
gt
和h
gt
分别表示真实框的宽度和高度，w和h表示预测框的宽度和高度，α为参数；
[0019]
其中，为目标置信度损失，为有目标的损失，为没有目标的损失，λ
cls
为目标置信度损失，λc为类别损失，为对应位置含有目标的真实值，ci为对应位置含有目标的预测值，表示对应位置的锚点与标准框的交叠比是否小于阈值，若小于，则阈值取1，否则阈值取0；
[0020]
其中，为目标类别损失函数，classes为对应位置的目标类别种类，为目标的真实概率，pi(c)为目标的预测概率；
[0021]
其中为人员属性识别损失项，表示对应位置是否含有人员目标，为1则表示含有人员目标，为0则表示不含有人员目标，attribute表示人员属性，表示人员属性的真实值，qi(c)表示人员属性的预测值。
[0022]
进一步的，步骤(3)中，室内空间环境认知结果表示为：
[0023]
对于一张图像x，模型的一个抽头输出一个k
×k×
(5+classes+att)
×
b的一个张量，其中k
×
k为位置网络，5代表一个目标置信度和表示位置的四个维度x，y，w，h，classes为检测类别的个数，att为人员属性个数，b为锚点个数，即某一位置的输出向量为[c,x,y,w,h,0,1,0,
…
,1,0,0,1,1,
…
]
×
b；其中目标置信度为对应位置是否有目标。
[0024]
进一步的，步骤(4)具体为：
[0025]
从室内空间认知结果中，取目标检测部分得到目标检测结果，如果检测到的目标为人员，则取人员属性识别部分结果，得到人员属性识别结果。
[0026]
本发明相比于现有技术具有如下有益效果：
[0027]
1.本发明基于无人机平台实现室内空间环境探测，可以对复杂环境实现全空间无死角探测；
[0028]
2.本发明将目标检测识别模型和人员属性识别模型合并为一个模型可以大大降低计算量，提高室内空间环境结果获取速度；
[0029]
3.本发明将目标检测识别模型的特征提取结果应用于人员属性识别，设计合理，识别结果良好。
附图说明
[0030]
图1是本发明实施例提供的室内空间环境探测方法流程图。
[0031]
图2是本发明实施例提供的图像标注示意图。
具体实施方式
[0032]
以下将结合实施例对本发明的构思、技术方案优势及产生的技术效果进行清楚、完整地描述，以充分理解本发明的目的、特征和效果。需要说明的是，此处所描述的具体实施例仅用以解释本发明，并不限定本发明。
[0033]
参阅图1，本实施例提供了一种基于认知网络的室内空间环境探测方法，该方法包括：
[0034]
s1：采集室内空间图像数据，并对图像数据进行标注：
[0035]
对于一幅图像x，对应的一个目标的标注为y＝[x,y,w,h,0,1,0,
…
]，即位置信息与类别信息为one-hot向量形式；其中，x,y,w,h代表位置信息，0,1,0,
…
代表类别信息；
[0036]
若该目标为人员目标，则对应一组属性，每个属性用1或0表示有无，标注形式为y＝[x,y,w,h,0,1,0,
…
,1,0,0,1,1,
…
]，其中最后n位表示人员属性信息，n为人员属性的个数，包括人种、标志物和服饰。参阅图2，其中后半部分的1或0代表人员属性；
[0037]
本发明室内空间环境目标类别包括：刀具、枪支、弹药、家具、管道、重要标识、门、窗、电闸、灭火器、电灯、人员、车辆；人员属性包括：武器佩戴(枪支、刀具)、服装(迷彩、便装)、种族分类(黑种人、白种人、黄种人棕色人、人种不详)。
[0038]
s2：构建认知网络模型和损失函数，认知网络模型的架构使用目标检测识别网络架构为基础架构，包括yolov3、yolov4或者yolov5，结果输出层在预测置信度、预测框位置和类别的基础上，增加n维用于预测人员属性，包括人种、标志物和服饰，n为人员属性的个数。
[0039]
损失函数具体为：
[0040][0041]
其中，s为网格大小，b为锚点个数，λ
iou
位置损失项权重，表示对应位置的锚点与标准框的交叠比是否大于阈值，若大于，则阈值取1，否则阈值取0；表示对应位置的锚点与标准框的交叠比是否小于阈值，若小于，则阈值取1，否则阈值取0；
[0042]
其中，为位置损失项，λ
iou
为位置损失项权重，iou表示预测框与真实框的交并比，ρ2(b,b
gt
)为预测框与真实框中心点的欧式距离的平方，其中，b
gt
和b分别表示真实框和预测框的中心点坐标，c为能包含预测框与标准框最小矩形区域的对角线距离，为预测长宽比与标准长宽比之间的差值，其中，w
gt
和h
gt
分别表示真实框的宽度和高度，w和h表示预测框的宽度和高度，α为参数；
[0043]
其中，为目标置信度损失，为有目标的损失，为没有目标的损失，λ
cls
为目标置信度损失，λc为类别损失，为对应位置含有目标的真实值，ci为对应位置含有目标的预测值，表示对应位置的锚点与标准框的交叠比是否小于阈值，若小于，则阈值取1，否则阈值取0；
[0044]
其中，为目标类别损失函数，classes为对应位置的目标类别种类，为目标的真实概率，pi(c)为目标的预测概率；
[0045]
其中为人员属性识别损失项，表示对应位置是否含有人员目标，为1则表示含有人员目标，为0则表示不含有人员目标，attribute表示人员属性，表示人员属性的真实值，qi(c)表示人员属性的预测值。
[0046]
s3：基于认知网络模型对室内空间图像进行认知，得到室内空间环境认知结果：
[0047]
室内空间环境认知结果可以表示为：
[0048]
对于一张图像x，模型的一个抽头输出一个k
×k×
(5+classes+att)
×
b的一个张量，k
×
k为位置网络，5代表一个目标置信度(即该位置是否有目标，但是不关心是何种目标)和表示位置的四个维度x，y，w，h，classes为检测类别的个数，att为人员属性个数，b为
锚点个数，即某一位置的输出向量为[c,x,y,w,h,0,1,0,
…
,1,0,0,1,1,
…
]
×
b。
[0049]
s4：从室内空间认知结果中得到室内空间环境中目标识别结果及人员属性识别结果：
[0050]
从室内空间认知结果中，取目标检测部分得到目标检测结果，如果检测到的目标为人员，则取人员属性识别部分结果，得到人员属性识别结果。

技术特征：
1.一种基于认知网络的室内空间环境探测方法，其特征在于，包括以下步骤：(1)采集室内空间图像数据，并对图像数据进行标注；(2)构建认知网络模型和损失函数；(3)基于认知网络模型对室内空间图像进行认知，得到室内空间环境认知结果；(4)从室内空间认知结果中得到室内空间环境中目标识别结果及人员属性识别结果。2.根据权利要求1所述的一种基于认知网络的室内空间环境探测方法，其特征在于，步骤(1)中，图像数据的标注方式为：对于一幅图像x，对应的一个目标的标注为y＝[x,y,w,h,0,1,0,
…
]，其中，x,y,w,h代表位置信息，0,1,0,
…
代表类别信息；若目标为人员目标，则对应一组属性，每个属性用1或0表示有无，标注形式为y＝[x,y,w,h,0,1,0,
…
,1,0,0,1,1,
…
]，其中最后n位表示人员属性信息，n为人员属性的个数，包括人种、标志物和服饰。3.根据权利要求1所述的一种基于认知网络的室内空间环境探测方法，其特征在于，步骤(2)中，认知网络模型的架构使用目标检测识别网络架构为基础架构，包括yolov3、yolov4或者yolov5，结果输出层在预测置信度、预测框位置和类别的基础上，增加n维用于预测人员属性，包括人种、标志物和服饰，n为人员属性的个数。4.根据权利要求1所述的一种基于认知网络的室内空间环境探测方法，其特征在于，步骤(2)中，认知网络模型的损失函数为：其中，s为网格大小，b为锚点个数，λ
iou
位置损失项权重，表示对应位置的锚点与标准框的交叠比是否大于阈值，若大于，则阈值取1，否则阈值取0；表示对应位置的锚点与标准框的交叠比是否小于阈值，若小于，则阈值取1，否则阈值取0；其中，为位置损失项，λ
iou
为位置损失项权重，iou表示预测框与真实框的交并比，ρ2(b,b
gt
)为预测框与真实框中心点的欧式距离的平方，其中，b
gt
和b分别表示真实框和预测框的中心点坐标，c为能包含预测框与标准框最小矩形区域的对角线距离，为预测长宽比与标准长宽比之间的差值，其中，w
gt
和h
gt
分别表示真实框的宽度和高度，w和h表示预测框的宽度和高度，α为参数；其中，为目标置信度损失，
为有目标的损失，为没有目标的损失，λ
cls
为目标置信度损失，λ
c
为类别损失，为对应位置含有目标的真实值，c
i
为对应位置含有目标的预测值，表示对应位置的锚点与标准框的交叠比是否小于阈值，若小于，则阈值取1，否则阈值取0；其中，为目标类别损失函数，classes为对应位置的目标类别种类，为目标的真实概率，p
i
(c)为目标的预测概率；其中为人员属性识别损失项，表示对应位置是否含有人员目标，为1则表示含有人员目标，为0则表示不含有人员目标，attribute表示人员属性，表示人员属性的真实值，q
i
(c)表示人员属性的预测值。5.根据权利要求1所述的一种基于认知网络的室内空间环境探测方法，其特征在于，步骤(3)中，室内空间环境认知结果表示为：对于一张图像x，模型的一个抽头输出一个k
×
k
×
(5+classes+att)
×
b的一个张量，其中k
×
k为位置网络，5代表一个目标置信度和表示位置的四个维度x，y，w，h，classes为检测类别的个数，att为人员属性个数，b为锚点个数，即某一位置的输出向量为[c,x,y,w,h,0,1,0,
…
,1,0,0,1,1,
…
]
×
b；其中目标置信度为对应位置是否有目标。6.根据权利要求1所述的一种基于认知网络的室内空间环境探测方法，其特征在于，步骤(4)具体为：从室内空间认知结果中，取目标检测部分得到目标检测结果，如果检测到的目标为人员，则取人员属性识别部分结果，得到人员属性识别结果。

技术总结
本发明涉及环境探测领域，尤其涉及一种基于认知网络的室内空间环境探测方法，解决了室内空间环境下的快速探测问题。本发明采用的技术方案为：采集室内空间图像数据，并对图像数据进行标注；构建认知网络模型；基于认知网络模型对室内空间图像进行认知，得到室内空间环境认知结果；从室内空间认知结果中得到室内空间环境中目标识别结果及人员属性识别结果。本发明基于无人机平台实现室内空间环境探测，可以对复杂环境实现全空间无死角探测，并将目标检测识别模型和人员属性识别模型合并为一个模型，模型设计合理，可以大大降低计算量，提高室内空间环境结果获取速度，识别结果良好。识别结果良好。识别结果良好。


技术研发人员：陈彦桥 刘厦 宗茂 张小龙 柴兴华
受保护的技术使用者：中国电子科技集团公司第五十四研究所
技术研发日：2023.05.08
技术公布日：2023/8/6