一种航空环境安全风险防控检测及预警系统的制作方法

1.本发明涉及安全风险防控的技术领域，尤其涉及航空环境安全风险防控检测及预警系统。


背景技术：

2.随着近些年航空技术和无人机巡航技术的快速发展，航空图像中的微型目标检测任务作为航空领域中最具挑战的任务之一，航空环境的安全检测是保证航空安全的重要手段，随着航空影像数据质量的提升，该图像数据的检测面临着以下两个问题：(1)图像的空间分辨率不断提高，图像中的目标数据也越来越多，图像场景结构越来越复杂，对密集型微型目标检测较为困难；(2) 图像中不同比例尺度的目标样本具有不同的纹理特征，且待检测目标通常以任意方向显示，对微型飞行目标的准确识别存在困难。针对该问题，本发明提出一种环境安全风险防控检测及预警系统，通过多模态协同方式实现航空环境安全风险防控。


技术实现要素：

3.有鉴于此，本发明提供一种航空环境安全风险防控检测方法，目的在于：1）基于无人机飞行高度与地面采样距离参数的映射关系，通过调整无人机的飞行高度，得到不同比例尺度下的航空图像，实现多比例尺度图像下的环境物体检测，并基于航空图像中的实体最大直径，过滤掉较小的环境物体，节约计算资源，得到仅包含唯一实体的子图像，并基于子图像的形状以及颜色进行航空目标文本标注，利用多尺度航空图像特征提取模型提取得到不同尺度下子图像的特征表示，并利用跨模态航空图像增强分析模型将航空目标文本转换为词向量表示，结合子图像计算得到词向量表示的置信度，进而基于置信度将词向量表示转换为子图像的文本分类向量，实现图像特征与文本的初步接触融合；2）通过构建模态融合的航空图像识别模型，将图像特征以及文本分类向量进行融合，得到子图像的识别结果，并在模型训练过程中，采用多模型协同训练的方式，并在参数优化过程中对原始梯度采用结合梯度步长的校正处理，减小梯度的变换幅度，避免参数优化过程中的不稳定性，进而降低参数更新噪声，有效保证最终参数求解结果的准确性。
4.为实现上述目的，本发明提供的一种环境安全风险防控检测方法，包括以下步骤：s1：采集航空图像，对航空图像进行图像分割得到包含唯一实体的多个子图像，对子图像进行航空目标文本标注；s2：构建多尺度航空图像特征提取模型，将包含唯一实体的子图像输入到模型中，得到子图像的多尺度视觉特征；s3：根据多尺度视觉特征计算得到子图像的目标分类评估值；s4：构建跨模态航空图像增强分析模型，将子图像的航空目标文本输入到模型中，得到子图像的文本分类向量；s5：构建模态融合的航空图像识别模型，所述航空图像识别模型以子图像的目标
分类评估值和文本分类向量为输入，以子图像的识别结果为输出。
5.作为本发明的进一步改进方法：可选地，所述s1步骤中采集航空图像并对所采集航空图像进行图像分割，包括：利用无人机内置相机采集航空图像，所设置无人机的航高为h，在飞行方向上相邻图像的重叠比例为5%，相邻航线间所采集图像的重叠比例为0，相机焦距为，将无人机飞行方向作为水平方向，计算得到地面采样距离参数：；；其中：表示水平方向的地面采样距离， 表示竖直方向的地面采样距离，单位为米/像素；在本发明实施例中，地面采样距离表示无人机内置相机所拍摄图像中一个像素所代表的地面距离大小；分别为相机横向的像元大小以及纵向的像元大小，将设置为6.5mm，设置为4.9mm；在本发明实施例中，相机横向方向即为无人机飞行方向；分别为相机横向的图像分辨率和纵向的图像分辨率，将设置为1920，设置为1080，单位为像素；对所采集航空图像进行图像分割，其中图像分割流程为：s11：对所采集航空图像进行灰度化处理，其中灰度化处理公式为：；其中：表示航空图像中像素的灰度值，表示像素在rgb颜色通道的颜色值；像素表示航空图像中第i行第j列的像素；s12：计算得到航空图像中像素的梯度和梯度方向：；；将梯度高于预设置阈值的像素标记为候选边缘像素；将候选边缘像素的梯度绝对值与沿正负梯度方向最邻近像素的梯度绝对值进行比较，若候选边缘像素的梯度绝对值为极大值，则将候选边缘像素标记为边缘像素；s13：对于航空图像中的任意孤立的边缘像素，以该边缘像素为起点，沿正负梯度
方向遍历得到最邻近的孤立的边缘像素进行连接，将连接后的边缘像素作为新的起点，重复当前遍历连接步骤，直到得到闭环的实体边缘，其中起点与连接点的距离小于预设置的距离阈值；s14：重复步骤s13，得到若干实体边缘，实体边缘内部的图像即为实体图像，并删除无法形成闭环实体边缘的边缘像素；s15：遍历得到实体图像中像素坐标欧式距离相差最大的一组像素点，计算得到实体图像中的最大实体直径：；；s16：若大于预设置的实体直径阈值，表示该实体有效可观测，则沿着实体边缘分割该实体图像作为航空图像的子图像，否则表示该实体过小，不为有效可观测的实体；重复步骤s15至s16，得到若干子图像。
6.可选地，所述s1步骤中对子图像进行航空目标文本标注，包括：对子图像进行航空目标文本标注，所述航空目标文本标注为对分割出的子图像进行简要文本描述，描述内容为子图像中的实体形状以及颜色。在本发明实施例中，通过以固定形状的模板对子图像边缘进行匹配，最相似模板的形状即为实体形状描述，颜色描述即为子图像整体的色相、纯度以及明度描述。
7.可选地，所述s2步骤中构建多尺度航空图像特征提取模型，包括：构建多尺度航空图像特征提取模型，所述多尺度航空图像特征提取模型包括输入层、多尺度特征提取层以及特征转换层，其中输入层用于接收包含唯一实体的子图像并进行卷积处理，多尺度特征提取层用于对卷积处理后的特征进行多尺度处理，得到不同尺度下的图像特征，特征转换层用于基于大尺度下的图像特征对小尺度下的图像特征进行转换增强处理，输出得到子图像的多尺度特征；其中多尺度特征提取层包含多个特征提取单元，多尺度特征提取层的结构为：；其中：表示第n个特征提取单元，n表示多尺度特征提取层中特征提取单元的总数；基于多尺度航空图像特征提取模型的多尺度特征提取流程为：s21：输入层接收包含唯一实体的子图像，并对利用卷积层对子图像进行卷积处理，得到对应的卷积特征，将卷积特征输入到多尺度特征提取层中，其中子图像对应的航空目标文本为，卷积层中卷积核的大小为像素；s22：特征提取单元接收所提取的特征，其中对应输入层，利用最大池化层对特征图进行2倍的下采样处理，并利用特征映射模块对下采样结果进行映射处理：
；其中：表示利用卷积核大小为像素的卷积层进行卷积处理，表示激活函数；得到特征提取单元所提取的特征，对特征进行复制操作，复制结果即为尺度下的子图像特征；将特征输入到特征提取单元中；s23：重复步骤s22，得到n+1个尺度下的子图像特征：，将n+1个尺度下的子图像特征输入到特征转换层：s24：特征转换层计算得到任意两个尺度下子图像特征的相似性：，其中表示之间的相似性，相似性计算方法为余弦相似度算法；计算得到任意尺度下子图像特征的权重： ；其中：表示子图像特征的权重；e表示自然常数；s25：选取权重低于0.2的子图像特征，并遍历与所选取子图像特征相似性最高且尺度更高的特征，进行如下特征转换处理：；其中：表示矩阵相乘处理；将特征转换后的特征作为子图像的多尺度特征，即为子图像的多尺度视觉特征。
8.可选地，所述s3步骤中计算得到子图像的目标分类评估值，包括：根据子图像的多尺度视觉特征，计算得到子图像的目标分类评估值，其中目标分类评估值的计算公式为：；其中：t表示转置；表示图像分类类别权重矩阵；表示子图像的多尺度视觉特征，对应n+1个尺度下的子图像特征；为子图像的目标分类评估值，对应m行的矩阵向量，其中第m行结
果表示子图像为第m类识别结果的目标评估分数。在本发明实施例中，子图像的识别结果类别包括行人、楼房、车辆、楼房事故风险、车辆事故风险、工业事故风险等。
9.可选地，所述s4步骤中构建跨模态航空图像增强分析模型，包括：构建跨模态航空图像增强分析模型，其中跨模态航空图像增强分析模型的输入为子图像的航空目标文本，输出为子图像的文本分类向量，基于文本分类向量对图像特征进行增强识别；将子图像的航空目标文本输入到跨模态航空图像增强分析模型中，得到子图像的文本分类向量，基于跨模态航空图像增强分析模型的文本分类向量获取流程为：s41：利用one-hot方法将航空目标文本中的词转换为词向量，航空目标文本的词向量表示形式为： ；其中：表示航空目标文本的词向量表示，表示航空目标文本中第h个词的表示结果，表示航空目标文本中的总词数；s42： 按航空目标文本描述内容对词向量表示u进行分割，得到描述实体形状的词向量表示，描述实体颜色的词向量表示；s43：计算得到词向量表示的置信度：；；其中：表示l1范数；表示词向量表示的置信度，表示词向量表示的置信度；s44：基于置信度确定航空目标文本的文本分类向量：；其中：表示航空目标文本的文本分类向量。
10.可选地，所述s5步骤中构建模态融合的航空图像识别模型，包括：构建模态融合的航空图像识别模型，所述航空图像识别模型以子图像的目标分类评估值和文本分类向量为输入，以子图像的识别结果为输出，子图像识别的公式为：；其中：t表示转置；
表示图像分类类别权重矩阵；表示文本分类类别权重矩阵；为子图像的识别结果，对应m行的矩阵向量，其中第m行结果表示子图像为第m类识别结果的评估分数，表示选取评估分数最高的识别结果作为输出。
11.可选地，所述航空图像识别模型的训练流程为：s51：获取s张包含唯一实体的航空图像子图像，并对每张子图像进行识别结果标注，构成训练集，其中表示训练集中的第s张子图像，表示的真实识别结果；s52：构建航空图像识别模型的训练目标函数：；其中：表示待训练优化的参数，表示多尺度航空图像特征提取模型中卷积层的参数，包括权重参数和偏置参数；表示将输入到基于参数的模型中，模型输出的识别结果；在本发明实施例中，模型输出的识别结果与真实识别结果均为编码表示；s53：初始化，并令当前算法迭代次数为d，d的初始值为0，并初始化为单位矩阵；s54：计算得到第d次迭代训练目标函数的梯度：，若则终止算法迭代，将作为训练得到的模型参数，并基于模型参数分别构建多尺度航空图像特征提取模型、跨模态航空图像增强分析模型以及航空图像识别模型；s55：计算得到第d+1次迭代的迭代梯度步长：；；其中：，；s56：更新待优化求解参数：；
其中：表示第d+1次迭代的迭代步长；并基于迭代梯度步长更新迭代步长：；；令，返回步骤s54。
12.可选地，所述s5步骤中基于航空图像识别模型进行子图像识别，包括：基于航空图像识别模型进行子图像识别，其中识别流程为：将子图像的多尺度视觉特征以及文本分类分量输入到航空图像识别模型中，模型输出子图像的识别结果，通过综合航空图像所有子图像的识别结果，若检测到事故风险类型的识别结果，则表示航空图像所对应的区域存在安全风险，并进行预警处理。
13.为了解决上述问题，本发明提供一种环境安全风险防控检测及预警系统，所述系统包括：航空图像采集装置，用于采集航空图像，对航空图像进行图像分割得到包含唯一实体的多个子图像，对子图像进行航空目标文本标注；特征提取装置，用于基于多尺度航空图像特征提取模型提取得到子图像的多尺度视觉特征，基于跨模态航空图像增强分析模型提取得到子图像的文本分类向量；风险预警模块，用于基于航空图像识别模型得到子图像的识别结果，若检测到事故风险类型的识别结果则进行风险预警。
14.为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：存储器，存储至少一个指令；通信接口，实现电子设备通信；及处理器，执行所述存储器中存储的指令以实现上述所述的环境安全风险防控检测方法。
15.为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的环境安全风险防控检测方法。
16.相对于现有技术，本发明提出一种环境安全风险防控检测方法，该技术具有以下优势：首先，本方案提出一种模态融合的图像识别方法，构建多尺度航空图像特征提取模型，所述多尺度航空图像特征提取模型包括输入层、多尺度特征提取层以及特征转换层，其中输入层用于接收包含唯一实体的子图像并进行卷积处理，多尺度特征提取层用于对卷积处理后的特征进行多尺度处理，得到不同尺度下的图像特征，特征转换层用于基于大尺度下的图像特征对小尺度下的图像特征进行转换增强处理，输出得到子图像的多尺度特征；并构建跨模态航空图像增强分析模型，其中跨模态航空图像增强分析模型的输入为子图像的航空目标文本，输出为子图像的文本分类向量，基于文本分类向量对图像特征进行增强识别。本方案基于无人机飞行高度与地面采样距离参数的映射关系，通过调整无人机的飞行高度，得到不同比例尺度下的航空图像，实现多比例尺度图像下的环境物体检测，并
基于航空图像中的实体最大直径，过滤掉较小的环境物体，节约计算资源，得到仅包含唯一实体的子图像，并基于子图像的形状以及颜色进行航空目标文本标注，利用多尺度航空图像特征提取模型提取得到不同尺度下子图像的特征表示，并利用跨模态航空图像增强分析模型将航空目标文本转换为词向量表示，结合子图像计算得到词向量表示的置信度，进而基于置信度将词向量表示转换为子图像的文本分类向量，实现图像特征与文本的初步接触融合。
17.同时，本方案提出一种多模型协同的模型训练方式，获取s张包含唯一实体的航空图像子图像，并对每张子图像进行识别结果标注，构成训练集，其中表示训练集中的第s张子图像，表示的真实识别结果；构建航空图像识别模型的训练目标函数：；其中：表示待训练优化的参数，表示多尺度航空图像特征提取模型中卷积层的参数，包括权重参数和偏置参数；表示将输入到基于参数的模型中，模型输出的识别结果；初始化，并令当前算法迭代次数为d，d的初始值为0，并初始化为单位矩阵；计算得到第d次迭代训练目标函数的梯度：，若则终止算法迭代，将作为训练得到的模型参数，并基于模型参数分别构建多尺度航空图像特征提取模型、跨模态航空图像增强分析模型以及航空图像识别模型；计算得到第d+1次迭代的迭代梯度步长：；；其中：，；更新待优化求解参数：；其中：表示第d+1次迭代的迭代步长；并基于迭代梯度步长更新迭代步长：；；令，返回梯度计算步骤。将子图像的多尺度视觉特征以及文本分类分量输入到航空图像识别模型中，模型输出子图像的识别结果，通过综合航空图像所有子图像的识别结果，若检测到事故风险类型的识别结果，则表示航空图像所对应的区域存在安全风险，并进行预警处理。通过构建模态融合的航空图像识别模型，将图像特征以及文本分类
向量进行融合，得到子图像的识别结果，并在模型训练过程中，采用多模型协同训练的方式，并在参数优化过程中对原始梯度采用结合梯度步长的校正处理，减小梯度的变换幅度，避免参数优化过程中的不稳定性，进而降低参数更新噪声，有效保证最终参数求解结果的准确性。
附图说明
18.图1为本发明一实施例提供的航空环境安全风险防控检测方法的流程示意图；图2为本发明一实施例提供的航空环境安全风险防控检测及预警系统的功能模块图；图3为本发明一实施例提供的实现航空环境安全风险防控检测方法的电子设备的结构示意图。
19.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
20.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
21.本技术实施例提供一种航空环境安全风险防控检测方法。所述环境安全风险防控检测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之，所述环境安全风险防控检测方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
实施例1
22.s1：采集航空图像，对航空图像进行图像分割得到包含唯一实体的多个子图像，对子图像进行航空目标文本标注。
23.所述s1步骤中采集航空图像并对所采集航空图像进行图像分割，包括：利用无人机内置相机采集航空图像，所设置无人机的航高为h，在飞行方向上相邻图像的重叠比例为5%，相邻航线间所采集图像的重叠比例为0，相机焦距为，将无人机飞行方向作为水平方向，计算得到地面采样距离参数：；；其中：表示水平方向的地面采样距离，表示竖直方向的地面采样距离，单位为米/像素；分别为相机横向的像元大小以及纵向的像元大小，将设置为6.5mm，设置为4.9mm；
分别为相机横向的图像分辨率和纵向的图像分辨率，将设置为1920，设置为1080，单位为像素；对所采集航空图像进行图像分割，其中图像分割流程为：s11：对所采集航空图像进行灰度化处理，其中灰度化处理公式为：；其中：表示航空图像中像素的灰度值，表示像素在rgb颜色通道的颜色值；像素表示航空图像中第i行第j列的像素；s12：计算得到航空图像中像素的梯度和梯度方向：；；将梯度高于预设置阈值的像素标记为候选边缘像素；将候选边缘像素的梯度绝对值与沿正负梯度方向最邻近像素的梯度绝对值进行比较，若候选边缘像素的梯度绝对值为极大值，则将候选边缘像素标记为边缘像素；s13：对于航空图像中的任意孤立的边缘像素，以该边缘像素为起点，沿正负梯度方向遍历得到最邻近的孤立的边缘像素进行连接，将连接后的边缘像素作为新的起点，重复当前遍历连接步骤，直到得到闭环的实体边缘，其中起点与连接点的距离小于预设置的距离阈值；s14：重复步骤s13，得到若干实体边缘，实体边缘内部的图像即为实体图像，并删除无法形成闭环实体边缘的边缘像素；s15：遍历得到实体图像中像素坐标欧式距离相差最大的一组像素点，计算得到实体图像中的最大实体直径：；；s16：若大于预设置的实体直径阈值，表示该实体有效可观测，则沿着实体边缘分割该实体图像作为航空图像的子图像，否则表示该实体过小，不为有效可观测的实体；重复步骤s15至s16，得到若干子图像。
24.所述s1步骤中对子图像进行航空目标文本标注，包括：对子图像进行航空目标文本标注，所述航空目标文本标注为对分割出的子图像进行简要文本描述，描述内容为子图像中的实体形状以及颜色。在本发明实施例中，通过以固定形状的模板对子图像边缘进行匹配，最相似模板的形状即为实体形状描述，颜色描述即为子图像整体的色相、纯度以及明度描述。
25.s2：构建多尺度航空图像特征提取模型，将包含唯一实体的子图像输入到模型中，得到子图像的多尺度视觉特征。
26.所述s2步骤中构建多尺度航空图像特征提取模型，包括：构建多尺度航空图像特征提取模型，所述多尺度航空图像特征提取模型包括输入层、多尺度特征提取层以及特征转换层，其中输入层用于接收包含唯一实体的子图像并进行卷积处理，多尺度特征提取层用于对卷积处理后的特征进行多尺度处理，得到不同尺度下的图像特征，特征转换层用于基于大尺度下的图像特征对小尺度下的图像特征进行转换增强处理，输出得到子图像的多尺度特征；其中多尺度特征提取层包含多个特征提取单元，多尺度特征提取层的结构为：；其中：表示第n个特征提取单元，n表示多尺度特征提取层中特征提取单元的总数；基于多尺度航空图像特征提取模型的多尺度特征提取流程为：s21：输入层接收包含唯一实体的子图像，并对利用卷积层对子图像进行卷积处理，得到对应的卷积特征，将卷积特征输入到多尺度特征提取层中，其中子图像对应的航空目标文本为，卷积层中卷积核的大小为像素；s22：特征提取单元接收所提取的特征，其中对应输入层，利用最大池化层对特征图进行2倍的下采样处理，并利用特征映射模块对下采样结果进行映射处理：；其中：表示利用卷积核大小为像素的卷积层进行卷积处理，表示激活函数；得到特征提取单元所提取的特征，对特征进行复制操作，复制结果即为尺度下的子图像特征；将特征输入到特征提取单元中；s23：重复步骤s22，得到n+1个尺度下的子图像特征：，将n+1个尺度下的子图像特征输入到特征转换层：s24：特征转换层计算得到任意两个尺度下子图像特征的相似性：，其中表示之间的相似性，相似性计算方法为余弦相似度算法；计算得到任意尺度下子图像特征的权重：；其中：
表示子图像特征的权重；e表示自然常数；s25：选取权重低于0.2的子图像特征，并遍历与所选取子图像特征相似性最高且尺度更高的特征，进行如下特征转换处理：；其中：表示矩阵相乘处理；将特征转换后的特征作为子图像的多尺度特征，即为子图像的多尺度视觉特征。
27.s3：根据多尺度视觉特征计算得到子图像的目标分类评估值。
28.所述s3步骤中计算得到子图像的目标分类评估值，包括：根据子图像的多尺度视觉特征，计算得到子图像的目标分类评估值，其中目标分类评估值的计算公式为：；其中：t表示转置；表示图像分类类别权重矩阵；表示子图像的多尺度视觉特征，对应n+1个尺度下的子图像特征；为子图像的目标分类评估值，对应m行的矩阵向量，其中第m行结果表示子图像为第m类识别结果的目标评估分数。
29.s4：构建跨模态航空图像增强分析模型，将子图像的航空目标文本输入到模型中，得到子图像的文本分类向量。
30.所述s4步骤中构建跨模态航空图像增强分析模型，包括：构建跨模态航空图像增强分析模型，其中跨模态航空图像增强分析模型的输入为子图像的航空目标文本，输出为子图像的文本分类向量，基于文本分类向量对图像特征进行增强识别；将子图像的航空目标文本输入到跨模态航空图像增强分析模型中，得到子图像的文本分类向量，基于跨模态航空图像增强分析模型的文本分类向量获取流程为：s41：利用one-hot方法将航空目标文本中的词转换为词向量，航空目标文本的词向量表示形式为：；其中：表示航空目标文本的词向量表示，表示航空目标文本中第h个词的
表示结果，表示航空目标文本中的总词数；s42： 按航空目标文本描述内容对词向量表示u进行分割，得到描述实体形状的词向量表示，描述实体颜色的词向量表示；s43：计算得到词向量表示的置信度：；；其中：表示l1范数；表示词向量表示的置信度，表示词向量表示的置信度；s44：基于置信度确定航空目标文本的文本分类向量：；其中：表示航空目标文本的文本分类向量。
31.s5：构建模态融合的航空图像识别模型，所述航空图像识别模型以子图像的目标分类评估值和文本分类向量为输入，以子图像的识别结果为输出。
32.所述s5步骤中构建模态融合的航空图像识别模型，包括：构建模态融合的航空图像识别模型，所述航空图像识别模型以子图像的目标分类评估值和文本分类向量为输入，以子图像的识别结果为输出，子图像识别的公式为：；其中：t表示转置；表示图像分类类别权重矩阵；表示文本分类类别权重矩阵；为子图像的识别结果，对应m行的矩阵向量，其中第m行结果表示子图像为第m类识别结果的评估分数，表示选取评估分数最高的识别结果作为输出。
33.所述航空图像识别模型的训练流程为：s51：获取s张包含唯一实体的航空图像子图像，并对每张子图像进行识别结果标注，构成训练集，其中表示训练集中的第s张子图像，表示的真实识别结果；s52：构建航空图像识别模型的训练目标函数：
；其中：表示待训练优化的参数，表示多尺度航空图像特征提取模型中卷积层的参数，包括权重参数和偏置参数；表示将输入到基于参数的模型中，模型输出的识别结果；在本发明实施例中，模型输出的识别结果与真实识别结果均为编码表示；s53：初始化，并令当前算法迭代次数为d，d的初始值为0，并初始化为单位矩阵；s54：计算得到第d次迭代训练目标函数的梯度：，若则终止算法迭代，将作为训练得到的模型参数，并基于模型参数分别构建多尺度航空图像特征提取模型、跨模态航空图像增强分析模型以及航空图像识别模型；s55：计算得到第d+1次迭代的迭代梯度步长：；；其中：，；s56：更新待优化求解参数： ；其中：表示第d+1次迭代的迭代步长；并基于迭代梯度步长更新迭代步长：；；令，返回步骤s54。
34.所述s5步骤中基于航空图像识别模型进行子图像识别，包括：基于航空图像识别模型进行子图像识别，其中识别流程为：将子图像的多尺度视觉特征以及文本分类分量输入到航空图像识别模型中，模型输出子图像的识别结果，通过综合航空图像所有子图像的识别结果，若检测到事故风险类型的识别结果，则表示航空图像所对应的区域存在安全风险，并进行预警处理。
实施例2
35.如图2所示，是本发明一实施例提供的环境安全风险防控检测及预警系统的功能模块图，其可以实现实施例1中的环境安全风险防控检测方法。
36.本发明所述环境安全风险防控检测及预警系统100可以安装于电子设备中。根据实现的功能，所述环境安全风险防控检测及预警系统可以包括航空图像采集装置101、特征提取装置102及风险预警模块103。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
37.航空图像采集装置101，用于采集航空图像，对航空图像进行图像分割得到包含唯一实体的多个子图像，对子图像进行航空目标文本标注；特征提取装置102，用于基于多尺度航空图像特征提取模型提取得到子图像的多尺度视觉特征，基于跨模态航空图像增强分析模型提取得到子图像的文本分类向量；风险预警模块103，用于基于航空图像识别模型得到子图像的识别结果，若检测到事故风险类型的识别结果则进行风险预警。
38.详细地，本发明实施例中所述环境安全风险防控检测及预警系统100中的所述各模块在使用时采用与上述的图1中所述的环境安全风险防控检测方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
实施例3
39.如图3所示，是本发明一实施例提供的实现环境安全风险防控检测方法的电子设备的结构示意图。
40.所述电子设备1可以包括处理器10、存储器11、通信接口13和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如程序12。
41.其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：sd或dx存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（smart media card， smc）、安全数字（secure digital， sd）卡、闪存卡（flash card）等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如程序12的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
42.所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（central processing unit，cpu）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（control unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（用于实现环境安全风险防控检测及预警的程序12等），以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
43.所述通信接口13可以包括有线接口和/或无线接口（如wi-fi接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备之间建立通信连接，并实现电子设备内部组件之间的连接通信。
44.所述总线可以是外设部件互连标准（peripheral component interconnect，简称pci）总线或扩展工业标准结构（extended industry standard architecture，简称eisa）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
45.图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
46.例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
47.可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（display）、输入单元（比如键盘（keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled（organic light-emitting diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
48.应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
49.需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
50.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
51.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种航空环境安全风险防控检测方法，其特征在于，所述方法包括：s1：采集航空图像，对航空图像进行图像分割得到包含唯一实体的多个子图像，对子图像进行航空目标文本标注；s2：构建多尺度航空图像特征提取模型，将包含唯一实体的子图像输入到模型中，得到子图像的多尺度视觉特征；s3：根据多尺度视觉特征计算得到子图像的目标分类评估值；s4：构建跨模态航空图像增强分析模型，将子图像的航空目标文本输入到模型中，得到子图像的文本分类向量；s5：构建模态融合的航空图像识别模型，所述航空图像识别模型以子图像的目标分类评估值和文本分类向量为输入，以子图像的识别结果为输出。2.如权利要求1所述的一种航空环境安全风险防控检测方法，其特征在于，所述s1步骤中采集航空图像并对所采集航空图像进行图像分割，包括：利用无人机内置相机采集航空图像，所设置无人机的航高为h，在飞行方向上相邻图像的重叠比例为5%，相邻航线间所采集图像的重叠比例为0，相机焦距为，将无人机飞行方向作为水平方向，计算得到地面采样距离参数：；；其中：表示水平方向的地面采样距离，表示竖直方向的地面采样距离，单位为米/像素；分别为相机横向的像元大小以及纵向的像元大小，将设置为6.5mm，设置为4.9mm；分别为相机横向的图像分辨率和纵向的图像分辨率，将设置为1920，设置为1080，单位为像素；对所采集航空图像进行图像分割，其中图像分割流程为：s11：对所采集航空图像进行灰度化处理，其中灰度化处理公式为：；其中：表示航空图像中像素的灰度值，表示像素在rgb颜色通道的颜色值；像素表示航空图像中第i行第j列的像素；s12：计算得到航空图像中像素的梯度和梯度方向：；
；将梯度高于预设置阈值的像素标记为候选边缘像素；将候选边缘像素的梯度绝对值与沿正负梯度方向最邻近像素的梯度绝对值进行比较，若候选边缘像素的梯度绝对值为极大值，则将候选边缘像素标记为边缘像素；s13：对于航空图像中的任意孤立的边缘像素，以该边缘像素为起点，沿正负梯度方向遍历得到最邻近的孤立的边缘像素进行连接，将连接后的边缘像素作为新的起点，重复当前遍历连接步骤，直到得到闭环的实体边缘，其中起点与连接点的距离小于预设置的距离阈值；s14：重复步骤s13，得到若干实体边缘，实体边缘内部的图像即为实体图像，并删除无法形成闭环实体边缘的边缘像素；s15：遍历得到实体图像中像素坐标欧式距离相差最大的一组像素点，计算得到实体图像中的最大实体直径：；；s16：若大于预设置的实体直径阈值，表示该实体有效可观测，则沿着实体边缘分割该实体图像作为航空图像的子图像，否则表示该实体过小，不为有效可观测的实体；重复步骤s15至s16，得到若干子图像。3.如权利要求2所述的一种航空环境安全风险防控检测方法，其特征在于，所述s1步骤中对子图像进行航空目标文本标注，包括：对子图像进行航空目标文本标注，所述航空目标文本标注为对分割出的子图像进行简要文本描述，描述内容为子图像中的实体形状以及颜色。4.如权利要求1所述的一种航空环境安全风险防控检测方法，其特征在于，所述s2步骤中构建多尺度航空图像特征提取模型，包括：构建多尺度航空图像特征提取模型，所述多尺度航空图像特征提取模型包括输入层、多尺度特征提取层以及特征转换层，其中输入层用于接收包含唯一实体的子图像并进行卷积处理，多尺度特征提取层用于对卷积处理后的特征进行多尺度处理，得到不同尺度下的图像特征，特征转换层用于基于大尺度下的图像特征对小尺度下的图像特征进行转换增强处理，输出得到子图像的多尺度特征；其中多尺度特征提取层包含多个特征提取单元，多尺度特征提取层的结构为：;其中：表示第n个特征提取单元，n表示多尺度特征提取层中特征提取单元的总数；基于多尺度航空图像特征提取模型的多尺度特征提取流程为：s21：输入层接收包含唯一实体的子图像，并对利用卷积层对子图像进行卷积处
理，得到对应的卷积特征，将卷积特征输入到多尺度特征提取层中，其中子图像对应的航空目标文本为，卷积层中卷积核的大小为像素；s22：特征提取单元接收所提取的特征，其中对应输入层，利用最大池化层对特征图进行2倍的下采样处理，并利用特征映射模块对下采样结果进行映射处理：；其中：表示利用卷积核大小为像素的卷积层进行卷积处理，表示激活函数；得到特征提取单元所提取的特征，对特征进行复制操作，复制结果即为尺度下的子图像特征；将特征输入到特征提取单元中；s23：重复步骤s22，得到n+1个尺度下的子图像特征：，将n+1个尺度下的子图像特征输入到特征转换层：s24：特征转换层计算得到任意两个尺度下子图像特征的相似性：，其中表示之间的相似性，相似性计算方法为余弦相似度算法；计算得到任意尺度下子图像特征的权重：；其中：表示子图像特征的权重；e表示自然常数；s25：选取权重低于0.2的子图像特征，并遍历与所选取子图像特征相似性最高且尺度更高的特征，进行如下特征转换处理：；其中：表示矩阵相乘处理；将特征转换后的特征作为子图像的多尺度特征，即为子图像的多尺度视觉特征。5.如权利要求4所述的一种航空环境安全风险防控检测方法，其特征在于，所述s3步骤中计算得到子图像的目标分类评估值，包括：根据子图像的多尺度视觉特征，计算得到子图像的目标分类评估值，其中目标分类评估值的计算公式为：
；其中：t表示转置；表示图像分类类别权重矩阵；表示子图像的多尺度视觉特征，对应n+1个尺度下的子图像特征；为子图像的目标分类评估值，对应m行的矩阵向量，其中第m行结果表示子图像为第m类识别结果的目标评估分数。6.如权利要求1所述的一种航空环境安全风险防控检测方法，其特征在于，所述s4步骤中构建跨模态航空图像增强分析模型，包括：构建跨模态航空图像增强分析模型，其中跨模态航空图像增强分析模型的输入为子图像的航空目标文本，输出为子图像的文本分类向量，基于文本分类向量对图像特征进行增强识别；将子图像的航空目标文本输入到跨模态航空图像增强分析模型中，得到子图像的文本分类向量，基于跨模态航空图像增强分析模型的文本分类向量获取流程为：s41：利用one-hot方法将航空目标文本中的词转换为词向量，航空目标文本的词向量表示形式为：；其中：表示航空目标文本的词向量表示，表示航空目标文本中第h个词的表示结果，表示航空目标文本中的总词数；s42： 按航空目标文本描述内容对词向量表示u进行分割，得到描述实体形状的词向量表示，描述实体颜色的词向量表示；s43：计算得到词向量表示的置信度：；；其中：表示l1范数；表示词向量表示的置信度，表示词向量表示的置信度；s44：基于置信度确定航空目标文本的文本分类向量：；
其中：表示航空目标文本的文本分类向量。7.如权利要求6所述的一种航空环境安全风险防控检测方法，其特征在于，所述s5步骤中构建模态融合的航空图像识别模型，包括：构建模态融合的航空图像识别模型，所述航空图像识别模型以子图像的目标分类评估值和文本分类向量为输入，以子图像的识别结果为输出，子图像识别的公式为：；其中：t表示转置；表示图像分类类别权重矩阵；表示文本分类类别权重矩阵；为子图像的识别结果，对应m行的矩阵向量，其中第m行结果表示子图像为第m类识别结果的评估分数，表示选取评估分数最高的识别结果作为输出。8.如权利要求7所述的一种航空环境安全风险防控检测方法，其特征在于，所述航空图像识别模型的训练流程为：s51：获取s张包含唯一实体的航空图像子图像，并对每张子图像进行识别结果标注，构成训练集，其中表示训练集中的第s张子图像，表示的真实识别结果；s52：构建航空图像识别模型的训练目标函数：；其中：表示待训练优化的参数，表示多尺度航空图像特征提取模型中卷积层的参数，包括权重参数和偏置参数；表示将输入到基于参数的模型中，模型输出的识别结果；s53：初始化，并令当前算法迭代次数为d，d的初始值为0，并初始化为单位矩阵；s54：计算得到第d次迭代训练目标函数的梯度：，若则终止算法迭代，将作为训练得到的模型参数，并基于模型参数分别构建多尺度航空图像特征提取模型、跨模态航空图像增强分析模型以及航空图像识别模型；s55：计算得到第d+1次迭代的迭代梯度步长：
；；其中：，；s56：更新待优化求解参数：；其中：表示第d+1次迭代的迭代步长；并基于迭代梯度步长更新迭代步长：；；令，返回步骤s54。9.如权利要求8所述的一种航空环境安全风险防控检测方法，其特征在于，所述s5步骤中基于航空图像识别模型进行子图像识别，包括：基于训练得到的航空图像识别模型进行子图像识别，其中识别流程为：将子图像的多尺度视觉特征以及文本分类分量输入到航空图像识别模型中，模型输出子图像的识别结果，通过综合航空图像所有子图像的识别结果，若检测到事故风险类型的识别结果，则表示航空图像所对应的区域存在安全风险，并进行预警处理。10.一种航空环境安全风险防控检测及预警系统，其特征在于，所述系统包括：航空图像采集装置，用于采集航空图像，对航空图像进行图像分割得到包含唯一实体的多个子图像，对子图像进行航空目标文本标注；特征提取装置，用于基于多尺度航空图像特征提取模型提取得到子图像的多尺度视觉特征，基于跨模态航空图像增强分析模型提取得到子图像的文本分类向量；风险预警模块，用于基于航空图像识别模型得到子图像的识别结果，若检测到事故风险类型的识别结果则进行风险预警，以实现一种如权利要求1-9任一项所述的环境安全风险防控检测方法。

技术总结
本发明涉及安全风险防控的技术领域，揭露了一种航空环境安全风险防控检测及预警系统，所述方法包括：对航空图像进行图像分割得到多个子图像，对子图像进行航空目标文本标注；基于多尺度航空图像特征提取模型得到子图像的多尺度视觉特征；基于跨模态航空图像增强分析模型得到子图像的文本分类向量；构建模态融合的航空图像识别模型，以子图像的识别结果为输出。本发明通过利用多尺度航空图像特征提取模型提取得到不同尺度下子图像的特征表示，将图像特征以及文本分类向量进行融合识别，得到子图像的识别结果并进行风险预警，在参数优化过程中对原始梯度采用结合梯度步长的校正处理，减小梯度的变换幅度，降低参数不稳定性，进而降低参数更新噪声。降低参数更新噪声。降低参数更新噪声。


技术研发人员：张姝瑶 王幼为 赵林
受保护的技术使用者：易创智芯（西安）科技有限公司
技术研发日：2023.06.25
技术公布日：2023/8/14