可见光和热成像相机的全时段桥梁自适应防船撞预警方法与流程

1.本发明属于桥梁健康监测及智慧航运领域，具体涉及可见光和热成像相机的全时段桥梁自适应防船撞预警方法。


背景技术：

2.桥梁为近水区域的交通提供了便利，水路交通的航行情况直接关系到桥梁底部的安全。每天有大量的船舶通过桥梁，桥梁底部的桥墩会减少这些船舶在河道的通过性，将水中的航道分割，更容易造成船舶在偏航时与桥墩时发生碰撞，严重会造成对桥梁造成破坏甚至倒塌。为了防止船舶航行中意外碰撞桥梁桥墩，提高近桥区域船舶航行的可靠性和安全性，通常建造一些保护性的硬性结构在桥墩周围来避免船舶直接与桥墩发生碰撞。但是这种被动防船撞方式并不能阻止碰撞的发生，对桥梁的威胁仍存在很大的隐患。桥梁主动防船撞预警系统通过在桥上安装的多种传感器，分析识别出环境条件、船舶移动轨迹、行驶状态等因素，长期全天候地保证桥梁安全的关键技术，可以主动提前对危险船舶实现预警，大幅减少船撞桥事故的发生。但目前大多主动防船撞方法是针对光照条件好的天气环境下应用。
3.现有的桥梁防船撞方法多是基于传统单一的传感器，包括视频、gps和激光等，这类方式一般测量可视性有限，对于白天照度高的情况有明显效果，对于大雾和黑夜等容易发生船撞桥事故的可视性差的环境中预警能力有限。船舶gps定位是由船舶驾驶员手动开启，经常因为驾驶员忘记开启而造成事故的发生。船舶与桥距离相对较远，且对于船舶防船撞预警需要提前给偏航船舶发出警报为船舶驾驶员提供足够的时间矫正航线。激光由于能量损失较快，对于大型桥梁的远距离船舶预警能力影响非常大，因此亟需响应的方法解决上述问题。
4.随着计算机视觉技术的飞速发展，基于视觉的测量方法已经开始被应用于结构变形检测中。这类方法的成本较低、可视程度高，且已经在一些多种复杂环境下安全监视作业中被证明了能达到所需的识别精度。针对传统可见光相机在夜晚或低光照下难以提供有效的视觉监测的问题，采用红外热像仪和可见光结合作为突破点。红外热成像技术是对自然界中一切温度高于绝对零度物体的红外辐射实现温度采集，物体与背景辐射差异经信号处理后成像，与被监测物体光照条件无关。针对传统光学测量方法容易受光照和遮挡等干扰影响的问题，一些学者认为可以利用近年来被广泛研究的深度学习方法解决，这些方法有效地利用深度学习中的各类方法提升目标识别追踪的稳定性，可以对这类方法在近桥区域船舶的定位和追踪中作进一步研究。在另一方面，针对大面积航道水域缺少合理定位点以及难以判定船舶实时行驶状态的问题，上述轨迹检测有助于发现具有高撞桥风险的船舶，但由于船舶处于广阔航道上，对于其危险行为的预测也面临着挑战。


技术实现要素：

5.本发明所要解决的技术问题是：提供可见光和热成像相机的全时段桥梁自适应防
船撞预警方法，根据航道实时环境情况及镜头识别精度，使用双镜头自适应决策系统对可见光和热成像相机自主切换输入源，采用基于深度学习多目标船舶识别追踪算法实时定位船舶并显示轨迹，根据大量近桥区域船舶历史轨迹对高于安全阀值的船舶轨迹发出声光预警，能够全时段快速方便地识别和追踪船舶，可以实现全天候高效准确地对偏航船舶声光预警。
6.本发明为解决上述技术问题采用以下技术方案：
7.本发明提出的可见光和热成像相机的全时段桥梁自适应防船撞预警方法，包括以下步骤：
8.s1、将可见光和热成像双镜头相机架设于桥面或桥下正对航道的位置，使双镜头相机的视场范围能覆盖所需监测的近桥航道区域，调整相机镜头位置聚焦至目标航道，确保各个镜头对全部朝向桥梁船舶能全天候数据采集，实现实时采集目标船舶的可见光和热成像视频图像序列并保存。
9.s2、基于yolo v5s网络构建可见光和热成像船舶识别模型。
10.s3、利用光照强度分类网络构建可见光和热成像镜头自适应决策系统，实现不同光照环境下可见光和热成像镜头的自适应切换，获得更有效、更精确的船舶数据输入。
11.s4、将可见光和热成像相机采集的实时视频导入到步骤s2中的船舶识别模型中，使用可见光和热成像船舶特征提取网络识别出目标船舶位置，获取实时镜头输入的每一帧测量船舶的标记框中心坐标，记为实时船舶位置。
12.s5、根据当前帧的目标船舶的标记框中心坐标，使用基于deepsort的多目标追踪算法匹配并连接视频中各帧检测框的中心点，获得船舶的实际航行轨迹。
13.s6、针对船舶撞击桥梁这一工况，需要设置危险船舶航行范围，由于大多数船舶航行轨迹均为正常，出现容易对桥梁造成危险的船舶轨迹数据数量很少，很难形成危险船舶航行范围的判定。结合收集的大量历史正常船舶轨迹数据，生成近桥航道区域内船舶的安全行驶范围，实时评估当前船舶的轨迹数据，超过预定安全阀值范围时，则发出声光警报警示偏航船舶。
14.进一步，步骤s2中，基于yolo v5s网络构建船舶识别模型的过程包括以下步骤：
15.s201、对航道中目标船舶特征提取，将识别框中心作为整体船舶的实时位置点；
16.s202、针对全时段桥梁防船撞这一工况，采集包含不同光照强度下的双镜头图像对，由人工标记点位，使用pascal voc的格式制作全时段近桥区域可见光和热成像船舶数据集，将船舶数据集导入yolo v5s网络进行训练和验证，并依据不同光照强度下识别效果调整训练参数，得到训练完成的船舶识别模型。
17.进一步，步骤s3中，构建可见光和热成像镜头自适应决策系统的具体内容为：以可见光相机作为光照强度输入源，双镜头同步采集全天候船舶航行图像并依据可见光和热成像船舶识别模型实验对比多种光照强度变换下双镜头船舶识别精度，识别精度较高的输入源建立图像光照分类数据集，每隔固定帧数加载基于inception-resnet v2训练的光照分类模型，将inception模型中引入resnet结构，同时采用1x1卷积核进行降维处理以减少计算量，引入resnet结构可减少因层数增多而造成的过拟合及梯度消失现象，增加了光照强度分网络尺度的适应性，完成针对不同光照环境下可见光和热成像镜头的自适应切换。
18.进一步，步骤s5中，获得船舶实际航行轨迹的具体内容为：根据可见光和热成像船
舶识别模型获得当前帧的目标船舶标记框，取该标记框中心点为船舶的实时位置，使用基于deepsort的多目标追踪算法，预测目标船舶与下一帧标记框中目标船舶的关联度，如果关联度达到预测关联度阈值，则判定下一帧的船舶识别结果正确；否则，对预测轨迹和重新检测到的目标船舶做iou匹配。当船舶识别结果正确时，连接视频中各帧检测框的中心点，获得船舶的实际航行轨迹。
19.sort将卡尔曼滤波和匈牙利算法相结合，将检测结果与跟踪结果的交集iou作为匈牙利算法的代价矩阵，实现了简单有效的多目标跟踪框架。deepsort的多目标跟踪算法是在sort算法加入深度关联特征，在图像空间中将运动信息与目标的明显特征结合起来作为同一目标的匹配标准，减少多目标船舶匹配混乱的问题，将sort的匹配机制由原来基于iou成本矩阵的匹配变成了将级联匹配和iou匹配相结合的模式，级联匹配的引入减少船舶相互遮挡引起的误差，得到目标船舶的精确位移轨迹。
20.进一步，步骤s5中，对于船舶目标运动信息的关联度计算，具体步骤如下：
21.s501、通过检测框与跟踪框描述船舶目标运动信息的关联度，具体公式如下：
[0022][0023]
其中，(yi,si)是第i个船舶轨迹到检测空间的投影映射，dj是第j个检测帧的位置，yi是第i个跟踪轨迹预测的目标位置，si是第i个船舶轨迹协方差矩阵的卡尔曼滤波预测的当前时刻的观测空间。
[0024]
s502、通过马氏距离进行阈值化以排除关联，t
(1)
为距离度量指示值，若马氏距离小于阈值则关联成功，公式如下：
[0025][0026]
s503、在大风等外部因素影响下抖动的存在会使马氏法关联无效，因此需要引入外观模型匹配和余弦距离求出每个检测目标di的特征向量rj。对于跟踪器i，第k个轨迹前后100帧的特征向量存储在特征库ri中，即l＝100。最后，计算了第i个跟踪轨迹r
k(i)
与第j个探测器r j t
之间的最小余弦距离。当它们之间的距离小于或等于某个阈值时，表示它们是相关的，公式如下：
[0027][0028]
s504、依据阈值判定是否关联：
[0029][0030]
s505、同时结合目标外观信息的关联，将两种方式做线性加权来计算最终检测和跟踪轨迹之间的匹配程度：
[0031]ci,j
＝λd
(1)
(i,j)+(1-λ)d
(2)
(i,j)。
[0032]
进一步，步骤s6中，利用一套双镜头自适应决策系统作为桥梁盲区时段的补充，确定当前环境最佳输入源，利用可见光和热成像船舶识别模型输出实时船舶识别框，以船舶识别框的中心作为整体船舶的实际位置，使用基于deepsort的多目标追踪算法，自动判断目标船舶与下一帧标记框中目标船舶的关联度，当其关联度达到阈值时，则将船舶中心点相连接，并输出航道船舶航行轨迹；同时采集大量可见光和热成像镜头相机位置的安全航行船舶轨迹样本，建立双镜头相机防船撞预警安全区，实时处理船舶航行轨迹，对上述船舶
航信轨迹超出安全通航范围的船舶发出声光预警。
[0033]
进一步，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述的可见光和热成像相机的全时段桥梁自适应防船撞预警方法中的步骤。
[0034]
进一步，本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前文所述的可见光和热成像相机的全时段桥梁自适应防船撞预警方法中的步骤。
[0035]
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
[0036]
(1)通过综合分析实时的光照环境等因素，利用可见光相机以及热成像相机各自不同光线下物体识别优势，实现了在不同光线段航道船舶双通道相机决策系统中镜头转换的有效性，实现了全时段近桥区域船舶实时最优数据输入，克服了传统方法对光照环境差时桥梁防船撞预警的缺点。
[0037]
(2)提出的多目标船舶识别追踪方法融合了最新的目标检测算法和目标追踪算法，将可见光和热成像镜头识别船舶图像序列作为有效输入源识别检测船舶并对危险轨迹船舶做出预警，具有实时性强，鲁棒性高，全天候的优势，适用于船舶偏航监测以保证桥梁下部结构的安全。
附图说明
[0038]
图1为本发明实施例的可见光和热成像相机的全时段桥梁自适应防船撞预警方法的原理图。
[0039]
图2为光照强度数据库分类方法的原理示意图。
[0040]
图3为多种光照环境下可见光和热成像镜头分类数据的示意图。
[0041]
图4为基于深度学习多目标追踪的船舶识别、追踪和预警方法的流程图。
[0042]
图5为基于yolo v5s网络的可见光和热成像船舶识别模型训练结果的示意图。
[0043]
图6为基于deepsort多目标船舶追踪算法对轨迹进行处理的流程图。
[0044]
图7为近桥区域船桥碰撞预警系统的示意图。
[0045]
图8为基于船舶历史轨迹的监测范围和警戒线划定的示意图。
具体实施方式
[0046]
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0047]
参见图1，可见光和热成像相机的全时段桥梁自适应防船撞预警方法，所述偏航船舶预警方法包括以下步骤：
[0048]
s1、将可见光和热成像双镜头相机架设于桥面或桥下正对航道的位置，使双镜头相机视场范围可覆盖所需监测区域近桥航道区域，调整相机镜头位置聚焦至目标航道，确保各个镜头对全部朝向桥梁船舶能全天候数据采集，实现实时采集目标船舶的可见光和热成像视频图像序列并保存。
[0049]
s2、基于yolo v5s网络构建可见光和热成像船舶识别模型，具体内容为：
[0050]
s201、对航道中目标船舶特征提取，将识别框中心作为整体船舶的实时位置点；
[0051]
s202、针对全时段桥梁防船撞这一工况，采集包含不同光照强度下的双镜头图像对，由人工标记点位，使用pascal voc的格式制作全时段近桥区域可见光和热成像船舶数据集，将船舶数据集导入yolo v5s网络进行训练和验证，并依据不同光照强度下识别效果调整训练参数，得到训练完成的船舶识别模型。
[0052]
s3、以可见光相机作为光照强度输入源，双镜头同步采集全天候船舶航行图像并依据可见光和热成像船舶识别模型实验对比多种光照强度变换下双镜头船舶识别精度，识别精度较高的输入源建立图像光照分类数据集，每隔固定帧数加载基于inception-resnet v2训练的光照分类模型，将inception模型中引入resnet结构，同时采用1x1卷积核进行降维处理以减少计算量，引入resnet结构可减少因层数增多而造成的过拟合及梯度消失现象，增加了光照强度分网络尺度的适应性，完成针对不同光照环境下可见光和热成像镜头的自适应切换。
[0053]
s4、将可见光和热成像相机采集的实时视频导入到步骤s2中的船舶识别模型中，使用可见光和热成像船舶特征提取网络识别出目标船舶位置，获取实时镜头输入的每一帧测量船舶的标记框中心坐标，记为实时船舶位置。
[0054]
s5、根据当前帧的目标船舶的标记框中心坐标，使用基于deepsort的多目标追踪算法匹配并连接视频中各帧检测框的中心点，获得船舶的实际航行轨迹。
[0055]
s6、针对船舶撞击桥梁这一工况，需要设置危险船舶航行范围，由于大多数船舶航行轨迹均为正常，出现容易对桥梁造成危险的船舶轨迹数据数量很少，很难形成危险船舶航行范围的判定。结合收集的大量历史正常船舶轨迹数据，生成近桥航道区域内船舶的安全行驶范围，实时评估当前船舶的轨迹数据，超过预定安全阀值范围时，则发出声光警报警示偏航船舶。
[0056]
实施例1：
[0057]
下面结合附图和具体实施方式对本发明作更进一步的说明。
[0058]
本发明涉及的可见光和热成像相机的全时段桥梁自适应防船撞预警方法。本发明具体实施方式包括如下内容：
[0059]
(一)可见光和热成像镜头自适应切换
[0060]
实验数据采集的河道在某城市主城区的运河，运河全天候有大量船只经过。该桥梁是一座城市公路桥梁，其中主跨80余米，桥宽30余米，通航高度7米，为钢桁架桥梁。首先在桥面或桥下防撞一侧固定可见光和热成像相机架设于桥面或桥下正对航道的位置，确认双镜头相机视场范围可覆盖所需监测区域近桥航道区域，用于实时捕捉水面航道区画，热成像相机采用的是非制冷焦平面微测热辐射计，分辨率640
×
480，视频帧率30hz，热灵敏度(netd)≤50mk@25℃，定焦25mm，有效视场角为14.9
°×
11.2
°
，角分辨率0.68mrad。可见光相机采用的是1/2.7"progressive scan cmos定焦8mm的镜头，有效分辨率为200万像素。在桥上安装实时数据处理终端与声光报警装置，将桥上双镜头相机、声光报警装置与数据处理终端相连。利用可见光相机以获得丰富的环境光照信息，将采集船舶信息的可见光相机同时作为光线强度识别源。如图2所示，在光照条件好时，自适应将桥梁防船撞系统输入源切换到对光照条件有优势的可见光相机；反之，在黑夜等光照条件差的时段，将输入源自动切换到热成像相机。对于环境光照强度变换的模糊区域，依据实验采集的不同照度的船舶识别准确度，如图3所示，建立光照环境分类数据集用于训练光照分类模型以实现自适应切换
最优输入源。
[0061]
(二)多目标船舶识别追踪
[0062]
如图4所示，基于深度学习多目标追踪的船舶识别，追踪和预警方法总体流程。首先yolo v5s网络可以快速识别目标的标记框位置和尺寸，需要创建手动标记该航道各个镜头优势时段可见光和热成像船舶各1000艘，将两种图像各自按照8：2的比例划分为训练集和测试集用于建立可见光和热成像船舶目标检测算法，训练结果如图5所示。并计算所检测物体的中心坐标，如船舶标记框四角点坐标为为p1(x1,y1)，p2(x2,y2)，p3(x3,y3)，p4(x4,y4)，中心点坐标为这四个点坐标的均值，将中心点的位置记为整体船舶的位置点。deepsort算法流程如图6所示，首先通过探测器识别每幅图像中的目标，然后根据检测结果对跟踪器进行初始化，利用卡尔曼滤波对目标的轨迹进行预测，将预测的轨迹输入到下一帧的船舶目标检测中，根据匈牙利算法对相邻图像之间的轨迹进行匹配，更新预测结果，并循环执行检测、预测和匹配更新过程。deep sort利用状态向量x＝[u，v，r，h，u’，v’，r’，h’]作为目标的直接观测模型，表示船舶轨迹在某时刻的状态。其中u和v表示目标检测框的中心坐标，r和h分别表示检测框的宽高比和高度，(u，v’，r’，h’)表示下一帧中预测的结果。为每帧中的每个检测到的船舶目标分配一个追踪目标，当某帧出现新的船舶检测结果时，为该帧创建新的追踪目标，如果当连续三帧跟踪器的预测结果与检测结果相匹配时，认为出现了一条新的跟踪轨迹，否则从跟踪器列表中删除轨迹，依此流程循环。
[0063]
(三)偏航船舶预警
[0064]
具有较高撞桥风险的船舶轨迹定义为船舶异常轨迹，并制定危险轨迹规则以用于桥梁防船撞预警。对于航道中通行的船舶，桥梁的相邻桥墩的底层结构间的空隙即为该航道船舶的安全通航范围，如图7所示，在船舶出现偏离此区域的运动趋势时，则判定该船舶具有较高的撞桥风险。所以首要目标是建立针对双通道相机输入源相对角度和位置的安全通航区域的边界，即预警系统的虚拟警戒线。为了生成安全通航区域的边界，需要大量收集该航道中安全航行历史轨迹数据作为基础，且由于可见光和热成像相机视角和位置略有差别，需要采集双通道相机各自有效工作时段的船舶生成轨迹样本。使用上述提出的船舶识别和追踪模型，并同时在算法中画出后期收集的经过该区域的安全行驶船舶的通航轨迹，并对输出的批量化的船舶通航轨迹进行边界识别，建立平行于航道方向的可见光和热成像相机各自的桥梁防船撞预警警戒线，该方法如图8所示。对于镜头中船舶轨迹，如果存在滑动窗口所对应的船舶拟过桥点超过提示线，做闪光提醒，如超过历史警戒线，则判定该轨迹异常，对船舶同时灯光和声音警报，直至其对应拟过桥点回到安全区域停止警报。
[0065]
实施例2：
[0066]
本实施例的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例1的可见光和热成像相机的全时段桥梁自适应防船撞预警方法中的步骤。
[0067]
本实施例的计算机可读存储介质可以是终端的内部存储单元，例如终端的硬盘或内存；本实施例的计算机可读存储介质也可以是所述终端的外部存储设备，例如终端上配备的插接式硬盘，智能存储卡，安全数字卡，闪存卡等；进一步地，计算机可读存储介质还可以既包括终端的内部存储单元也包括外部存储设备。
[0068]
本实施例的计算机可读存储介质用于存储计算机程序以及终端所需的其他程序和数据，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
[0069]
实施例3：
[0070]
本实施例的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1的可见光和热成像相机的全时段桥梁自适应防船撞预警方法中的步骤。
[0071]
本实施例中，处理器可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等；存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据，存储器的一部分还可以包括非易失性随机存取存储器，例如，存储器还可以存储设备类型的信息。
[0072]
本领域内的技术人员应明白，实施例公开的内容可提供为方法、系统、或计算机程序产品。因此，本方案可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本方案可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0073]
本方案是参照根据本方案实施例的方法、和计算机程序产品的流程图和/或方框图来描述的，应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合；可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0074]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0075]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0076]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。
[0077]
本发明所述实例仅仅是对本发明的优选实施方式进行描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域工程技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围。

技术特征：
1.可见光和热成像相机的全时段桥梁自适应防船撞预警方法，其特征在于，包括以下步骤：s1、将可见光和热成像双镜头相机架设于桥面或桥下正对航道的位置，使双镜头相机的视场范围能覆盖所需监测的近桥航道区域，调整相机镜头位置聚焦至目标航道，实时采集目标船舶的可见光和热成像视频图像序列并保存；s2、基于yolo v5s网络构建可见光和热成像船舶识别模型；s3、利用光照强度分类网络构建可见光和热成像镜头自适应决策系统；s4、将可见光和热成像相机采集的实时视频导入到步骤s2中的船舶识别模型，使用可见光和热成像船舶特征提取网络识别目标船舶位置，获取实时镜头输入的每一帧测量船舶的标记框中心坐标，记为实时船舶位置；s5、根据当前帧的目标船舶的标记框中心坐标，使用基于deepsort的多目标追踪算法匹配并连接视频中各帧船舶检测框的中心点，获得船舶的实际航行轨迹；s6、使用多目标追踪算法，输出大量监测桥梁的全船舶历史通航轨迹，并根据采集的历史安全通航数据，生成近桥区域内船舶的安全通航范围，超过该范围时，发出声光警报警示偏航船舶及时修正航行方向。2.根据权利要求1所述的可见光和热成像相机的全时段桥梁自适应防船撞预警方法，其特征在于，步骤s2中，构建船舶识别模型包括以下步骤：s201、对航道中目标船舶特征提取，将识别框中心作为整体船舶的实时位置点；s202、针对全时段桥梁防船撞这一工况，采集包含不同光照强度下的双镜头图像对，由人工标记点位，使用pascal voc的格式制作全时段近桥区域可见光和热成像船舶数据集，将船舶数据集导入yolo v5s网络进行训练和验证，并依据不同光照强度下识别效果调整训练参数，得到训练完成的船舶识别模型。3.根据权利要求1所述的可见光和热成像相机的全时段桥梁自适应防船撞预警方法，其特征在于，步骤s3中，构建可见光和热成像镜头自适应决策系统的具体内容为：以可见光相机作为光照强度输入源，双镜头同步采集全天候船舶航行图像并依据可见光和热成像船舶识别模型实验对比多种光照强度变换下双镜头船舶识别精度，识别精度较高的输入源建立图像光照分类数据集，每隔固定帧数加载基于inception-resnet v2训练的光照分类模型，将inception模型中引入resnet结构，同时采用1x1卷积核进行降维处理。4.根据权利要求1所述的可见光和热成像相机的全时段桥梁自适应防船撞预警方法，其特征在于，步骤s5中，获得船舶实际航行轨迹的具体内容为：根据可见光和热成像船舶识别模型获得当前帧的目标船舶标记框，取该标记框中心点为船舶的实时位置，使用基于deepsort的多目标追踪算法，预测目标船舶与下一帧标记框中目标船舶的关联度，如果关联度达到预测关联度阈值，则判定下一帧的船舶识别结果正确；否则，对预测轨迹和重新检测到的目标船舶做iou匹配；当船舶识别结果正确时，连接视频中各帧检测框的中心点，获得船舶的实际航行轨迹。5.根据权利要求4所述的可见光和热成像相机的全时段桥梁自适应防船撞预警方法，其特征在于，步骤s5中，对于船舶目标运动信息的关联度计算，具体步骤如下：s501、通过检测框与跟踪框描述船舶目标运动信息的关联度，具体公式如下：
其中，(y
i
,s
i
)是第i个船舶轨迹到检测空间的投影映射，d
j
是第j个检测帧的位置，y
i
是第i个跟踪轨迹预测的目标位置，s
i
是第i个船舶轨迹协方差矩阵的卡尔曼滤波预测的当前时刻的观测空间；s502、通过马氏距离进行阈值化以排除关联，即判断马氏距离是否小于距离度量指示值，具体公式如下：其中，t
(1)
为距离度量指示值，d
(1)
(i,j)为马氏距离；若马氏距离小于阈值则关联成功；s503、引入外观模型匹配和余弦距离求出每个检测目标d
i
的特征向量r
j
；对于跟踪器i，第k个轨迹前后100帧的特征向量存储在特征库r
i
中，即l＝100；计算第i个跟踪轨迹r
k(i)
与第j个探测器r
jt
之间的最小余弦距离，当该距离小于或等于某个阈值时，表示其相关，公式如下：s504、依据阈值判定是否关联：s505、同时结合目标外观信息的关联，将两种方式做线性加权来计算最终检测和跟踪轨迹之间的匹配程度：c
i,j
＝λd
(1)
(i,j)+(1-λ)d
(2)
(i,j)。6.根据权利要求1所述的可见光和热成像相机的全时段桥梁自适应防船撞预警方法，其特征在于，步骤s6中，利用一套双镜头自适应决策系统作为桥梁盲区时段的补充，确定当前环境最佳输入源，利用可见光和热成像船舶识别模型输出实时船舶识别框，以船舶识别框的中心作为整体船舶的实际位置，使用基于deepsort的多目标追踪算法，自动判断目标船舶与下一帧标记框中目标船舶的关联度，当其关联度达到阈值时，则将船舶中心点相连接，并输出航道船舶航行轨迹；同时采集大量可见光和热成像镜头相机位置的安全航行船舶轨迹样本，建立双镜头相机防船撞预警安全区，实时处理船舶航行轨迹，对上述船舶航信轨迹超出安全通航范围的船舶发出声光预警。7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1～6中任一项所述的基于可见光及热成像相机和深度学习追踪算法的全时段防船撞预警方法中的步骤。8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～6中任一项所述的基于可见光和热成像相机自适应变换的桥梁防船撞全时段监测预警方法中的步骤。

技术总结
本发明公开了可见光和热成像相机的全时段桥梁自适应防船撞预警方法，包括可见光和热成像镜头作为数据采集设备，轨迹追踪和数据实时分析处理三个部分。首先根据航道实时环境情况及镜头识别精度，使用双镜头自适应决策系统对可见光和热成像相机自主切换输入源，然后采用基于深度学习多目标船舶识别追踪算法实时定位船舶并显示轨迹，最后根据大量近桥区域船舶历史轨迹对高于安全阀值的船舶轨迹发出声光预警。本发明具有实时便捷、能实现全天候监测、鲁棒性好和非接触的优势，克服了已有方法难以应用于照度环境差时桥梁防船撞预警的问题，对于广泛应用于实际桥梁安全的监测有良好的前景。的前景。的前景。


技术研发人员：顾思阳 许肇峰 魏斌 张建
受保护的技术使用者：广东交科检测有限公司
技术研发日：2023.05.26
技术公布日：2023/9/12