环境自适应的双光融合方法、设备和介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种环境自适应的双光融合方法、设备和介质。


背景技术：

2.目标检测是辅助驾驶、无人驾驶的重要功能之一。其中，前车碰撞预警、行人碰撞预警等模块都依赖于准确的目标检测。但在现实场景中，会出现各种天气环境。其中夜间、雨天条件下发生事故的风险比正常情况下高出一倍多，而雾、雾霾、沙尘暴和强光等现象严重降低了单可见光的可视性，给目标检测带来极大的困难。
3.激光雷达由于可以准确感知周围三维环境、探测精度在厘米级以内，且对光照不敏感而备受关注，但是当遇到障碍物、雨、雾、风沙天气时会受到极大的干扰，甚至无法工作。而毫米波雷达客观上能更好的适应潮湿天气，但因雷达空间分辨率低，对目标分类能力不足。红外摄像头探测物体热辐射，不受光照影响，在夜间甚至有更远的探测距离、能透过大雾天气，且具备分辨率较高等特点，因此将红外图像与可见光图像的优势进行结合的双光融合技术应运而生。
4.然而，基于现有的双光融技术实现的目标检测，在不同应用环境中仍存一定的偏差，准确率低，不利于进一步提高辅助驾驶的安全性能。


技术实现要素：

5.为至少部分改善现有技术中存在的技术问题，本技术提供一种可提高目标检测准确率，以提高辅助驾驶安全性能环境自适应的双光融合方法、设备和计算机可读介质。
6.依据本技术实施例的第一方面，提供了一种环境自适应的双光融合方法，包括：
7.获取同一目标场景下同组红外图像和可见光图像；
8.获取表征目标场景环境的环境信息，并根据所述环境信息得到所述红外图像和所述可见光图像的融合权重；
9.按照所述融合权重，将所述红外图像和所述可见光图像进行融合，获得双光融合图像。
10.依据本技术实施例的第二方面，提供了一种环境自适应的双光融合设备，包括存储器及处理器，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现所述的双光融合方法。
11.依据本技术实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的双光融合方法。
12.由上可见，本技术实施例提供的环境自适应的双光融合方法通过获取同一目标场景下的同组红外图像和可见光图像，以及获取表征目标场景环境的环境信息，并根据所述环境信息得到所述红外图像和所述可见光图像的融合权重，再按照所述融合权重，将所述
红外图像和所述可见光图像进行融合，获得双光融合图像。本技术实施例提供的双光融合方法在不同的目标场景环境下，基于环境信息的不同，按照不同的融合权重进行红外图像和可见光图像的双光融合，均可获得融合效果良好的双光融合图像。因此，本技术实施例提供的环境自适应的双光融合方法，相比现有的双光融合方式，具有较高的环境适应性，能优化目标检测的检测率与误检率，有利于提升目标感知模块在各种环境场景下的感知性能，也更便于人眼观察。
附图说明
13.附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
14.图1为本技术实施例提供的环境自适应的双光融合方法的一可选环境自适应的双光融合设备的结构示意图；
15.图2为依据本技术一些实施例提供的一种环境自适应的双光融合方法流程示意图；
16.图3为依据本技术一些实施例提供的双光融合方法中获得环境自适应融合权重的方法流程示意图；
17.图4其为依据本技术一些实施例提供的环境自适应的双光融合方法中根据融合权重进行双光融合的步骤示意图；
18.图5为依据本技术一些实施例提供的环境自适应的双光融合方法中将红外目标检测结果和可见光目标检测结果进行配准的步骤示意图；
19.图6为依据本技术一些实施例提供的环境自适应的双光融合方法中基于纹理信息进行配准校准的步骤示意图；
20.图7为基于本技术一些实施例提供的环境自适应的双光融合方法在夜间环境下将红外图像和可见光图像进行融合获得双光融合图像的效果示意图；
21.图8为基于本技术一些实施例提供的环境自适应的双光融合方法在雨天环境下将红外图像和可见光图像进行融合获得双光融合图像的效果示意图；
22.图9为基于本技术一些实施例提供的环境自适应的双光融合方法在视程障碍环境下将红外图像和可见光图像进行融合获得双光融合图像的效果示意图；
23.图10为依据本技术一些实施例提供的环境自适应的双光融合方法示意图；
24.图11为依据本技术一些实施例提供的环境自适应的双光融合方法中将红外图像与可见光图像进行配准的流程示意图；
25.图12为依据本技术一些实施例提供的环境自适应的双光融合方法中基于目标纹理信息对配准进行校准的流程示意图；
26.图13为依据本技术一些实施例提供的环境自适应的双光融合方法中获取目标场景环境的环境类别的流程示意图；
27.图14为依据本技术一些实施例提供的环境自适应的双光融合装置的结构示意图。
具体实施方式
28.以下结合说明书附图及具体实施例对本技术技术方案做进一步的详细阐述。
29.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术的实现方式。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。在本技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。
30.在以下的描述中，涉及到“一些实施例”的表述，其描述了可能实施例的子集，但是应当理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
31.请参阅图1所示，为本技术实施例提供的环境自适应的双光融合方法的一可选环境自适应的双光融合设备的结构示意图，其中，环境自适应的双光融合设备包括处理器11、与处理器11连接的存储器12，还进一步包括与处理器11连接的红外摄像头13及可见光摄像头14，红外摄像头13及可见光摄像头14固定到同一结构中。在一些实施例中，红外摄像头13和可见光摄像头14的光轴平行。环境自适应的双光融合设备在采集目标对象的图像数据时，红外摄像头13及可见光摄像头14时钟同步，同步对同一目标场景分别采集目标对象的红外图像和可见光图像，将同时刻采集的相同目标场景的红外图像和可见光图像作为同一组，称为同组红外图像和可见光图像。环境自适应的双光融合设备通过红外摄像头13和可见光摄像头14实时采集目标对象的同组的红外图像和可见光图像发送给处理器11，存储器12内存储有实施本技术实施例所提供的自适应环境的双光融合方法的计算机程序，处理器11通过执行计算机程序，根据表征目标场景环境的环境信息，得到红外图像和可见光图像的融合权重，并按照融合权重，将红外图像和可见光图像进行融合，获得双光融合图像。其中，环境自适应的双光融合设备可以是集成有红外摄像头13及可见光摄像头14，且具备存储和处理功能的各类智能终端，如手持观察仪、各类瞄准类设备、安防监控设备、车载/机载设备等。进一步的，在一些实施例中，环境自适应的双光融合设备还进一步包括环境传感器15，环境传感器15用于获取表征目标场景环境的环境信息，并将环境信息发送至处理器11。进一步的，环境传感器15包括但不限于用于获取目标场景环境的环境光线信息的环境光线传感器151和用于获取目标场景环境的环境湿度信息的环境湿度传感器152。
32.请参阅图2所示，其为依据本技术一些实施例提供的一种环境自适应的双光融合方法流程示意图。本技术实施例提供的双光融合方法包括s02、s04和s06，各个步骤的具体描述如下。
33.s02：获取同一目标场景下同组红外图像和可见光图像。
34.同组红外图像和可见光图像是指采集到的同时刻、同目标场景的红外图像和可见光图像。目标场景可以是指通过环境自适应的双光融合设备进行图像采集的任意场景。环境自适应的双光融合设备可以包括拍摄模块，拍摄模块包括红外摄像头及可见摄像头。获取针对目标场景采集的同组红外图像和可见光图像包括：环境自适应的双光融合设备通过拍摄模块实时采集目标场景的红外图像和可见光图像。在另一些可选的实施例中，环境自适应的双光融合设备不包括拍摄模块，获取针对目标场景采集的同组红外图像和可见光图像包括：环境自适应的双光融合设备获取具备图像拍摄功能的其它智能设备发送的同组红外图像和可见光图像，这里其它智能设备可以是手机终端、云端等。
35.在一些实施例中，采集红外图像的红外摄像的镜头中心与用于采集可见光图像的
可见光摄像的镜头中心接近，即红外摄像头与可见光摄像头的光轴平行且间距较小，优选为红外摄像头与可见光摄像头同光轴，以便于获得红外图像和可见图像之间的映射矩阵。
36.s04：获取表征目标场景环境的环境信息，并根据环境信息得到红外图像和可见光图像的融合权重。
37.目标场景环境是指目标场景的环境，也即目标所在的环境，红外图像和可见光图像中均包括目标。目标为用户需要关注的对象，即上述拍摄模块所瞄准的对象。上述拍摄模块包括红外摄像头和可见光摄像头。环境信息包括但不限于目标场景中的光线强度信息、湿度信息和天气信息等。
38.融合权重是指将红外图像和可见光图像进行融合时，红外图像对应的像素所乘的红外权重系数，和可见光图像对应的像素所乘的可见光权重系数。其中，红外权重系数和可见光权重系数之和为1。
39.s06：按照融合权重，将红外图像和可见光图像进行融合，获得双光融合图像。
40.红外图像和可见光图像进行融合的融合权重根据环境信息确定，目标场景环境的环境信息不同，对应的融合权重也不同，按照融合权重，将红外图像和可见光图像进行双光融合获得的融合图像也不同。双光融合图像在不同目标场景环境下均具有较好的融合效果。环境双光融合图像中既包括了红外图像中的目标信息，又包括了可见光图像中的目标信息。红外图像中的目标信息和可见光图像中的目标信息对双光融合图像中目标信息的影响程度由上述融合权重确定。
41.由上可见，本技术实施例提供的环境自适应的双光融合方法通过获取同一目标场景下的同组红外图像和可见光图像，以及获取表征目标场景环境的环境信息，并根据环境信息得到红外图像和可见光图像的融合权重，再按照融合权重，将红外图像和可见光图像进行融合，获得双光融合图像。本技术实施例提供的双光融合方法在不同的目标场景环境下，基于环境信息的不同，按照不同的融合权重进行红外图像和可见光图像的双光融合，均可获得融合效果良好的双光融合图像。因此，本技术实施例提供的环境自适应的双光融合方法，相比现有的基于图像亮度自适应的双光融合方式，具有较高的环境适应性，能优化目标检测的检测率与误检率，有利于提升目标感知模块在各种环境场景下的感知性能，也更便于人眼观察。
42.请参阅图3所示，其为依据本技术一些实施例提供的双光融合方法中获得环境自适应融合权重的方法流程示意图。在本实施例中，上述s04进一步包括s042、s044和s046，各个步骤的描述如下。
43.s042：分别获取目标场景环境的环境光线信息和环境湿度信息。
44.具体的，可以基于环境光线传感器和环境湿度传感器，分别获取环境光线信息和环境湿度信息。环境光线信息表征目标场景环境的光线强度，根据环境光线信息，可以确定红外图像和可见光图像采集的时间是发生在光线强度较强白天还是在光线强度较暗的夜间。环境湿度信息表征目标场景环境的湿度大小，根据环境湿度信息，可以确目标场景环境的湿度，以确定在采集红外图像和可见光图像时，目标场景环境的天气是雨天还是晴天。
45.s044：基于对红外图像和/或可见光图像的特征提取和识别，判断目标场景的天气是否为视程障碍天气，获得判断结果。
46.基于训练好的可学习视程障碍天气特征的神经网络对红外图像和/或可见光图像
进行特征提取和识别，以确定目标场景环境的天气是否为视程障碍天气。
47.视程障碍天气是指空气中因存在水汽凝结物、干质悬浮物等而使空气变得混浊，并造成能见度下降的一类天气。视程障碍天气包括雾、轻雾、雪暴、吹雪、沙尘暴、扬沙、浮尘、烟幕以及霾等天气。
48.s046：根据环境光线信息、环境湿度信息和判断结果，确定目标场景环境的环境类别，并根据目标场景环境的环境类别得到红外图像和可见光图像的融合权重。
49.在一些实施例中，表征目标场景环境的环境信息包括环境光线信息、环境湿度信息和判断结果。环境信息不同，目标场景环境所属的环境类别也不同，而不同的环境类别对应不同融合权重。因此，本技术实施例提供的双光融合方法自适应环境的变化，选择与目标场景环境对应的融合权重来将红外图像和可见光图像进行融合，在不同环境下，均具有良好的融合效果。
50.进一步的，在一些实施例中，上述s046具体包括：若s044中的判断结果为目标场景的天气为视程障碍天气，则确定目标场景的环境类别为视程障碍环境，若判断结果为目标场景的天气为非视程障碍天气，在这种情况下，再根据环境光线信息和环境湿度信息，确定目标场景环境的环境类别。其中，环境类别包括白天雨天环境、白天晴天环境、夜间雨天环境和夜间晴天环境中至少之一。
51.在一些实施例中，可以分别设置白天环境和夜间环境对应的光线强度范围，以及设置晴天环境和雨天环境对应的湿度大小范围，根据目标场景环境的光线强度信息和环境湿度信息，确定目标场景环境落入的光线强度范围和湿度大小范围，从可确定目标场景环境对应的环境类别。具体的，根据环境光线信息确定目标场景环境是为白天环境还是夜间环境，根据环境湿度信息可以确定目标场景环境是为雨天环境还是晴天环境。
52.在依据本技术一些实施例提供的双光融合方法中，将目标场景环境所属的环境类别划分为非视程障碍下天气的白天雨天环境、白天晴天环境、夜间晴天环境和夜间雨天环境，以及视程障碍环境这五种。在其它实施例中，环境类别的划分方式可以不限于此。
53.进一步的，在一些实施例中，上述s04也可具体包括：获取环境类别选择指令，作为环境信息，根据环境类别选择指令对应的环境类别，确定红外图像和可见光图像的融合权重。在一些实施例中，环境类别包括夜间晴天环境、夜间雨天环境、白天晴天环境、白天雨天环境和视程障碍环境中的至少一种。此外，获得s044中的判断结果、根据环境光线信息确定目标场景环境为白天环境还是夜间环境以及根据环境湿度信息确定目标场景环境为雨天环境还是晴天环境这三个步骤执行的先后顺序不做限定。
54.在一些实施例中，在确定目标场景环境的环境类别后，根据目标场景环境的环境类别确定融合权重具体包括：根据目标场景环境的环境类别，以及预设的环境类别与融合权重映射关系，得到红外图像和可见光图像的融合权重。
55.在一些实施例中，预设了目标场景可能所属的不同环境类别，并预设了各环境类别与融合权重之间的映射关系。因此在获得目标场景环境的环境类别后，基于该环境类别和预设的映射关系，即可获得与目标场景环境相匹配的融合权重。
56.预设的环境类别与融合权重映射关系包括预设的环境类别与融合权重映射关系表，则根据目标场景环境的环境类别，以及预设的环境类别与融合权重映射关系，得到红外图像和可见光图像的融合权重，具体包括：根据目标场景环境的环境类别，从预设的环境类
别与融合权重映射关系表中查找直接得到目标场景对应的融合权重。
57.预设的环境类别与融合权重映射关系还可以进一步包括环境类别与融合权重之间的预设计算公式。例如，在一些实施例中，若目标场景环境的环境类别为夜间雨天环境，则根据环境类别与融合权重映射关系表，确定夜天环境对应的融合权重，以及确定雨天环境对应的融合权重，再根据夜天环境对应的融合权重、雨天环境对应的融合权重以及预设的计算公式，计算得到夜间雨天环境对应的融合权重。
58.环境类别可见光权重红外权重夜间晴天a1-a夜间雨天b1-b白天晴天c1-c白天雨天d1-d大雾天气e1-e
59.表1
60.在一些实施例中，预设的环境类别与融合权重映射关系表如表1所示，其中，a、b、c、d、e为0-1.0之间的权重数值。在本实施例中，视场障碍环境是指大雾天气。
61.由上可见，在依据本技术一些实施例提供的双光融合方法中，可以基于环境光线传感器和环境湿度传感器分别获取目标场景环境的环境光线信息和环境湿度信息，然后基于环境光线信息判断目标场景环境当前为白天环境还是夜间环境，以及基于环境湿度信息判断目标场景环境当前为雨天环境还是晴天环境，并进一步结合红外图像和可见光图像的识别结果，判断目标场景的天气是否为大雾天气或其它恶劣的视程障碍天气，再根据各个判断的结果，确定目标场景环境当前所对应的环境类别，然后根据目标场景环境所属的环境类别，选择相应的融合权重，实现自动环境自适应的双光融合。在另一些实施例中，也可以通过用户手动的方式，基于物理按键或界面中的虚拟按键，向环境自适应的双光融合设备中的处理器输入相应的环境类别选择指令，以作为表征目标场景环境的环境信息，根据环境选择指令选定的环境类别，作为目标场景环境的环境类别，实现手动环境自适应的双光融合。
62.常用基于红外图像和可见光图像进行融合的双光融合检测方法有像素级的双光融合检测、特征级融合检测和决策级融合检测。像素级的双光融合是指先将红外图像和可见光图像的像素进行融合之后再进行目标检测的融合方法，特征级融合是指先融合单个模态下的目标特征之后再进行目标检测的融合方法。针对特征级融合，近年来多采用深度学习网络提取多层卷积特征，实现可见光图像与红外图像的目标融合检测。然而，这些算法需要有精确配准的大量数据，而特征类型差异也往往导致融合难度和计算消耗过大，严重限制了检测任务的实时性。决策级融合检测是指分别对多模态数据(如红外图像和可见光图像)进行目标检测，之后再将结果融合，是一种更高级的信息融合。
63.基于以上描述，在一些实施例中，本技术提供了一种基于决策级融合检测的方式将红外图像和可见光图像进行融合检测的方法。具体请参阅图4所示，其为依据本技术一些实施例提供的环境自适应的双光融合方法中根据融合权重进行双光融合的步骤示意图。在本实施例中，上述s06具体包括s062、s064和s066，各个步骤的描述如下。
64.s062：分别对红外图像和可见光图像进行目标检测，获得红外目标检测结果和可
见光目标检测结果。
65.s064：将红外目标检测结果和可见光目标检测结果进行配准，得到配准结果。
66.s066：根据配准结果，按照融合权重，将配准上的红外目标检测结果和可见光目标检测结果进行融合，获得携带目标检测结果的双光融合图像。
67.基于目标检测算法对红外图像进行目标检测，获得红外图像中目标的红外目标检测结果，基于目标检测算法对可见光图像进行目标检测，获得可见光图像中目标的可见光目标检测结果。红外目标检测结果包括目标检测时，框住红外图像中目标的红外目标检测框信息，可见光目标检测结果包括目标检测时，框住可见光图像中目标的可见光目标检测框信息。目标检测框信息又进一步包括对应目标框的边长信息和中心点位置信息。
68.在一些实施例中，基于多特征融合的深度卷积网络方法建立红外图像目标检测网络，实现红外图像中目标的实时检测，获得红外目标检测结果，以及基于多特征融合的深度卷积网络方法建立可见光图像目标检测网络，实现对可见光图像中目标实时检测，获得可见光目标检测结果。
69.红外图像目标检测网络和可见光图像目标检测网络中作为特征提取网络的主干网络backbone均可以为darknet或resnet等网络，在二者的主干网络后均可采用特征金字塔网络作为中间特征提取网络neck，最后二者可均采用多级特征融合的方法，进行不同层级的特征融合，并采用iouloss、focalloss等损失函数对各自的目标检测网络模型进行训练。
70.s064中的配准也称之为对齐。将红外目标检测结果和可见光目标检测结果进行配准，是指将红外目标检测框和可见光目标检测框进行对齐。配准结果相同场景进行对齐,使得它们在像素级别上对应。配准结果是指配准后的红外检测结果与可见光检测结果。
71.携带目标检测结果的双光融合图像，是指标记有目标检测框信息和目标类别信息的双光融合图像。按照自适应目标场景环境变化的融合权重，将配准上的红外检测结果和可见光检测结果进行融合的双光融合方式为环境自适应且基于决策级的融合，在不同的目标场景环境下，均具有良好的融合效果，便于提高目标检测的精准度。
72.在将红外图像和可见光图像进行双光融合前，先需要将红外图像和可见光图像进行配准。将红外图像和可见光图像进行配准的一种实现方式如s064，通过将红外目标检测结果和可见光目标检测结果的配准实现红外图像和可见光图像的配准。在其它实施例中，将红外图像和可见光图像进行配准还可以包括：在同一目标场景中的同组红外图像和可见光图像中寻找局部特征点(像素点)，然后根据最小二乘方法计算出红外图像与可见光图像之间的映射矩阵，再基于该映射矩阵，将红外图像和可见光图像进行配准。然而，这种方法中，计算映射矩阵，需要对红外摄像头和可见光摄像头进行标定，基于标定的结果确定映射矩阵，方法较为复杂。
73.为了便于获得红外图像和可见光图像之间的映射矩阵，在一些实施例中，通过设计用于采集红外图像的红外摄像头和用于采集可见光图像的可见光摄像头组成的双光摄像头之间的固定光轴关系，使得红外摄像头与可见光摄像头的光心距离尽可能接近，即红外摄像头和可见光摄像头的光轴平行且间距较小，从而可直接通过解析方法得到红外图像与可见光图像的映射矩阵，无需进行双摄像头的标定，简化环境自适应的双光融合方法的实现过程。将红外摄像头与可见光摄像头的光轴设置平行且间距较小，甚至二者同光轴，则
可以通过红外摄像头和可见光摄像头的内参信息，得到红外图像和可见光图像之间的映射矩阵。
74.请参阅图5所示，其为依据本技术一些实施例提供的环境自适应的双光融合方法中将红外目标检测结果和可见光目标检测结果进行配准的步骤示意图。在本实施例中，用于采集红外图像的红外摄像头和用于采集可见光图像的可见光摄像头的光轴平行，且上述s064具体包括s0642、s0644和s0646。
75.s0642：根据红外目标检测结果和红外摄像头的光轴信息，确定红外图像中的目标相对于红外摄像头光轴中心的红外目标角度。
76.s0644：根据可见光目标检测结果和可见光摄像头的光轴信息，确定可见光图像中的目标相对于可见光摄像头光轴中心的可见光目标角度。
77.s0646：将红外目标角度和可见光目标角度进行匹配，当红外目标角度和可见光目标角度满足预设匹配条件时，确定对应的红外目标检测结果和可见光目标检测结果配准上，获得配准结果。
78.s0642和s0644执行的先后顺序在本技术中不做限定，二者可以先后执行也可以同时执行。红外目标角度是指红外目标检测框的中心点到红外摄像头镜头中心的连线与红外摄像头光轴之间的夹角。可见光目标角度是指可见光目标检测框的中心点到可见光摄像头镜头中心的连线与可见光摄像头光轴之间的夹角。
79.将红外目标角度与可见光目标角度进行匹配，是指将红外目标角度分别与可见光目标角度进行比较，看二者的角度偏差是否满足预设偏差条件，若满足，则说明红外目标角度与可见光目标角度匹配上，从而说明匹配上的红外目标角度对应的红外检测结果和可见光目标角度对应的可见光目标检测结果配对上，反之亦然。在本实施例中，基于红外目标角度和可见光目标角度的匹配进行配准，配准方法简单，可快速实现配准。
80.在一些实施例中，红外目标角度用表示，可见光目标角度vl_obj
angle
，将红外目标角度与可见光目标角度进行匹配，当二者的角度偏差的绝对值小于阈值thres时，则认为对应的红外检测结果和可见光检测结果配准成功，具体的，基于目标角度匹配进行配准的配置公式如下，在匹配结果为1时，表示配准成功，为0时，则表示配准不成功。
[0081][0082]
将红外目标检测结果和可见光目标检测结果进行配准，是指配准后的红外目标检测结果对应的红外目标角度和可见光目标检测结果对应的可见光目标角度之间的角度偏差的绝对值小于阈值thres。
[0083]
在依据本技术一些实施例提供的双光融合方法中，基于红外目标角度和可见光目标角度之间的匹配进行红外目标检测结果和可见光目标检测结果的配准。在另一些实施例中，也可以基于红外图像与可见光图像之间的映射矩阵，将红外目标检测结果和可见光目标检测结果进行配准，则上述s064也可以具体包括：根据基于红外摄像头和可见光摄像头的内参信息所确定的红外图像与可见光图像之间的映射矩阵，将红外目标检测结果和可见光目标检测结果进行配准，获得配准结果。
[0084]
在一些实施例中，由于将红外摄像头和可见光摄像头的光轴设置为平行且光轴间
距较小，可以直接基于红外摄像头和可见光摄像头的内参粗略的计算出红外图像和可见光图像之间的映射矩阵，再基于映射矩阵进行配准。
[0085]
在本技术一些实施例提供的双光融合方法中，将红外摄像头和可见光摄像头之间光轴平行且间距较小的这些情形均等同红外摄像头和可见光摄像头为同光轴的双光摄像头这样的情形，从而便于获取红外图像和可见光图像之间的映射矩阵，但基于这种方式获取的映射矩阵存在一定误差。因此，上述基于目标角度匹配或基于映射矩阵将红外目标检测结果和可见光目标检测结果进行的配准结果为粗配准结果。
[0086]
为了进一步提高红外目标检测结果和可见光目标检测结果的配准精准度，在本技术一些实施例提供的双光融合方法中，还进一步包括对上述s064中获得的粗配准结果进行校准。请参阅图6所示，其为依据本技术一些实施例提供的环境自适应的双光融合方法中基于纹理信息进行配准校准的步骤示意图。在本实施例中，上述s06除了包括上述s062、s064和s066外，且在上述s064和s066之间还进一步包括基于目标的纹理信息对s064中的配准结果进行校准，获得精配结果。具体的，基于目标的纹理信息对s064中的配准结果进行校准的步骤包括s0652和ss0654,各个步骤的描述如下。
[0087]
s0652：根据配准结果，分别获取配对上的红外目标检测结果和可见光目标检测结果对应的红外目标纹理信息和可见光目标纹理信息。
[0088]
s0654：根据红外目标纹理信息和可见光目标纹理信息，对配准结果进行校准。
[0089]
红外目标纹理信息是指根据红外目标检测结果，从红外目标检测框中提取的目标纹理信息，可见光目标纹理信息是指根据可见光目标检测结果，从可见光目标检测框中提取的目标纹理信息。
[0090]
在一些实施例中，可以对红外目标纹理信息和可见光目标纹理信息进行纹理匹配，基于匹配的结果去修正s064中的配准结果，获得更精准度配准结果。
[0091]
进一步的，在一些实施例中，上述s0652具体包括：根据红外目标检测结果、可见光目标检测结果以及红外图像与可见光图像之间的映射矩阵，获得具有相同分辨率的红外目标区域和可见光目标区域，分别求取红外目标区域和可见光目标区域的纹理信息，获得红外目标纹理信息和可见光目标纹理信息。
[0092]
具体的，在一些实施例中，基于目标纹理信息对s064中的配准结果进行校准的具体步骤包括：基于红外目标检测结果获取可见光目标检测区域,并扩大一定范围，基于可见光目标检测结果获取可见光目标区域，并扩大一定范围；将扩大一定范围的红外目标检测区域，根据映射矩阵缩放到可见光目标区域，以获得尺寸与可见光目标区域一样大的红外目标区域，然后分别求取红外目标区域和可见光目标区域的纹理信息，获得红外目标纹理信息和可见光目标纹理信息，再基于所获得的纹理信息对s064中的配准结果进行校准，获得精配准结果。
[0093]
由上可见，在依据本技术的一些实施例中，利用光轴平行的红外摄像头和可见光摄像头，获取同一场景的同组红外图像与可见光图像，并将红外图像和可见光图像分别输入到对应的深度学习网络得到红外目标检测结果与可见光目标检测结果，通过红外目标角度和可见光目标角度之间的匹配或通过红外图像和可见光图像之间映射矩阵，对红外目标检测结果与可见光目标检测结果进行初配准，再利用红外目标区域与可见光目标区域的纹理信息对初配准结果进行校准，获得精配准结果，以及通过环境传感器获取白天或者夜间
环境的判断，晴天或雨天环境的判断，并结合红外图像和/或可见光图像分析得到目标场景所属的环境类别，进而获得环境自适应的融合权重，或者基于用户手动选择环境类别，进而选择对应的融合权重，最后按照环境自适应的融合权重，根据校准后的精配准结果将红外图像和可见光图像进行融合，获得双光融合图像。因此，本技术一些实施例提供的双光融合方法，可以在不同环境下均可高效将红外图像与可见光图像进行融合，从而可优化目标检测的检测率与误检率，提升感知模块在各种环境场景下的性能，也更便于人眼观察。
[0094]
为了进一步体现本技术实施例提供环境自适应的双光融合方法达到的技术效果，图7至图9分别示意了基于本技术一些实施例提供的环境自适应的双光融合方法在不同环境下将红外图像和可见光图像进行融合获得双光融合图像的效果示意图。具体的，图7为基于本技术一些实施例提供的环境自适应的双光融合方法在夜间环境下将红外图像和可见光图像进行融合获得双光融合图像的效果示意图，图8为基于本技术一些实施例提供的环境自适应的双光融合方法在雨天环境下将红外图像和可见光图像进行融合获得双光融合图像的效果示意图，图9为基于本技术一些实施例提供的环境自适应的双光融合方法在视程障碍环境下将红外图像和可见光图像进行融合获得双光融合图像的效果示意图。其中，图9中的视程障碍天气为雪天环境。从图7至图9可以看出，基于本技术一些实施例提供的双光融合方法，在不同环境下均获得了良好的融合效果。
[0095]
请参阅图10所示，其为依据本技术一些实施例提供的环境自适应的双光融合方法示意图。本技术实施例提供的双光融合方法中开始执行后包括s1至s7，各个步骤的描述如下。
[0096]
s1：获取同一视场下的红外图像和可见光图像。同一视场即上述同一目标场景，s1中获得红外图像和可见光图像的具体实现方式可参考s02，在此不再累述。
[0097]
s2：红外目标检测。基于红外图像目标检测网络对s1中获得的红外图像进行目标检测，获得红外目标检测结果。
[0098]
s3：可见光目标检测。基于可见光图像目标检测网络对s1中获得的可见光图像进行目标检测，获得可见光目标检测结果。s2和s3可以先后执行，也可以同时执行。
[0099]
s4：将红外目标与可见光目标进行配准。具体的，将s2和s3中获得的红外目标检测结果和可见光目标检测结果进行配准，获得粗配准结果。
[0100]
s5：基于纹理信息对前一步获得的配准结果进行校准。前一步即s4，纹理信息即上述红外目标区域的红外目标纹理信息和可见光目标区域的可见光目标纹理信息。本步骤获得校准后的精配准结果。
[0101]
s6：根据环境传感器获取环境信息或基于用户操作获得环境信息。环境传感器包括但不限于环境光线传感器和环境湿度传感器，环境信息包括但不限于基于环境光线传感器获得的环境光线信息和基于环境湿度传感器获得的环境湿度信息。用户操作具体至用户向环境自适应的双光融合设备输入环境类别选择指令，以作为环境信息。
[0102]
s7：根据环境信息进行自适应双光融合，获得双光融合图像。本步骤具体参考s08及其在各个实施例中的具体实现方式。
[0103]
请参阅图11所示，其为依据本技术一些实施例提供的环境自适应的双光融合方法中将红外图像与可见光图像进行配准的流程示意图。本技术实施例提供的双光融合方法中开始执行配准后，上述s4进一步包括包括s41至s6，各个步骤的描述如下。
[0104]
s41：计算红外目标角度。计算方式参考上述描述。
[0105]
s42：计算可见光目标角度。计算方式参考上述描述。s41和s42执行的先后顺序不做限定，可以先后执行，也可以同时执行。
[0106]
s43：基于匹配算法进行角度匹配。将s41中获得的红外目标角度和s42中获得的可见光目标角度基于上述公式进行角度匹配。
[0107]
s44：判断匹配的角度偏差绝对值是否小于阈值thres。若s44的判断结果为是，则执行s45，否则执行s46。
[0108]
s45：标志配对上。即红外目标检测结果和可见光目标检测结果配准成功。
[0109]
s46：标志未配对上。即红外目标检测结果和可见光目标检测结果未配准成功。
[0110]
请参阅图12所示，其为依据本技术一些实施例提供的环境自适应的双光融合方法中基于目标纹理信息对配准进行校准的流程示意图。本技术实施例提供的双光融合方法中开始执行校准后，上述s5进一步包括包括s51至s56，各个步骤的描述如下。
[0111]
s51：获取配对上的可见光目标区域。具体的，可以基于可见光目标检测结果获得可见光目标检测区域直接作为待提取纹理信息的可见光目标区域。
[0112]
s52：获取对应的红外目标检测区域。具体的，可以基于红外目标检测结果获得红外目标检测区域。
[0113]
s53：将红外目标检测区域根据映射矩阵缩放到可见光目标区域。本步骤为了获得与可见光目标区域具有相同分辨率的红外目标区域。
[0114]
s54：求可见光目标区域与红外目标区域的纹理信息。本步骤获取的上述可见光目标纹理信息和红外目标纹理信息。
[0115]
s55：通过纹理信息进行校准。即根据s54中获取的纹理信息对s4中获得的初配准结果进行校准。
[0116]
s56：输出校准结果。校准结果即基于纹理信息对初配准结果进行校准后精配准结果。
[0117]
请参阅图13所示，其为依据本技术一些实施例提供的环境自适应的双光融合方法中获取目标场景环境的环境类别的流程示意图。本技术实施例提供的双光融合方法中开始执行获取环境类别后，上述s7进一步包括包括s71至s74，各个步骤的描述如下。
[0118]
s71：根据环境光线传感器判断是否为白天或夜间。具体的根据环境光线传感器获得的环境光线信息，判断目标场景环境当前为白天环境还是夜间环境。
[0119]
s72：根据环境湿度传感器判断是否为雨天或晴天。具体的根据环境湿度传感器获得的环境湿度信息，判断目标场景环境当前为雨天环境还是晴天环境。
[0120]
s73：结合红外与可见光图像信息综合判断是否为视程障碍天气。即根据红外图像和可见光图像的识别结果，判断目标场景的天气是否为大雾、大雪等视程障碍天气,并获得相应的判断结果。
[0121]
s74：输出感知的环境类别。基于s71和s73中各个判断的结果，确定目标场景环境当前所属的环境类别。
[0122]
由上可见，依据本技术一些实施例提供的环境自适应的双光融合方法至少可以获得如下之一的技术效果。
[0123]
1、将红外摄像头和可见光摄像头设置为光轴相近(平行且间距非常小)的双光摄
像头，即红外摄像头的镜头中心与可见光摄像头的镜头中心尽可能接近，可以通过红外摄像头与可见光摄像头的参数(内参)即可计算得到红外图像和可见光图像的映射矩阵，避免了通过特征匹配的方式标定双光外参而得到映射矩阵的，提高了效率。
[0124]
2.分别通过深度学习网络得到的红外目标检测结果和可见光目标检测结果，以在决策级别进行双光融合，并利用映射矩阵或目标角度匹配进行初配准的结果，对每对配对上的红外与可见光目标扣取目标框中的图像特征，利用纹目标理信息进行初配准结果的校准，提高了红外与可见光的配准精度。
[0125]
3.通过不限于环境光线传感器和环境湿度传感器等环境传感器，获取环境感知结果，根据不同的环境类别情况，配置不同的融合权重，也可用户手动选择环境类别，以确定对应的融合权重的手动融合模式，有效的提高了融合的环境自适应。
[0126]
在一些实施例中，本技术还提供了一种环境自适应的双光融合装置，其结构示意图如图14所示。本技术实施例提供的环境自适应的双光融合装置包括获取模块101、权重确定模块102和融合模块103。具体的，获取模块101用于获取同一目标场景下的同组红外图像和可见光图像。权重确定模块102用于获取表征目标场景环境的环境信息，并根据环境信息得到红外图像和可见光图像的融合权重。融合模块103用于按照融合权重，将红外图像和可见光图像进行融合，获得双光融合图像。本技术实施例提供的环境自适应的双光融合装置与本技术实施例提供的环境自适应的双光融合方法达到相同的技术效果，在此不再累述。
[0127]
可选的，获取模块101具体用于基于本技术任意一实施例提供的双光融合方法中获取红外图像和可见光图像的方法，获得红外图像和可见光图像。
[0128]
可选的，权重确定模块102具体基于本技术任意一实施例提供的双光融合方法中根据环境信息获得融合权重的方法，获得融合权重。
[0129]
可选的，融合模块103具体基于本技术任意一实施例提供的双光融合方法中按照根据融合权重，将红外图像和可见光图像进行融合的方式，获得双光融合图像。
[0130]
在一些实施例中，本技术还提供了一种如图1所示的环境自适应的双光融合设备。本技术实施例提供的双光融合设备包括处理器11和存储器12，存储器12内存储有可被处理器11执行的计算机程序，计算机程序被处理器11执行时实现依据本技术任意一实施例中提供的双光融合方法。本技术实施例提供的环境自适应的双光融合设备与本技术实施例提供的环境自适应的双光融合方法达到相同的技术效果，在此不再累述。
[0131]
继续参考图1所示，本技术实施例提供的环境自适应的双光融合设备还进一步包括分别与处理器11连接的红外摄像头13和可见光摄像头14，以及还进一步包括显示器16。红外摄像头13用于采集红外图像，并将红外图像发送至处理器11。可见光摄像头14用于采集可见光图像，并将可见光图像发送至处理器11。显示器16用于显示双光融合图像，在一些实施例中，显示器16具体用于显示含目标检测结果的双光融合图像。其中，红外摄像头13与可见光摄像头14的光轴平行。优选的，红外摄像头13与可见光摄像头14设置为同光轴或近似同光轴的双光摄像头。
[0132]
请继续参阅图1所示，环境自适应的双光融合设备还进一步包括与处理器11连接的环境传感器15。环境传感器15用于采集表征目标场景环境的环境信息，并发送给处理器11。环境传感器15包括环境光线传感器151和环境湿度传感器152中至少之一，环境光线传感器151用于获取目标场景环境的环境光线信息，环境湿度传感器152用于获取目标场景环
境的环境湿度信息。
[0133]
本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现依据本技术任意一实施例提供的环境自适应的双光融合方法中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。计算机可读存储介质，如只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
[0134]
以上，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围之内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种环境自适应的双光融合方法，其特征在于，包括：获取同一目标场景下的同组红外图像和可见光图像；获取表征目标场景环境的环境信息，并根据所述环境信息得到所述红外图像和所述可见光图像的融合权重；按照所述融合权重，将所述红外图像和所述可见光图像进行融合，获得双光融合图像。2.根据权利要求1所述的双光融合方法，其特征在于，所述获取表征目标场景环境的环境信息，并根据所述环境信息得到所述红外图像和所述可见光图像的融合权重，包括：分别获取所述目标场景环境的环境光线信息和环境湿度信息；基于对所述红外图像和/或所述可见光图像的特征提取和识别，判断所述目标场景的天气是否为视程障碍天气，获得判断结果；根据所述环境光线信息、所述环境湿度信息和所述判断结果，确定所述目标场景环境的环境类别，并根据所述目标场景环境的所述环境类别得到所述红外图像和所述可见光图像的融合权重。3.根据权利要求2所述的双光融合方法，其特征在于，所述根据所述环境光线信息、所述环境湿度信息和所述判断结果，确定所述目标场景环境的环境类别，包括：若所述判断结果为所述目标场景的天气为视程障碍天气，确定所述目标场景环境的所述环境类别为视程障碍环境；若所述判断结果为所述目标场景的天气为非视程障碍天气，根据所述环境光线信息和所述环境湿度信息，确定所述目标场景环境的环境类别；其中，所述环境类别包括白天雨天环境、白天晴天环境、夜间雨天环境和夜间晴天环境中至少之一。4.根据权利要求1所述的双光融合方法，其特征在于，所述获取表征目标场景环境的环境信息，并根据所述环境信息得到所述红外图像和所述可见光图像的融合权重，包括：获取环境类别选择指令，作为所述环境信息；根据所述环境类别选择指令选定的环境类别，确定所述红外图像和所述可见光图像的融合权重；所述环境类别包括白天雨天环境环境、白天夜间环境、夜间雨天环境、夜间晴天环境和视程障碍环境中的至少一种。5.根据权利要求2或4所述的双光融合方法，其特征在于，所述根据所述目标场景环境的所述环境类别，得到所述红外图像和所述可见光图像的融合权重，包括：根据所述目标场景环境的所述环境类别，以及预设的环境类别与融合权重映射关系，得到所述红外图像和所述可见光图像的融合权重。6.根据权利要求1所述的双光融合方法，其特征在于，所述按照所述融合权重，将所述红外图像和所述可见光图像进行融合，获得双光融合图像，包括：分别对所述红外图像和所述可见光图像进行目标检测，获得红外目标检测结果和可见光目标检测结果；将所述红外目标检测结果和所述可见光目标检测结果进行配准，得到配准结果；根据所述配准结果，按照所述融合权重，将配准上的所述红外目标检测结果和所述可见光目标检测结果进行融合，获得携带目标检测结果的双光融合图像。
7.根据权利要求6所述的双光融合方法，其特征在于，用于采集所述红外图像的红外摄像头和用于采集所述可见光图像的可见光摄像头的光轴平行，所述将所述红外目标检测结果和所述可见光目标检测结果进行配准，包括：根据所述红外目标检测结果和所述红外摄像头的光轴信息，确定所述红外图像中的目标相对于所述红外摄像头光轴中心的红外目标角度；根据所述可见光目标检测结果和所述可见光摄像头的光轴信息，确定所述可见光图像中的目标相对于所述可见光摄像头光轴中心的可见光目标角度；将所述红外目标角度和所述可见光目标角度进行匹配，当所述红外目标角度和所述可见光目标角度满足预设匹配条件时，确定对应的所述红外目标检测结果和所述可见光目标检测结果配准上，获得所述配准结果。8.根据权利要求7所述的双光融合方法，其特征在于，所述根据所述配准结果，按照所述融合权重，将配准上的所述红外目标检测结果和所述可见光目标检测结果进行融合，获得携带目标检测结果的双光融合图像之前，还包括：根据所述配准结果，分别获取配准上的所述红外目标检测结果和所述可见光目标检测结果对应的红外目标纹理信息和可见光目标纹理信息；根据所述红外目标纹理信息和所述可见光目标纹理信息，对所述配准结果进行校准。9.根据权利要求8所述的双光融合方法，其特征在于，所述根据所述配准结果，分别获取配对上的所述红外目标检测结果和所述可见光目标检测结果对应的红外目标纹理信息和可见光目标纹理信息，包括：按照所述配准结果，根据配准上的所述红外目标检测结果和所述可见光目标检测结果，以及所述红外图像与所述可见光图像之间的映射矩阵，获得具有相同分辨率的红外目标区域和可见光目标区域；分别求取所述红外目标区域和所述可见光目标区域的纹理信息，获得所述红外目标纹理信息和所述可见光目标纹理信息。10.一种环境自适应的双光融合设备，其特征在于，包括存储器及处理器，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任意一项所述的双光融合方法。11.根据权利要求11所述的双光融合设备，其特征在于，还包括分别与所述处理器连接的红外摄像头、可见光摄像头和显示器；所述红外摄像头用于采集所述红外图像，并将所述红外图像发送至所述处理器；所述可见光摄像头用于采集所述可见光图像，并将所述可见光图像发送至所述处理器；所述显示器用于显示所述双光融合图像；其中，所述红外摄像头与所述可见光摄像头的光轴平行。12.根据权利要求10所述的双光融合设备，其特征在于，还包括与所述处理器连接的环境传感器；所述环境传感器用于采集表征所述目标场景环境的环境信息；其中，所述环境传感器包括环境光线传感器和环境湿度传感器中至少之一，所述环境光线传感器用于获取所述目标场景环境的环境光线信息，所述环境湿度传感器用于获取所
述目标场景环境的环境湿度信息。13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9中任意一项所述的双光融合方法。

技术总结
本申请提供了一种环境自适应的双光融合方法、设备和介质，所述环境自适应的双光融合方法通过获取同一目标场景下的同组红外图像和可见光图像，以及获取表征目标场景环境的环境信息，并根据所述环境信息得到所述红外图像和所述可见光图像的融合权重，再按照所述融合权重，将所述红外图像和所述可见光图像进行融合，获得双光融合图像。因此，本申请提供的双光融合方法在不同的目标场景环境下，基于环境信息的不同，按照不同的融合权重进行红外图像和可见光图像的双光融合，均可获得融合效果良好的双光融合图像，具有较高的环境适应性，能优化目标检测的检测率与误检率，有利于提升目标感知模块在各种环境场景下的感知性能，也更便于人眼观察。于人眼观察。于人眼观察。


技术研发人员：陈洁 程良辉 石本义 李学清 倪晨峰
受保护的技术使用者：合肥英睿系统技术有限公司
技术研发日：2023.06.15
技术公布日：2023/9/16