用于检测跑道上的异物的系统及其方法与流程

用于检测跑道上的异物的系统及其方法
对相关申请的交叉引用
1.本技术要求2020年10月1日提交的新加坡专利申请no.10202009789r的权益，其通过引用并入本文。
技术领域
2.本发明涉及一种用于检测跑道上的异物的系统及其方法。


背景技术：

3.机场跑道上的异物和碎片(fod)对飞行器着陆和起飞造成危险。存在使用可见光谱相机以在正常的透明天气状况下执行可靠的fod检测的fod检测系统。在正常的透明天气条件下，例如在没有任何雾的情况下，fod检测系统将能够捕获任何fod的高分辨率图像并处理它们以高精度检测fod。fod可以包括发动机和飞行器部件、工具、建筑碎屑、橡胶材料、天然材料等。
4.然而，在不利的天气状况期间，特别是在有雾的天气状况下，fod检测系统的性能可能受到不利影响和损害。fod检测系统可能无法在有雾的天气状况(即，差的可见度条件)下可靠地检测fod，因为其仅在可见光光谱中操作。因此，在这样的条件下，例如通过雾，将不能“看到”fod，雾通常将沿着跑道的可见度降低到小于1km。可见性条件可以被分类为不同的类别。例如，cat ii表示具有范围从550m(1，800英尺)到300m(1，000英尺)的相关联的跑道视觉范围(rvr)的标准操作，cat iiia表示具有不小于175m(600英尺)的rvr的精密仪器进场和着陆操作，cat iiib表示具有小于175m(600英尺)但不小于50m(600英尺)的rvr的精密仪器进场和着陆操作，cat iiic表示没有rvr限制(即甚至零可见度)的精密仪器进场和着陆操作。取决于机场的地理位置，机场处的跑道的可见性可以变化并且相应地被分类。虽然大多数fod检测系统能够检测具有cat ii可见度的机场的fod，但是它们不能用于经历cat iiia、cat iiib和cat iiic可见度的机场。
5.此外，fod检测系统通常生成无效警报或误报警报。无效警报可能是由于一些现象，主要是光反射，例如来自源自附近建筑物或跑道边缘灯等的人工光源。这些从平滑跑道表面反射或从水坑反射或在跑道表面上积水的人工光可能导致fod检测系统将其识别为fod，并且因此导致无效警报。由于反射而导致的这种无效警报的数量通常将在降雨之后显著增加，此时在跑道路面表面上普遍存在水坑或积水。尽管这样的反射确实发生在白天，但是它们在夜间以及在白天的黎明和黄昏期间更为普遍。
6.当飞行器着陆到跑道上时，fod的存在可能危害飞行器安全着陆。当飞行器正在接近跑道时，其在到达着陆区之前沿着其飞行路径的“最终接近”飞行。此时，飞行器将靠近跑道。最终进场是当飞行器接近以着陆在跑道上时飞行器的飞行路径中的最后一段。最终进场飞行路径是在沿着延伸跑道中心线从基段朝向跑道着陆的方向上的下降飞行路径。飞行器必须与跑道的延伸中心线对准，以准备随后在跑道上下降和着陆。飞行器通常在距机场一到两英里内从基本航段转向最终进场。飞行器通常将遵循其最终进场飞行路径上的进场
斜率以最终着陆在跑道着陆区上。接近斜率通常与水平面成3度。当跑道的可见度低时，飞行员将无法看到跑道上的任何fod，并且如果飞行器撞击fod或飞行器发动机注入fod，则可能是灾难性的。
7.因此，重要的是提供一种能够在不良可见度条件(例如不利天气状况)期间检测fod并且防止或最小化对fod的错误检测的解决方案。


技术实现要素：

8.根据各种实施例，提供了一种用于检测跑道上的异物的方法。该方法包括：从跑道的一侧捕获跑道上的感兴趣区域的第一视图的热图像；从跑道的一侧捕获跑道上的感兴趣区域的第一视图的可见光图像；将可见光图像和热图像中的至少一个分别变换为经变换的可见光图像和经变换的热图像，其中经变换的可见光图像和经变换的热图像是感兴趣区域的第二视图；检测热图像中的热对象图像；检测可见光图像中的可见光对象图像；以及当分别在热图像和可见光对象图像中检测到热对象图像和可见光对象图像时，确定检测到异物。
9.根据各种实施例，第一视图可以是透视图。
10.根据各种实施例，第二视图可以是从飞行器的驾驶舱观看时的驾驶舱视图。
11.根据各种实施例，变换可见光图像可以包括旋转可见光图像。
12.根据各种实施例，变换热图像可以包括旋转热图像。
13.根据各种实施例，变换可见光图像可以包括扭曲可见光图像。
14.根据各种实施例，变换热图像可以包括扭曲热图像。
15.根据各种实施例，该方法还可以包括在飞行器的驾驶舱中的显示器中显示变换的可见光图像和变换的热图像中的至少一个。
16.根据各种实施例，确定异物可以包括在热对象图像和可见光对象图像中的每一个中生成异物的至少一个属性，比较热对象图像和可见光对象图像中的异物的至少一个属性，使得当热对象图像和可见光对象图像中的异物的至少一个属性相同时检测到异物。
17.根据各种实施例，异物的至少一个属性可以包括热对象图像在热图像中的位置和可见光对象图像在可见光图像中的位置。
18.根据各种实施例，当热对象图像在热图像中的位置与可见光对象图像在可见光图像中的位置之间的距离在位置参数内时，热对象图像和可见光对象图像中的异物的至少一个属性相同。
19.根据各种实施例，异物的至少一个属性可以包括热对象图像和可见光对象图像的尺寸。
20.根据各种实施例，当热图像中的热对象图像的尺寸与可见光图像中的可见光对象图像的尺寸的差异在尺寸参数内时，热对象图像和可见光对象图像中的异物的至少一个属性相同。
21.根据各种实施例，提供了一种用于检测跑道上的异物的方法。该方法包括：从跑道的一侧捕获跑道上的感兴趣区域的第一视图的多个热图像；从跑道的一侧捕获跑道上的感兴趣区域的第一视图的多个可见光图像；将多个可见光图像和多个热图像中的至少一个分别变换为多个变换后的可见光图像和多个变换后的热图像，其中多个变换后的可见光图像
和多个变换后的热图像是感兴趣区域的第二视图；检测热图像中的热对象图像；检测可见光图像中的可见光对象图像；以及当分别在热图像和可见光对象图像中检测到热对象图像和可见光对象图像时，确定检测到异物。
22.根据各种实施例，第一视图可以包括透视图。
23.根据各种实施例，第二视图可以包括当从飞行器的驾驶舱观看时的驾驶舱视图。
24.根据各种实施例，变换多个可见光图像可以包括旋转多个可见光图像。
25.根据各种实施例，变换多个热图像可以包括旋转多个热图像。
26.根据各种实施例，变换多个可见光图像可以包括扭曲多个可见光图像。
27.根据各种实施例，变换多个热图像可以包括扭曲多个热图像。
28.根据各种实施例，所述方法可进一步包含拼接所述多个经变换可见光图像以形成单一可见光图像。
29.根据各种实施例，该方法还可以包括拼接多个变换的热图像以形成单一热图像。
30.根据各种实施例，该方法还可以包括在飞行器的驾驶舱中的显示器中显示单一可见光图像和单一热图像中的至少一个。
31.根据各种实施例，提供了一种用于检测跑道上的异物的系统。该系统包括：热相机，其包括第一视场并且适于从跑道的一侧捕获跑道上的感兴趣区域的第一视图的热图像；可见光相机，其包括第二视场并且适于从跑道的一侧捕获跑道上的感兴趣区域的第一视图的可见光图像，其中第一视场与第二视场重叠；处理器，其与热相机和可见光相机通信；存储器，其与处理器通信以用于存储可由处理器执行的指令，使得处理器被配置为将可见光图像和热图像中的至少一个分别变换为经变换的可见光图像和经变换的热图像，其中经变换的可见光图像和经变换的热图像是感兴趣区域的第二视图；检测热图像中的热对象图像；检测可见光图像中的可见光对象图像；以及当分别在热图像和可见光对象图像中检测到热对象图像和可见光对象图像时，确定检测到异物对象。
32.根据各种实施例，第一视图可以包括透视图。
33.根据各种实施例，第二视图可以包括当从飞行器的驾驶舱观看时的驾驶舱视图。
34.根据各种实施例，为了变换可见光图像，处理器可以被配置为旋转可见光图像。
35.根据各种实施例，为了变换热图像，处理器可以被配置为旋转热图像。
36.根据各种实施例，为了变换可见光图像，处理器可以被配置为使可见光图像扭曲。
37.根据各种实施例，为了变换热图像，处理器可以被配置为扭曲热图像。
38.根据各种实施例，处理器还可以被配置为在飞行器的驾驶舱中的显示器中显示变换的可见光图像和变换的热图像中的至少一个。
39.根据各种实施例，为了确定异物，处理器可以被配置为生成热对象图像和可见光对象图像中的每一个中的异物的至少一个属性，比较热对象图像和可见光对象图像中的异物的至少一个属性，使得当热对象图像和可见光对象图像中的异物的至少一个属性相同时，检测到异物。
40.根据各种实施例，异物的至少一个属性可以包括热对象图像在热图像中的位置和可见光对象图像在可见光图像中的位置。
41.根据各种实施例，当热对象图像在热图像中的位置与可见光对象图像在可见光图像中的位置之间的距离在位置参数内时，热对象图像和可见光对象图像中的异物的至少一
个属性相同。
42.根据各种实施例，异物的至少一个属性可以包括热对象图像和可见光对象图像的尺寸。
43.根据各种实施例，当热图像中的热对象图像的尺寸与可见光图像中的可见光对象图像的尺寸的差异在尺寸参数内时，热对象图像和可见光对象图像中的异物的至少一个属性相同。
44.根据各种实施例，提供了一种用于检测被划分成多个扇区的跑道上的异物的系统。该系统包括彼此间隔开的多组相机，多组相机中的每组相机可以包括：热相机，其包括第一视场并且适于从跑道的一侧捕获跑道上的感兴趣区域的第一视图的热图像；可见光相机，其包括第二视场并且适于从跑道的一侧捕获跑道上的感兴趣区域的第一视图的可见光图像，使得第一视场与第二视场重叠；处理器，其与热相机和可见光相机通信；存储器，其与处理器通信，用于存储可由处理器执行的指令，使得处理器可以被配置为将可见光图像和热图像中的至少一个分别变换为经变换的可见光图像和经变换的热图像，其中经变换的可见光图像和经变换的热图像是感兴趣区域的第二视图；检测热图像中的热对象图像；检测可见光图像中的可见光对象图像；以及当分别在热图像和可见光对象图像中检测到热对象图像和可见光对象图像时，确定检测到异物对象，使得多组相机中的每组相机可以被配置为扫描跑道的多个扇区中的一个扇区。
45.根据各种实施例，处理器可以被配置为拼接来自多组相机的多个经变换的可见光图像以形成单一可见光图像。
46.根据各种实施例，处理器可以被配置为拼接来自多组相机的多个经变换的热图像以形成单一热图像。
附图说明
47.图1示出了用于检测跑道上的异物的系统的示例性实施例的示意图。
48.图1a示出了其中具有异物的可见光物体图像的可见光图像和其中具有异物的热物体图像的热图像的示意图。
49.图2a示出了系统的示例性实施例。
50.图2b示出了图2a中的系统扫描跑道的多个扇区之一。
51.图2c示出了感兴趣区域的第一视图的示例性实施例。
52.图2d示出了感兴趣区域的显示第二视图的示例性实施例。
53.图3示出了用于检测跑道上的异物的示例性方法的流程图。
54.图3a示出了经历到旋转的可见光图像或旋转的热图像的变换的可见光图像或热图像的示例性实施例。
55.图3b示出了用于检测被划分成多个扇区的跑道上的异物的系统的示例性实施例。
56.图4示出了分别被拼接以形成单一可见光图像或单一热图像的多个旋转可见光图像或多个旋转热图像的示例性实施例。
57.图4a示出了沿着飞行器的最终接近飞行路径的飞行器的透视图。
58.图5示出了用于检测跑道上的异物的示例性方法的流程图。
59.图6示出了用于检测跑道上的异物的示例性方法的流程图。
60.图7示出了用于比较热物体图像和可见光物体图像中的异物的至少一个属性的示例性方法的流程图。
61.图8示出了用于识别跑道上的异物的方法的流程图。
62.图9示出了用于识别跑道上的异物的方法的流程图。
63.图10示出了用于训练图像识别模块以改进跑道上的异物的识别的方法的流程图。
64.图11示出了利用热相机检测异物的方法的流程图。
具体实施方式
65.在以下示例中，将参考附图，其中相同的特征用相同的附图标记表示。
66.图1示出了用于检测跑道上的异物20的系统100的示例性实施例的示意图。系统100包括：热相机110，其具有第一视场110f并且适于从跑道的一侧捕获跑道上的感兴趣区域112的第一视图的热图像110m；可见光相机120，其具有第二视场120f并且适于从跑道的一侧捕获跑道上的感兴趣区域112的第一视图的可见光图像，使得第一视场110f与第二视场120f重叠；处理器132，其与热相机110m和可见光相机120m通信；存储器134，其与处理器132通信，用于存储可由处理器132执行的指令，使得处理器132被配置为将可见光图像和热图像中的至少一个分别变换为经变换的可见光图像和经变换的热图像，其中经变换的可见光图像和经变换的热图像是感兴趣区域的第二视图；检测热图像中的热对象图像；检测可见光图像中的可见光对象图像；以及当分别在热图像和可见光对象图像中检测到热对象图像和可见光对象图像时，确定检测到异物20。系统100可以包括服务器，该服务器包括处理器132、存储器134、i/o接口136，该i/o接口136被配置为提供处理器132与外围接口模块(例如，键盘、鼠标、触摸屏、显示器等)之间的接口。系统100可以包括通信模块138，通信模块138被配置为经由互联网促进系统100与其他用户设备(例如，移动设备、膝上型计算机)之间的有线或无线通信。系统100可以包括被配置为存储数据的存储设备140。系统100可以包括显示器，例如显示器、触摸屏，用于向操作员显示信号，例如警报信号、图像等。系统100被配置为检测跑道、滑行道、机坪、坡道等上的异物、碎片(fod)，在没有辅助照明的白天和夜间环境光条件下，例如可见光谱照明、红外照明、激光照明。
67.图1a示出了其中具有异物20的可见光对象图像120b的可见光图像120m和其中具有异物20的热对象图像110b的热图像110m的示意图。
68.系统100可以包括图像处理模块134m(见图1)，其被配置为处理从热相机110和可见光相机120捕获的图像110t、120t。系统100可以包括热相机操作模块134t，其包含用于操作热相机110的热相机110操作参数。系统100可以包括可见光相机操作模块134v，其包含用于操作可见光相机120的可见光相机120操作参数。模块134t、134v、134m可以存储在存储设备140中并且被加载到存储器134中以由处理器132处理。图像处理模块134可以被配置为将可见光图像和/或热图像变换为经变换的可见光图像和经变换的热图像。
69.在捕获热图像110m和可见光图像120m时，图像110m、120m可以被传输到处理器132以进行处理。处理器132可以接收和处理热图像110m和可见光图像120m以检测跑道上的异物20。
70.图2a示出了系统200的示例性实施例。系统200可以包括一组相机，即可见光相机220和热相机210。该组相机210s可以刚性地安装在适于移动该组相机210s的致动器250上。
一组相机210s可以由处理器132控制以扫描跑道的扇区以检测跑道的表面上的异物20。
71.致动器250可以是适于同时平移和倾斜该组相机210s的平移和倾斜单元(ptu)，使得该组相机210s能够具有相同的视场并聚焦在相同的感兴趣区域上。致动器250可以适于在水平方向210h上平移该组相机210s和/或在垂直方向210v上倾斜该组相机210s。致动器250可以与处理器132通信，使得处理器132可以被配置为远程控制致动器250的移动以平移和倾斜该组相机210s以扫描跑道。致动器250可以安装在通常沿着跑道定位的支撑件252(例如桅杆结构)的顶部上。支撑件可以位于距跑道的中心线304(参见图3)120m-350m的距离处。
72.图2b示出了图2a中的系统100扫描跑道202的多个扇区202s之一。每组相机210s可以包括热相机210和可见光相机220，每个相机具有视场210f、220f并且适于捕获感兴趣区域212。可见光相机220的视场210f可以与热相机210的视场220f重叠。可见光相机220和热相机210的视场210f、220f两者可以覆盖跑道202的扇区202s内的特定感兴趣区域212。因此，由于重叠的视场210f、220f，可见光相机220和热相机210两者可以在扫描区段202s的同时检测跑道的区段202s上的相同异物20。
73.图2c示出了感兴趣区域212的第一视图的示例性实施例。第一视图可以是透视图。一组相机210s可以设置在跑道202的一侧上以捕获感兴趣区域212的第一视图。一组相机210s可以设置在距跑道202一定距离处，例如距跑道202的中心线120m-150m处。
74.图2d示出了感兴趣区域212的显示器260第二视图的示例性实施例。显示器260可以设置在飞行器的驾驶舱中。第二视图可以是驾驶舱视图，该驾驶舱视图可以是飞行员在从驾驶舱观看时看到的视图。如图2d所示，跑道202的远端比跑道202的近端窄，描绘了飞行器在跑道202的近端处朝向跑道202的远端观看的视图。系统100可以检测跑道202上的异物20并且在安装在飞行器的驾驶舱中的显示器260上显示异物20。异物20可以用图形框260b突出显示，以使异物20对飞行员更明显，从而可以采取适当的预防措施来避开异物20。飞行员可以选择延迟着陆程序，直到异物20从跑道或避开异物20的其他方式清除。
75.系统100可以被部署为增强由飞行器捕获的机场的现场镜头和机场的图像，以生成辅助的增强现实镜头及其图像，以帮助飞行员更好地看到跑道202。系统100可以将可见光对象图像120b和/或热对象图像110b增强到由飞行器捕获的实时镜头上。由系统100捕获的跑道202的镜头的增强使得镜头能够基于飞机相对于跑道202的相对位置而看起来好像从着陆飞机的驾驶舱的视角拍摄。然后可以将该信息实时传输到接近的飞行器的驾驶舱以帮助其飞行员着陆。
76.由于由系统捕获的高清晰度可见光图像和/或高光谱热图像比人类在低可见度条件(例如雾、雾、雨和低光)下看到的图像能够更好地描绘跑道202，因此传输到显示器260的增强现实图像将允许飞行员以比没有系统100的飞行器更高的清晰度和分辨率查看跑道202。增强的镜头也可以叠加对飞行员有用的信息，诸如跑道202上确认的异物20的存在。系统100使得能够检测具有cat ii可见度、cat iiia可见度、cat iiib可见度和cat iiic可见度的机场的异物20。
77.图3示出了用于检测跑道202上的异物20的示例性方法1000的流程图。该方法包括：在框1010中从跑道的一侧捕获跑道202上的感兴趣区域112的第一视图的热图像110m；在框1020中从跑道202的一侧捕获跑道上的感兴趣区域112的第一视图的可见光图像120m；
在框1030中将可见光图像120m和热图像110m中的至少一个分别变换为经变换的可见光图像和经变换的热图像，使得经变换的可见光图像和经变换的热图像是感兴趣区域112的第二视图；在框1040中检测热图像110m中的热对象图像110b；在框1050中检测可见光图像120m中的可见光对象图像120b；以及当在框1060中分别在热图像110m和可见光对象图像120b中检测到热对象图像110b和可见光对象图像120b时，确定检测到异物20。热物体图像110b可以是表示热图像110m中的异物20的热图像110m的一部分，并且可以随意地称为热图像110m中的异物20。可见光对象图像120b可以是表示可见光图像120m中的异物20的可见光图像120m的一部分，并且可以随意地称为可见光图像120m中的异物20。
78.在捕获热图像110m和可见光图像120m之前，该方法可以包括利用热相机110和可见光相机120扫描跑道。当热相机110和可见光相机120扫描跑道的扇区时，热相机110和可见光相机120捕获沿着该扇区的多个感兴趣区域112的热图像110m和可见光图像120m。为了检测异物20，图像处理模块134m可以处理热图像110m和可见光图像120m以确定异物20是否存在于热图像110m和可见光图像120m中。在检测到异物20时，图像处理模块134m可以被配置为分别识别热图像110m和可见光图像120m内的热对象图像110b和可见光对象图像120b。在识别异物20时，系统100可以生成警报信号。
79.图3a示出了经历到旋转可见光图像120t或旋转热图像110r的变换的可见光图像120m或热图像110m的示例性实施例。相同的变换可以适用于热图像110m到变换的热图像的变换。参考图2c，可见光图像120m可以由可见光相机120捕获。参考图3a，处理器132可以接收可见光图像120m。处理器132可以运行图像处理模块134m以变换图像。处理器132可以被配置为在1202处扭曲可见光图像120m(如弯曲箭头所示)以在1204处获得扭曲的可见光图像。处理器132可以被配置为在1206处识别和调整可见光图像120m中的细节。例如，处理器132可以向下移位跑道202的中心线202c以沿着跑道202的中心集中中心线202c，使得跑道202的可见光图像可以类似于跑道202的俯视图，如1208所示。处理器132可以检测可见光对象图像(图3a中未示出)并且相应地在垂直方向(即垂直于中心线)上移动可见光对象图像。处理器132可以配置为将在1210处的可见光图像120m(例如，逆时针90度)旋转到在1212处的旋转可见光图像120r。处理器132可以被配置为在1212处扭曲可见光图像120m以将可见光图像120m朝向经变换的可见光图像120t变换，从而在透视图中描绘跑道，如图2d所示。处理器132可以被配置为在飞行器的驾驶舱中的显示器260(图3a中未示出)中显示经变换的可见光图像120t和经变换的热图像110t中的至少一个。变换的可见光图像1202t和变换的热图像110t可以是跑道202的多个扇区202s中的一个扇区的图像。可以对可见光对象图像120b和/或热对象图像110b执行变换。
80.为了检测异物20，该方法可以包括在热物体图像110b和可见光物体图像120b中的每一个中生成异物20的至少一个属性，比较热物体图像110b和可见光物体图像120b中的异物20的至少一个属性，使得当热物体图像110b和可见光物体图像120b中的异物20的至少一个属性相同或在指定参数或阈值水平内时，检测到异物20。系统100可以被配置为当通过将可见光相机120和热相机110变焦到检测到的异物20上来检测到异物20时，获得放大的热对象图像110b和放大的可见光对象图像120b。
81.图3b示出了用于检测被划分成多个扇区302s的跑道302上的异物20的系统300的示例性实施例。系统300包括彼此间隔开的多组相机310s。多组相机310s中的每一组包括：
热相机210，其具有第一视场210f并且适于从跑道302的一侧捕获跑道302上的感兴趣区域212的第一视图的热图像110m；可见光相机220，其具有第二视场220f并且适于从跑道302的一侧捕获跑道302上的感兴趣区域212的第一视图的可见光图像120m，使得第一视场210f与第二视场220f重叠。系统300还包括与多个可见光相机220和多个热相机210通信的处理器132；与处理器132通信的存储器，用于存储可由处理器执行的指令，使得处理器被配置为将可见光图像和热图像中的至少一个分别变换为经变换的可见光图像和经变换的热图像，使得经变换的可见光图像和经变换的热图像是感兴趣区域的第二视图，检测热图像110m中的热对象图像110b，检测可见光图像120m中的可见光对象图像120b，并且当分别在热图像110m和可见光对象图像120b中检测到热对象图像110b和可见光对象图像120b时确定检测到异物20，使得一组相机310s中的每个相机被配置为扫描跑道302的多个扇区302s中的一个扇区。如图3所示，跑道302可以被划分为多个扇区302s。多组相机310s中的每一组可以扫描多个扇区302s中的一个以检测相应扇区302s的表面上的任何异物20。多个扇区302s中的每一者可进一步划分成多个子扇区。每一组相机310s可操作以扫描专用扇区302s且逐子扇区地扫描扇区302s。以这种方式，当检测到异物20时，系统300能够基于扫描扇区302s的一组相机310s来识别扇区302s。相机组310s可以在特定的典型扫描方向上扫描扇区302s，例如从最左侧子扇区到最右侧子扇区或从最右侧子扇区到最左侧子扇区。
82.图4示出了被拼接以分别形成单一可见光图像120u或单一热图像110u的多个旋转可见光图像120r或多个旋转热图像110r的示例性实施例。多组相机210s可以从跑道202的一侧捕获跑道202上的感兴趣区域212的第一视图的多个可见光图像120m，并且从跑道202的一侧捕获跑道202上的感兴趣区域212的第一视图的多个热图像110m。处理器132可以将多个可见光图像120m和多个热图像110m中的至少一个分别变换为多个变换可见光图像120t和多个变换热图像110t，使得多个变换可见光图像和多个变换热图像具有感兴趣区域的第二视图。如图4所示，处理器132可以运行图像处理模块134m以拼接多个旋转可见光图像120r以形成单一可见光图像120u和/或拼接多个旋转热图像110r以形成单一热图像110u。因此，多个旋转可见光图像120r和多个旋转热图像110r描绘多个扇区202s，并且当拼接在一起时，单一可见光图像120u和单一热图像110u从俯视图描绘跑道202。如所提及的，处理器132可以扭曲单一可见光图像120u和/或单一热图像110u以形成跑道202的第二视图，即驾驶舱视图。
83.图4a示出了沿着飞行器的最终接近飞行路径的飞行器10的透视图。如图4a所示，飞行器10的驾驶舱视图10f与跑道202的扇区202s重叠。当变换的可见光图像120t和/或变换的热图像110t显示在显示器260上时，飞行员能够从飞行器10的驾驶舱中的显示器看到异物20。飞行员的注意力被带到图形框260b以使飞行员能够发现异物20。
84.系统100可以沿着跑道202接收飞行器10的位置坐标，例如3d位置、gps坐标。基于飞行器10的位置，系统100可以被配置为识别表示来自飞行器10的驾驶舱的视图的变换的可见光图像和/或变换的热图像，并将图像传输到驾驶舱中的显示器260。图像可以包括存储为嵌入其中的元数据的位置坐标。位置坐标可以是在图像中捕获的一组相机210s和/或感兴趣区域212的位置。系统100可以被配置为基于飞行器的位置坐标和图像进行处理并且识别在第二视图(即，驾驶舱视图)中的图像，并且将图像传输到显示器260。如果图像包括异物20的可见光对象图像120b和热对象图像110b，则飞行员将能够在显示器260中看到异
物20。
85.热相机210通过检测前景(即，异物20)与背景(即，跑道表面)之间的热辐射水平(或温度)的差来检测跑道302上的异物20。热相机210在红外光谱中操作，并且不需要任何环境光来使其能够“看到”异物20。热相机210也可通常称为红外热相机。热相机210可以是中波红外(mwir)相机或长波红外(lwir)相机。热相机210提供了在非常低的可见度条件下并且甚至在零照明条件(即，总黑暗)下检测跑道302上的异物20的优点。因此，热相机210提供即使在有雾的天气状况下也能够检测跑道302上的异物20的优点。热相机210可以捕获图像和单色视频输出并将其传输到处理器132。热相机210完全是被动的，没有主动传输或发射，例如射频、微波、人工照明、红外、激光和lidar等。因此，热相机210提供以下优点，例如，不干扰现有的机场系统/设备和飞行器系统/设备，不干扰未来的机场系统/设备和飞行器系统/设备，不许可和批准来自机场和频谱调节器的频率/频谱。
86.与热相机210不同，可见光相机220在可见光谱内操作，并且因此需要一些最小量的环境可见光谱光以使其能够“看到”跑道302上的异物20。当可见度条件太差或在零照明条件下时，可见光相机220不能检测到任何异物20。例如，当可见度条件(在跑道表面上方)非常差或存在雾(在跑道表面上方)时，可见光相机220也不能检测到异物20。可见光相机220能够捕获和传输全色和高分辨率图像/视频，例如全hd(fhd)或4k超高清(4k uhd)分辨率。高分辨率的彩色图像使得能够由操作者可靠且准确地视觉验证和确认检测到的异物20，以及由系统300可靠且准确地识别/分类检测到的异物20。因此，可见光相机220和热相机210两者的组合使用使得系统300能够在非常低的可见度条件(例如，有雾的天气状况)下操作，以使得系统300能够准确且可靠地检测跑道302表面上的异物20。可见光相机220被配置为捕获颜色和高分辨率的可见光图像120m并将其输出到处理器132。可见光相机220不需要红外照明、可见光谱照明或激光照明的任何传输来操作。由于是被动的，系统300提供了这样的优点：其不会对其他机场系统和/或飞行器系统造成任何危险或引起任何干扰，例如用于飞行器从跑道302着陆/起飞。系统300提供以下优点：不干扰现有机场系统/设备和飞行器系统/设备，不干扰未来机场系统/设备和飞行器系统/设备，不许可和批准机场和频谱调节器所需的频率/频谱。
87.图5示出了用于检测跑道上的异物20的示例性方法2000的流程图。系统100可经配置以将可见光相机120指定为主检测器且将热相机110指定为次检测器。参考图5，在框2110中，可见光相机120可以被配置为扫描跑道上的多个扇区之一。可见光相机120可被配置为逐一扫描扇区的子扇区。可见光相机120可以捕获每个扇区内的多个可见光图像120m。多个可见光图像120m可以由图像处理模块134m处理以检测异物20。在框2210中，热相机110可以被配置为扫描由可见光相机120扫描的跑道上的相同扇区。热相机110可被配置为逐一扫描扇区的子扇区。热相机110可以捕获同一扇区内的多个热图像110m。多个热图像110m可以由图像处理模块134m处理以检测异物20。热相机110和可见光相机120可以被配置为同时扫描扇区。用于可见光图像和热图像110m的图像处理模块134m可以是分别用于处理可见光图像120m和热图像110m的单独模块。
88.在框2120中，系统100可以在处理可见光图像120m之后检测异物20。系统100可以识别可见图像内的可见光对象图像120b。在框2220中，系统100可以在处理热图像110m之后检测异物20。系统100可以识别热图像110m内的热对象图像110b。热图像110m和可见光图像
120m可以由处理器132同时处理。如果系统100在可见光图像120m中检测到异物20，则在框2130中，系统100可以生成“疑似fod”警报信号以通知操作者在可见光图像120m中已经检测到异物20。类似地，如果系统100在热图像110m中检测到异物20，则系统100可以在框2230中生成“疑似fod”警报信号以通知操作者在热图像110m中已经检测到异物20，因为异物20的检测尚未被验证。可以为可见光图像120m和热图像110m中的每一个生成“疑似fod”信号。系统100可以在显示器上显示热对象图像110b和/或可见光对象图像120b以供操作者查看。系统100可以生成可见光对象图像120b和热对象图像110b的至少一个属性。至少一个属性可以包括可见光对象图像120b在可见光图像120m中的位置、热对象图像110b在热图像110m中的位置、可见光对象图像120b的尺寸和/或热对象图像110b的尺寸。例如，系统100可以生成可见光图像120m中的可见光对象图像120b的位置和热图像110m中的热对象图像110b的位置和/或可见光对象图像120b和热对象图像110b的尺寸。在框2140中，系统100可以被配置为通过比较可见光对象图像120b和热对象图像110b的至少一个属性来确定在可见光图像120m和热图像110m中是否检测到异物20。该比较步骤的细节可以在图7中示出。如果在框2150中可见光对象图像120b和热对象图像110b的属性匹配，则系统100确定在可见光图像120m和热图像110m中检测到异物20。系统100可以经由外围接口模块接收操作者验证输入，以在观看显示器上的可见光图像120m和/或热图像110m之后验证异物20的检测。在框2160中，系统100可以基于至少一个属性来识别异物20。一旦检测到和/或识别到异物20，系统100就可以在框2170中生成警报信号，例如“确认fod”信号。否则，系统100可以生成“未确认fod”警报信号。系统100可以将警报信号发送到操作者的移动设备或在显示器上显示警报信号以供操作者观看。系统100可以在接收到检测到异物20的操作者验证输入时生成警报信号。
89.图6示出了用于检测跑道上的异物20的示例性方法3000的流程图。方法3000与图5中的方法2000相同，除了系统100被配置为将热相机110指定为主检测器并且将可见光相机120指定为次检测器。图5和图6中相同的附图标记表示相同的步骤。参考图6，在框3110中，热相机110可以被配置为扫描跑道上的多个扇区之一。热相机110可被配置为逐一扫描扇区的子扇区。热相机110可以捕获每个扇区内的多个热图像110m。多个热图像110m可以由图像处理模块134m处理以检测异物20。在框3210中，可见光相机120可以被配置为扫描由热相机110扫描的跑道上的相同扇区。可见光相机120可被配置为逐一扫描扇区的子扇区。可见光相机120可以捕获该扇区内的多个可见光图像120m。多个可见光图像120m可以由图像处理模块134m处理以检测异物20。热相机110和可见光相机120可以被配置为同时扫描扇区。在框3120中，系统100可以在处理热图像110m之后检测异物20。系统100可以识别热图像110m内的热对象图像110b。在框3230中，系统100可以在处理可见光图像120m之后检测异物20。系统100可以识别可见光图像120m内的可见光对象图像120b。热图像110m和可见光图像120m可以由处理器132同时处理。框3140至3170与图5中的框2140至2170相同。
90.图7示出了用于比较热物体图像110b和可见光物体图像120b中的异物20的至少一个属性的示例性方法4140的流程图。图5中的方法2000和图6中的方法3000分别在框2140和框3140中使用方法4140。异物20的至少一个属性可以包括热图像110m中的热对象图像110b的位置和可见光图像120m中的可见光对象图像120b的位置。在框4141中，当热图像110m中的热对象图像110b的位置与可见光图像120m中的可见光对象图像120b的位置之间的距离
在位置参数内时，可以认为热对象图像110b中的异物20和可见光对象图像120b中的至少一个属性相同。例如，处理器132识别可见光图像120m和热图像110m中的可见光对象图像120b和热对象图像110b的位置之间的位置差，并且处理器132确定位置之间的位置差是否在位置参数(即，预定义的位置阈值水平)内。可以基于所有检测到的异物20样本的检测到的位置的统计分析来确定位置参数。如果位置差在位置参数内，则处理器132可以在框4142中生成“位置匹配”警报信号。
91.异物20的至少一个属性可以包括热对象图像110b和可见光对象图像120b的尺寸。在框4143中，当热图像110m中的热对象图像110b的尺寸与可见光图像120m中的可见光对象图像120b的尺寸的差异在尺寸参数内时，可以认为热对象图像110b和可见光对象图像120b中的异物20的至少一个属性相同。例如，处理器132识别可见光图像120m和热图像110m中的可见光对象图像120b和热对象图像110b的尺寸之间的尺寸差，并且处理器132确定位置之间的尺寸差是否在尺寸参数(即，预定尺寸阈值水平)内。可以基于所有检测到的异物20样本的测量大小的统计分析来确定大小参数。如果尺寸差在尺寸参数内，则处理器132可以在框4144中生成“尺寸匹配”警报信号。
92.取决于系统100的配置，该过程可以基于热对象图像110b和可见光对象图像120b的位置和/或大小来检测异物20。例如，在使用热物体图像110b和可见光物体图像120b的位置和尺寸两者的情况下，当热物体图像110b和可见光物体图像120b的位置和尺寸分别在位置参数和尺寸参数内(即匹配)时，检测到异物20。系统100可以在检测到异物20时生成警报信号，例如在框4145中属性匹配时生成“属性匹配”信号。当“位置匹配”警报信号和“尺寸匹配”警报信号开启或生成时，系统100可以生成警报信号。
93.上述示例性系统100和方法提供了一种解决方案，该解决方案使得能够在不利的天气状况期间检测异物20并且防止或最小化对异物20的错误检测。例如，在降雨之后来自水坑或积水的反射，或平滑跑道表面上的反射出现在可见光谱内。因为可见光相机120仅在可见光光谱内操作，所以系统100可能容易将这些反射误解为外来对象20或“疑似fod”。这将导致系统100生成无效警报或误报警报。因此，通过使用热图像110m和可见光图像120m两者来比较和检测异物20，系统100能够提供异物20的更准确的检测并且防止或最小化异物20的错误检测。
94.参考图5中的方法2000和图6中的方法3000。当比较可见光对象图像120b和热对象图像110b的至少一个属性时，系统100可以确定未确认异物20的检测，即可见光对象图像120b中的至少一个属性与热图像110m中的至少一个属性不匹配。系统100然后可以生成“未确认fod”警报信号。在这种情况下，当系统100“怀疑”检测到异物20但识别出未“确认”时，系统100可以被配置为将该事件识别为无效警报或误报警报。因此，系统100可以被配置为将警报信号、属性、特征和该事件的图像中的至少一个存储到数据库(例如，无效警报数据库)中以用于事后分析和调查。
95.图8示出了用于识别跑道上的异物20的方法5000的流程图。图像处理模块134m可以被配置为执行方法5000。系统100可以将多个参考特征向量和与多个参考特征向量中的每一个相关联的对象类别存储在参考特征向量数据库中，参考特征向量数据库可以存储在存储设备140中。为了识别异物20，系统100被配置为识别异物20的对象类别。参考图8，该方法可以包括在框5302中经由可见光相机120和热相机110捕获可见光图像120m和热图像
110m。为了识别热图像110m中的异物20的对象类别，该方法包括在框5304中将热图像110m分割成多个热图像区域。方法可以包括在框5304中将可见光图像120m分割成多个可见光图像区域。分割热图像110m可以包括标记热图像110m中的每个像素，并将具有相同特性的标记像素分组成多个组，以形成多个热图像区域。分割可见光图像120m可以包括标记可见光图像120m中的每个像素，并将具有相同特性的标记像素分组成多个组，以形成多个可见光图像区域。处理器132可以被配置为向热图像110m和可见光图像120m中的每个像素分配标签，使得具有相同标签的像素共享某些共同的特性或属性。在分割时，热图像110m和可见光图像120m由共同覆盖相应图像的多个热图像区域和多个可见光图像区域组成。多个区域中的每个区域内的像素在一些特性、特征或属性(诸如纹理、颜色或强度)方面是类似的。多个图像区域的相邻区域关于相同特性彼此显著不同。分割的热图像110m和可见光图像120m可以用于检测和定位图像中可能包括可疑异物20的一个或多个区域。在框5306中，该方法可以包括从热图像110m和可见光图像120m检测和提取特征。系统100可经配置以将特征向量指派给多个热图像区域中的每一者(例如，热特征向量)及多个可见光图像区域中的每一者(例如，可见光特征向量)。特征可以指图像中发现的图案或不同结构，诸如点、斑点、小块、角、边缘。特征由不同于其直接环境中的图像区域的图像区域表示，例如，通过纹理、颜色或强度。特征可以由特征向量提取、分组和表示。异物20可以由一组特征表示，该组特征可以由特征向量表示。
96.在框5308中，该方法可以包括将特征向量与多个参考特征向量进行比较，使得多个参考特征向量中的每个参考特征向量与对象类别相关联。在框5308中，系统100可以将特征向量与多个参考特征向量进行匹配。每个对象类别，例如橡胶轮胎、机械工具、飞行器部件、车辆部件等，可以由存储在参考特征向量数据库中的特定参考特征向量表示。可以将每个提取的特征向量与参考特征向量数据库中的多个参考特征向量进行匹配。在框5310中，该方法可以包括检测异物20。如果特征向量与多个参考特征向量中的一个或多个参考特征向量之间存在匹配，则系统100可以确定检测到异物20。系统100可以生成“疑似fod”警报信号。在框2312中，该方法可以包括识别异物20的对象类别。系统100可以被配置为识别最接近特征向量及其对象类别的参考特征向量。基于多个参考特征向量中的匹配的一个或多个，系统100可以基于特征向量与多个参考特征向量中的一个或多个之间的最接近匹配(例如，特征向量与特定参考特征向量之间的“最短距离”)来识别或分类异物20。此外，“最短距离”可以用于确定异物20被准确分类的匹配或概率。可以潜在地存在可以匹配特征向量的多于一个的参考特征向量。匹配可以基于模糊匹配。系统100可以被配置为基于对象类别来识别和分类异物20。系统100可以识别可见光图像120m中的异物20的对象类别。基于匹配的参考特征向量，可以检索标记到匹配的参考特征向量的对象类别，并且可以识别或分类异物20。在识别异物20时，系统100可以生成并发送警报信号。
97.图9示出了用于识别跑道上的异物20的方法6000的流程图。方法6000与图8中的方法5000相同，除了系统100被配置为从热图像110m和可见光图像120m自动检测和提取特征，在框6306中将特征向量与多个参考特征向量匹配并检测异物20之外。图8和图9中相同的附图标记表示相同的步骤。系统100可以被配置为使用深度学习模块训练图像处理模块134m并且自动执行框6306中的步骤。
98.热相机110能够通过检测温度差(即，前景(例如，异物20)相对于背景(例如，跑道
202表面)的红外热辐射)来检测异物20。不同类别或类型的异物20由不同的材料制成，例如金属、橡胶、塑料、混凝土等，并且将具有不同的能量吸收率、反射率和发射率。这样，不同类别的异物20将导致不同的温度，即相对于背景(即跑道表面)的不同水平的红外热辐射。异物20与跑道之间的温度差将可由热相机110检测到。
99.因此，通过识别异物20由例如橡胶、金属、塑料、混凝土、沥青等制成的材料的类型来“训练”热相机110或更确切地说热相机操作模块134t以区分不同类别的异物20是有益的。由于由不同类型的材料制成的异物20将具有不同的发射率，导致不同的温度水平和相对于背景(即跑道)的不同的温度对比度水平，因此“训练良好的”热相机110将能够更准确地识别异物20。
100.训练热相机110。在正常的透明天气状况下，热相机110可以被置于“训练”的初始时段中，由此热相机110可以在“训练”模式中操作以使得热相机110能够从可见光相机120的可见光图像120m“学习”。在初始“训练”之后，热相机110可以被充分地“学习”以使得热相机110能够以相对高的准确度水平提供可靠且准确的异物20检测。以高水平的准确度，然后将有可能启用具有“独立”热相机110而不是一组可见光相机120和热相机110的系统100。以这种方式，系统100将在不利的天气状况和/或非常低的可见度条件下适用，而无需可见光相机120。
101.图10示出了用于训练图像处理模块134m以改善跑道上的异物20的识别的方法的流程图。在框7110中，可见光相机120可以被配置为扫描跑道上的多个扇区之一。可见光相机120可以被配置为逐一扫描扇区的子扇区。可见光相机120可以捕获扇区的多个可见光图像120m。多个可见光图像120m可以由图像处理模块134m处理以检测异物20。在框7210中，热相机110可以被配置为扫描由可见光相机120扫描的跑道上的相同扇区。热相机110可经配置以通过扇区的子扇区扫描子扇区。热相机110可以捕获扇区的多个热图像110m。
102.多个热图像110m可以由图像处理模块134m处理以检测异物20。热相机110和可见光相机120可以被配置为同时扫描扇区。在框7120中，系统100可以在处理可见光图像120m之后检测异物20并且识别可见光对象图像120b。在框7220中，系统100可以在处理热图像110m之后检测异物20并识别热对象图像110b。热图像110m和可见光图像120m可以由处理器132同时处理。如果系统100在可见光图像120m中检测到异物20，则系统100可以生成“疑似fod”警报信号以通知操作者在可见光图像120m中已经检测到异物20。类似地，如果系统100在热图像110m中检测到异物20，则系统100可以在框7230中生成“疑似fod”信号以通知操作者在热图像110m中已经检测到异物20，因为异物20的检测尚未被验证。可以为可见光图像120m和热图像110m中的每一个生成“疑似fod”警报信号。系统100可以在显示器上显示热对象图像110b和/或可见光对象图像120b以供操作者查看。系统100可以在框7130中生成可见光对象图像120b的至少一个属性，并且在框7230中生成热对象图像110b的至少一个属性。
103.至少一个属性可以包括可见光对象图像120b在可见光图像120m中的位置、热对象图像110b在热图像110m中的位置、可见光对象图像120b的尺寸、热对象图像110b的尺寸和/或热对象图像110b的温度。例如，系统100可以生成可见光对象图像120b在可见光图像120m中的位置和/或可见光对象图像120b的大小。例如，系统100可以生成热图像110m中的热对象图像110b的位置、热对象图像110b的尺寸和异物20的温度中的至少一个。在框7132和框7232中，系统100可以被配置为将警报信号、属性、特征和该事件的图像中的至少一个存储
到异物警报信号和事件数据库742中。在框7140中，系统100可以被配置为通过比较可见光对象图像120b和热对象图像110b的至少一个属性来确定异物20是否存在于可见光图像120m和热图像110m中。比较至少一个属性的方法可以在图7中的方法4140中示出。如果在框7150中可见光对象图像120b和热对象图像110b的属性匹配，则系统100确定在可见光图像120m和热图像110m中检测到异物20。如果已经检测到异物20，则系统100可以在框7170中生成并显示警报信号，例如“确认fod”警报信号。否则，系统100可以生成并发送“未确认fod”警报信号。在框7172中，系统100可以被配置为将信号、属性、特征和图像中的至少一个存储到异物警报信号和事件数据库742中。在框7180中，系统100可以被配置为优化热相机110的检测配置参数。系统100可以基于存储在异物警报信号和事件数据库742中的数据来优化检测配置参数。系统100可以运行统计分析和/或优化模块以基于数据优化检测配置参数。系统100可以使用人工智能来基于数据优化检测配置参数。在框7182中，系统100可以被配置为将热相机110的优化的检测配置参数存储在用于热相机110的异物20检测配置参数数据库744中。
104.系统100可以针对所有检测/验证的异物对象样本确定热图像110m中的异物对象20的温度和对象类别之间的关系。处理器132还可以被配置为训练热相机110基于来自可见光相机120的可见光图像120m来检测异物20。由于基本上更容易识别和分类可见光图像120m中的异物20，因此系统100可以形成从可见光相机120获得的可见光对象图像120b的对象类别与来自热相机110的热对象图像110b的温度之间的关系。因此，利用足够大的异物样本尺寸，系统100将能够确定不同异物类别之间的关系，例如由不同材料(诸如金属、塑料、橡胶等)制成的异物以及它们对应的温度。然后，系统100能够构建“fod型热分布模型”，其可以用于将各种异物类型(即，由不同材料制成)映射到其对应的温度范围。以这种方式，系统能够基于其热对象图像110b更容易地识别异物20。
[0105]“fod类型热分布模型”将使系统100能够根据热像仪110检测到的异物20的温度来确定异物的类别或类型，包括异物20的具体材料类型，例如金属、橡胶、塑料等。“fod型热分布模型”的开发可以基于数学方法和/或统计方法，诸如统计相关性分析。替代地，“fod类型热分布模型”的开发可以基于人工智能和机器学习技术。该“fod型热分布模型”可以用于优化热相机110的检测配置参数。
[0106]
为了优化热相机110的性能，需要优化热相机110的检测配置参数。热相机110的检测配置参数可以是与热相机110有关的一组操作参数，以使得热相机110能够以最佳和高水平的准确度检测异物20。热相机110的操作参数可以包括灵敏度、增益、亮度、对比度、快门定时设置等。以这种方式，当系统100训练热相机操作模块134t时，热相机110的检测性能将随着时间的推移被提高到其能够作为系统100的“独立”和唯一的异物检测器操作的水平，即，没有可见光相机120。优化性能热相机110在不利的天气条件下和/或在非常低的可见度条件下将是有益的。
[0107]
热相机110可以检测由于不同类型的异物材料引起的各种温度对比度水平。这将使得热相机110能够准确地检测异物20。这还可以使系统100能够基于制成异物20的不同类型的材料来分类或识别不同类别或类型的异物20。
[0108]
数据库742可以包含警报信号，例如“疑似fod”、“确认的fod”和在用于可见光相机120和热相机110两者的方法中发生的事件。数据库742可以存储检测和/或计算的异物20属
性，例如类别、大小、位置、温度等。
[0109]
图11示出了用于利用热相机110检测异物20的方法8000的流程图。在“训练”之后，热相机110能够以相对高的准确度水平提供可靠且准确的异物20检测。在高精度水平的情况下，在没有可见光相机120的情况下使用热相机110将是可能的。参考图11，在框8402中，系统100可以被配置为通过利用存储在热相机110的检测配置参数数据库844中的热相机110的优化检测配置参数来检测异物20。热相机110可以被配置为唯一的异物检测器以检测异物20。
[0110]
技术人员将理解，在一个示例中描述的特征可以不限于该示例，并且可以与其他示例中的任何一个组合。
[0111]
本发明涉及一种用于检测跑道上的异物的系统及其方法，如本文参考附图描述和/或在附图中示出的。

技术特征：
1.一种用于检测跑道上的异物的方法，所述方法包括：从所述跑道的一侧捕获所述跑道上的感兴趣区域的第一视图的热图像；从所述跑道的所述一侧捕获所述跑道上的所述感兴趣区域的所述第一视图的可见光图像；将所述可见光图像和所述热图像中的至少一个分别变换为经变换的可见光图像和经变换的热图像，其中所述经变换的可见光图像和所述经变换的热图像是所述感兴趣区域的第二视图；检测所述热图像中的热对象图像；检测所述可见光图像中的可见光对象图像；以及当分别在所述热图像和所述可见光对象图像中检测到所述热对象图像和所述可见光对象图像时，确定检测到所述异物。2.根据权利要求1所述的方法，其中，所述第一视图是透视图。3.根据权利要求1或2所述的方法，其中，所述第二视图是从飞行器的驾驶舱观看时的驾驶舱视图。4.根据权利要求1-3中任一项所述的方法，其中，变换所述可见光图像包括旋转所述可见光图像。5.根据权利要求1-4中任一项所述的方法，其中，变换所述热图像包括旋转所述热图像。6.根据权利要求1-5中任一项所述的方法，其中，变换所述可见光图像包括扭曲所述可见光图像。7.根据权利要求1-6中任一项所述的方法，其中，变换所述热图像包括扭曲所述热图像。8.根据权利要求1-7中任一项所述的方法，还包括在飞行器的驾驶舱中的显示器中显示经变换的可见光图像和经变换的热图像中的至少一个。9.根据权利要求1-8中任一项所述的方法，其中，确定所述异物包括：在所述热物体图像和所述可见光物体图像中的每一者中生成所述异物的至少一个属性；比较所述热物体图像和所述可见光物体图像中的所述异物的所述至少一个属性，其中当所述热物体图像和所述可见光物体图像中的所述异物的所述至少一个属性相同时，检测到所述异物。10.根据权利要求9所述的方法，其中，所述异物的所述至少一个属性包括所述热对象图像在所述热图像中的位置和所述可见光对象图像在所述可见光图像中的位置。11.根据权利要求10所述的方法，其中，当所述热对象图像在所述热图像中的所述位置与所述可见光对象图像在所述可见光图像中的所述位置之间的距离在位置参数内时，所述热对象图像和所述可见光对象图像中的所述异物的所述至少一个属性相同。12.根据权利要求9-11中任一项所述的方法，其中，所述异物的所述至少一个属性包括所述热对象图像和可见光对象图像的尺寸。13.根据权利要求12所述的方法，其中，当所述热图像中的所述热对象图像的所述尺寸与所述可见光图像中的所述可见光对象图像的所述尺寸的差异在尺寸参数内时，所述热对象图像和所述可见光对象图像中的所述异物的所述至少一个属性相同。14.一种用于检测跑道上的异物的方法，所述方法包括：
从所述跑道的一侧捕获所述跑道上的感兴趣区域的第一视图的多个热图像；从所述跑道的所述一侧捕获所述跑道上的所述感兴趣区域的所述第一视图的多个可见光图像；将所述多个可见光图像和所述多个热图像中的至少一个分别变换成多个经变换的可见光图像和多个经变换的热图像，其中所述多个经变换的可见光图像和所述多个经变换的热图像是所述感兴趣区域的第二视图；检测所述热图像中的热对象图像；检测所述可见光图像中的可见光对象图像；以及当在所述热图像和所述可见光对象图像中分别检测到所述热对象图像和所述可见光对象图像时，确定检测到所述异物。15.根据权利要求14所述的方法，其中，所述第一视图包括透视图。16.根据权利要求14或15所述的方法，其中，所述第二视图包括当从飞行器的驾驶舱观察时的驾驶舱视图。17.根据权利要求14-16中任一项所述的方法，其中，变换所述多个可见光图像包括旋转所述多个可见光图像。18.根据权利要求14-17中任一项所述的方法，其中，变换所述多个热图像包括旋转所述多个热图像。19.根据权利要求14-18中任一项所述的方法，其中，变换所述多个可见光图像包括扭曲所述多个可见光图像。20.根据权利要求14-19中任一项所述的方法，其中，变换所述多个热图像包括扭曲所述多个热图像。21.根据权利要求14-20中任一项所述的方法，还包括拼接所述多个变换的可见光图像以形成单一可见光图像。22.根据权利要求14-21中任一项所述的方法，还包括拼接所述多个变换的热图像以形成单一热图像。23.根据权利要求14-22中任一项所述的方法，还包括在飞行器的驾驶舱中的显示器中显示所述单一可见光图像和所述单一热图像中的至少一个。24.一种用于检测跑道上的异物的系统，所述系统包括：热相机，所述热相机包括第一视场并且适于从所述跑道的一侧捕获所述跑道上的感兴趣区域的第一视图的热图像；可见光相机，所述可见光相机包括第二视场并且适于从所述跑道的所述一侧捕获所述跑道上的所述感兴趣区域的所述第一视图的可见光图像，其中，所述第一视场与所述第二视场重叠；处理器，所述处理器与所述热相机和所述可见光相机通信；存储器，所述存储器与所述处理器通信以用于存储可由所述处理器执行的指令；其中，所述处理器被配置为：将所述可见光图像和所述热图像中的至少一个分别变换为经变换的可见光图像和经变换的热图像，其中，所述经变换的可见光图像和所述经变换的热图像是所述感兴趣区域的第二视图；检测所述热图像中的热对象图像；检测所述可见光图像中的可见光对象图像；
以及当在所述热图像和所述可见光对象图像中分别检测到所述热对象图像和所述可见光对象图像时，确定检测到所述异物。25.根据权利要求24所述的系统，其中，所述第一视图包括透视图。26.根据权利要求24或25所述的系统，其中，所述第二视图包括当从飞行器的驾驶舱观察时的驾驶舱视图。27.根据权利要求24-26中任一项所述的系统，其中，为了变换所述可见光图像，所述处理器被配置为旋转所述可见光图像。28.根据权利要求24-27中任一项所述的系统，其中，为了变换所述热图像，所述处理器被配置为旋转所述热图像。29.根据权利要求24-28中任一项所述的系统，其中，为了变换所述可见光图像，所述处理器被配置为使所述可见光图像扭曲。30.根据权利要求24-29中任一项所述的系统，其中，为了变换所述热图像，所述处理器被配置为扭曲所述热图像。31.根据权利要求24-30中任一项所述的系统，其中，所述处理器还被配置为在飞行器的驾驶舱中的显示器中显示所述变换的可见光图像和所述变换的热图像中的至少一个。32.根据权利要求24-31中任一项所述的系统，其中，为了确定所述异物，所述处理器被配置为生成所述热对象图像和所述可见光对象图像中的每一个中的所述异物的至少一个属性，比较所述热对象图像和所述可见光对象图像中的所述异物的所述至少一个属性，其中当所述热对象图像和所述可见光对象图像中的所述异物的所述至少一个属性相同时，检测到所述异物。33.根据权利要求32所述的系统，其中，所述异物的所述至少一个属性包括所述热对象图像在所述热图像中的位置和所述可见光对象图像在所述可见光图像中的位置。34.根据权利要求33所述的系统，其中，当所述热对象图像在所述热图像中的位置与所述可见光对象图像在所述可见光图像中的位置之间的所述距离在位置参数内时，所述热对象图像和所述可见光对象图像中的所述异物的所述至少一个属性相同。35.根据权利要求24-34中任一项所述的系统，其中，所述异物的所述至少一个属性包括所述热对象图像和可见光对象图像的尺寸。36.根据权利要求35所述的系统，其中，当所述热图像中的所述热对象图像的尺寸与所述可见光图像中的所述可见光对象图像的尺寸的差异在尺寸参数内时，所述热对象图像和所述可见光对象图像中的所述异物的所述至少一个属性相同。37.一种用于检测被划分为多个扇区的跑道上的异物的系统，所述系统包括彼此间隔开的多组相机，所述多组相机中的每组相机包括：热相机，所述热相机包括第一视场并且适于从所述跑道的一侧捕获所述跑道上的感兴趣区域的第一视图的热图像；可见光相机，所述可见光相机包括第二视场并且适于从所述跑道的所述一侧捕获所述跑道上的所述感兴趣区域的所述第一视图的可见光图像，其中所述第一视场与所述第二视场重叠；处理器，所述处理器与所述热相机和所述可见光相机通信；存储器，所述存储器与所述处理器通信以用于存储可由所述处理器执行的指令；
其中，所述处理器被配置为：将所述可见光图像和所述热图像中的至少一个分别变换为经变换的可见光图像和经变换的热图像，其中所述经变换的可见光图像和所述经变换的热图像是所述感兴趣区域的第二视图；检测所述热图像中的热对象图像；检测所述可见光图像中的可见光对象图像，并且当在所述热图像和所述可见光对象图像中分别检测到所述热对象图像和所述可见光对象图像时确定检测到所述异物；其中所述多组相机中的每组相机被配置为扫描所述跑道的所述多个扇区中的一个扇区。38.根据权利要求37所述的系统，其中，所述处理器被配置为拼接来自所述多组相机的所述多个经变换可见光图像以形成单一可见光图像。39.根据权利要求37或38所述的系统，其中，所述处理器被配置为拼接来自所述多组相机的所述多个经变换的热图像以形成单一热图像。

技术总结
一种用于检测跑道上的异物的系统，所述系统包括：热相机，其包括第一视场并且适于从所述跑道的一侧捕获所述跑道上的感兴趣区域的第一视图的热图像；可见光相机，其包括第二视场并且适于从所述跑道的所述一侧捕获所述跑道上的所述感兴趣区域的所述第一视图的可见光图像，其中所述第一视场与所述第二视场重叠；检测所述热图像中的热对象图像；检测所述可见光图像中的可见光对象图像；以及当分别在所述热图像和所述可见光图像中检测到所述热对象图像和所述可见光对象图像时，确定检测到所述异物。所述异物。所述异物。


技术研发人员：周荣捷 周荣琦 周健谋
受保护的技术使用者：周荣琦 周健谋
技术研发日：2021.10.01
技术公布日：2023/6/27