路边基础设施检测、定位和监测的制作方法

1.本发明总体上涉及定位和监测路边基础设施资产，并且更具体地涉及与路边基础设施资产的潜在障碍物有关的车辆感测和通知。


背景技术：

2.通常位于路旁以便于沿着道路进入的公共基础设施资产可以包括消防栓、通信交换机、服务箱、检修口(例如，检修孔)盖和其他装置。无障碍地接近此类资产对于应急响应人员来说可能至关重要。例如，消防员为处理火灾而采取的行动的有效性可能会因能够定位并随后利用最靠近火灾现场的消防栓而受到影响。连接到消防栓的任何延迟都可能导致火灾的不受控制的增长。例如，在建筑物火灾的一些阶段，火灾的规模可能每30秒增加一倍。因此，这可能会增加财产损失以及灭火的风险。
3.除雪可能至关重要，因为消防员必须能够识别到并快速地接近消防栓。消防栓或其他基础设施资产也可能被例如树叶、垃圾或不当停放的车辆阻挡。为了减少此类问题，许多州和城市都制定了遵循(美国国家消防协会的)nfpa-1标准的法律和规章，所述标准要求围绕消防栓周围保持36英寸的净空。降雪后必须立即除去雪和冰。不遵守任何法令都可能导致警告，并随之对不遵守要求的财产所有者进行罚款。


技术实现要素：

4.在本发明的一个方面，用于车辆的设备包括表面穿透雷达收发器，所述表面穿透雷达收发器被配置为响应于用户的激活而查询邻近所述车辆的路径的区域。响应于雷达收发器的对象检测系统被配置为辨识所述区域中的一个或多个检测到的对象的一个或多个空间特征。耦接到雷达收发器和对象检测系统的控制器被配置为(i)将检测到的对象中的至少一者的相应空间特征与多个预定目标特征进行比较以检测基础设施资产，(ii)评估检测到的基础设施资产周围的周界以估计阻挡基础设施资产的障碍物的严重性，以及(iii)当估计的严重性大于阈值时向用户传达警报消息。
附图说明
5.图1是示出经由雷达和光学相机对基础设施资产的车辆查询的示意图。
6.图2是示出基础设施检测和监测系统的框图。
7.图3是示出本发明的一个优选方法的流程图。
8.图4是用于引导车辆紧密接近基础设施资产的显示屏的图形描绘。
9.图5是示出本发明的另一方法的流程图。
具体实施方式
10.在一些实施例中，采用车载雷达系统(诸如常用于驾驶员辅助系统中的超宽带(uwb)雷达单元)和周界相机系统来检测基础设施资产并确定路边基础设施是否被阻挡
(即，被遮拦或以其他方式被遮挡或受损)以致可能必须清除周围的碎屑、树叶、雪、垃圾或其他对象。尽管应急人员可能知道3米至5米内的消防栓的一般gps坐标，但是当消防栓被雪或其他障碍物覆盖时，却可能不足以快速发现消防栓。使用uwb雷达，本发明能够为响应者提供掩埋的消防栓的精确位置。
11.在一些实施例中，uwb雷达充当中程检测器以识别/定位掩埋的基础设施，同时一个或多个车辆周界相机捕获图像，所述图像被分析以确定可能存在于基础设施资产周围的障碍物的严重性。对基础设施资产的检测能够利用与将成为目标的路旁基础设施资产相对应的预定模板。模板可以包括基础设施类型和涉及该基础设施的可接近性要求的相关信息，以及关于移除障碍物的信息(例如，对于积雪的高于地平面的允许高度和资产周围的净空区的大小)。基于模板信息和检测到的障碍物的严重性，可以确定是否需要任何障碍物清除，并且可以相应地通知用户(例如，通过在车辆中显示的用户通知或通过智能手机上的链接的移动应用程序)。
12.可以维护数据库以记录特定用户(例如，消防栓所位于的土地的房主)可能负责的检测到的资产的位置和状况。当第一次检测到资产时，可以根据“地理围栏”区域和/或根据地理标记数据将其添加到数据库，这可以允许将来仅使用光学相机来监测资产。除了辨识基础设施资产的现场的光学图像中的实际的雪或碎屑之外，还可以通过用于确定现时的天气事件是否可能导致需要清除的障碍物的预测算法和/或预报模型来估计被移除的障碍物的可能性。
13.uwb雷达系统还能够用于通过向操作员提供指示与车辆参考点对准的视觉或听觉命令或提示来将车辆与基础设施对准。在自主车辆(av)中，自驾驶模式可以控制车辆移动，以便自动将车辆与基础设施资产对准。uwb雷达可以用于检测车辆参考点距基础设施资产的距离(例如，前向距离和/或横向距离)，并且能够通过车辆显示屏、移动装置上链接的应用程序或对驾驶员的引导信号(例如，用以指示对准位置的车辆内部或外部灯上的闪烁光，或者来自车辆上的声音换能器的蜂鸣声或啁啾声)来将得出的距离传达给用户。
14.参考图1，车辆10被示出为在沿着一侧具有路沿12的道路11上行驶。路旁基础设施资产13被表示为消防栓。消防栓13可能至少部分地被障碍物14遮挡。障碍物14可以包括雪、冰、树叶、植被、碎屑和/或其他对象。车辆10包括表面穿透雷达收发器系统15，所述表面穿透雷达收发器系统被配置为使用雷达脉冲16来查询车辆10周围的选定区域。雷达系统15可以包括超宽带(uwb)雷达模块。可以使用其他类型的表面穿透雷达系统，包括使用各种分配的频带(例如，77ghz和24ghz)的脉冲雷达和调频连续波。雷达系统15可以执行本发明的基础设施检测功能以及其他监测功能两者。现有的汽车雷达部件可适于增加对基础设施资产的监测。示例包括通过盲点信息系统(blis)进行的盲点监测和通过交叉交通警报(cta)系统进行的碰撞警告。
15.uwb雷达系统可商购以用于机动车辆用途(例如，用于车辆功能，诸如自适应巡航控制和自主紧急制动)。uwb雷达采用非常短的持续时间脉冲，其实现表面的高分辨率并且其支持辨识沿着矢量的多次反射以检测被其他反射表面覆盖(即，遮挡)的表面。车辆10还包括用于捕获与由雷达系统15查询的区域重合的图像的光学图像传感器(例如，相机)17。
16.图2更详细地示出用于定位和监测基础设施资产的系统。安装在车辆10上的雷达收发器15和相机17耦接到对象检测系统20，所述对象检测系统被配置为辨识由雷达收发器
15和/或相机17查询的区域中的一个或多个检测到的对象的一个或多个空间特征。对象检测系统20可以是单独的电子模块，或者可以全部或部分地与雷达收发器15和/或与控制器21结合。控制器21被配置为将由对象检测系统20检测到的对象的相应空间特征与多个预定目标特征进行比较以检测基础设施资产。控制器21评估检测到的基础设施资产周围的周界以估计阻挡基础设施资产的任何障碍物的严重性。例如，相机17捕获指向检测到的基础设施资产的图像，并且对象检测系统被配置为响应于捕获的图像而辨识障碍物。如果估计的严重性大于阈值，则控制器21向用户传达警报消息。如下所解释，可以根据检测的基础设施资产的类型来确定阈值。
17.控制器21耦接到通信收发器22，所述通信收发器经由无线通信系统24与云网络23交换网络消息。通信系统24可以包括蜂窝数据网络、wifi网络和/或v2x系统(例如，基于wlan或蜂窝的v2x)。网络服务器25和数据库26耦接到云网络23，用于利用车外资源实施支持服务，以共享关于基础设施资产的各方面的数据(例如，先前建立的基础设施资产的空间特征、维持开放接近的要求和/或已知位置)。控制器21还耦接到位置监测系统27(例如，gps系统)和人机界面28(例如，触摸屏显示面板)。
18.例如，用户30可以包括车辆10的驾驶员或所有者。用户30可以使用hmi 28和/或使用便携式通信装置31(例如，执行应用程序的平板电脑或智能电话)来激活基础设施资产定位和监测功能的各个方面。便携式装置31可以具有与控制器21和/或服务器25的无线链路。无线链路可以直接(例如，经由收发器22与控制器21的wifi连接)或通过无线通信系统24进行。由用户30控制的方面可以包括选择/确认要监测的基础设施资产，建立要与基础设施资产相关联地存储的地理围栏，请求用于将车辆10定位成与基础设施资产的指定对准的引导，以及确认当基础设施资产被阻挡时可以发送到hmi 28和/或便携式装置31的警报消息。
19.图3示出一种示例性方法，其中在车辆沿着道路移动时，控制器或控制器组在步骤35中收集目标基础设施资产的传感器(例如，雷达和相机)数据、位置数据(例如，gps坐标)和模板数据。位置数据可以用于搜索先前已被检测到并已存储的特定基础设施资产的数据库。通过将车辆的当前地理位置与已知基础设施资产的数据库(例如，包括已知资产周围的地理围栏区域的坐标)进行比较，可以避免对先前检测并存储的资产的特定资产的身份进行检测和分类的步骤。出于基础设施资产检测和辨识的目的，在步骤35中收集的传感器数据可以包括uwb雷达数据和/或光学或红外图像数据。在步骤35中收集的模板数据可以包括例如车辆的用户可能感兴趣或紧急服务提供商或公用事业公司可能感兴趣的各种已知类型的基础设施资产(例如，消防栓、电线杆、检修孔盖等)的空间特征。在步骤36中执行检查以通过尝试匹配空间特征(例如，雷达映射或图像数据)与模板数据来确定在车辆周围的查询区域中(例如，在雷达收发器和/或光学图像传感器的检测范围内)是否存在任何基础设施资产。如果尚未检测到任何基础设施资产，则所述方法在步骤35中继续监测相关数据。
20.如果在步骤36中检测到基础设施资产，则本发明的任选功能可以包括在步骤37中执行检查以确定用户是否已经请求用于将车辆操纵成与资产期望的对准的导航辅助。如果是，则在步骤38中提供引导，使得能够(手动地或自动地)将车辆驾驶到相对于基础设施资产的最佳位置。控制器可以被配置为响应于来自用户的导航请求而生成车辆导航命令以与检测到的基础设施资产预定对准地定位车辆。例如，当基础设施资产是消防栓并且车辆是消防卡车时，可以使运载软管的卡车上的位置紧邻消防栓以促进软管的联接。
21.如果在步骤37中(或任选地在步骤38中提供引导之后)没有导航请求，则所述方法继续分析已被识别的基础设施资产周围的潜在障碍物。在步骤39中，收集数据，包括传感器数据(例如，相机图像数据和/或雷达数据)、表征各种障碍物的性质(例如，雪、冰、树叶等的空间特征或其他特征)的模板数据、监管数据和/或预测数据。监管数据可以包括要求保持不受阻挡的某些类型的基础设施资产周围的区域的细节(例如，资产周围的规定半径内的最大允许积雪深度)。可以根据由检测到的基础设施资产表示的基础设施类型来选择阈值。例如，预测数据可以包括天气预报，所述天气预报暗示基于特定资产的位置而预期其周围可能积聚一定深度的雪。
22.使用对象检测(例如，图像辨识)，在步骤40中估计基础设施资产周围的障碍物的严重性并对照阈值进行检查。例如，当资产是消防栓并且障碍物是雪时，则对应的规章可以暗示阈值包括消防栓的预定距离内的预定积雪深度。更一般地，可以根据在距检测到的基础设施资产的预定距离内的障碍物的高度来估计严重性。如果估计的障碍物的严重性不大于阈值，则步骤40检测到不存在过度的障碍物，并且方法在步骤41处结束。如果估计的障碍物的严重性大于阈值，则在步骤42中向用户发送消息，以便向他们通知过度的障碍物，使得可以采取补救措施。例如，可以经由智能电话应用程序向用户的移动装置发送警报消息以识别基础设施资产和过度的障碍物。
23.图4示出用于辅助用户(例如，驾驶员)完成将车辆移动到与基础设施资产46期望的对准和距离的任务的hmi显示器45。显示器45将资产46示出为道路的路沿或路肩47旁边的消防栓。前向定位箭头50和距离窗口51描绘了资产46与车辆的预定参考点(例如，车辆的门或车辆上意图与资产交互的元件的位置)之间的前向/后向距离偏移。侧向定位箭头52和距离窗口53描绘了资产46与车辆的预定参考点(例如，车辆的乘客侧)之间的侧向距离偏移。在移动期间，可以用当前值(例如，从雷达数据、相机数据或诸如来自超声波传感器的其他传感器数据导出)更新距离窗口51和53。箭头50和52的大小可以随着对应距离变得更大或更小而改变。还可以提供接近度图标54，当车辆朝向期望的对准移动时，所述接近度图标可以根据剩余距离显示不同的颜色(例如，随着距离减小，从绿色变为黄色再变为红色)。
24.显示器45还可以包括用于选择自主对准模式的图标55。通过轻击“自动”图标55，用户可以请求车辆接管自动控制以便将其自身操纵到期望位置。
25.显示器45还可以包括“标签”图标56，以允许用户指示已被检测到的基础设施资产应保存在数据库中以供将来监测。对资产的标记可以包括存储包括检测到的基础设施资产周围的边界的地理围栏区以及检测到的基础设施的标识。在存储地理围栏区之后，当车辆将来重新遇到地理围栏区时，控制器能够自动评估检测到的基础设施资产周围的周界以估计阻挡基础设施资产的任何障碍物的严重性，而不必首先检测基础设施资产。
26.图5示出使用地理围栏的方法，其中移动的车辆在步骤60中连续监测其位置坐标(例如，使用gps接收器)。在步骤61中，执行检查以确定车辆坐标是否与任何地理围栏区域匹配。如果否，则返回到步骤60。否则，在步骤62中扫描地理围栏区域内的基础设施资产的位置以寻找障碍物。例如，扫描可以包括收集相机和/或雷达数据。每当检测到有问题的障碍物时，就在步骤63中向用户的便携式装置发送车内通知或无线消息。
27.在本发明的一个方面，所述方法包括以下步骤：响应于来自用户的导航请求而生成车辆导航命令以与检测到的基础设施资产预定对准地定位车辆。
28.在本发明的一个方面，所述方法包括以下步骤：跟踪车辆的地理坐标；存储包括检测到的基础设施资产周围的边界的地理围栏区以及检测到的基础设施的标识；当车辆稍后重新遇到所述地理围栏区时，自动评估检测到的基础设施资产周围的周界以估计阻挡所述基础设施资产的另一障碍物的严重性。
29.在本发明的一个方面，传达警报消息的步骤包括将所述警报消息无线地传输到用户的便携式通信装置。
30.在本发明的一个方面，传达警报消息的步骤包括在所述车辆中的显示屏上向用户显示警报消息。
31.在本发明的一个方面，表面穿透雷达收发器包括超宽带(uwb)雷达收发器。

技术特征：
1.一种用于车辆的设备，其包括：表面穿透雷达收发器，其被配置为响应于用户的激活而查询邻近所述车辆的路径的区域；响应于所述雷达收发器的对象检测系统，其被配置为辨识所述区域中的一个或多个检测到的对象的一个或多个空间特征；控制器，其耦接到所述雷达收发器和所述对象检测系统，其中所述控制器被配置为(i)将所述检测到的对象中的至少一者的相应空间特征与多个预定目标特征进行比较以检测基础设施资产，(ii)评估围绕所述检测到的基础设施资产的周界以估计阻挡所述基础设施资产的障碍物的严重性，以及(iii)当所述估计的严重性大于阈值时向所述用户传达警报消息。2.如权利要求1所述的设备，其还包括：相机，其捕获指向所述检测到的基础设施资产的图像；其中所述对象检测系统被配置为响应于所述捕获的图像而辨识所述障碍物。3.如权利要求2所述的设备，其中根据在距所述检测到的基础设施资产的预定距离内的所述障碍物的高度来估计所述严重性。4.如权利要求3所述的设备，其中控制器被配置为根据由所述检测到的基础设施资产表示的基础设施类型来选择所述阈值。5.如权利要求1所述的设备，其中所述控制器还被配置为响应于来自所述用户的导航请求而生成车辆导航命令以与所述检测到的基础设施资产预定对准地定位所述车辆。6.如权利要求1所述的设备，其还包括：位置跟踪系统，其被配置为确定所述车辆的地理坐标；其中所述控制器还被配置为(iv)存储包括所述检测到的基础设施资产周围的边界的地理围栏区以及所述检测到的基础设施的标识；以及(v)当所述车辆重新遇到所述地理围栏区时，自动评估所述检测到的基础设施资产周围的所述周界以估计阻挡所述基础设施资产的另一障碍物的严重性。7.如权利要求1所述的设备，其中所述警报消息被无线地传输到所述用户的便携式通信装置。8.如权利要求1所述的设备，其中所述警报消息经由所述车辆中的显示屏传达给所述用户。9.如权利要求1所述的设备，其中所述表面穿透雷达收发器包括超宽带(uwb)雷达收发器。10.如权利要求1所述的设备，其中所述表面穿透雷达收发器还执行盲点监测功能。11.如权利要求1所述的设备，其中所述表面穿透雷达收发器还执行交叉交通警报功能。12.一种方法，其包括以下步骤：利用表面穿透雷达收发器响应于用户激活而查询邻近由用户驾驶的车辆的路径的区域；辨识所述区域中的一个或多个检测到的对象的一个或多个空间特征；将所述检测到的对象中的至少一者的相应空间特征与多个预定目标特征进行比较以
检测基础设施资产；评估所述检测到的基础设施资产周围的周界以估计阻挡所述基础设施资产的障碍物的严重性；以及当所述估计的严重性大于阈值时，向所述用户传达警报消息。13.如权利要求12所述的方法，其还包括以下步骤：捕获指向所述检测到的基础设施资产的相机图像；其中所述评估步骤包括响应于所述捕获的相机图像而辨识所述障碍物。14.如权利要求13所述的方法，其中根据在距所述检测到的基础设施资产的预定距离内的所述障碍物的高度来估计所述严重性。15.如权利要求12所述的方法，其还包括根据由所述检测到的基础设施资产表示的基础设施类型来选择所述阈值的步骤。

技术总结
本公开提供了“路边基础设施检测、定位和监测”。表面穿透雷达响应于用户的激活而查询邻近车辆的路径的区域。响应于雷达收发器的对象检测系统被配置为辨识所述区域中的一个或多个检测到的对象的一个或多个空间特征。耦接到雷达收发器和对象检测系统的控制器被配置为(i)将检测到的对象中的至少一者的相应空间特征与多个预定目标特征进行比较以检测基础设施资产，(ii)评估检测到的基础设施资产周围的周界以估计阻挡基础设施资产的障碍物的严重性，以及(iii)当估计的严重性大于阈值时向用户传达警报消息。用户传达警报消息。用户传达警报消息。


技术研发人员：瑞恩
受保护的技术使用者：福特全球技术公司
技术研发日：2022.12.20
技术公布日：2023/7/11