低置信度对象检测条件下的运载工具操作的注释和绘制成图的制作方法

1.本发明大体上涉及运载工具操作管理和驾驶，并且更特别地涉及使用低置信度对象检测条件下的运载工具操作的注释和绘制成图(mapping)。


背景技术：

2.诸如自主运载工具等的运载工具可以穿过运载工具运输网络(例如，道路)的一部分。穿过运载工具运输网络的一部分可以包括诸如由运载工具的传感器等生成或捕获诸如表示运载工具的操作环境或其一部分的数据等的数据。穿过运载工具运输网络的一部分可以包括响应于所捕获的数据而进行动作。可以使用人工智能(例如，经训练的机器学习模型)或其他决策模型来选择动作。


技术实现要素：

3.本文公开了用于低置信度对象检测条件下的运载工具操作的注释和绘制成图的方面、特征、要素、实现和实施例。本发明使得即使在输入数据不存在或不完善的情况下也能够进行操作决策。
4.所公开的实施例的一方面是一种操作运载工具的方法，其包括：随着所述运载工具接近运载工具运输网络内的交叉口，在所述运载工具的处理器处接收来自安装在运载工具上的至少一个传感器的传感器数据；使用所述传感器数据来确定是否检测到所述交叉口的交通流控制装置；以及在检测到所述交通控制装置的情况下，确定所述交通流控制装置的检测类型和检测状态中的至少一个。所述方法还包括使用所述处理器和所述交叉口的类型来确定所述交通流控制装置的现有类型和现有状态中的至少一个，其中，所述交通流控制装置中的至少一个未被检测到，或者所述交通流控制装置的检测类型和检测状态中的至少一个是以小于所定义的检测置信度水平的检测置信度来确定的；在所述运载工具的至少一个控制系统内，用标签标记所述交通流控制装置，所述标签包括所述交通流控制装置的位置、以及所述交通流控制装置的现有类型和现有状态中的至少一个；以及使用并入了针对所述交通流控制装置的标签的所述至少一个控制系统，在所述运载工具运输网络内操作所述运载工具。
5.所公开的实施例的另一方面是一种用于操作运载工具的设备。所述设备包括处理器，所述处理器被配置为：随着所述运载工具接近运载工具运输网络内的交叉口，在所述运载工具的处理器处接收来自安装在运载工具上的至少一个传感器的传感器数据；使用所述传感器数据来确定是否检测到所述交叉口的交通流控制装置；以及在检测到所述交通控制装置的情况下，确定所述交通流控制装置的检测类型和检测状态中的至少一个。所述处理器还被配置为：使用所述交叉口的类型来确定所述交通流控制装置的现有类型和现有状态中的至少一个，其中，所述交通流控制装置中的至少一个未被检测到，或者所述交通流控制装置的检测类型和检测状态中的至少一个是以小于所定义的检测置信度水平的检测置信度来确定的；以及在所述运载工具的至少一个控制系统内，用标签标记所述交通流控制装
置，所述标签包括所述交通流控制装置的位置、以及所述交通流控制装置的现有类型和现有状态中的至少一个。所述运载工具被配置为使用并入了针对所述交通流控制装置的标签的所述至少一个控制系统，在所述运载工具运输网络内进行操作。
6.所公开的实施例的另一方面是一种运载工具，其包括：安装在运载工具上的至少一个传感器；至少一个控制系统；以及处理器。所述处理器被配置为：随着所述运载工具接近运载工具运输网络内的交叉口，接收来自安装在运载工具上的所述至少一个传感器的传感器数据；使用所述传感器数据来确定是否检测到所述交叉口的交通流控制装置；以及在检测到所述交通控制装置的情况下，确定所述交通流控制装置的检测类型和检测状态中的至少一个。所述处理器还被配置为使用所述交叉口的识别来确定所述交通流控制装置的现有类型和现有状态中的至少一个，其中，所述交通流控制装置中的至少一个通过传感器数据未被检测到，或者所述交通流控制装置的检测类型和检测状态中的至少一个是以小于所定义的检测置信度水平的检测置信度来确定的；以及在所述至少一个控制系统内，用标签标记所述交通流控制装置，所述标签包括所述交通流控制装置的位置、以及所述交通流控制装置的现有类型和现有状态中的至少一个。所述运载工具被配置为使用并入了针对所述交通流控制装置的标签的所述至少一个控制系统，在所述运载工具运输网络内操作所述运载工具。
7.这些以及本文公开的方法、设备、过程和算法的其他方面、特征、要素、实现和实施例的变型在下文中进一步详细描述。
附图说明
8.通过参考以下描述和附图中提供的示例，本文公开的方法和设备的各个方面将变得更明显，在附图中相同的附图标记指代相同的要素。
9.图1是可以实现本文公开的方面、特征和要素的运载工具的示例的图。
10.图2是可以实现本文公开的方面、特征和要素的运载工具运输和通信系统的一部分的示例的图。
11.图3是根据本发明的实施例的自主运载工具操作管理系统的示例的图。
12.图4是根据本文的教导的用于应对低置信度对象检测条件的用于操作运载工具的方法的流程图。
13.图5是根据本文的教导的检测交通流控制装置的方法的流程图。
14.图6是根据图4的方法的确定交通流控制装置的现有类型、现有状态或这两者的方法的流程图。
15.图7是根据图6的方法的与运载工具的用户交互的示例的图。
具体实施方式
16.诸如自主运载工具(av)、半自主运载工具或其他运载工具等的运载工具可以穿过运载工具运输网络的一部分。运载工具可以包括一个或多于一个传感器，并且穿过运载工具运输网络可以包括传感器生成或捕获传感器数据(诸如与运载工具的操作环境或其一部分相对应的传感器数据等)。例如，传感器数据可以识别与运载工具操作环境内的一个或多于一个外部对象(诸如行人、远程运载工具、其他对象等)、运载工具运输网络几何形状或其
组合相对应的信息。这在本文可以被称为车载(on-vehicle)对象检测，或被简称为对象检测。
17.对象检测可以与本地存储的一个或多于一个地图或者运载工具可用的一个或多于一个远程地图结合使用，以在运载工具操作期间在运载工具运输网络的交叉口中建议动作或采取动作。例如，运载工具可以依赖于远程生成的、并且通常包含运载工具可能使用的所有交通标志和道路的位置的高清晰度地图。在地图被预先加载(即，本地存储在运载工具内)的情况下，更新之间的数据的静态性质可能妨碍导航和决策制定。可替代地，可以从例如远程运载工具支持系统动态地提供地图。然而，在这种情况下，由于通信问题或其他问题，地图有时可能不可用。此外，虽然更新频率可能比使用预先加载的地图时更快，但是对于新的或更新的位置的校正并不是立即可用的。在任一情况下，过分依赖这种地图可能是不被期望的。不太详细的地图可能不具有与关注位置相关的所有信息。
18.以上内容意味着对象检测是准确的。对象检测本身具有不同的准确程度。这可以通过用于指示利用传感器数据所识别的对象与来自多个已知对象中的对象的匹配程度的概率或一些其他度量来指示。传感器具有不同的灵敏度。此外，在运载工具运输系统中操作时的条件可能将传感器的有效性或准确度降低至低于期望水平，特别是在地图不可用或具有不完整数据的情况下。关于交叉口，例如，交通流控制装置可能被部分或完全遮挡，从而导致用于识别交通流控制装置的传感器数据的置信度低。
19.本发明应对这种低置信度对象检测条件以使运载工具在运载工具运输网络内成功操作。准确地识别并随后注释对象(诸如交通流控制装置等)和将对象绘制成图减少了对远程生成的(例如，高清晰度)地图的依赖。下面从可以使用本发明的运载工具的描述开始描述细节。本文的教导通常关于作为示例的av的操作来描述。如将从描述中清楚看出的，本文的教导可以与av、半自主运载工具或使用传感器数据以用于对象检测的任何其他运载工具一起使用。
20.图1是可以实现本文公开的方面、特征和要素的运载工具的示例的图。如图所示，运载工具100包括底盘110、动力总成120、控制器130和轮140。虽然为了简单起见，运载工具100被示出为包括四个轮140，但是可以使用一个或多于一个任何其他推进装置(诸如推动器或踏步板等)。在图1中，使诸如动力总成120、控制器130和轮140等的元件之间互连的线指示诸如数据或控制信号等的信息、诸如电力或扭矩等的动力、或者信息和动力这两者可以在各个元件之间通信。例如，控制器130可以从动力总成120接收动力，并且可以与动力总成120、轮140或这两者通信以控制运载工具100，该控制可以包括对运载工具100进行加速、减速、转向或以其他方式进行控制。
21.如图所示，动力总成120包括动力源121、变速器122、转向单元123和致动器124。可以包括动力总成的其他元件(诸如悬架、驱动轴、轮轴或排气系统等)或元件的组合。尽管单独示出，但是轮140可以被包括在动力总成120中。
22.动力源121可以包括发动机、电池或其组合。动力源121可以是可操作以提供能量(诸如电能、热能或动能等)的任何装置或装置的组合。例如，动力源121可以包括发动机(诸如内燃发动机、电动马达或者内燃发动机和电动马达的组合等)，并且可以可操作以向轮140中的一个或多于一个轮提供动能作为原动力。动力源121可以包括势能单元，诸如一个或多于一个干电池(诸如镍镉(nicd)、镍锌(nizn)、镍金属氢化物(nimh)、锂离子(li-ion)
等)、太阳能电池、燃料电池、或能够提供能量的任何其他装置等。
23.变速器122可以从动力源121接收能量(诸如动能等)，并且可以将该能量传输到轮140以提供原动力。变速器122可以由控制器130、致动器124或这两者控制。转向单元123可以由控制器130、致动器124或这两者控制，并且可以控制轮140以使运载工具转向。致动器124可以从控制器130接收信号，并且可以致动或控制动力源121、变速器122、转向单元123或其任何组合以操作运载工具100。
24.如图所示，控制器130可以包括定位单元131、电子通信单元132、处理器133、存储器134、用户接口135、传感器136、电子通信接口137或其任何组合。尽管被示出为单个单元，但是控制器130的任意一个或多于一个元件可以集成到任意数量的单独物理单元中。例如，用户接口135和处理器133可以集成在第一物理单元中，并且存储器134可以集成在第二物理单元中。尽管在图1中未示出，但是控制器130可以包括诸如电池等的动力源。尽管被示出为单独的元件，但是定位单元131、电子通信单元132、处理器133、存储器134、用户接口135、传感器136、电子通信接口137或其任何组合可以集成在一个或多于一个电子单元、电路或芯片中。
25.处理器133可以包括现有的或随后开发的能够操纵或处理信号或其他信息的任何装置或装置的组合，该处理器133包括光学处理器、量子处理器、分子处理器或其组合。例如，处理器133可以包括一个或多于一个专用处理器、一个或多于一个数字信号处理器、一个或多于一个微处理器、一个或多于一个控制器、一个或多于一个微控制器、一个或多于一个集成电路、一个或多于一个专用集成电路、一个或多于一个现场可编程门阵列、一个或多于一个可编程逻辑阵列、一个或多于一个可编程逻辑控制器、一个或多于一个状态机或者其任何组合。处理器133可以与定位单元131、存储器134、电子通信接口137、电子通信单元132、用户接口135、传感器136、动力总成120或其任何组合操作地耦接。例如，处理器可以经由通信总线138与存储器134操作地耦接。
26.存储器134可以包括能够例如包含、存储、通信或运输由处理器133使用或与处理器133相连接的机器可读指令或与其相关联的任何信息的任何有形的非暂时性计算机可用或计算机可读介质。存储器134例如可以是一个或多于一个固态驱动器、一个或多于一个存储卡、一个或多于一个可移动介质、一个或多于一个只读存储器、一个或多于一个随机存取存储器、一个或多于一个盘(包括硬盘、软盘、光盘、磁卡或光卡)、或适合于存储电子信息的任何类型的非暂时性介质或其任何组合。
27.通信接口137可以是如图所示的无线天线、有线通信端口、光通信端口或能够与有线或无线电子通信介质150交互的任何其他有线或无线单元。尽管图1示出了经由单个通信链路进行通信的通信接口137，但是通信接口可以被配置为经由多个通信链路进行通信。尽管图1示出了单个通信接口137，但是运载工具可以包括任意数量的通信接口。
28.通信单元132可以被配置为经由有线或无线电子通信介质150(诸如经由通信接口137等)发送或接收信号。尽管在图1中未明确示出，但是通信单元132可以被配置为经由任何有线或无线通信介质(诸如射频(rf)、紫外线(uv)、可见光、光纤、有线线路或其组合等)来进行发送、接收或这两者。尽管图1示出了单个通信单元132和单个通信接口137，但是可以使用任意数量的通信单元和任意数量的通信接口。在一些实施例中，通信单元132可以包括专用短距离通信(dsrc)单元、机载(on-board)单元或其组合。
29.定位单元131可以确定地理位置信息，诸如运载工具100的经度、纬度、高度、行驶方向或速率等。例如，定位单元可以包括全球定位系统(gps)单元，诸如启用广域增强系统(waas)的国家海洋电子协会(nmea)单元、无线电三角测量单元或其组合等。定位单元131可以用于获得例如表示运载工具100的当前航向、运载工具100在二维或三维中的当前位置、运载工具100的当前角定向或其组合的信息。
30.用户接口135可以包括能够与人交互的任何单元，诸如虚拟或物理键盘、触摸板、显示器、触摸显示器、平视显示器(heads-up display)、虚拟显示器、增强现实显示器、触觉显示器、特征跟踪装置(诸如眼跟踪装置等)、扬声器、麦克风、摄像机、传感器、打印机或其任何组合等。如图所示，用户接口135可以与处理器133操作地耦接，或者与控制器130的任何其他元件操作地耦接。尽管被示出为单个单元，但是用户接口135可以包括一个或多于一个物理单元。例如，用户接口135可以包括用于与人进行音频通信的音频接口、以及用于与人进行基于视觉和触摸的通信的触摸显示器。用户接口135可以包括多个显示器，诸如物理上分开的多个单元、单个物理单元内的多个定义部分或其组合等。
31.传感器136可以包括一个或多于一个传感器(诸如传感器阵列等)，该一个或多于一个传感器可操作以提供可以用于控制运载工具的信息。传感器136可以提供与运载工具100的当前操作特性相关的信息。传感器136例如可以包括速率传感器、加速度传感器、转向角传感器、牵引力相关传感器、制动相关传感器、方向盘位置传感器、眼跟踪传感器、座椅位置传感器或任何传感器或者传感器的组合，这些传感器可操作以报告与运载工具100的当前动态状况的某些方面相关的信息。
32.传感器136可以包括可操作以获得与运载工具100周围的物理环境相关的信息的一个或多于一个传感器。例如，一个或多于一个传感器可以检测道路几何形状和特征(诸如车道线等)以及阻碍物(诸如固定阻碍物、运载工具和行人等)。传感器136可以是或可以包括现在已知的或随后开发的一个或多于一个摄像机、激光感测系统、红外感测系统、声感测系统、或任何其他合适类型的车载环境感测装置、或装置的组合。在一些实施例中，传感器136和定位单元131可以是组合单元。
33.尽管未单独示出，但是运载工具100可以包括轨迹控制器。例如，控制器130可以包括轨迹控制器。轨迹控制器可操作以获得用于描述运载工具100的当前状态和针对运载工具100规划的路线的信息，并且基于该信息来确定和优化运载工具100的轨迹。在一些实施例中，轨迹控制器可以输出可操作以控制运载工具100使得运载工具100跟随由轨迹控制器确定的轨迹的信号。例如，轨迹控制器的输出可以是可以被供应给动力总成120、轮140或这两者的优化轨迹。在一些实施例中，优化轨迹可以是诸如转向角集合等的控制输入，其中各个转向角与时间点或位置相对应。在一些实施例中，优化轨迹可以是一个或多于一个路径、线、曲线或其组合。
34.轮140中的一个或多于一个可以是转向轮、推动轮或转向推动轮，该转向轮可以在转向单元123的控制下枢转至转向角，该推动轮可以在变速器122的控制下扭转以推动运载工具100，该转向推动轮可以对运载工具100进行转向和推动。
35.运载工具可以包括未在图1中明确示出的单元或元件，诸如壳体、(蓝牙)模块、调频(fm)无线电单元、近场通信(nfc)模块、液晶显示器(lcd)显示单元、有机发光二极管(oled)显示单元、扬声器或其任何组合。
36.运载工具100可以是在无需直接人工干预的情况下自主控制以穿过运载工具运输网络的一部分的自主运载工具。尽管在图1中未单独示出，但是自主运载工具可以包括自主运载工具控制单元，该自主运载工具控制单元可以进行自主运载工具选路(routing)、导航和控制。自主运载工具控制单元可以与运载工具的其他单元集成。例如，控制器130可以包括自主运载工具控制单元。本文的教导适用于半自主运载工具或其他运载工具。
37.自主运载工具控制单元可以根据当前运载工具操作参数来控制或操作运载工具100以穿过运载工具运输网络的一部分。自主运载工具控制单元可以控制或操作运载工具100以进行所定义的操作或机动动作，诸如停放运载工具等。自主运载工具控制单元可以基于运载工具信息、环境信息、表示运载工具运输网络的运载工具运输网络数据或其组合来生成从诸如运载工具100的当前位置等的起点到目的地的行驶路线，并且可以根据该路线来控制或操作运载工具100以穿过运载工具运输网络。例如，自主运载工具控制单元可以将行驶路线输出到轨迹控制器，并且轨迹控制器可以使用所生成的路线来操作运载工具100以从起点行驶到目的地。
38.图2是可以实现本文公开的方面、特征和要素的运载工具运输和通信系统的一部分的示例的图。运载工具运输和通信系统200可以包括诸如图1所示的运载工具100等的一个或多于一个运载工具210/211，其可以经由一个或多于一个运载工具运输网络220的一个或多于一个部分行驶，并且可以经由一个或多于一个电子通信网络230进行通信。尽管在图2中没有明确示出，但是运载工具可以穿过没有明确地或完全地包括在运载工具运输网络中的区域(诸如越野区域等)。
39.电子通信网络230例如可以是多址系统，并且可以提供运载工具210/211与一个或多于一个通信装置240之间的通信，诸如语音通信、数据通信、视频通信、消息传送通信或其组合等。例如，运载工具210/211可以经由网络230从通信装置240接收诸如表示运载工具运输网络220的信息等的信息。
40.在一些实施例中，运载工具210/211可以经由有线通信链路(未示出)、无线通信链路231/232/237、或任意数量的有线或无线通信链路的组合进行通信。例如，如图所示，运载工具210/211可以经由地面无线通信链路231、经由非地面无线通信链路232或经由其组合进行通信。地面无线通信链路231可以包括以太网链路、串行链路、蓝牙链路、红外(ir)链路、uv链路或能够提供电子通信的任何链路。
41.运载工具210/211可以与另一运载工具210/2110通信。例如，主机或主体运载工具(hv)210可以经由直接通信链路237或经由网络230从远程或目标运载工具(rv)211接收一个或多于一个自动化运载工具间消息(诸如基本安全消息(bsm)等)。例如，远程运载工具211可以将该消息广播到在所定义的广播范围(诸如300米等)内的主机运载工具。在一些实施例中，主机运载工具210可以经由诸如信号中继器(未示出)等的第三方或其他远程运载工具(未示出)接收消息。运载工具210/211可以基于例如所定义的间隔(诸如100毫秒等)定期地发送一个或多于一个自动化运载工具间消息。
42.自动化运载工具间消息可以包括运载工具识别信息、地理空间状态信息(诸如经度、纬度或高度信息等)、地理空间位置准确度信息、运动学状态信息(诸如运载工具加速度信息、横摆率信息、速率信息、运载工具航向信息、制动系统状况信息、油门信息、方向盘角度信息或运载工具选路信息等)或运载工具操作状态信息(诸如运载工具尺寸信息、前照灯
状态信息、转向信号信息、雨刷状况信息、变速器信息或与使运载工具状态变速相关的任何其他信息或信息的组合等)。例如，变速器状态信息可以指示使运载工具变速的变速器是处于空档状态、驻车状态、前进状态还是倒退状态。
43.运载工具210可以经由接入点233与通信网络230进行通信。可以包括计算装置的接入点233可以被配置为经由有线或无线通信链路231/234与运载工具210、与通信网络230、与一个或多于一个通信装置240、或与其组合进行通信。例如，接入点233可以是基站、基站收发器站(bts)、节点b(node-b)、增强型节点b(enode-b)、家庭节点b(home node-b，hnode-b)、无线路由器、有线路由器、集线器、中继器、交换机或任何类似的有线或无线装置。尽管在图2中被示出为单个单元，但是接入点可以包括任意数量的互连元件。
44.运载工具210可以经由卫星235或其他非地面通信装置与通信网络230进行通信。可以包括计算装置的卫星235可以被配置为经由一个或多于一个通信链路232/236与运载工具210、与通信网络230、与一个或多于一个通信装置240、或与其组合进行通信。尽管在图2中被示出为单个单元，但是卫星可以包括任意数量的互连元件。
45.电子通信网络230可以是被配置为提供语音通信、数据通信或任何其他类型的电子通信的任何类型的网络。例如，电子通信网络230可以包括局域网(lan)、广域网(wan)、虚拟专用网(vpn)、移动或蜂窝电话网络、因特网或任何其他电子通信系统。电子通信网络230可以使用诸如传输控制协议(tcp)、用户数据报协议(udp)、因特网协议(ip)、实时传输协议(rtp)、超文本传输协议(http)或其组合等的通信协议。尽管在图2中被示出为单个单元，但是电子通信网络可以包括任意数量的互连元件。
46.运载工具210可以识别运载工具运输网络220的一部分或条件。例如，运载工具210可以包括一个或多于一个车载传感器(诸如图1中所示的传感器136等)，其可以包括速率传感器、轮速传感器、照相机、陀螺仪、光学传感器、激光传感器、雷达传感器、声波传感器、或者能够确定或识别运载工具运输网络220的一部分或条件的任何其他传感器或装置或其组合。传感器数据可以包括车道线数据、远程运载工具位置数据或这两者。
47.运载工具210可以使用经由网络230通信的信息(诸如表示运载工具运输网络220的信息、由一个或多于一个车载传感器识别的信息或其组合等)来穿过一个或多于一个运载工具运输网络220的一个或多于一个部分。
48.尽管为了简单起见，图2示出了两个运载工具210、211、一个运载工具运输网络220、一个电子通信网络230和一个通信装置240，但是可以使用任意数量的运载工具、网络或计算装置。运载工具运输和通信系统200可以包括未在图2中示出的装置、单元或元件。尽管运载工具210被示出为单个单元，但是运载工具可以包括任意数量的互连元件。
49.尽管示出了运载工具210经由网络230与通信装置240进行通信，但是运载工具210可以经由任意数量的直接或间接通信链路与通信装置240进行通信。例如，运载工具210可以经由诸如蓝牙通信链路等的直接通信链路与通信装置240进行通信。
50.在一些实施例中，运载工具210/211可以与实体250/260(诸如运载工具的驾驶员、操作者或所有者等)相关联。在一些实施例中，与运载工具210/211相关联的实体250/260可以与一个或多于一个个人电子装置252/254/262/264(诸如智能电话252/262或计算机254/264等)相关联。在一些实施例中，个人电子装置252/254/262/264可以经由直接或间接通信链路与相应的运载工具210/211进行通信。尽管在图2中一个实体250/260被示出为与相应
的运载工具210/211相关联，但是任意数量的运载工具可以与实体相关联，并且任意数量的实体可以与运载工具相关联。
51.运载工具运输网络220仅示出可导航区域(例如，道路)，但是运载工具运输网络还可以包括一个或多于一个不可导航区域(诸如建筑物等)、一个或多于一个部分可导航区域(诸如停放区域或人行道等)或其组合。运载工具运输网络220还可以包括在一个或多于一个可导航区域或部分可导航区域之间的一个或多于一个立交道(interchange)。运载工具运输网络220的一部分(诸如道路等)可以包括一个或多于一个车道，并且可以与一个或多于一个行驶方向相关联。
52.运载工具运输网络或其一部分可以被表示为运载工具运输网络数据。例如，运载工具运输网络数据可以被表达为可以存储在数据库或文件中的诸如标记语言元素等的层级元素。为了简单起见，本文的附图将表示运载工具运输网络的一部分的运载工具运输网络数据描述为图或地图；然而，运载工具运输网络数据可以以能够表示运载工具运输网络或其一部分的任何计算机可用格式来表达。运载工具运输网络数据可以包括运载工具运输网络控制信息，诸如行驶方向信息、限速信息、通行费(toll)信息、坡度信息(诸如倾斜或角度信息等)、表面材料信息、美学信息、所定义的危害信息或其组合等。
53.运载工具运输网络220的一部分或部分组合可以被识别为关注点或目的地。例如，运载工具运输网络数据可以将建筑物识别为关注点或目的地。可以使用离散的唯一可识别的地理位置来识别关注点或目的地。例如，运载工具运输网络220可以包括定义位置(诸如目的地的街道地址、邮政地址、运载工具运输网络地址、gps地址或其组合等)。
54.图3是根据本发明的实施例的自主运载工具操作管理系统300的示例的图。自主运载工具操作管理系统300可以实现在自主运载工具(诸如图1所示的运载工具100、图2所示的运载工具210/211之一等)、半自主运载工具或实现自主驾驶的任何其他运载工具中。
55.自主运载工具可以穿过运载工具运输网络或其一部分，这可以包括穿过不同的运载工具操作场景。不同的运载工具操作场景可以包括任何可明显识别的操作条件集合，该操作条件集合可能影响自主运载工具在该自主运载工具的定义时空区域或操作环境内的操作。例如，不同的运载工具操作场景可以基于自主运载工具在定义时空距离内可以穿过的道路、道路段或车道的数量或基数(cardinality)。在另一示例中，不同的运载工具操作场景可以基于一个或多于一个交通控制装置，该一个或多于一个交通控制装置可能影响自主运载工具在该自主运载工具的定义时空区域或操作环境内的操作。在另一示例中，不同的运载工具操作场景可以基于一个或多于一个可识别的规则、规章或法律，该一个或多于一个可识别的规则、规章或法律可能影响自主运载工具在该自主运载工具的定义时空区域或操作环境内的操作。在另一示例中，不同的运载工具操作场景可以基于一个或多于一个可识别的外部对象，该一个或多于一个可识别的外部对象可能影响自主运载工具在该自主运载工具的定义时空区域或操作环境内的操作。
56.为了简洁和清楚，本文可以参考运载工具操作场景类型或类别来描述类似的运载工具操作场景。运载工具操作场景的类型或类别可以是指该场景的定义模式或定义模式集合。例如，交叉口场景可以包括自主运载工具穿过交叉口，行人场景可以包括自主运载工具穿过运载工具运输网络中的包括一个或多于一个行人、或者在一个或多于一个行人的定义邻近范围内(诸如行人正在穿越或接近自主运载工具的预期路径等)的部分；车道改变场景
可以包括自主运载工具通过改变车道来穿过运载工具运输网络的一部分；合并(merge)场景可以包括自主运载工具通过从第一车道合并到合并后的车道来穿过运载工具运输网络的一部分；通过障碍物(pass-obstruction)场景可以包括自主运载工具经由通过阻碍物或障碍物来穿过运载工具运输网络的一部分。尽管本文描述了行人运载工具操作场景、交叉口运载工具操作场景、车道改变运载工具操作场景、合并运载工具操作场景和通过障碍物运载工具操作场景，但是可以使用任何其他运载工具操作场景或运载工具操作场景类型。
57.如图3所示，自主运载工具操作管理系统300包括自主运载工具操作管理控制器(avomc)310、操作环境监视器320和操作控制评估模块(也称为模型)330。
58.avomc 310可以接收、识别或以其他方式访问表示自主运载工具的操作环境(诸如当前操作环境或预期操作环境等)或者其一个或多于一个方面的操作环境数据。自主运载工具的操作环境可以包括可明显识别的操作条件集合，该操作条件集合可能影响自主运载工具在该自主运载工具的定义时空区域内、在该自主运载工具的所识别路线的定义时空区域内、或其组合内的操作。例如，可以基于传感器数据、运载工具运输网络数据、路线数据、或表示运载工具的所定义的或所确定的操作环境的任何其他数据或数据的组合，来识别可能影响自主运载工具的操作的操作条件。
59.操作环境数据可以包括用于自主运载工具的运载工具信息，诸如指示自主运载工具的地理空间位置的信息、将自主运载工具的地理空间位置与表示运载工具运输网络的信息相关的信息、自主运载工具的路线、自主运载工具的速率、自主运载工具的加速度状态、自主运载工具的乘客信息、或者与自主运载工具或自主运载工具的操作有关的任何其他信息等。操作环境数据可以包括表示邻近自主运载工具的运载工具运输网络的信息、自主运载工具的所识别路线、或这两者。例如，这可以包括运载工具运输网络中的沿着所识别路线的部分的定义空间距离(诸如300米等)内的信息、指示运载工具运输网络的一个或多于一个方面的几何形状的信息、指示运载工具运输网络的条件(诸如表面条件等)的信息、或其任何组合。
60.操作环境数据可以包括表示自主运载工具的操作环境内的外部对象的信息，诸如表示行人、非人类动物、非机动运输装置(诸如自行车或滑板等)、机动运输装置(诸如远程运载工具等)、或者可能影响自主运载工具的操作的任何其他外部对象或实体的信息等。
61.自主运载工具的操作环境的各方面可以在各自不同的运载工具操作场景内表示。例如，外部对象的相对定向、轨迹、预期路径可以在各自不同的运载工具操作场景内表示。在另一示例中，运载工具运输网络的相对几何形状可以在各自不同的运载工具操作场景内表示。
62.作为示例，第一不同运载工具操作场景可以与行人在人行横道处横穿道路相对应，并且可以在第一不同运载工具操作场景内表示行人的相对定向和预期路径(诸如从左到右横穿或从右到左横穿等)。第二不同运载工具操作场景可以与行人通过乱穿马路(jaywalk)而横穿道路相对应，并且可以在第二不同运载工具操作场景内表示行人的相对定向和预期路径(诸如从左到右横穿、或从右到左横穿等)。
63.自主运载工具可以穿过操作环境内的多个不同运载工具操作场景，这可以是复合运载工具操作场景的各方面。例如，行人可以接近自主运载工具穿过交叉口的预期路径。
64.自主运载工具操作管理系统300可以操作或控制自主运载工具以穿过经受定义约
束(诸如安全约束、法律约束、物理约束、用户可接受性约束、或可以针对自主运载工具的操作而定义或导出的任何其他约束或约束的组合等)的不同运载工具操作场景。
65.avomc 310可以监视自主运载工具的操作环境或其定义方面。监视自主运载工具的操作环境可以包括识别和跟踪外部对象、识别不同运载工具操作场景或其组合。例如，avomc 310可以识别和跟踪自主运载工具的操作环境内的外部对象。识别和跟踪外部对象可以包括识别各个外部对象的可能与自主运载工具相关的时空位置、识别各个外部对象的一个或多于一个预期路径，这可以包括识别外部对象的速率、轨迹或这两者。为了简洁和清楚，本文对位置、预期位置、路径和预期路径等的描述可以省略相应的位置和路径是指地理空间分量和时间分量的表达指示；然而，除非本文明确地指示，或者从上下文明确地清楚地指示，否则本文描述的位置、预期位置、路径和预期路径等可以包括地理空间分量、时间分量或这两者。监视自主运载工具的操作环境可以包括使用从操作环境监视器320接收到的操作环境数据。
66.操作环境监视器320可以包括场景不可知监视器、场景特定监视器或其组合。如下文进一步详细讨论的，诸如阻挡监视器321等的场景不可知监视器可以监视自主运载工具的操作环境，生成表示自主运载工具的操作环境的方面的操作环境数据，并且将操作环境数据输出到一个或多于一个场景特定监视器、avomc 310或其组合。场景特定监视器(诸如行人监视器322、交叉口监视器323、车道改变监视器324、合并监视器325或前方障碍物监视器326等)可以监视自主运载工具的操作环境，生成表示自主运载工具的操作环境的场景特定方面的操作环境数据，并且将操作环境数据输出到一个或多于一个操作控制评估模型330，avomc 310或其组合。
67.例如，行人监视器322可以是用于监视行人的操作环境监视器，交叉口监视器323可以是用于监视交叉口的操作环境监视器，车道改变监视器324可以是用于监视车道改变的操作环境监视器，合并监视器325可以是用于合并的操作环境监视器，并且前方障碍物监视器326可以是用于监视前方障碍物的操作环境监视器。使用虚线示出操作环境监视器327，以指示自主运载工具操作管理系统300可以包括任意数量的操作环境监视器320。
68.操作环境监视器320可以接收或以其他方式访问操作环境数据，诸如由自主运载工具的一个或多于一个传感器生成或捕获的操作环境数据、运载工具运输网络数据、运载工具运输网络几何形状数据、路线数据或其组合等。例如，行人监视器322可以接收或以其他方式访问诸如传感器数据等的信息，这些信息可以指示、对应于或以其他方式与自主运载工具的操作环境中的一个或多于一个行人相关联。操作环境监视器320可以将操作环境数据或其一部分与操作环境或其方面相关联，诸如可以将操作环境数据或其一部分与外部对象(诸如行人、远程运载工具等)或运载工具运输网络几何形状的方面相关联等。
69.操作环境监视器320可以生成或以其他方式识别表示操作环境的一个或多于一个方面(诸如外部对象(诸如行人、远程运载工具等)或运载工具运输网络几何形状的方面等)的信息，这些信息可以包括过滤、提取或以其他方式处理操作环境数据。这样通过将表示操作环境的一个或多于一个方面的信息存储在avomc 310可访问的自主运载工具的存储器(诸如图1所示的存储器134等)中、将表示操作环境的一个或多于一个方面的信息发送到avomc 310、或其组合，操作环境监视器320可以向avomc 310输出或供avomc 310访问表示操作环境的一个或多于一个方面的信息。操作环境监视器320可以将操作环境数据输出到
自主运载工具操作管理系统300的一个或多于一个元件(诸如avomc 310等)。尽管在图3中未示出，但场景特定操作环境监视器322、323、324、325、326可以将操作环境数据输出到场景不可知操作环境监视器(诸如阻挡监视器321等)。
70.行人监视器322可以使操作环境数据相关、相关联或以其他方式处理操作环境数据，以识别、跟踪或预测一个或多于一个行人的动作。例如，行人监视器322可以从可以与一个或多于一个行人相对应的一个或多于一个传感器接收诸如传感器数据等的信息，行人监视器322可以将传感器数据与所识别的一个或多于一个行人相关联(可以包括识别针对所识别的各个行人中的一个或多于一个行人的行进方向、路径(诸如预期路径等)、当前速度或预期速度、当前加速率(acceleration rate)或预期加速率、或其组合)，并且行人监视器322可以将所识别的、相关联的或所生成的行人信息输出到avomc 310或供avomc 310访问。
71.交叉口监视器323可以使操作环境数据相关、相关联或以其他方式处理操作环境数据，以识别、跟踪或预测一个或多于一个远程运载工具在自主运载工具的操作环境中的动作，以识别自主运载工具的操作环境中的交叉口或其方面，以识别运载工具运输网络几何形状，或其组合。例如，交叉口监视器323可以从一个或多于一个传感器接收诸如传感器数据等的信息，这些信息可以与自主运载工具的操作环境中的一个或多于一个远程运载工具、自主运载工具的操作环境中的交叉口或其一个或多于一个方面、运载工具运输网络几何形状或其组合相对应，交叉口监视器323可以将传感器数据与自主运载工具的操作环境中的所识别的一个或多于一个远程运载工具、自主运载工具的操作环境中的交叉口或者其一个或多于一个方面、运载工具运输网络几何形状或其组合相关联，这可以包括可以识别针对所识别的各个远程运载工具中的一个或多于一个的当前行驶方向或预期行驶方向、路径(诸如预期路径等)、当前速度或预期速度、当前加速率或预期加速率、或其组合。交叉口监视器323可以将所识别的、相关联的或所生成的交叉口信息输出到avomc 310或供avomc 310访问。
72.车道改变监视器324可以使操作环境数据相关、相关联或以其他方式处理操作环境数据，以识别、跟踪或预测自主运载工具的操作环境中的一个或多于一个远程运载工具的动作(诸如指示沿着自主运载工具的预期路径的慢速或静止远程运载工具的信息等)，以识别自主运载工具的操作环境的一个或多于一个方面(诸如在地理空间上对应于车道改变操作的自主运载工具的操作环境中的运载工具运输网络几何形状或其组合等)。例如，车道改变监视器324可以从一个或多于一个传感器接收诸如传感器数据等的信息，这些信息可以与自主运载工具的操作环境中的一个或多于一个远程运载工具、在地理空间上对应于车道改变操作的自主运载工具的操作环境中的自主运载工具的操作环境的一个或多于一个方面或其组合相对应，车道改变监视器324可以将传感器数据与自主运载工具的操作环境中的所识别的一个或多于一个远程运载工具、在地理空间上对应于车道改变操作的自主运载工具的操作环境的一个或多于一个方面或其组合相关联，这可以包括可以识别针对所识别的各个远程运载工具中的一个或多于一个的当前行驶方向或预期行驶方向、路径(诸如预期路径等)、当前速度或预期速度、当前加速率或预期加速率、或其组合。车道改变监视器324可以将所识别的、相关联的或所生成的车道改变信息输出到avomc 310或供avomc 310访问。
73.合并监视器325可以使操作环境信息相关、相关联或以其他方式处理操作环境信
息，以识别、跟踪或预测一个或多于一个远程运载工具在自主运载工具的操作环境中的动作，以识别自主运载工具的操作环境的一个或多于一个方面(诸如在地理空间上对应于合并操作的自主运载工具的操作环境中的运载工具运输网络几何形状或其组合等)。例如，合并监视器325可以从一个或多于一个传感器接收诸如传感器数据等的信息，这些信息可以与自主运载工具的操作环境中的一个或多于一个远程运载工具、在地理空间上对应于合并操作的自主运载工具的操作环境中的自主运载工具的操作环境的一个或多于一个方面或其组合相对应，合并监视器325可以将传感器数据与自主运载工具的操作环境中的所识别的一个或多于一个远程运载工具、在地理空间上对应于合并操作的自主运载工具的操作环境的一个或多于一个方面或其组合相关联，这可以包括识别针对所识别的各个远程运载工具中的一个或多于一个的当前行驶方向或预期行驶方向、路径(诸如预期路径等)、当前速度或预期速度、当前加速率或预期加速率、或其组合。合并监视器325可以将所识别的、相关联的或所生成的合并信息输出到avomc 310或供avomc310访问。
74.前方障碍物监视器326可以使操作环境信息相关、相关联或以其他方式处理操作环境信息，以识别在地理空间上对应于前方通过障碍物操作的自主运载工具的操作环境的一个或多于一个方面。例如，前方障碍物监视器326可以识别自主运载工具的操作环境中的运载工具运输网络几何形状。前方障碍物监视器326可以识别自主运载工具的操作环境中的一个或多于一个障碍物或阻碍物(诸如沿着自主运载工具的预期路径或沿着自主运载工具的所识别路线的慢速或静止远程运载工具等)；并且前方障碍物监视器326可以识别、跟踪或预测自主运载工具的操作环境中的一个或多于一个远程运载工具的动作。前方障碍物监视器326可以从一个或多于一个传感器接收诸如传感器数据等的信息，这些信息可以与自主运载工具的操作环境中的一个或多于一个远程运载工具、在地理空间上对应于前方通过障碍物操作的自主运载工具的操作环境中的自主运载工具的操作环境的一个或多于一个方面或其组合相对应。前方障碍物监视器326可以将传感器数据与自主运载工具的操作环境中的所识别的一个或多于一个远程运载工具、在地理空间上对应于前方通过障碍物操作的自主运载工具的操作环境的一个或多于一个方面或其组合相关联，这可以包括可以识别针对所识别的各个远程运载工具中的一个或多于一个的当前行驶方向或预期行驶方向、路径(诸如预期路径等)、当前速度或预期速度、当前加速率或预期加速率、或其组合。前方障碍物监视器326可以将所识别的、相关联的或所生成的前方障碍物信息输出到avomc 310或供avomc 310访问。
75.虽然被示出为操作环境监视器320，但阻挡监视器321可以是单独的监视装置。阻挡监视器321可以接收表示自主运载工具的操作环境或其方面的操作环境数据。例如，阻挡监视器321可以从avomc 310、从运载工具的传感器、从诸如远程运载工具或基础设施装置等的外部装置、或其组合接收操作环境信息。阻挡监视器321可以从诸如自主运载工具的存储器(诸如图1中所示的存储器134等)等的存储器读取操作环境信息或其一部分。
76.阻挡监视器321使用该输入可以确定运载工具运输网络的一个或多于一个部分(诸如运载工具运输网络的邻近自主运载工具的部分等，其可以包括运载工具运输网络的与自主运载工具的预期路径(诸如基于自主运载工具的当前路线所识别的预期路径等)相对应的部分)的相应的可用性概率(poa)或相应的阻挡概率。可用性概率或相应的阻挡概率可以指示自主运载工具可以安全地(诸如不受诸如远程运载工具或行人等的外部对象的阻
ssocem 335或其组合。使用虚线示出ssocem 336以指示自主运载工具操作管理系统300可以包括任意数量的ssocem 330。例如，avomc 310可以响应于识别出不同的运载工具操作场景来实例化ssocem 330的实例。avomc 310可以基于由操作环境数据表示的操作环境的一个或多于一个方面来实例化一个或多于一个ssocem 330的多个实例。例如，操作环境数据可以指示自主运载工具的操作环境中的两个行人，并且avomc 310可以针对各个行人来实例化行人-ssocem 331的相应实例。
83.avomc 310可以将操作环境数据或者其一个或多于一个方面发送到自主运载工具的其他单元(诸如阻挡监视器321、或者ssocem 330的一个或多于一个实例等)。例如，avomc 310可以将从阻挡监视器321接收的可用性概率或相应的阻挡概率通信到ssocem 330的各个实例化实例。avomc 310可以将操作环境数据或者其一个或多于一个方面存储在诸如自主运载工具的存储器(诸如图1所示的存储器134等)等中。
84.尽管在图3中没有明确示出，但是自主运载工具操作管理系统300可以包括预测器模块，该预测器模块可以生成预测信息并将该预测信息发送到阻挡监视器321，并且阻挡监视器321可以将可用性概率信息输出到其他操作环境监视器320中的一个或多于一个操作环境监视器。
85.一旦被实例化，ssocem 330就可以接收包括传感器数据的操作环境信息，以确定和输出候选运载工具控制动作(本文也称为候选动作)。候选动作是由特定ssocem 330识别为将处理特定场景的、运载工具可能进行的最佳动作的运载工具控制动作。例如，被配置为处理交叉口的ssocem 330(例如，交叉口ssocem 332)可以输出“前进”(即，建议前进通过交叉口的候选动作)。同时，用于处理车道改变的ssocem 330(例如，车道改变ssocem 333)可以输出“左转”候选动作，其指示运载工具应向左合并两度。在一些实现中，各个ssocem 330输出指示对ssocem 330所确定的候选动作的置信程度的置信度分数。例如，大于0.95的置信度分数可以指示对候选动作的非常高的置信度，而小于0.5的置信度分数可以指示对候选动作的相对低的置信度。下面描述ssocem 330的进一步细节。
86.avomc 310可以从ssocem 330的各个实例接收一个或多于一个候选动作。avomc 310可以从候选运载工具控制动作中识别运载工具控制动作，并且可以控制运载工具，或者可以将所识别的运载工具控制动作提供给其他运载工具控制单元，以根据该运载工具控制动作穿过运载工具运输网络。
87.运载工具控制动作可以指示可以由自主运载工具结合穿过运载工具运输网络的一部分而进行的运载工具控制操作或机动动作，诸如加速、减速、转弯、停止或任何其他运载工具操作或运载工具操作的组合等。
88.在一些实现中，avomc 310利用硬编码逻辑来从候选动作中确定运载工具控制动作。例如，avomc 310可以选择具有最高置信度分数的候选动作。在其他实现中，avomc 310可以选择最不可能导致碰撞的候选动作。在其他实现中，avomc 310可以基于两个或多于两个非冲突候选动作(例如，将“前进”和“左转两度”控制动作进行复合以得到用于使运载工具左转并前进通过交叉口的运载工具控制动作)来生成复合动作。在一些实现中，avomc 310可以利用机器学习算法基于两个或多于两个不同的候选动作来确定运载工具控制动作。
89.例如，从候选动作中识别运载工具控制动作可以包括实现机器学习组件(诸如分
类问题的监督学习等)、以及使用相应运载工具操作场景的示例(诸如1000个示例等)来训练机器学习组件。在另一示例中，从候选动作中识别运载工具控制动作可以包括实现马尔可夫决策过程(markov decision process，mdp)或部分可观测马尔可夫决策过程(pomdp)，其可以描述各个候选动作如何影响后续候选动作，并且可以包括用于输出针对各个运载工具控制动作的肯定或否定奖励(reward)的奖励函数。
90.avomc 310可以不实例化ssocem 330的实例。例如，avomc 310可以将不同的操作条件集合识别为指示针对自主运载工具的不同运载工具操作场景，实例化该不同运载工具操作场景的ssocem 330的实例，监视操作条件，随后确定为该操作条件中的一个或多于一个操作条件已经过期、或具有低于定义阈值的影响该自主运载工具的操作的概率，并且avomc 310可以不实例化ssocem 330的实例。
91.如上文简要提及的，ssocem 330可以对各个不同的运载工具操作场景进行建模。自主运载工具操作管理系统300包括任意数量的ssocem 330，ssocem 330各自对各个不同的运载工具操作场景进行建模。对不同的运载工具操作场景进行建模可以包括：生成和/或维持表示与该不同的运载工具操作场景相对应的运载工具的操作环境的各方面的状态信息，识别相应状态各自的建模方面间的潜在交互，以及确定解决模型的候选动作。更简单地说，ssocem 330可以包括一个或多于一个模型，该一个或多于一个模型被配置为确定用于处理给定输入集合的场景的一个或多于一个运载工具控制动作。模型可以包括但不限于pomdp模型、mdp模型、经典规划(cp)模型、部分可观测随机博弈(partially observable stochastic game，posg)模型、分布式部分可观测马尔可夫决策过程(decentralized partially observable markov decision process，dec-pomdp)模型、强化学习(rl)模型、人工神经网络、硬编码专家逻辑、或任何其他合适类型的模型。各个ssocem 330包括计算机可执行指令，该计算机可执行指令用于定义模型操作的方式和利用模型的方式。
92.自主运载工具操作管理系统300可以包括任意数量或类型组合的模型。例如，行人-ssocem 331、交叉口-ssocem 332、车道改变-ssocem 333、合并-ssocem 334和通过障碍物-ssocem 335可以是pomdp模型。在另一示例中，行人-ssocem 331可以是mdp模型，而交叉口-ssocem 332可以是pomdp模型。avomc 310可以基于操作环境数据来实例化ssocem 330的任意数量的实例。使用虚线示出模块336以指示自主运载工具操作管理系统300可以包括任意数量或附加类型的ssocem 330。
93.avomc 310、操作环境监视器320和ssocem 330中的一个或多于一个可以诸如以10赫兹(10hz)的频率等连续地或定期性地操作。例如，avomc 310可以每秒多次(诸如十次等)识别运载工具控制动作。自主运载工具操作管理系统300的各个组件的操作频率可以是同步的或不同步的，并且avomc 310、操作环境监视器320和ssocem 330中的一个或多于一个的操作速率(operational rate)可以独立于其他的操作速率。
94.从上面的描述中可以清楚地看出，这些模型是复杂的，并且对象的准确检测和识别对于正确选择运载工具控制动作是重要的。在半自主运载工具或传统运载工具中，对于建议运载工具控制动作，准确度是类似的问题。本文的教导使得即使在部分或完全遮挡时也能够识别诸如交通流控制装置等的对象、以及运载工具可用的地图是否包括对象。对象的位置和识别可以被注释和被绘制成图。即，可以在针对运载工具操作的一个或多于一个控制系统内标记包括该信息的标签。
95.图4是根据本文的教导的用于应对低置信度对象检测条件的用于操作运载工具的方法400的流程图。方法400可以在具有或不具有软件的情况下由并入计算机内的处理器、控制器或硬件的任何组合来进行。方法400可以诸如由处理器133等在运载工具处进行。方法400可以至少部分地在远程运载工具支持系统处(诸如在并入了通信装置240的远程辅助支持处等)诸如由处理器或其他硬件等以及可选地软件来远程进行。
96.在402处，当运载工具接近运载工具运输网络内的交叉口(诸如图2所示的t形交叉口等)时，从安装在运载工具上的(vehicle-mounted)至少一个传感器接收传感器数据。安装在运载工具上的传感器可以是用于检测运载工具(诸如运载工具100、或者运载工具210/211中的任一个等)外部的条件的任何传感器(诸如上述传感器136等)。
97.在404处，传感器数据用于确定是否检测到交叉口的交通流控制装置。在406处，当检测到交通控制装置时，确定交通流控制装置的检测类型和检测状态中的至少一个。可以参考图5更详细地讨论在404和406处的处理，图5是根据本文的教导的检测交通流控制装置的方法500的流程图。
98.在502处，可以使得用于检测的运载工具的硬件同步。硬件包括可以用于检测运载工具外部的对象的两个或多于两个传感器。期望传感器是不同类型的传感器，但这并不是必须的。在图5中，方法500使用图像传感器504a和诸如lidar单元等的距离传感器504b。硬件还可以包括定位单元(诸如gps单元506等)，该定位单元可以用于识别运载工具运输网络内检测到的对象的位置。在402处接收到的接近交叉口的传感器数据取决于传感器的类型。在图5中，图像传感器504a发送数据流508作为第一传感器数据，并且距离传感器504发送点云514作为第二传感器数据。所接收的第一传感器数据即数据流508和第二传感器数据即点云514可以存储在存储器(诸如存储器134等)中，以由运载工具的处理器(诸如处理器133等)访问。由于硬件的同步，将数据流508的图像与点云514在几何上配准。
99.从510处开始，使用第一传感器数据在交叉口内检测对象。在510处，使用空间特征提取器从数据流508的传感器数据中提取空间特征。空间特征提取器可以在510处通过将数据流508输入到经训练的机器学习模型(诸如卷积神经网络等)中来实现，该机器学习模型所推断的输出包括空间特征。空间特征可以包括具有多维(例如，二维或三维)坐标系中的各个值的像素组，该像素组可以表示车道线、停止线、行人、其他运载工具、交通流控制装置等。
100.在510处提取的空间特征在512处被用作对象检测器的输入。对象检测器根据任何期望技术将空间特征解析为例如由各个边界框识别的可能对象。来自512处的处理的对象检测器输出还可以包括多维坐标系内的位置、边界框与对象而不是噪声相关联的置信度水平、边界框涵盖整个对象的置信度水平、将有助于对象的识别的其他信息、或其一些组合。在该实现中，对象是交叉口内的对象，其中短语“交叉口内”包括交叉口上方(诸如悬挂交通灯等)、围绕交叉口的定义范围内、距交叉口的定义距离内、或其一些组合。
101.从516处开始，使用第二传感器数据在交叉口内检测对象。在该示例中，与数据流508的传感器数据类似地处理点云514的传感器数据。在516处，使用空间特征提取器来提取空间特征。如在510处实现的空间特征提取器那样，在516处实现的空间特征提取器可以是经训练的机器学习模型(诸如卷积神经网络等)。点云514可以被输入到用于输出空间特征的模型中。在该示例中，由于数据流508的图像与点云514在几何上配准，因此在与从数据流
508提取的空间特征相同的多维坐标系中定义空间特征。在其他实现中，数据流508和点云514的空间特征可以在510和516处在各个多维坐标系中被提取，并且随后在下文描述的520处的对象输出匹配之前被转换、重新绘制成图或以其他方式调整到相同的多维坐标系。
102.在516处提取的空间特征在518处被用作对象检测器的输入。对象检测器根据任何期望技术将空间特征解析为例如由各个边界框识别的可能对象。与来自512处的处理的对象检测器输出类似，来自516处的处理的对象检测器输出也可以包括多维坐标系内的位置、边界框与对象而不是噪声相关联的置信度水平、边界框涵盖整个对象的置信度水平、将有助于交叉口内的对象的识别的其他信息、或其一些组合。
103.在520处，方法500包括对象输出匹配。在对象输出匹配中，将使用第一传感器数据所检测到的对象与使用第二传感器数据所检测到的对象进行比较。当数据对于对象一致(例如，其特性或参数匹配)时，方法500得出如下结论：已检测到对象。如图所示，将512处的对象检测器输出与518处的对象检测器输出进行比较。可以在522处比较边界框(例如，在多维空间中)的大小和位置以确定匹配。例如，在来自512处的对象检测器输出的边界框与来自518处的对象检测器输出的边界框重叠、并且边界框在所定义的大小裕度内的情况下，在520处可以认为对象是匹配的。
104.在图5中，来自520的匹配对象(包括其各自的位置)被提供给522处的对象分类器。522处的对象分类可以使用用于将对象分类为交叉口内的交通流控制装置或其他对象的模式识别软件或某些其他手段。例如，对象分类器可以将522处的匹配对象分类为交通流控制装置的类型(诸如交通灯、停止标志、让路标志、单个闪光灯等)。在一些实现中，在对象是交通流控制装置的类型、并且该交通流控制装置的类型与多个状态相关联的情况下，交通控制装置的状态也可以是522处的对象分类的一部分。例如，交通灯的交通流控制装置类型通常与三个状态(红色、黄色或绿色)相关联。单个闪光灯可以与红色状态或黄色状态相关联。
105.尽管522处的对象分类被描述为在520处的匹配之后发生，但是在一些实现中，第一传感器数据和第二传感器数据各自的处理可以在520处的对象输出匹配之前包括相应的对象分类步骤。更一般地，在匹配之前或之后，可以根据本文的教导对使用第一传感器数据所检测到的对象中的至少一个或使用第二传感器数据所检测到的对象中的至少一个进行分类。
106.在524处，可以用标签(例如，其类型和可选地其状态)和位置来标记经分类的对象，然后存储在数据库526中，该数据库526包括例如一个或多于一个地图和交通流控制装置(有时被称为标志(sign))。可以通过使用gps单元506、存储在数据库526中的一个或多于一个地图的坐标系或这两者将经分类的对象在多维坐标系中的位置转换为地理空间位置来确定位置。
107.根据以上方法500的描述，当使用第一传感器数据所检测到的对象中没有对象和使用第二传感器数据所检测到的对象中没有对象中的至少一种无对象情况被分类为交通流控制装置类型时，可以确定为在404处未检测到交通流控制装置。与此相对，当使用第一传感器数据所检测到的对象中的对象的特性与使用第二传感器数据所检测到的对象中的对象的特性匹配时，以及当使用第一传感器数据所检测到的对象中的对象和使用第二传感器数据所检测到的对象中的对象中的至少一个被分类为交通流控制装置类型时，可以确定为在404处利用传感器数据检测到交通流控制装置。
108.以上图5的描述没有明确地表达是否使用传感器数据以至少所定义的检测置信度水平检测到交通流控制装置。检测置信度水平可以是反映使用传感器数据来确定检测类型和/或检测状态的准确性的置信度水平的任何值。例如，检测置信度水平可以是指示所检测对象与(作为522处的分析结果的)其分类的相似程度的百分比或其他值。检测置信度水平可以包括其他值(诸如520处的匹配中的重叠量等)或与其他值组合。相对小的重叠可以指示低检测置信度水平，而相对大的重叠可以指示高检测置信度水平。检测置信度水平还可以包括其他值(诸如与诸如图像传感器504和距离传感器504b等的传感器的相对准确度或灵敏度有关的值、或者与各个传感器的空间特征提取(例如，在510、516处)和对象检测(例如，在512、518处)的相对准确度和灵敏度有关的值等)或与其他值组合。例如，在520处的匹配中，可以使用传感器或利用其输入的对象检测中的更高准确度水平，将其传感器数据加权得比其他传感器数据更高。
109.所定义的检测置信度水平是指示是否确定为检测类型和/或检测状态足够准确的值，这可能取决于交叉口内的其他条件或对象。例如，对于交通流控制装置的检测类型是停止标志的结论的检测置信度水平可以是80％。所定义的检测置信度水平例如可以默认是85％。因此，以小于所定义的检测置信度水平来确定交通流控制装置的检测类型。如果在交叉口内没有被识别为行人或其他运载工具的对象，则可以将所定义的检测置信度水平降低到75％，而这种存在可以提高所定义的检测置信度水平。具有许多分支(arm)、车道或这两者的复杂交叉口几何形状(诸如四路交叉口(four-way intersection)等)可以具有比较简单交叉口(诸如三路交叉口(three-way intersection)等)的检测置信度水平更高的所定义的检测置信度水平。
110.在一些实现中，可以使用多于一个所定义的检测置信度水平。例如，当检测置信度水平低于第一定义水平时，可以得出在404处未检测到交通流控制装置的结论，或者可以使用第二定义水平来得出在406处以小于所定义的检测置信度水平来确定交通流控制装置的检测类型和检测状态中的至少一个的结论，其中第二定义水平是比第一定义水平更高的、对象分类的准确度的置信度水平。可能的是，与交通流控制装置的检测类型相比，所定义的检测置信度水平针对检测状态而不同。
111.在任何事件下，并且再次参考图4，在404处未检测到交通流控制装置，或者在406处以小于所定义的检测置信度水平来确定交通流控制装置的检测类型和检测状态中的至少一个，在408处可以使用交叉口的类型来确定交通流控制装置的现有类型和现有状态中的至少一个。参考图6可以看到408处的处理的示例，图6是使用交叉口的类型来确定交通流控制装置的现有类型、现有状态或这两者的方法600的流程图。
112.在602处，识别或确定交叉口的类型。交叉口的类型可以由交叉口的几何形状、交叉口的状态(作为被绘制成图的交叉口或未被绘制成图的交叉口)或这两者来指示。如下面进一步详细讨论的，除了交叉口的类型之外，在408处的确定中可以使用在交叉口内或接近交叉口的其他检测对象的状态。
113.从604处开始，可以将所定义的检测置信度水平与检测置信度水平进行比较，以确定是否接受检测类型作为实际的现有类型，是否接受检测状态(如果存在)作为实际的现有状态，或者是否在实际的现有交通流控制装置的确定中进行进一步的处理。
114.在该示例中，在604处进行关于交通流控制装置的检测类型是否相对准确的确定，
使得该检测类型是现有类型或者作为现有类型是可接受的。如果以小于所定义的检测置信度水平(例如，其具有小于定义水平的检测置信度水平)来确定交通流控制装置的检测类型，或者未检测到交通流控制装置使得不存在检测类型，则处理前进到606。在606处，基于在602处确定的交叉口的类型来确定交通流控制装置的候选类型和交通流控制装置的候选状态中的至少一个。例如，在交通流控制装置的候选类型不具有状态(诸如停止标志等)的情况下，在606处仅确定候选类型。在606处确定的交通流控制装置的候选类型是也具有状态的候选类型(诸如交通灯等)的情况下，在该示例中，在606处也确定交通流控制装置的候选状态。这是基于如下假设：在交通流控制装置的检测类型具有比所定义的检测置信度水平小的检测置信度水平的情况下，交通流控制装置的检测状态(如果存在)不太可能是准确的。
115.候选类型和候选状态(如果存在)随后在612处呈现给运载工具乘客以供考虑，这将在下面描述。下面还描述在606处的使用交叉口类型的候选类型确定和可选地候选状态确定的示例。
116.返回参考步骤604，如果在604处确定为交通流控制装置的检测类型存在并且相对准确使得检测类型是现有类型或者作为现有类型是可接受的，则处理可选地前进到608，然后可选地前进到610。608处的处理包括交通流控制装置的检测状态是否相对准确的确定，使得检测状态是现有状态或者作为现有状态是可接受的。如果未检测到状态，或者以小于所定义的检测置信度水平(例如，具有小于所定义的水平的检测置信度水平)来确定交通流控制装置的检测状态，则处理前进到610。
117.在610处，基于在602处确定的交叉口的类型来确定交通流控制装置的候选状态。例如，如果在604处以足够的检测置信度确定了检测类型为具有多个可能状态的类型，则交通流控制装置的候选状态可以是交通流控制装置类型的可能状态之一。在例如522处分类的对象至少部分地被传感器中的一个或多于一个传感器遮挡以使得检测类型(例如，交通灯)至少处于所定义的检测置信度水平、但是检测状态(如果存在)低于所定义的检测置信度水平的情况下，可能发生该序列。下面进一步详细描述确定候选状态。
118.步骤608和610各自被描述为可选的。例如，在604处以足够的检测置信度将交通流控制装置的检测类型确定为没有多个可能状态的类型(诸如停止标志等)的情况下，作为交通流控制装置的检测类型可被接受作为交通流控制装置的现有类型的结果，方法600可以在604处结束。此外，在交通流控制装置的检测类型具有状态(诸如交通灯等)的情况下，作为在608处以足够的检测置信度确定的交通流控制装置的检测状态可被接受作为交通流控制装置的现有状态的结果，方法600可以在608处结束。
119.在604或608处结束方法600实现了图4的步骤408的少量处理时间。在运载工具是无乘客的av的情况下，可能需要这样。然而，在运载工具中存在乘客的情况下，无论运载工具是否是av，都可能更期望包括步骤612和614以获得附加准确度，特别是在交叉口在运载工具可用的现有地图中未被绘制成图的情况下。在该变型中，在408处确定交通流控制装置的现有类型和现有状态中的至少一个包括：在612处通过运载工具的视觉接口和音频接口中的至少一个向运载工具的乘客呈现交通流控制装置的候选类型、交通流控制装置的候选状态、或交通流控制装置的候选类型和候选状态这两者，以及在614处从乘客接收指示候选类型是否是交通流控制装置的现有类型、候选状态是否是交通流控制装置的现有状态、或
者候选类型是否是交通流控制装置的现有类型且候选状态是否是交通流控制装置的现有状态这两者的反馈。
120.在612处的呈现的内容可以取决于604处的确定或者604处的确定和608处的确定这两者。当在604处确定为交通流控制装置的检测类型存在并且相对准确使得检测类型是现有类型或者作为现有类型是可接受的(例如，检测类型的检测置信度水平至少如所定义的检测置信度水平那样高)时，将检测类型指定为在612处呈现的候选类型。如果检测类型不是与多个状态相关联的交通流控制装置的类型，则在612处可以从向乘客的呈现中省略候选状态。代替地，如果检测类型是与多于一个状态相关联的交通流控制装置的类型、并且在608处确定为交通流控制装置的检测状态存在并且相对准确使得检测状态是现有类型或者作为现有状态是可接受的(例如，检测状态的检测置信度水平至少如所定义的检测置信度水平那样高)，则将检测状态指定为在612处呈现的候选状态。代替地，当以小于所定义的检测置信度水平(例如，具有小于定义水平的检测置信度水平)确定了交通流控制装置的检测状态使得在610处确定的交通流控制装置的候选状态发生时，在612处在向乘客的呈现中包括该候选状态。
121.与上述相对，并且如前所述，当在604处确定为交通流控制装置的检测类型具有小于所定义的检测置信度水平的检测置信度时，在612处的呈现的内容可以包括在606处确定的一个或多于一个候选类型、或者在606处确定的一个或多于一个候选类型和一个或多于一个候选状态。
122.在至此的描述中，通常基于所定义的检测准确度水平和所检测的交通流控制装置的检测准确度(例如，检测类型或检测状态)来进行604和608处的确定。在一些实现中，可能期望在604处的确定、在608处的确定、或这两个确定中考虑来自602的交叉口的类型，诸如交叉口在运载工具可用的现有地图内是被绘制成图还是未被绘制成图、所检测到的交叉口的几何形状或这两者、以及可选地在交叉口内检测到的其他对象的特性等。
123.在考虑交叉口的类型的变型中，在与602处识别的交叉口的类型有关的某些条件下，方法600可以总是从604前进到606。例如，当交叉口在运载工具可用的现有地图内未被绘制成图时、当交通流控制装置不在运载工具可用的现有地图内时(例如，交叉口被绘制成图，但交通流控制装置与针对该交叉口被绘制成图的交通流控制装置不匹配时)、或者当(无论交叉口是否被绘制成图)交通流控制装置的检测类型与交叉口的几何形状不一致时，可以发生这种情况。在一些实现中，可以进行604处的确定，并且在交通流控制装置的检测类型具有至少如所定义的检测置信度水平那样高的检测置信度的情况下，当检测到这些条件之一时，方法600强制前进到606而不是608或612。在其他实现中，当检测到这些条件之一时，可以将针对交通流控制装置的检测类型的检测置信度水平的水平降低到小于所定义的检测置信度水平，使得604处的确定使方法600在无需进一步处理的情况下前进到606。
124.在这些场景中的各场景中，现有类型的确定可以受益于在606处的处理所生成的一个或多于一个候选类型的可用性，这些候选类型可以包括或者可以不包括检测类型。由于可以基于候选类型考虑更多或不同的状态，因此现有状态的确定也可以是有益的。
125.在考虑交叉口的类型的又一变型中，如果交叉口几何形状相对复杂(例如，比针对各个分支具有两个车道的四路交叉口更复杂)，则方法600可以总是从604前进到606。即使在交叉口的类型包括相对简单的交叉口几何形状的实现中，交叉口中其他对象的存在可能
总是导致从604前进到606。
126.可以结合检测准确度水平来考虑交叉口几何形状、在交叉口内检测到的其他对象或这两者，以在606处进行确定。例如，在604处的确定可以确定检测类型的检测准确度水平和所定义的检测准确度水平之间的差，并将该差与差阈值进行比较。如上所述，当检测类型的检测准确度水平高于所定义的水平、并且差小于差阈值时，方法600可以从604前进到606，否则可以前进到608或612。差阈值可以取决于交叉口几何形状和/或交叉口中的其他检测对象，使得差阈值随着几何形状的复杂度越高和/或检测对象的数量越高、可能增加穿过交叉口的难度的检测对象的类型或它们在交叉口内的放置而越高。可以使用在608处确定是结束方法600还是前进到612的交通流控制装置的检测状态进行类似的分析。
127.如上所述，在602处识别或确定的交叉口的类型可以用于在606处确定一个或多于一个候选类型、一个或多于一个候选状态、或这两者。接下来描述使用交叉口的类型来确定在612处的呈现的候选的示例。
128.在示例中，方法600可以确定为交叉口在运载工具可用的现有地图内未被绘制成图。当交通流控制装置的检测类型与交叉口的类型一致时，交通流控制装置的候选类型可以是检测类型。当检测类型与由至少一个传感器检测到的交叉口的几何形状一致时，交通流控制装置的检测类型可以与交叉口的类型一致。例如，停止标志或让路标志的交通流控制装置类型将与t形交叉口一致，停止标志或交通灯将与不是t形交叉口的三路交叉口一致，交通灯将与具有大于四个分支的交叉口一致等。这些仅仅是示例，并且交通流控制装置类型是否与交叉口几何形状一致可以变化。此外，无论交通流控制装置的检测类型是否与交叉口的类型一致，以及在未检测到交通流控制装置时，交通流控制装置的候选类型可以是与交叉口的类型一致的交通流控制装置类型。
129.当确定候选类型时，该候选类型可以与候选状态相关联。在交叉口未被绘制成图的以上示例中，当交通流控制装置的检测类型与交叉口的类型一致时，可以将交通流控制装置的候选状态确定为检测状态。在不存在检测状态的情况下(诸如在未检测到交通流控制装置时等)，候选状态可以基于交叉口的类型、交叉口内的至少一个对象的状态或这两者。例如，在交叉口的类型是指其几何形状的情况下，如上所述，候选类型可以与该几何形状一致。在候选类型可以具有多个状态的情况下，候选状态是与这些状态之一相对应的交通流控制装置状态。也可以将候选类型的各个可能状态确定为候选状态。然而，可以通过考虑使用传感器数据所检测到的在交叉口内的至少一个对象的状态来实现附加准确度。
130.更具体地，在606或610处，可以通过考虑至少一个其他运载工具在交叉口的状态是否是停止、减速、在不减速的情况下前进、转弯等，将候选状态确定为候选类型的可能状态中的一个或多于一个。在候选类型例如是交通灯的情况下，在四路交叉口中在运载工具的相邻车道中的停止的运载工具可以指示交通灯可能是红色，使得红色成为现有状态的可能候选状态，而相邻车道中的同一运载工具的减速可以指示灯是黄色或红色，再次使得红色成为可能候选状态，并且也使得黄色成为现有状态的可能候选状态。在确定候选状态时，可以类似地考虑其他交叉口类型和检测对象。在另一示例中，候选类型可以是转向箭头，并且候选状态可以是关闭(off)状态或开启(on)状态。通过观察其他运载工具，这些候选状态之一可能更有可能，并且例如在不存在检测状态的情况下，首先与候选类型一起呈现。
131.在606处确定候选类型的其他示例中，方法600可以确定为交叉口在运载工具可用
的现有地图内被绘制成图。在交通流控制装置的检测类型与现有地图内的交叉口的交通流控制装置类型不一致(即，不匹配)时，可以将交通的候选类型确定为检测类型，这是因为现有地图可能出错。候选类型还可以包括现有地图内的交叉口的交通流控制装置类型。在检测类型与先前绘制成图的交通流控制装置类型匹配时，也可以将检测类型确定为候选类型。在未检测到交通流控制装置时，可以基于交叉口的类型(诸如上述交叉口的几何形状等)将候选类型确定为交通流控制装置类型。在一些实现中，当未检测到交通流控制装置时，如上文关于确定候选状态所描述的，可以考虑在交叉口内检测到的至少一个对象的状态。
132.如上文简要提及的，一旦在606处或在604处和可选地在610处确定了交通流控制装置的候选，则在612处将候选呈现给运载工具的乘客以进行在614处的反馈。更详细地，交通流控制装置的候选类型连同交通流控制装置的候选状态(如果适用)一起由诸如用户接口135等的用户接口呈现给乘客。用户接口可以包括视觉接口、音频接口或者视觉接口和音频接口这两者。通过用户接口请求乘客进行反馈，该反馈指示候选类型是否正确(即，候选类型是否是实际位于运载工具运输网络中的交叉口内的现有类型)，并且在候选状态存在时，指示候选状态是否正确(即，候选状态是否是以运载工具运输网络中的交叉口内的候选类型实际示出的现有状态)。
133.在存在多于一个候选类型时，所有候选类型可以一起呈现给乘客以向用户接口提供一个输入作为指示哪个候选类型是现有类型的反馈。可替代地，候选类型可以顺次呈现，因此乘客可以顺次提供与各个候选类型有关的反馈。在存在与候选类型相关联的多于一个候选状态时，可以与候选类型并行或同时地呈现各个候选状态。在一些实现中，除了从中识别现有类型的候选类型之外，还可以向乘客呈现用于从可能交通流控制装置类型的列表中选择的选项。在现有类型可以具有多个状态时，可以向乘客呈现用于从可能状态的列表中选择的选项。
134.除了确认交通流控制装置的现有类型以及在适用的情况下确认交通流控制装置的现有状态之外，用户接口还可以用于识别或确认交叉口内的确切位置。可以参考图7更详细地说明用户接口，图7是根据图6的方法600的与运载工具的用户交互的示例的图。
135.可以使用作为音频接口的一部分的扬声器、显示屏幕或这两者(诸如用户接口135等)来向运载工具(诸如运载工具100、210、211等)内的乘客702进行呈现。如在图7中可以看到的，乘客702可以使用适当安装或以其他方式位于运载工具内的多个接口硬件组件来提供反馈。在该示例中，视觉接口包括指向乘客702的身体以使用手势或身体姿态估计处理704接收反馈的第一图像照相机或摄像机720以及指向乘客702的头部以使用注视估计处理706、头部姿态估计处理708、面部或唇部阅读估计处理710或其一些组合接收反馈的第二图像照相机或摄像机722。音频接口包括用于使用语音识别处理712接收反馈的麦克风724。图7还包括用于接收作为接触输入714的反馈的触觉接口(诸如触摸屏显示器上的按钮726等)。虽然示出了若干装置来接收反馈，但本文的教导不限于这些装置。此外，并非所有的装置都可以使用。只需要用于提供反馈的一个装置。在指向头部的摄像机用于反馈时，不是所有的估计处理706、708和710都被需要。可以仅使用估计处理中的一个或两个。
136.尽管未详细示出，但是可以通过相应的神经网络来实现图7的手势或身体姿态估计处理704、注视估计处理706、头部姿态估计处理708、面部或唇部阅读估计处理710和语音
识别处理712中的一个或多于一个。神经网络的输入可以是来自第一照相机720的乘客702的身体的图像、来自第二照相机722的乘客702的面部的图像、或来自麦克风724的话语。在一些实现中，接触输入714可以用作一个或多于一个神经网络的输入。如图所示的神经网络的层是使用大量训练样本进行训练的。例如，可以使用与三维空间中的乘客注视的已知焦点fc相关联的大量训练图像来训练用于注视估计处理706的神经网络，使得经训练的神经网络可以推断在运载工具正接近交叉口时乘客702的注视的焦点fc。在该示例中，焦点fc可以提供来自乘客702的反馈，该反馈识别或确认在显示屏幕上呈现的交通流控制装置的现有类型、现有状态或这两者。焦点fc可以提供来自乘客702的反馈，该反馈识别或确认交通流控制装置的位置。
137.其他估计处理可以使用被类似地训练以用于推断(例如，估计)在运载工具正在接近交叉口时的来自乘客702的反馈的神经网络。在手势或身体姿态估计处理704中，例如，可以训练神经网络以区分手势，使得根据所检测到的手势提供来自乘客702的不同反馈。例如，可以使用三种不同的手势来指示三个候选类型中的哪个与运载工具流控制装置的现有类型相对应。手势可以用于各种反馈。例如，可以使用指向手势来确认或识别运载工具流控制装置的位置。
138.可以将来自手势或身体姿态估计处理704、注视估计处理706、头部姿态估计处理708、面部或唇部阅读估计处理710、语音识别处理712和接触输入714中的一个或多于一个的反馈输出供应给命令解释模块716。可以以任何方式组合反馈以解释来自乘客702的命令，从而识别或确认运载工具流控制装置的现有类型、或现有类型和现有状态，并且可选地在718处识别或确认运载工具的位置。
139.再次参考图4，在410处，交通流控制装置在运载工具的至少一个控制系统内被标记有标签，该标签包括交通流控制装置的位置、以及交通流控制装置的现有类型和现有状态至少之一。如上文关于524处的标记所描述的，标签可以被添加到地图或交通标志数据库526。即，例如，在交叉口处于存储在运载工具的存储器内的本地地图内的情况下，可以利用使用标签的交通流控制装置来更新本地地图。
140.数据库526以及由此被标记的交通流控制装置可以并入运载工具的一个或多于一个控制系统(诸如车载导航系统或车载对象检测系统或这两者等)。车载导航系统可以包括依赖于对远程运输系统的准确描绘的路线绘制成图或其他导航活动。在一些实现中，诸如在运载工具是av或半自主运载工具的情况下，车载导航系统及其被标记的交通流控制装置可以作为自主运载工具操作管理系统(诸如图3的自主运载工具操作管理系统300等)的一部分并入。
141.关于车载对象检测系统，针对被标记的交通流控制装置的标签可以在系统内用作数据和训练流水线的一部分，以使用诸如强化学习等的方法来提高对象检测准确度。
142.在412处，使用并入了针对交通流控制装置的标签的至少一个控制系统在运载工具运输网络内操作运载工具。例如，在控制系统是诸如图3的自主运载工具操作管理系统300等的自主运载工具操作管理系统的情况下，针对交通流控制装置的标签可以用于通过运载工具运输网络的更准确导航，并且尤其可以用于在穿过与交通流控制装置相关联的交叉口时进行决策。当运载工具在运载工具运输网络内操作(其通过使用针对交通流控制装置的标签进行训练而被改进)时，运载工具的对象检测系统可以被运载工具使用。
143.针对运载工具运输网络内的多于一个交叉口，可以重复方法400。尽管在图4中未示出，但是方法400可以包括：在交叉口处于由远程运载工具支持系统提供的运载工具可用的现有远程地图内的情况下，当交通流控制装置的类型和位置中的至少一个不同于与远程地图内的交叉口相关联的交通流控制装置(例如，现有类型与交叉口的已知交通流控制装置不匹配)时，向远程运载工具支持系统发送针对交通流控制装置的标签。当交叉口是运载工具可用的现有地图内的未被绘制成图的交叉口时，也可以将类型发送到远程运载工具支持系统。
144.本文的公开内容通过应对运载工具输入数据的缺失和/或不完善来支持在运载工具运输网络内的运载工具操作的决策。特别地，例如，描述了在低置信度对象检测条件中识别并随后注释对象(诸如交通流控制装置等)和将对象绘制成图。
145.这些教导描述了可以在驾驶时将交通流控制装置绘制成图和注释或标记交通流控制装置的技术，该技术可以减少对完整的、预先加载到车辆中的高清地图的依赖。此外，这些教导可以通过诸如将图像数据发送到用于手动标记的远程运载工具支持系统等的技术来改进和加速运载工具运输网络中的标记。代替手动标记然后验证，运载工具可以将绘制成图并标记的数据发送到远程运载工具支持系统以供确认。所发送的数据的准确度可以得益于运载工具和乘客为了在传输之前确认准确度的交互，并且可以减少将数据包括在更新的远程生成的地图中所需的时间。本发明还利用场景理解(包括交叉口几何形状和交叉口内的对象)来推断供乘客考虑的对象候选。与乘客的交互可以并入诸如可解释的人工智能等的技术，这使得能够在识别和标记对象方面随着时间而改进。
146.如本文所使用的，术语“指令”可以包括用于进行本文公开的任何方法或者其一个或多于一个任意部分的指示或表达，并且可以以硬件、软件或其任意组合来实现。例如，指令可以实现为存储在存储器中的信息(诸如计算机程序等)，该指令可以由处理器执行以进行如本文所述的各个方法、算法、方面或其组合中的任一个。指令或其一部分可被实现为专用处理器或电路，该专用处理器或电路可以包括专用硬件以用于执行如本文所述的方法、算法、方面或其组合中的任一个。在一些实现中，指令的一部分可以跨单个装置上、多个装置上的多个处理器分布，这些装置可以直接通信或跨网络(诸如局域网、广域网、因特网或其组合等)通信。
147.如本文所使用的，术语“示例”、“实施例”、“实现”、“方面”、“特征”或“要素”指示用作示例、实例或图示。除非明确指示，否则任何示例、实施例、实现、方面、特征或要素与各个其他示例、实施例、实现、方面、特征或要素独立，并且可以与任何其他示例、实施例、实现、方面、特征或要素组合使用。
148.如本文所使用的，术语“确定”和“识别”或其任何变型包括使用本文所示出和描述的装置中的一个或多于一个装置以任何方式选择、查明、计算、查找、接收、确定、建立、获得或以其他方式识别或确定。
149.如本文所使用的，除非另有规定或从上下文明确，否则术语“或”意在意味着包含性的“或”而不是排他性的“或”。此外，除非另有规定或从上下文中明确指示为单数形式，否则在本技术和所附权利要求书中使用的冠词“a”和“an”通常应被理解为意味着“一个或多于一个”。
150.此外，为了简单说明，尽管本文的附图和描述可以包括步骤或阶段的序列或系列，
但是本文公开的方法的要素可以以各种顺序或并行发生。附加地，本文所公开的方法的要素可以与本文未明确呈现和描述的其他要素一起发生。此外，可以并非需要本文描述的方法的所有要素来实现根据本发明的方法。尽管在本文中以特定的组合描述了方面、特征和要素，但是各个方面、特征或要素可以独立地使用，或者可以以与其他方面、特征和要素的各种组合或以不具有其他方面、特征和要素的各种组合来使用。
151.为了使得能够容易地理解本发明，描述了上述方面、示例和实现，但本发明不是限制性的。与此相对，本发明覆盖了包括在所附权利要求书的范围内的各种修改和等效布置，该范围应给予最宽泛的解释，以涵盖法律许可的所有这样的修改和等效结构。

技术特征：
1.一种操作运载工具的方法，包括：随着所述运载工具接近运载工具运输网络内的交叉口，在所述运载工具的处理器处接收来自安装在运载工具上的至少一个传感器的传感器数据；使用所述传感器数据来确定是否检测到所述交叉口的交通流控制装置；在检测到所述交通流控制装置的情况下，确定所述交通流控制装置的检测类型和检测状态中的至少一个；使用所述处理器和所述交叉口的类型来确定所述交通流控制装置的现有类型和现有状态中的至少一个，其中，所述交通流控制装置中的至少一个未被检测到，或者所述交通流控制装置的检测类型和检测状态中的至少一个是以小于所定义的检测置信度水平的检测置信度来确定的；在所述运载工具的至少一个控制系统内，用标签标记所述交通流控制装置，所述标签包括所述交通流控制装置的位置、以及所述交通流控制装置的现有类型和现有状态中的至少一个；以及使用并入了针对所述交通流控制装置的标签的所述至少一个控制系统，在所述运载工具运输网络内操作所述运载工具。2.根据权利要求1所述的方法，其中，在所述交通流控制装置不在所述运载工具可用的现有地图内的情况下，以小于所定义的检测置信度水平的检测置信度来确定现有类型和检测状态中的至少一个。3.根据权利要求1所述的方法，包括：将所述交叉口的类型识别为所述运载工具可用的现有地图内的被绘制成图的交叉口；确定为所述交通流控制装置的检测类型与被绘制成图的交叉口的已知交通流控制装置不匹配，以及其中，确定现有类型包括确认出如下情况其中之一：检测类型是现有类型；以及所述已知交通流控制装置是现有类型。4.根据权利要求1所述的方法，其中，使用所述处理器确定所述交通流控制装置的现有类型和现有状态中的至少一个包括：通过所述运载工具的视觉接口和音频接口中的至少一个，向所述运载工具的乘客呈现所述交通流控制装置的候选类型、所述交通流控制装置的候选状态、或所述交通流控制装置的候选类型和候选状态这两者；以及从乘客接收指示候选类型是否是所述交通流控制装置的现有类型、候选状态是否是所述交通流控制装置的现有状态、或者候选类型是否是所述交通流控制装置的现有类型和候选状态是否是所述交通流控制装置的现有状态这两者的反馈。5.根据权利要求4所述的方法，其中，所述交通流控制装置的候选类型和所述交通流控制装置的候选状态中的至少一个是基于所述交叉口的类型，并且所述交叉口的类型是基于所述交叉口的几何形状、作为被绘制成图的交叉口或未被绘制成图的交叉口的所述交叉口的状态、或这两者。6.根据权利要求1所述的方法，包括：将所述交叉口的类型识别为所述运载工具可用的现有地图内的被绘制成图的交叉口；以及使用所述交叉口的几何形状来确定所述交通流控制装置的候选类型，其中，所述交通
流控制装置的现有类型被确定为候选类型。7.根据权利要求1所述的方法，其中：所述交通流控制装置的检测类型包括交通信号；所述交通信号被至少部分地遮挡，使得所述交通信号的检测状态低于所定义的检测置信度水平；以及确定所述交通控制装置的现有类型和现有状态中的至少一个包括：使用所述传感器数据所获得的至少一个其他运载工具在所述交叉口内的状态，来确定为所述交通信号的现有状态是红色和绿色中的一个。8.根据权利要求1所述的方法，其中：接收所述传感器数据包括：来自所述运载工具的图像传感器的第一传感器数据；以及来自所述运载工具的距离传感器的第二传感器数据；以及所述方法包括：使用所述第一传感器数据检测所述交叉口内的对象；使用所述第二传感器数据检测所述交叉口内的对象；将使用所述第一传感器数据所检测到的对象与使用所述第二传感器数据所检测到的对象进行比较；对使用所述第一传感器数据所检测到的对象中的至少一个或使用所述第二传感器数据所检测到的对象中的至少一个进行分类；在使用所述第一传感器数据所检测到的对象中没有对象和使用所述第二传感器数据所检测到的对象中没有对象中的至少一种无对象情况被分类为交通流控制装置类型的情况下，确定为未检测到所述交通流控制装置；以及在使用所述第一传感器数据所检测到的对象中的对象的特性与使用所述第二传感器数据所检测到的对象中的对象的特性匹配的情况下，以及在使用所述第一传感器数据所检测到的对象中的对象和使用所述第二传感器数据所检测到的对象中的对象中的至少一个被分类为交通流控制装置类型的情况下，确定为利用所述传感器数据检测到所述交通流控制装置。9.根据权利要求1所述的方法，其中，所述交叉口处于远程运载工具支持系统所提供的所述运载工具可用的现有远程地图内，所述方法包括：在所述交通流控制装置的类型和位置中的至少一个不同于与所述远程地图内的交叉口相关联的交通流控制装置的类型和位置中的至少一个的情况下，向所述远程运载工具支持系统发送针对所述交通流控制装置的标签。10.根据权利要求1所述的方法，其中，所述交叉口处于存储在所述运载工具的存储器内的本地地图内，并且所述方法包括利用使用所述标签的交通流控制装置来更新所述本地地图。11.一种用于操作运载工具的设备，包括：处理器，其被配置为：随着所述运载工具接近运载工具运输网络内的交叉口，在所述运载工具的处理器处接收来自安装在运载工具上的至少一个传感器的传感器数据；
使用所述传感器数据来确定是否检测到所述交叉口的交通流控制装置；在检测到所述交通流控制装置的情况下，确定所述交通流控制装置的检测类型和检测状态中的至少一个；使用所述交叉口的类型来确定所述交通流控制装置的现有类型和现有状态中的至少一个，其中，所述交通流控制装置中的至少一个未被检测到，或者所述交通流控制装置的检测类型和检测状态中的至少一个是以小于所定义的检测置信度水平的检测置信度来确定的；以及在所述运载工具的至少一个控制系统内，用标签标记所述交通流控制装置，所述标签包括所述交通流控制装置的位置、以及所述交通流控制装置的现有类型和现有状态中的至少一个，其中，所述运载工具被配置为使用并入了针对所述交通流控制装置的标签的所述至少一个控制系统，在所述运载工具运输网络内进行操作。12.根据权利要求11所述的设备，其中，确定所述交通流控制装置的现有类型和现有状态中的至少一个包括：通过所述运载工具的视觉接口和音频接口中的至少一个，向所述运载工具的乘客呈现所述交通流控制装置的候选类型、所述交通流控制装置的候选状态、或所述交通流控制装置的候选类型和候选状态这两者；以及从乘客接收指示候选类型是否是所述交通流控制装置的现有类型、候选状态是否是所述交通流控制装置的现有状态、或者候选类型是否是所述交通流控制装置的现有类型和候选状态是否是所述交通流控制装置的现有状态这两者的反馈。13.根据权利要求12所述的设备，其中，所述处理器被配置为：确定为所述交叉口在所述运载工具可用的现有地图内未被绘制成图；以及进行以下操作其中之一：在所述交通流控制装置的检测类型与所述交叉口的类型一致的情况下，将所述交通流控制装置的候选类型确定为检测类型；以及在未检测到所述交通流控制装置的情况下，将所述交通流控制装置的候选类型确定为基于所述交叉口的类型的交通流控制装置类型。14.根据权利要求12所述的设备，其中，所述处理器被配置为：确定为所述交叉口在所述运载工具可用的现有地图内未被绘制成图；以及进行以下操作其中之一：在所述交通流控制装置的检测类型与所述交叉口的类型一致的情况下，将所述交通流控制装置的候选状态确定为检测状态；以及在未检测到所述交通流控制装置的情况下，将所述交通流控制装置的候选状态确定为基于所述交叉口的类型并基于所述交叉口内的至少一个对象的状态的交通流控制装置状态。15.根据权利要求12所述的设备，其中，所述处理器被配置为：确定为所述交叉口在所述运载工具可用的现有地图内被绘制成图；以及进行以下操作其中之一：在所述交通流控制装置的检测类型与所述现有地图内的交叉口的交通流控制装置类型不一致的情况下，将所述交通流控制装置的候选类型确定为检测类型；以及
在未检测到所述交通流控制装置的情况下，将所述交通流控制装置的候选类型确定为基于所述交叉口的类型的交通流控制装置类型。16.根据权利要求12所述的设备，其中，所述处理器被配置为：确定为所述交叉口在所述运载工具可用的现有地图内被绘制成图；以及进行以下操作其中之一：在所述交通流控制装置的检测类型与所述交叉口的类型一致的情况下，将所述交通流控制装置的候选状态确定为检测状态；以及在未检测到所述交通流控制装置的情况下，将所述交通流控制装置的候选状态确定为基于所述交叉口的类型和所述交叉口内的至少一个对象的状态中的至少一个的交通流控制装置状态。17.根据权利要求11所述的设备，其中，所述至少一个控制系统包括所述运载工具的车载导航系统和车载对象检测系统中的至少一个。18.根据权利要求11所述的设备，其中，所述处理器被配置为：在以下情况其中之一的情况下，向远程运载工具支持系统发送现有类型：在所述交叉口是所述运载工具可用的现有地图内被绘制成图的交叉口并且现有类型与所述交叉口的已知交通流控制装置不匹配；以及所述交叉口是所述运载工具可用的现有地图内未被绘制成图的交叉口。19.一种运载工具，包括：安装在运载工具上的至少一个传感器；至少一个控制系统；以及处理器，其被配置为：随着所述运载工具接近运载工具运输网络内的交叉口，接收来自安装在运载工具上的所述至少一个传感器的传感器数据；使用所述传感器数据来确定是否检测到所述交叉口的交通流控制装置；在检测到所述交通流控制装置的情况下，确定所述交通流控制装置的检测类型和检测状态中的至少一个；使用所述交叉口的识别来确定所述交通流控制装置的现有类型和现有状态中的至少一个，其中，所述交通流控制装置中的至少一个未被检测到，或者所述交通流控制装置的检测类型和检测状态中的至少一个是以小于所定义的检测置信度水平的检测置信度来确定的；以及在所述至少一个控制系统内，用标签标记所述交通流控制装置，所述标签包括所述交通流控制装置的位置、以及所述交通流控制装置的现有类型和现有状态中的至少一个；以及其中，所述运载工具被配置为使用并入了针对所述交通流控制装置的标签的所述至少一个控制系统，在所述运载工具运输网络内操作所述运载工具。20.根据权利要求19所述的运载工具，其中，至少一个控制系统运载工具包括所述运载工具的车载导航系统和车载对象检测系统中的至少一个。

技术总结
运载工具随着其接近交叉口而接收来自其传感器至少之一的传感器数据，并且确定是否检测到交叉口的交通流控制装置。在检测到时，确定交通流控制装置的检测类型、检测状态或这两者。使用交叉口的类型，确定交通流控制装置的现有类型和现有状态中的至少一个，其中交通流控制装置未被检测到，或者检测类型、检测状态或这两者是以小于所定义的检测置信度水平的检测置信度来确定的。交通流控制装置在运载工具的至少一个控制系统内被标记有标签，该标签包括交通流控制装置的位置和现有类型、现有状态或这两者。使用并入了标签的控制系统在运载工具运输网络内操作运载工具。工具运输网络内操作运载工具。工具运输网络内操作运载工具。


技术研发人员：L
受保护的技术使用者：北美日产公司
技术研发日：2021.09.21
技术公布日：2023/6/28