评估由自主交通工具感知的行动者的当前意图的制作方法

评估由自主交通工具感知的行动者的当前意图
1.相关申请和优先权要求
2.本专利文件要求于2021年2月19日提交的美国专利申请no.17/179,503的优先权，其全部内容通过引用并入本文。


背景技术：

3.当自主交通工具(av)在环境中移动时，它将检测到在av的规划行驶路径内或附近移动或可能移动的许多行动者(actor)。为了安全地操作，av将预报(forecast)行动者将做什么，使得av可以抢先避免与行动者冲突。
4.预报行动者将做什么涉及几个步骤。通常，av将进行若干预报并对每个预报进行排名、评分或分配概率。预报可以是计算密集的过程，使用av的处理时间、存储的能量和其他资源。因此，可以改进av预报另一行动者可能做什么的过程的方法和系统可以是非常有用的。
5.本文档描述了旨在解决上述问题和/或其他问题的方法和系统。


技术实现要素：

6.本文件中描述的各种实施例包括一种预报位于自主交通工具(av)正在行驶的环境中的行动者的意图的方法。在该方法中，av的感知系统检测接近av的行动者，确定行动者的类，并检测行动者正在采取的行动。av的预报系统将针对各个周期中的每个周期：(i)使用类和检测到的行动来生成行动者的多个候选意图；(ii)评估每个候选意图似然性；以及(iii)将每个候选意图及其似然性保存在数据存储中。在任何周期完成之后，预报系统将分析针对当前周期和一个或多个先前周期的候选意图及其似然性，以确定候选意图中的每一个的总体概率。然后，av的运动规划系统将使用总体概率来选择候选意图中的一个以影响av的选定轨迹。
7.在各种实施例中，使用类和检测到的行动来生成行动者的多个候选意图可以包括：(i)访问与各种类的行动者相关联的可能目标的数据集；(ii)选择数据集与行动者的检测到的类相关联的可能目标；(iii)确定数据集中的哪些可能目标与检测到的行动一致；以及(iv)使用所确定的可能目标作为候选意图。确定数据集中的哪些可能目标与检测到的行动一致(即，步骤(iii))可以包括确定检测到的行动是否满足每个可能目标的一个或多个规则，或者在已经在标记的行动和目标的数据集上训练的机器学习模型中处理检测到的行动和可能目标。
8.在各种实施例中，评估每个候选意图的似然性可以包括利用每个候选意图的唯一概率模型来跟踪每个候选意图，其中，每个概率模型的[假，真]状态表示候选意图是否对应于检测到的行动。
[0009]
可选地，在附加组周期已经完成之后，其中，附加组包括在确定总体概率时考虑的周期中的至少一些加上一个或多个附加周期，预报系统可以分析针对附加组周期的候选意图及其似然性，以细化针对候选意图中的每一个的总体概率。
[0010]
可选地，针对候选意图中的至少一些候选意图，预报系统可以预报行动者的未来模态，并为每个预报的未来模态分配概率。如果是，则当候选意图中的一个或多个及其似然性影响av的选定轨迹时，系统可以选择与具有超过阈值的概率的预报的未来模态中的一个或多个一致的轨迹。可选地，在预报行动者的未来模态并将概率分配给预报的未来模态之前，系统可以消除具有在阈值以下的似然性的候选意图，使得仅对具有相对高似然性的候选意图执行对行动者的未来模态的预报。
[0011]
在各种实施例中，确定候选意图中的每一个的总体概率可以包括将相对较高的似然性分配给在非中断的周期序列上持续的任何候选意图，并且将相对较低的似然性分配给在非中断的周期序列上不持续的任何候选意图。
[0012]
在各种实施例中，确定候选意图中的每一个的总体概率可以包括：(i)针对行动者的运动学状态评估候选意图中的每一个；(ii)将相对较高的似然性分配给与行动者的运动学状态一致的任何候选意图；以及(iii)将相对较低的似然性分配给与行动者的运动学状态不一致的任何候选意图。
[0013]
在各种实施例中，确定候选意图的总体概率可以包括：(i)从感知系统的各种传感器接收与自主交通工具正在行驶通过的环境有关的环境数据；(ii)将环境数据应用于随机森林分类器以对环境的环境状况进行分类；(iii)将相对较高的似然性分配给与环境条件一致的任何候选意图；以及(iv)将相对较低的似然性分配给与环境状况不一致的任何候选意图。
[0014]
在各种实施例中，确定候选意图的总体概率可以包括：(i)标识候选意图的第一目标和候选意图的第二目标，其中第一目标与第二目标冲突；以及(ii)确定在多个周期内检测到的行动者的行动与第一目标一致，并且作为响应，降低作为第二目标的候选意图的总体概率。
[0015]
上述任何方法可以由具有感知系统、预报系统和运动规划系统的av实现。感知系统可以包括一个或多个传感器，用于捕获关于接近自主交通工具的行动者的感知数据。感知系统还可以包括处理器和具有编程指令的存储器，该编程指令被配置为指示感知系统的处理器如上所述地处理感知数据。预报系统还可以包括处理器和具有编程指令的存储器，所述编程指令被配置为指示预报系统的处理器实现归因于上文和下文描述的预报系统的步骤。运动规划系统还可以包括处理器和具有编程指令的存储器，该编程指令被配置为使运动规划系统的处理器使用总体概率来选择候选意图中的一个以影响自主交通工具的选定轨迹。
附图说明
[0016]
图1示出了自主车辆可以如何感知该车辆正在移动或将移动的环境中的各种其他行动者。
[0017]
图2是示出车辆可以推断被感知的行动者的意图的过程的流程图。
[0018]
图3示出了用于使用观察到的证据和贝叶斯过滤器在多个周期内确定目标的似然性的示例算法。
[0019]
图4a至图4c示出了推断行动者的候选意图并随时间更新每个意图的似然性的示例过程。
[0020]
图5示出了关于图2的过程的某些步骤的附加细节。
[0021]
图6a和图6b示出了系统可以如何使用概率模型来确定互斥目标的似然性的示例。
[0022]
图7是示出自主交通工具的各种高级系统的框图。
[0023]
图8示出了可以构成图7的系统的特定硬件的示例。
[0024]
图9是示出自主交通工具和/或外部电子设备的可能电子子系统的各种元件的框图。
具体实施方式
[0025]
如本文件中所使用的，单数形式“一”、“一个”和“该”包括复数引用，除非上下文另有明确说明。除非另有定义，否则本文使用的所有技术和科学术语具有与本领域普通技术人员通常理解的含义相同的含义。如本文档中所使用的，术语“包含”意指“包括但不限于”。与本文档相关的附加术语的定义包括在本详细描述的末尾。
[0026]
自主交通工具(av)必须能够预测其在其环境中检测到的行动者的未来轨迹，以便做出安全有效的行动决策。“参考路径”是通过由折线描述的2d空间的轨迹，其可以包括代理将遵循的路径点的序列。在理解行动者的意图或目标之后，av将确定从行动者的当前位置到该目标的理想参考路径和/或多个候选参考路径。
[0027]
在确定行动者的参考路径或候选路径之前，av必须确定行动者的意图——即，行动者的高级规划是什么，而不管行动者可以如何执行该规划。所有预报的根源开始于推断行动者的可能意图，并将它们存储为一组可能的意图。示例意图(我们也可以称为意图或目标)包括“穿越街道”(如果是行人)、“停车”或“右转”(如果是交通工具)、或者移动的行动者可以在道路上或道路附近采取的任何其他数量的可能的高级行动。
[0028]
用于推断意图的当前方法集中于行动者的规划，作为一组离散的步骤或状态。
[0029]
本文档描述了通过在多个级别(诸如语义和空间级别)提出提议来推断行动者的意图的改进方法。
[0030]
在讨论当前方法之前，描述av可以如何感知环境中的行动者是有用的。图1示出了包括以半自主或自主方式沿着道路行驶的交通工具102的示例系统100。交通工具102可以是av。av 102可以是但不限于陆地交通工具(如图1所示)、飞机或船只。
[0031]
av 102通常被配置为在其传感器的检测范围和场内检测其他对象，诸如行动者105、114、116。行动者可以包括例如另一交通工具105、骑车人114(诸如自行车、电动滑板车、摩托车等的骑车人)和/或行人116。例如，可以通过分析由av 102上的至少一个传感器设备生成的传感器数据和/或经由通信链路150、152、154从对象的通信设备(例如，收发器、信标和/或智能电话)接收的信息来进行该对象检测。通信链路150、152、154可以包括但不限于v2x通信链路。术语“v2x”是指交通工具与可能影响交通工具或可能受交通工具影响的任何实体之间的通信。
[0032]
当进行这种检测时，av 102执行操作以：为检测到的行动者生成一个或多个可能的行动者轨迹(或预测的行驶路径)；以及使用所生成的可能的对象轨迹(或预测的行驶路径)中的至少一个来促进确定av的交通工具轨迹。然后，av 102可以执行操作以遵循交通工具轨迹。
[0033]
在一些情况下，av 1021执行附加操作以确定是否存在av将在阈值时间段(例如，1
分钟)内进入距行动者的阈值距离内的不期望的风险水平。如果是，如果是，av 102执行操作以确定如果av 102遵循交通工具轨迹并且在预定义的时间段(例如，n毫秒)内执行多个动态生成的紧急机动行动中的任何一个，是否可以避免该情况。如果可以避免这种情况，则av 102不采取行动或可选地执行谨慎的操纵(例如，温和地减速)。相反，如果无法避免这种情况，则av 102立即进行紧急操纵(例如，制动和/或改变行驶方向)。
[0034]
在一些实施例中，av可以包括数据存储或与数据存储通信，该数据存储具有可以分配给各种类的行动者的一组目标。例如，数据集可以包括指示交通工具类的行动者可以与目标相关联的数据，目标包括：(i)车道跟随(即，在环境中跟随地图车道的意图)；(ii)未映射的操纵(诸如k转弯、非法u转弯或转入停车库)；(iii)已停放或正在停放；和/或(iv)车道阻挡(诸如通过双重停车或以其他方式停在车道中并至少部分地阻挡车道)。数据集可以指示行人类的行动者可以与目标相关联，目标诸如在人行横道处穿过街道、走路、进入停放的交通工具或其他目标。
[0035]
图2示出了av可以推断出av在交通工具行驶的环境中感知到的行动者的意图的过程。在201处，av的感知系统将检测接近av的行动者(即，在av的摄像头、lidar系统和/或其他传感器的检测范围内)。在202处，充当感知系统的一部分的av的机载计算系统将处理感测到的数据以确定行动者的类(即，分类标签，诸如汽车、行人、自行车等)。在203处，av将检测行动者正在采取的行动，诸如朝向av行走、面向街道或操作转向信号。感知系统可以执行这些步骤的方法将在下面的图4的讨论中描述。
[0036]
在204处，av的预报系统将针对多个周期中的每个周期推断行动者的一个或多个候选意图的集合，其中周期表示经由感知系统感测到行动者的时间段。为此，系统将使用类和检测到的行动来生成行动者的候选意图。系统可以通过访问与各种类的行动者相关联的可能目标的数据集、选择数据集与检测到的行动者类相关联的可能目标、以及确定数据集中的哪些可能目标与检测到的行动者正在采取的行动一致来这样做的示例过程。这种一致性的确定可以在语义级别(示例：既行走又面向街道的行人行动者可能具有横穿街道的目标)，或者基于一个或多个规则(例如：目标可能需要采取某些行动，并且目标所需的行动将与目标一致)来完成。附加地或替代地，一致性的确定可以包括在诸如卷积神经网络的模型中处理行动，该模型已经在标记的行动和目标的数据集上训练。然后，系统将选择与检测到的行动一致的可能目标作为候选意图的集合。
[0037]
在205处，系统可以评估集合中的每个候选意图的似然性。为此，系统可以考虑诸如行动者在多个连续周期中朝向共同目标的进展、实现目标所需的动态的可行性、在场景中检测到的其他行动者的目标或其他因素之类的因素。系统可以通过例如用二元隐马尔可夫模型(hmm)跟踪每个目标来确定任何特定目标的似然性，每个目标唯一地分配一个，其中每个hmm的[假，真]状态表示目标是否正确地描述了移动者的行动。如图3所示，hmm的输入可以是来自机器学习模型(诸如分类器301)的输出，该机器学习模型推断行动者的隐藏状态或其他嵌入表示、行动者的状态的观察结果的启发式结果，或者来自一个或多个基于规则的过程的输出。使用hmm的地面事实状态的标签，可以针对hmm的每个状态拟合输入302的分布。这些输出中的每一个将在302处在多个周期内被观察到，并且在多个证据源可用的情况下，它们可以被组合以产生每个目标303的建议的似然性。尽管通过示例的方式描述了hmm的使用，但是本公开不限于该概率模型，以及在离散状态空间上推理的其他模型，诸如
条件随机场、分层和/或多分辨率hmm或神经网络。
[0038]
然后，贝叶斯过滤器304可以使用诸如以下的函数从当前提出的似然性和先验似然性中计算后验似然性305：
[0039]
p
posterior
(x
t
)＝η
·
πip(zi|x
t
)
·
p
prior
(x
t
),
[0040]
其中：
[0041]
πip(zi|x
t
)是在时间t以状态x为条件的观察zi的观察似然性，
[0042]
η是归一化常数，并且
[0043]
p
prior
(x
t
)是在应用转换概率(transition probability)之后的状态x的预测的置信度
[0044]
为了使用观察作为图3的算法中的证据源，必须在303处从该证据中提取似然性。这可以通过将观察映射到似然性来完成。在302处，可以使用实际数据中的观察的值的概率密度函数来统计地累积观察分布，诸如由一队av捕获的行动者状态的记录观察，以目标的地面事实为条件。p(z|groundtruth)可以表示在给定行动者遵守目标的情况下观察z的每个可能值的概率。可以在观察分布中查找每个观察zi的具体值以获得其条件似然性p(zi|x
t
)。
[0045]
在304处，可以使用转换概率将来自先前周期的后验似然性携带到当前周期中。这是因为行动者的行动可能随时间而改变。这可以通过诸如以下等式来处理：
[0046]
p
prior
(xi)＝∑p(xi|x
t-1
)p
posterior
(x
t-1
)
[0047]
其中，(xi|x
t-1
)是从先前周期到当前周期的置信度的转换概率密度。这可以通过统计地累积实际数据中的目标的地面事实的转换来生成。
[0048]
作为示例，一个可能目标，诸如标称车道目标(即，在标称车道中前进的行动者的目标)可以被另一个目标(诸如“停放”目标)抑制(即，与另一个目标冲突或不一致)。如果行动者看起来在多个周期内停放，则行动者具有标称车道目标的似然性可能随着那些周期的增加而降低。例如，当在多个周期内观察到行动者时，对于每个周期，系统可以通过在观察分布中查找标称车道分类器(nominal lane classifier)的输出并经由诸如以下的函数对其进行归一化来确定“标称车道”目标的建议似然性：
[0049]
p
proposed
(nl
t
)＝η
·
p(nominal lane classifier output|nl＝true)
[0050]
其中，
[0051]
如果假设分类器输出校准概率，则上述步骤是可选的。
[0052]
系统可以通过使用诸如以下的函数预测从最后一个周期到当前周期的后验似然性来计算先验目标似然性。
[0053]
p
prior
(nl
t
)＝∑p(nl
t
|nl
t-1
)p
posterior
(nl
t-1
)，
[0054]
其中，p(nl
t
|nl
t-1
)是描述在nl＝假和nl＝真的所有组合之间转换的概率的2
×
2转换概率矩阵。
[0055]
系统可以通过在观察分布中查找停放目标的输出(或is_parked分类器的输出)并将其归一化来根据检测指示当前周期中的替代目标(诸如停放)的行动的抑制作用计算似然性。
[0056]
p(p
inhibitory
)＝η
·
p(is parked classifier output|nl＝true)。
[0057]
然后可以计算后验目标似然性并将其归一化为：
[0058]
p
posterior
(nl
t
)＝η
·
p
proposed
(nl
t
)
·
p
prior
(nl
t
)
·
p(p
inhibitory
)。
[0059]
返回到图2，在206处，系统可以将候选意图中的每一个及其似然性保存在数据存储中。
[0060]
如上所述，系统可以在多个周期内接收数据，因此步骤207指示系统可以在多个周期内重复步骤201-206中的任何一个或全部(或仅步骤203-206)。在任何周期完成之后，在208处，系统可以分析针对当前周期和一个或多个先前周期的候选意图及其似然性，以确定针对候选意图中的每一个的总体概率(即，多个周期上的概率)。为此，系统可以使用任何合适的标准。例如，系统可以将相对较高的似然性分配给在非中断的周期序列上持续的任何候选意图，并且它可以将相对较低的似然性分配给在非中断的周期序列上持续的任何候选意图。另外或可替代地，系统可以针对行动者的运动学状态(由感知系统确定)评估候选意图中的每一个，将相对较高的似然性分配给与行动者的运动学状态一致的任何候选意图；以及将相对较低的似然性分配给与行动者的运动学状态不一致的任何候选意图。在这种情况下，一致性也可以以上述任何方式来确定。这些因素可以被加权和求和或以任何其他合适的公式使用以确定相对概率。此外，如果行动者无法合理地实现目标，或者如果其似然性在阈值水平以下，则可以将其从考虑中排除。例如，如果鉴于交通工具的运动学状态，目标在几何上是不可能的或不可行的，则可以消除它。
[0061]
可选地，在210处，系统可以使用来自附加周期的数据来细化每个候选意图的总体似然性。例如，图1。图4a至图4c示出了行动者401在多个时间周期上朝向各种目标的进展。在图4a中，在时间t0，行动者401正遵循目标411a和411b接近候选通道。最初，系统可以确定目标411a比411b更可能，因为交通工具当前在目标411a的车道中。在图4b中，在时间t1，行动者401继续在相同的车道目标411a中，没有发信号通知切换车道的意图，并且处于改变车道以达到目标411b的动态将导致突然的、剧烈的移动的位置。鉴于这些因素中的任何一个或全部，系统将增加目标411a的似然性的值，并相应地降低目标411b的似然性。在图4c中，在时间t2，交通工具已经到达对应于目标411a的车道的末端，因此系统然后考虑下一组目标，其可以包括左转目标412a和/或停车目标412b。此外，图4a和图4b示出了考虑可以考虑多个目标集411a-b和412a-b的相对似然性，并且考虑在行动者401完成该集之一内的任何目标或进行使该集中的目标不可能的移动之前该集内的每个目标的相对似然性。
[0062]
返回图2，在211处，自主交通工具的运动规划系统将使用一个或多个候选意图及其似然性来影响自主交通工具的选定轨迹。例如，如上所述，av可以避免或改变可能与行动者的轨迹冲突的规划路径，该行动者的轨迹与具有超过阈值的似然性的目标相关联。可选地，如果交通工具配备有机载显示设备，则可以在显示器上输出具有超过阈值的似然性的行动者的目标或行动者最可能目标，以供交通工具操作员查看。
[0063]
图5示出了av的运动规划系统可以如何使用一个或多个候选意图及其似然性来影响自主交通工具的选定轨迹的另一示例(步骤211)。在512处，系统可以首先过滤掉具有在阈值以下的似然性的候选意图，使得仅针对具有相对高似然性的候选意图执行下一步骤。在513处，针对候选意图中的至少一些，预报系统将预报未来模态(即，行动者在达到当前目标之后可能具有的后续目标)并向每个预报的未来模态分配概率。在514处，预报系统可以选择相对高概率的未来模态，在515处，系统可以选择与当前推断的意图和具有超过阈值的
概率的更多预报的模态两者一致的轨迹。
[0064]
一些目标可以被认为是随时间彼此排他的，诸如车道改变目标和标称车道目标。在这种情况下，系统使用如图6a所示的多类hmm 601联合跟踪似然性可能是有意义的。可替代地，系统可以单独地或与如图6b所示的多类hmm 603组合地利用多个证据源来推理和拟合各个二进制hmm 602a、602b。
[0065]
图7示出了可能与上述讨论相关的av子系统的高级概述。这种系统内的特定组件将在本文档稍后的图8的讨论中描述。子系统的某些组件可以体现在作为av的机载计算系统701的一部分的处理器硬件和计算机可读编程指令中。子系统可以包括感知系统702，感知系统702包括捕获关于存在于交通工具的直接周围环境中的移动行动者和其他对象的信息的传感器。示例传感器包括相机、lidar传感器和雷达传感器。由这种传感器捕获的数据(诸如数字图像、lidar点云数据或雷达数据)被称为感知数据。
[0066]
感知系统可以包括一个或多个处理器，以及具有编程指令和/或训练的人工智能模型的计算机可读存储器，其在av运行期间将处理感知数据以标识对象并将分类标签和唯一标识符分配给场景中检测到的每个对象。分类标签可以包括诸如交通工具、骑车人、行人、建筑物等的类。标识对象并将分类标签分配给对象的方法是本领域公知的，并且可以使用任何合适的分类过程，诸如对场景中的检测到的对象进行边界框预测并使用卷积神经网络或其他计算机视觉模型的那些。在“yurtsever等人，a survey of autonomous driving：common practices and emerging technologies”(arxiv 2020年4月2日)中描述了一些这样的过程。
[0067]
交通工具的感知系统702可以将感知数据传递到交通工具的预报系统703。预报系统(其也可以称为预测系统)将包括处理器和计算机可读编程指令，其被配置为处理从感知系统接收的数据并预报感知系统检测到的其他行动者的行动。
[0068]
交通工具的感知系统以及交通工具的预报系统将数据和信息传送到交通工具的运动规划系统704和控制系统705，使得接收系统可以评估这种数据并启动对这种数据的任何数量的反应性运动。运动规划系统704和控制系统705包括和/或共享一个或多个处理器和计算机可读编程指令，其被配置为处理从其他系统接收的数据，确定交通工具的轨迹，并向交通工具硬件输出命令以根据所确定的轨迹移动交通工具。这样的命令可以引起的示例行动包括使交通工具的制动控制系统致动，使交通工具的加速控制子系统增加交通工具的速度，或者使交通工具的转向控制子系统转动交通工具。各种运动规划技术是众所周知的，例如，如gonzalez等人在ieee transactions on intelligent transportation systems第17卷第4期(2016年4月)上发表的“areview of motion planning techniques for automated vehicles”中所述。
[0069]
在av的部署期间，av从av的感知系统的一个或多个传感器接收感知数据。感知数据可以包括表示环境中的一个或多个对象的数据。感知系统将处理数据以标识对象并将分类标签和唯一标识符分配给场景中检测到的每个对象。
[0070]
图8示出了用于诸如av的交通工具的示例系统架构899。交通工具包括发动机或马达802和用于测量交通工具和/或其环境的各种参数的各种传感器。两种类型的交通工具共有的操作参数传感器包括例如：位置传感器836，诸如加速度计、陀螺仪和/或惯性测量单元；速度传感器838；以及里程表传感器840。交通工具还可以具有时钟842，系统使用时钟
842来确定操作期间的交通工具时间。时钟842可以被编码到交通工具机载计算设备中，它可以是单独的设备，或者多个时钟可以是可用的。
[0071]
交通工具还将包括各种传感器，其操作以收集关于交通工具行驶的环境的信息。这些传感器可以包括例如：位置传感器860，诸如全球定位系统(gps)设备；对象检测传感器，诸如一个或多个相机862；lidar传感器系统864；和/或雷达和/或声纳系统866。传感器还可以包括环境传感器868，诸如降水传感器和/或环境温度传感器。对象检测传感器可以使得交通工具能够在任何方向上检测在交通工具599的给定距离范围内的移动行动者和静止对象，而环境传感器收集关于交通工具行驶区域内的环境状况的数据。该系统还将包括用于捕获环境的图像的一个或多个相机862。这些传感器中的任何一个或全部将捕获传感器数据，该传感器数据将使得交通工具的机载计算设备820和/或外部设备的一个或多个处理器能够执行编程指令，该编程指令使得计算系统能够对感知数据中的对象进行分类，并且所有这样的传感器、处理器和指令可以被认为是交通工具的感知系统。交通工具还可以经由一个或多个无线通信链路(诸如被称为交通工具到交通工具、交通工具到对象或其他v2x通信链路的那些)从通信设备(诸如收发器、信标和/或智能电话)接收信息。术语“v2x”是指交通工具与交通工具在其环境中可能遇到或影响的任何对象之间的通信。
[0072]
在交通工具行驶期间，信息从传感器传送到机载计算设备820。机载计算设备820分析由感知系统传感器捕获的数据，并且充当运动规划系统，执行指令以确定交通工具的轨迹。轨迹包括姿势和时间参数，并且交通工具的机载计算设备将控制各种交通工具组件的操作以沿着轨迹移动交通工具。例如，机载计算设备820可以经由制动控制器822来控制制动；经由转向控制器824的方向；经由油门控制器826(在气体动力交通工具中)或马达速度控制器828(诸如电动交通工具中的电流水平控制器)的速度和加速度；差速齿轮控制器830(在具有变速器的交通工具中)；和/或其他控制器。
[0073]
地理位置信息可以从位置传感器860传送到机载计算设备820，机载计算设备820然后可以访问对应于位置信息的环境的地图，以确定环境的已知固定特征，诸如街道、建筑物、停车标志和/或停车/行进信号。从相机862捕获的图像和/或从诸如lidar系统864的传感器捕获的对象检测信息从那些传感器传送到机载计算设备520。对象检测信息和/或捕获的图像可以由机载计算设备820处理，以检测交通工具800附近的对象。附加地或替代地，av可以将任何数据发送到外部计算设备880以进行处理。用于基于传感器数据和/或捕获的图像执行对象检测的任何已知或将要已知的技术可以用于本文档中公开的实施例中。
[0074]
另外，av可以包括机载显示设备885，机载显示设备885可以生成并输出接口，在该接口上向交通工具的乘员显示传感器数据、交通工具状态信息或由本文档中描述的过程生成的输出。显示设备可以包括以音频格式呈现这样的信息的音频扬声器，或者单独的设备可以是以音频格式呈现这样的信息的音频扬声器。
[0075]
图9描绘了内部硬件的示例，这些内部硬件可以包括在系统的任何电子组件中，诸如av的机载计算设备、外部监控和报告系统或远程服务器中。。电气总线900用作互连硬件的其他所示组件的信息高速公路。处理器905是系统的中央处理设备，被配置为执行执行编程指令所需的计算和逻辑操作。如本文档和权利要求书中所使用的，术语“处理器”和“处理设备”可以指代单个处理器或共同执行一组操作的一组处理器中的任何数量的处理器，诸如中央处理单元(cpu)、图形处理单元(gpu)、远程服务器或这些的组合。只读存储器(rom)、
随机存取存储器(ram)、闪存、硬盘驱动器和能够存储电子数据的其他设备构成存储器设备925的示例。存储器设备可以包括单个设备或跨其存储数据和/或指令的设备的集合。本发明的各种实施例可以包括包含编程指令的计算机可读介质，所述编程指令被配置为使一个或多个处理器、打印设备和/或扫描设备执行在先前附图的上下文中描述的功能。
[0076]
可选的显示接口930可以允许来自总线900的信息以视觉、图形或字母数字格式显示在显示设备935上，例如在交通工具的仪表板内显示系统上。还可以提供音频接口和音频输出(诸如扬声器)。与外部设备的通信可以使用各种通信设备940(诸如无线天线、射频标识(rfid)标签和/或短程或近场通信收发器)来发生，其中的每一个可以可选地经由一个或多个通信系统与设备的其他组件通信地连接。通信设备940被配置为通信地连接到通信网络，诸如因特网、局域网或蜂窝电话数据网络。
[0077]
硬件还可以包括用户接口传感器945，其允许从诸如键盘或小键盘、操纵杆、触摸屏、触摸板、遥控器、定点设备和/或麦克风的输入设备950接收数据。还可从可捕获视频和/或静止图像的相机920接收数字图像帧。系统还可以从诸如加速度计、陀螺仪或惯性测量单元的运动和/或位置传感器970接收数据。当在自主交通工具的背景下使用时，系统还可以包括lidar系统960并经由lidar系统960接收数据。
[0078]
上面公开的特征和功能以及替代方案可以组合到许多其他不同的系统或应用中。各种组件可以在硬件或软件或嵌入式软件中实现。本领域技术人员可以进行各种目前未预见或未预期的替代、修改、变化或改进，其中的每一个也旨在由所公开的实施例涵盖。
[0079]
与上面提供的公开内容相关的术语包括：
[0080]
术语“交通工具”是指能够承载一个或多个人类乘员和/或货物并且由任何形式的能量提供动力的任何移动形式的运输工具。术语“交通工具”包括但不限于汽车、卡车、货车、火车、自主交通工具、飞机、空中无人机等。“自主交通工具”是具有处理器、编程指令和传动系组件的交通工具，所述编程指令和传动系组件可由处理器控制而不需要人类操作者。自主交通工具可以是完全自主的，因为它对于大多数或所有驾驶条件和功能不需要人类操作者。替代地，它可以是半自主的，因为在某些条件下或对于某些操作可能需要操作人员，或者操作人员可以超控交通工具的自主系统并且可以控制交通工具。自主交通工具还包括其中自主系统增强交通工具的人工操作的交通工具，诸如具有驾驶员辅助转向、速度控制、制动、停车和其他高级驾驶员辅助系统的交通工具。
[0081]
当在自主交通工具运动规划的上下文中使用时，术语“轨迹”是指交通工具的运动规划系统将生成的并且交通工具的运动控制系统在控制交通工具的运动时将遵循的规划。轨迹包括交通工具在时间范围内的多个时间点处的规划位置和定向，以及交通工具在相同时间范围内的规划方向盘角度和角速率。自主交通工具的运动控制系统将消耗轨迹并向交通工具的转向控制器、制动控制器、油门控制器和/或其他运动控制子系统发送命令，以沿着规划路径移动交通工具。
[0082]
交通工具的感知或预测系统可以生成的行动者的“轨迹”是指行动者将在时间范围内遵循的预测路径，以及行动者的预测速度和/或行动者在沿着时间范围的各个点处沿着路径的位置。
[0083]“电子设备”或“计算设备”是指包括处理器和存储器的设备。每个设备可以具有其自己的处理器和/或存储器，或者处理器和/或存储器可以与虚拟机或容器布置中的其他设
备共享。存储器将包含或接收编程指令，该编程指令在由处理器执行时使电子设备根据编程指令执行一个或多个操作。
[0084]
术语“存储器”、“存储器设备”、“数据存储”、“数据存储设施”等各自是指其上存储计算机可读数据、编程指令或两者的非暂时性设备。除非另有特别说明，否则术语“存储器”、“存储器设备”、“数据存储”、“数据存储设施”等旨在包括单个设备实施例、其中多个存储器设备一起或共同存储一组数据或指令的实施例、以及这些设备内的各个扇区。
[0085]
术语“处理器”和“处理设备”是指被配置为执行编程指令的电子设备的硬件组件，诸如微处理器或其他逻辑电路。处理器和存储器可以是微控制器、定制可配置集成电路、可编程片上系统或可以被编程为执行各种功能的其他电子设备的元件。除非另有特别说明，否则单数术语“处理器”或“处理设备”旨在包括单个处理设备实施例和多个处理设备一起或共同执行过程的实施例。
[0086]
术语“分类器”是指人工智能系统可以将标签或类分配给一个或多个数据点的自动化过程。分类器包括经由诸如机器学习的自动化过程训练的算法。分类器通常以一组标记或未标记的训练数据开始，并应用一个或多个算法来检测数据内对应于各种标记或类的一个或多个特征和/或模式。算法可以包括但不限于与决策树一样简单的算法、与朴素贝叶斯分类一样复杂的算法和/或诸如k-最近邻的中间算法。分类器可以包括人工神经网络(ann)、支持向量机分类器和/或许多不同类型的分类器中的任何一种。一旦被训练，分类器就可以使用其在训练期间学习的知识库对新数据点进行分类。训练分类器的过程可以随时间演变，因为可以在更新的数据上周期性地训练分类器，并且它们可以从被提供的关于它们可能错误分类的数据的信息中学习。分类器将由执行编程指令的处理器实现，并且它可以对诸如图像数据、lidar系统数据和/或其他数据的大数据集进行操作。
[0087]“机器学习模型”或“模型”是指一组算法例程和参数，其可以基于一组输入特征来预测现实世界过程的输出(例如，对象轨迹的预测、患者的诊断或治疗、基于用户搜索查询的合适推荐等)，而无需明确编程。可以在训练过程中确定软件例程的结构(例如，子例程的数量和它们之间的关系)和/或参数的值，该训练过程可以使用正在建模的现实世界过程的实际结果。这样的系统或模型被理解为必然植根于计算机技术，并且事实上，在没有计算技术的情况下不能实现或甚至存在。虽然机器学习系统利用各种类型的统计分析，但是机器学习系统与统计分析的区别在于在没有显式编程的情况下学习并且植根于计算机技术的能力。
[0088]
如本文所使用的，术语“推断(infer)”或“推断(inference)”通常是指从经由事件或数据等捕获的一个或多个观察中推理或推断系统、组件、环境、用户的状态的过程。例如，可以采用推断来标识上下文或行动，或者可以采用推断来生成状态上的概率分布。推断可以是概率性的。例如，基于对数据或事件的考虑来计算感兴趣状态上的概率分布。推断还可以指用于从一组事件或数据组成更高级事件的技术。这种推断可以导致从一组观察到的事件或存储的事件数据构建新事件或新行动，无论事件是否在时间上紧密相关，以及事件和数据是否来自一个或多个事件和数据源。
[0089]
在本文件中，当诸如“第一”和“第二”的顺序的相对术语用于修饰名词时，这种使用仅旨在将一个项目与另一个项目区分开，并且不旨在要求顺序的顺序，除非特别说明。

技术特征：
1.一种预报在自主交通工具行驶通过的环境中的行动者的意图的方法，所述方法包括：由自主交通工具的感知系统：检测接近所述自主交通工具的行动者，确定所述行动者的类，以及检测所述行动者正在采取的行动；由所述自主交通工具的预报系统针对多个周期中的每个周期：使用所述类和检测到的行动来生成所述行动者的多个候选意图，评估每个候选意图的似然性，以及将所述候选意图中的每一个及其似然性保存在数据存储中；在所述多个周期中的任何当前周期已经完成之后，分析针对所述当前周期和针对先前周期中的一个或多个的候选意图及其似然性，以确定针对所述候选意图中的每一个的总体概率；以及由所述自主交通工具的运动规划系统，使用所述总体概率来选择所述候选意图中的一个以影响所述自主交通工具的选定轨迹。2.根据权利要求1所述的方法，其中，使用所述类和检测到的行动来生成所述行动者的多个候选意图包括：访问与各种类的行动者相关联的可能目标的数据集；选择所述数据集与所述行动者的检测到的类相关联的可能目标；确定所述数据集中的可能目标中的哪些可能目标与检测到的行动一致；以及使用所确定的可能目标作为所述候选意图。3.根据权利要求2所述的方法，其中，确定所述数据集中的可能目标中的哪些可能目标与检测到的行动一致包括：确定检测到的行动是否满足所述可能目标中每一个的一个或多个规则；或在已经在标记的行动和目标的数据集上训练的机器学习模型中处理检测到的行动和可能目标。4.根据权利要求1所述的方法，其中，评估每个候选意图的似然性包括：利用每个候选意图的唯一概率模型来跟踪每个候选意图，其中，每个概率模型的[假，真]状态表示所述候选意图是否对应于检测到的行动。5.根据权利要求1所述的方法，还包括：在周期的附加组已经完成之后，其中，所述附加组包括在确定所述总体概率时考虑的周期中的至少一些周期加上一个或多个附加周期：分析针对所述周期的附加组的候选意图及其似然性，以细化针对所述候选意图中的每一个的总体概率。6.根据权利要求1所述的方法，还包括：由所述预报系统，针对所述候选意图中的至少一些，预报所述行动者的未来模态并向每个预报的未来模态分配概率；其中，使用所述候选意图中的一个或多个及其似然性来影响所述自主交通工具的选定轨迹包括选择与具有超过阈值的概率的预报的未来模态中的一个或多个一致的轨迹。7.根据权利要求6所述的方法，还包括在预报所述行动者的未来模态并将概率分配给
预报的未来模态之前：消除具有在阈值以下的似然性的候选意图，使得仅对具有相对高似然性的候选意图执行对所述行动者的未来模态的预报。8.根据权利要求1所述的方法，其中，确定所述候选意图中的每一个的总体概率包括：将相对较高的似然性分配给在非中断的周期序列上持续的任何候选意图；以及将相对较低的似然性分配给在非中断的周期序列上未持续的任何候选意图。9.根据权利要求1所述的方法，其中，确定所述候选意图中的每一个的总体概率包括：针对所述行动者的运动学状态来评估所述候选意图中的每一个；将相对较高的似然性分配给与所述行动者的运动学状态一致的任何候选意图；以及将相对较低的似然性分配给与所述行动者的运动学状态不一致的任何候选意图。10.根据权利要求1所述的方法，其中，确定所述候选意图的总体概率包括：从所述感知系统的多个传感器接收与所述自主交通工具行驶通过的环境有关的环境数据；将所述环境数据应用于随机森林分类器以对所述环境的环境状况进行分类；将相对较高的似然性分配给与所述环境状况一致的任何候选意图；以及将相对较低的似然性分配给与所述环境状况不一致的任何候选意图。11.根据权利要求2所述的方法，其中，确定所述候选意图的总体概率包括：标识所述候选意图的第一目标和所述候选意图的第二目标，其中所述第一目标与所述第二目标冲突；以及确定在多个周期内检测到的行动者的行动与所述第一目标一致，并且作为响应，降低作为所述第二目标的候选意图的总体概率。12.一种自主交通工具，包括：感知系统，包括：一个或多个传感器，所述一个或多个传感器用于捕获关于接近所述自主交通工具的行动者的感知数据，处理器，以及具有被配置为指示所述感知系统的处理器处理所述感知数据用于以下操作的编程指令的存储器：对接近所述自主交通工具的行动者进行检测和分类，以及检测所述行动者正在采取的行动；预报系统，包括：处理器，以及具有被配置为使所述预报系统的处理器用于以下操作的编程指令的存储器：对于多个周期中的每个周期：使用所述类和检测到的行动来生成所述行动者的多个候选意图；评估每个候选意图的似然性；以及将候选意图中的每一个及其似然性保存在数据存储中，在所述多个周期中的任何当前周期已经完成之后，分析针对所述当前周期和针对先前周期中的一个或多个的候选意图及其似然性，以确定针对所述候选意图中的每一个的总体
概率；以及运动规划系统，包括：处理器，以及具有被配置为使所述运动规划系统的处理器使用所述总体概率来选择所述候选意图中的一个以影响所述自主交通工具的选定轨迹的编程指令的存储器。13.根据权利要求12所述的自主交通工具，其中，用于使用所述类和检测到的行动来生成所述行动者的多个候选意图的指令包括用于以下操作的指令：访问与各种类的行动者相关联的可能目标的数据集；选择所述数据集与所述行动者的检测到的类相关联的可能目标；确定所述数据集中的可能目标中的哪些可能目标与检测到的行动一致；以及使用所确定的可能目标作为所述候选意图。14.根据权利要求13所述的自主交通工具，其中，用于确定所述数据集中的可能目标中的哪些可能目标与检测到的行动一致的指令包括用于以下操作的指令：确定检测到的行动是否满足所述可能目标中每一个的一个或多个规则；或在已经在标记的行动和目标的数据集上训练的机器学习模型中处理检测到的行动和可能目标。15.根据权利要求12所述的自主交通工具，其中，用于评估每个候选意图的似然性的指令包括用于利用每个候选意图的唯一概率模型来跟踪每个候选意图的指令，其中，每个概率模型的[假，真]状态表示所述候选意图是否对应于检测到的行动。16.根据权利要求12所述的自主交通工具，还包括附加编程指令，所述附加编程指令被配置为指示所述预报系统的处理器以，在周期的附加组已经完成之后，其中，所述附加组包括在确定所述总体概率时考虑的周期中的至少一些加上一个或多个附加周期：分析针对所述周期的附加组的候选意图及其似然性，以细化针对所述候选意图中的每一个的总体概率。17.根据权利要求12所述的自主交通工具，还包括附加编程指令，所述附加编程指令被配置为使所述预报系统的处理器针对所述候选意图中的至少一些，预报所述行动者的未来模态并为每个预报的未来模态分配概率；其中，用于使用所述候选意图中的一个或多个及其似然性来影响所述自主交通工具的选定轨迹的指令包括用于选择与具有超过阈值的概率的预报的未来模态中的一个或多个一致的轨迹的指令。18.根据权利要求12所述的自主交通工具，还包括附加编程指令，所述附加编程指令被配置为使所述预报系统的处理器在预报所述行动者的未来模态并将概率分配给预报的未来模态之前：消除具有在阈值以下的似然性的候选意图，使得仅对具有相对高似然性的候选意图执行对行动者的未来模态的预报。19.根据权利要求12所述的自主交通工具，其中，用于确定所述候选意图中的每一个的总体概率的指令包括用于以下操作的指令：将相对较高的似然性分配给在非中断的周期序列上持续的任何候选意图；以及将相对较低的似然性分配给在非中断的周期序列上未持续的任何候选意图。
20.根据权利要求12所述的自主交通工具，其中，用于确定所述候选意图中的每一个的总体概率的指令包括用于以下操作的指令：针对所述行动者的运动学状态来评估所述候选意图中的每一个；将相对较高的似然性分配给与所述行动者的运动学状态一致的任何候选意图；以及将相对较低的似然性分配给与所述行动者的运动学状态不一致的任何候选意图。21.根据权利要求12所述的自主交通工具，其中，用于确定所述候选意图中的每一个的总体概率的指令包括用于以下操作的指令：从感知系统的一个或多个传感器接收与自主交通工具行驶通过的环境有关的环境数据；从所述感知系统的多个传感器接收与所述自主交通工具行驶通过的环境有关的环境数据；将所述环境数据应用于随机森林分类器以对所述环境的环境状况进行分类；将相对较高的似然性分配给与所述环境状况一致的任何候选意图；以及将相对较低的似然性分配给与所述环境状况不一致的任何候选意图。22.根据权利要求12所述的自主交通工具，其中，用于确定所述候选意图中的每一个的总体概率的指令包括用于以下操作的指令：标识所述候选意图的第一目标和所述候选意图的第二目标，其中所述第一目标与所述第二目标冲突；以及确定在多个周期内检测到的行动者的行动与所述第一目标一致，并且作为响应，降低作为所述第二目标的候选意图的总体概率。23.一种存储指令的非暂时性计算机可读介质，所述指令被配置为当由至少一个计算设备执行时使所述至少一个计算设备执行操作，所述操作包括：检测接近自主交通工具的行动者；确定所述行动者的类；以及检测所述行动者正在采取的行动；使用所述类和检测到的行动来生成所述行动者的多个候选意图；评估每个候选意图的似然性；将所述候选意图中的每一个及其似然性保存在数据存储中；在所述多个周期中的任何当前周期已经完成之后，分析针对所述当前周期和针对先前周期中的一个或多个的所述候选意图及其似然性，以确定针对所述候选意图中的每一个的总体概率；以及使用所述总体概率来选择所述候选意图中的一个以影响所述自主交通工具的选定轨迹。

技术总结
公开了预报自主交通工具(AV)遇到的行动者的意图的方法。AV使用意图来提高其预测行动者轨迹的能力，并因此做出关于其自身轨迹的决定以避免与行动者冲突。为此，对于任何给定的行动者，AV确定行动者的类并检测行动者正在采取的行动。系统使用类和行动来标识行动者的候选意图并评估每个候选意图的似然性。系统在多个周期上重复该过程以确定候选意图中的每一个的总体概率。AV的运动规划系统可以使用概率来确定行动者的可能轨迹，并因此影响AV本身在环境中将遵循的轨迹。环境中将遵循的轨迹。环境中将遵循的轨迹。


技术研发人员：C
受保护的技术使用者：埃尔构人工智能有限责任公司
技术研发日：2022.01.27
技术公布日：2023/9/13