用于自动驾驶车辆的模块化且持续学习的远程引导系统的系统和方法与流程

用于自动驾驶车辆的模块化且持续学习的远程引导系统的系统和方法
1.相关申请的交叉引用
2.本技术要求2021年2月15日提交的美国专利申请第17/175814号的优先权，其公开内容作为整体通过引用合并于此。


背景技术：

3.领域
4.本公开总体上涉及用于自动驾驶车辆的远程引导系统，并且在一些非限制性实施例或方面中，涉及用于自动驾驶车辆的模块化且持续学习的远程引导系统。
5.技术考虑
6.自动驾驶车辆可能具有调用远程引导的能力。例如，来自自动驾驶车辆的对远程引导的调用可以触发在与自动驾驶车辆不同的位置处的人类操作员来监控在自动驾驶车辆周围的场景和/或控制自动驾驶车辆。然而，现有的用于触发对远程引导的调用的软件逻辑是复杂的，难以扩展，并且除了零星(anecdotal)的错误报告之外，没有清晰的持续改进路径。


技术实现要素：

7.因此，提供了用于触发或发起用于自动驾驶车辆的远程引导的改进的系统、方法、产品、装置和/或设备。
8.根据一些非限制性实施例或方面，提供了一种计算机实现的方法、系统和自动驾驶车辆，其获得与所述自动驾驶车辆周围的环境相关联的传感器数据；将所述传感器数据提供给多个插件；利用所述多个插件中的每个插件，基于所述传感器数据独立地确定是否请求用于所述自动驾驶车辆的远程引导会话，所述多个插件中的每个插件包括被该插件应用于所述传感器数据以确定是否请求所述远程引导会话的不同模型；从所述多个插件中的至少一个插件接收发起所述自动驾驶车辆的所述远程引导会话的请求；以及响应于接收到发起所述远程引导会话的请求，与所述自动驾驶车辆外部的计算设备通信以建立与所述计算设备的所述远程引导会话，所述远程引导会话经由所述计算设备向人类操作员提供与所述自动驾驶车辆周围的环境相关联的信息和用于控制所述自动驾驶车辆的至少一个驾驶操作的能力。
9.在以下编号的条款中阐述了进一步的实施例或方面：
10.条款1.一种计算机实现的方法，包括：获得与自动驾驶车辆周围的环境相关联的传感器数据；将所述传感器数据提供给多个插件；利用所述多个插件中的每个插件，基于所述传感器数据独立地确定是否请求用于所述自动驾驶车辆的远程引导会话，其中，所述多个插件中的每个插件包括被该插件应用于所述传感器数据以确定是否请求所述远程引导会话的不同模型；从所述多个插件中的至少一个插件接收发起用于所述自动驾驶车辆的所述远程引导会话的请求；以及响应于接收到发起所述远程引导会话的请求，与所述自动驾
驶车辆外部的计算设备通信以建立与所述计算设备的所述远程引导会话，其中，所述远程引导会话经由所述计算设备向人类操作员提供与所述自动驾驶车辆周围的环境相关联的信息和用于控制所述自动驾驶车辆的至少一个驾驶操作的能力。
11.条款2.根据条款1所述的计算机实现的方法，进一步包括：经由所述计算设备从所述人类操作员获得与所述远程引导会话相关联的反馈数据；以及基于所述反馈数据来更新从其接收到发起所述远程引导会话的请求的所述至少一个插件中包括的模型。
12.条款3.根据条款1或2所述的计算机实现的方法，其中，从其接收到发起所述远程引导会话的请求的所述至少一个插件中包括的模型包括以下模型中的至少一个：阈值模型、启发式模型、机器学习模型、神经网络模型或其任意组合。
13.条款4.根据条款1-3中任一项所述的计算机实现的方法，其中，从其接收到发起所述远程引导会话的请求的所述至少一个插件包括所述多个插件中的两个或多个插件，其中，所述反馈数据包括与所述两个或多个插件中的第一插件相关联的第一反馈数据和与所述两个或多个插件中的第二插件相关联的第二反馈数据，并且其中，所述方法进一步包括：基于所述第一反馈数据来更新所述两个或多个插件中的所述第一插件中包括的第一模型；以及基于所述第二反馈数据来更新所述两个或多个插件中的所述第二插件中包括的第二模型。
14.条款5.根据条款1-4中任一项所述的计算机实现的方法，其中，所述远程引导会话经由所述计算设备向所述人类操作员提供与从其接收到发起所述远程引导会话的请求的所述至少一个插件相关联的自动驾驶异常情况的指示。
15.条款6.根据条款1-5中任一项所述的计算机实现的方法，进一步包括：在所述远程引导会话期间，从所述自动驾驶车辆外部的所述计算设备接收远程引导数据；以及在所述远程引导会话期间，基于所述远程引导数据来控制所述自动驾驶车辆的所述至少一个驾驶操作。
16.条款7.一种系统，包括：一个或多个处理器，所述一个或多个处理器被编程和/或被配置为：获得与自动驾驶车辆周围的环境相关联的传感器数据；将所述传感器数据提供给多个插件；利用所述多个插件中的每个插件，基于所述传感器数据独立地确定是否请求用于所述自动驾驶车辆的远程引导会话，其中，所述多个插件中的每个插件包括被该插件应用于所述传感器数据以确定是否请求所述远程引导会话的不同模型；从所述多个插件中的至少一个插件接收发起用于所述自动驾驶车辆的所述远程引导会话的请求；以及响应于接收到发起所述远程引导会话的请求，与所述自动驾驶车辆外部的计算设备通信以建立与所述计算设备的所述远程引导会话，其中，所述远程引导会话经由所述计算设备向人类操作员提供与所述自动驾驶车辆周围的环境相关联的信息和用于控制所述自动驾驶车辆的至少一个驾驶操作的能力。
17.条款8.根据条款7所述的系统，其中，所述一个或多个处理器进一步被编程和/或被配置为：经由所述计算设备从所述人类操作员获得与所述远程引导会话相关联的反馈数据；以及基于所述反馈数据来更新从其接收到发起所述远程引导会话的请求的所述至少一个插件中包括的模型。
18.条款9.根据条款7或8所述的系统，其中，从其接收到发起所述远程引导会话的请求的所述至少一个插件中包括的模型包括以下模型中的至少一个：阈值模型、启发式模型、
机器学习模型、神经网络模型或其任意组合。
19.条款10.根据条款7-9中任一项所述的系统，其中，从其接收到发起所述远程引导会话的请求的所述至少一个插件包括所述多个插件中的两个或多个插件，其中，所述反馈数据包括与所述两个或多个插件中的第一插件相关联的第一反馈数据和与所述两个或多个插件中的第二插件相关联的第二反馈数据，并且其中，所述一个或多个处理器进一步被编程和/或被配置为：基于所述第一反馈数据来更新所述两个或多个插件中的所述第一插件中包括的第一模型；以及基于所述第二反馈数据来更新所述两个或多个插件中的所述第二插件中包括的第二模型。
20.条款11.根据条款7-10中任一项所述的系统，其中，所述远程引导会话经由所述计算设备向所述人类操作员提供与从其接收到发起所述远程引导会话的请求的所述至少一个插件相关联的自动驾驶异常情况的指示。
21.条款12.根据条款7-11中任一项所述的系统，其中，所述一个或多个处理器进一步被编程和/或被配置为：在所述远程引导会话期间，从所述自动驾驶车辆外部的所述计算设备接收远程引导数据；以及在所述远程引导会话期间，基于所述远程引导数据来控制所述自动驾驶车辆的所述至少一个驾驶操作。
22.条款13.根据条款7-12中任一项所述的系统，进一步包括：所述自动驾驶车辆外部的所述计算设备，其中，所述自动驾驶车辆外部的所述计算设备被编程和/或被配置为：提供用户界面，所述用户界面提供与所述自动驾驶车辆周围的环境相关联的信息和用于控制所述自动驾驶车辆的至少一个驾驶操作的能力。
23.条款14.一种自动驾驶车辆，包括：一个或多个传感器，所述一个或多个传感器被配置为确定与所述自动驾驶车辆周围的环境相关联的传感器数据；计算设备，所述计算设备被编程和/或被配置为：获得与自动驾驶车辆周围的环境相关联的所述传感器数据；将所述传感器数据提供给多个插件；利用所述多个插件中的每个插件，基于所述传感器数据独立地确定是否请求用于所述自动驾驶车辆的远程引导会话，其中，所述多个插件中的每个插件包括被该插件应用于所述传感器数据以确定是否请求所述远程引导会话的不同模型；从所述多个插件中的至少一个插件接收发起用于所述自动驾驶车辆的所述远程引导会话的请求；以及响应于接收到发起所述远程引导会话的请求，与所述自动驾驶车辆外部的计算设备通信以建立与所述计算设备的所述远程引导会话，其中，所述远程引导会话经由所述计算设备向人类操作员提供与所述自动驾驶车辆周围的环境相关联的信息和用于控制所述自动驾驶车辆的至少一个驾驶操作的能力。
24.条款15.根据条款14所述的自动驾驶车辆，其中，所述计算系统进一步被编程和/或被配置为：经由所述计算设备从所述人类操作员获得与所述远程引导会话相关联的反馈数据；以及基于所述反馈数据来更新从其接收到发起所述远程引导会话的请求的所述至少一个插件中包括的模型。
25.条款16.根据条款14或15所述的自动驾驶车辆，其中，从其接收到发起所述远程引导会话的请求的所述至少一个插件中包括的模型包括以下模型中的至少一个：阈值模型、启发式模型、机器学习模型、神经网络模型或其任意组合。
26.条款17.根据条款14-16中任一项所述的自动驾驶车辆，其中，从其接收到发起所述远程引导会话的请求的所述至少一个插件包括所述多个插件中的两个或多个插件，其
中，所述反馈数据包括与所述两个或多个插件中的第一插件相关联的第一反馈数据和与所述两个或多个插件中的第二插件相关联的第二反馈数据，并且其中，所述计算系统进一步被编程和/或被配置为：基于所述第一反馈数据来更新所述两个或多个插件中的所述第一插件中包括的第一模型；以及基于所述第二反馈数据来更新所述两个或多个插件中的所述第二插件中包括的第二模型。
27.条款18.根据条款14-17中任一项所述的自动驾驶车辆，其中，所述远程引导会话经由所述计算设备向所述人类操作员提供与从其接收到发起所述远程引导会话的请求的所述至少一个插件相关联的自动驾驶异常情况的指示。
28.条款19.根据条款14-18中任一项所述的自动驾驶车辆，其中，所述计算系统进一步被编程和/或被配置为：在所述远程引导会话期间，从所述自动驾驶车辆外部的所述计算设备接收远程引导数据；以及在所述远程引导会话期间，基于所述远程引导数据来控制所述自动驾驶车辆的所述至少一个驾驶操作。
附图说明
29.以下参考在附图中所示的示例性实施例来更详细地解释附加优点和细节，在附图中：
30.图1是可以实现本文中描述的系统、方法、产品、装置和/或设备的环境的非限制性实施例或方面的图；
31.图2是用于车辆的说明性架构的图；
32.图3是用于lidar系统的说明性架构的图；
33.图4是说明性计算设备的图；
34.图5是用于自动驾驶车辆的模块化且持续学习的远程引导处理的非限制性实施例或方面的流程图；以及
35.图6是示出用于自动驾驶车辆的模块化且持续学习的远程引导系统的组件的图。
具体实施方式
36.应当理解，本公开可以假设各种替选的变化和步骤序列，除非明确地相反规定。还应当理解，附图中所示的并且在以下说明书中所描述的特定设备和处理仅仅是示例性的和非限制性的实施例或方面。因此，与本文中公开的实施例或方面有关的特定尺寸和其他物理特性不应被认为是限制性的。
37.除非明确地如此描述，否则本文中使用的任何方面、组件、元件、结构、动作、步骤、功能、和/或指令等都不应被解释为关键或必要的。此外，如本文中所使用的，冠词“一个(a)”和“一(an)”旨在包括一个或多个项目，并且可以与“一个或多个”和“至少一个”互换地使用。此外，如本文中所使用的，术语“集合”旨在包括一个或多个项目(例如，相关项目、不相关项目、相关项目和不相关项目的组合等)，并且可以与“一个或多个”或“至少一个”互换地使用。如果旨在仅一个项目，则使用术语“一个(one)”或类似语言。此外，如本文中所使用的，术语“具有(has)”、“有(have)”、“具有(having)”等旨在是开放式的术语。此外，除非另外明确地说明，否则短语“基于”旨在意味着“至少部分地基于”。
38.如本文中所使用的，术语“通信(communication)”可以指的是数据(例如，信息、信
号、消息、指令、和/或命令等)的接收(reception)、收到(receipt)、传输、传送、和/或提供等。对于一个单元(例如，设备、系统、设备或系统的组件、和/或其组合等)与另一个单元通信，意味着这一个单元能够直接或间接地从另一个单元接收信息和/或向另一个单元发送信息。这可以指的是本质上是有线和/或无线的直接或间接连接(例如，直接通信连接、和/或间接通信连接等)。此外，两个单元可以彼此通信，即使所传送的信息可以在第一单元和第二单元之间被修改、处理、中继和/或路由。例如，即使第一单元被动地接收信息并且不主动地向第二单元发送信息，第一单元也可以与第二单元通信。作为另一示例，如果至少一个中间单元处理从第一单元接收到的信息并且将处理后的信息发送到第二单元，则第一单元可以与第二单元通信。
39.将明显的是，本文中描述的系统和/或方法可以以不同形式的硬件、软件、或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码并不是对实现方式的限制。因此，本文中在不参考特定软件代码的情况下描述了系统和/或方法的操作和行为，应当理解，软件和硬件可以被设计为基于本文中的描述来实现系统和/或方法。
40.本文中结合阈值描述了一些非限制性实施例或方面。如本文中所使用的，满足阈值可以指的是值大于阈值、多于阈值、高于阈值、大于或等于阈值、小于阈值、少于阈值、低于阈值、小于或等于阈值、等于阈值等。
41.术语“车辆”指的是能够承载一个或多个人类乘客和/或货物并且由任何形式的能量提供动力的任何移动形式的运输工具。术语“车辆”包括但不限于汽车、卡车、货车、火车、自动驾驶车辆、飞行器、空中无人机等。“自动驾驶车辆”是具有处理器、编程指令和传动系部件的车辆，该传动系部件可由处理器控制而无需人类操作员。自动驾驶车辆可以是完全自动驾驶的，因为对于大多数或所有驾驶条件和功能，它不需要人类操作员，或者它可以是半自动驾驶的，因为在某些条件下或者对于某些操作，可能需要人类操作员，或者人类操作员可以超越(override)车辆的自动驾驶系统并且可以控制车辆。
42.如本文中所使用的，术语“计算设备”可以指的是被配置为处理数据的一个或多个电子设备。在一些示例中，计算设备可以包括用于接收、处理和输出数据的需要组件，诸如处理器、显示器、存储器、输入设备、和/或网络接口等。计算设备可以是移动设备。作为示例，移动设备可以包括蜂窝电话(例如，智能电话或标准蜂窝电话)、便携式计算机、可穿戴设备(例如，手表、眼镜、镜片、和/或衣服等)、pda和/或其他类似设备。计算设备也可以是台式计算机或其他形式的非移动计算机。
43.如本文中所使用的，术语“服务器”和/或“处理器”可以指的是或包括一个或多个计算设备，这一个或多个计算设备由网络环境(诸如因特网)中的多方来操作或促进多方的通信和处理，尽管应当理解，可以通过一个或多个公共或专用网络环境来促进通信，并且各种其他布置是可能的。另外，在网络环境中直接或间接通信的多个计算设备(例如，服务器、pos设备、移动设备等)可以构成“系统”。如本文中所使用的，对“服务器”或“处理器”的引用可以指的是被记载为执行先前步骤或功能的先前记载的服务器和/或处理器、不同的服务器和/或处理器、和/或服务器和/或处理器的组合。例如，如说明书和权利要求中所使用的，被记载为执行第一步骤或功能的第一服务器和/或第一处理器可以指的是被记载为执行第二步骤或功能的相同或不同的服务器和/或处理器。
44.如本文中所使用的，术语“用户界面”或“图形用户界面”可以指的是所生成的显示，诸如一个或多个图形用户界面(gui)，其中用户可以直接或间接地(例如，通过键盘、鼠标、触摸屏等)与这一个或多个图形用户界面(gui)进行交互。
45.用于发起远程引导会话(例如，用于确定何时触发远程引导调用等)的现有系统使用单片(monolithic)或特别(ad hoc)设计，这些设计是复杂的，难以扩展，并且除了零星的错误报告之外，没有清晰的持续改进路径。例如，现有系统可以使用单片应用或控制系统(例如，单层软件应用，其中用户界面和数据访问代码被组合成来自单个平台的单个程序)，可以是自包含的并且独立于其他计算应用，以确定是否存在应该发起远程引导调用的情况或场景。以此方式，修改现有系统以应对新的情况和/或场景更加复杂和困难，并且更加难以评估和/或改进现有系统相对于特定情况或场景的性能。
46.本公开的非限制性实施例或方面提供了系统、方法和自动驾驶车辆，其获得与自动驾驶车辆周围的环境相关联的传感器数据；将传感器数据提供给多个插件；利用多个插件中的每个插件，基于传感器数据独立地确定是否请求用于自动驾驶车辆的远程引导会话，多个插件中的每个插件包括被该插件应用于传感器数据以确定是否请求远程引导会话的不同模型；从多个插件中的至少一个插件接收发起用于自动驾驶车辆的远程引导会话的请求；以及响应于接收到发起远程引导会话的请求，与自动驾驶车辆外部的计算设备通信以建立与计算设备的远程引导会话，远程引导会话经由计算设备向人类操作员提供与自动驾驶车辆周围的环境相关联的信息和用于控制自动驾驶车辆的至少一个驾驶操作的能力。本公开的非限制性实施例或方面还提供了经由计算设备从人类操作员获得与远程引导会话相关联的反馈数据；以及基于反馈数据来更新从其接收到发起远程引导会话的请求的至少一个插件中包括的模型。
47.以此方式，本公开的非限制性实施例或方面提供了模块化结构和反馈回路，该模块化结构将调用远程引导的决定委托(delegate)给独立和模块化插件的集合，该反馈回路包括标记的真实世界数据的连续来源，该真实世界数据使得模块化插件中的数据驱动模型能够独立且自动地学习并且持续改进插件的性能。因此，本公开的非限制性实施例或方面使得开发人员能够独立地添加包括启发式和/或数据驱动的逻辑或模型在内的目标插件，以解决特定的自动驾驶异常，并且获得关于这些插件的独立性能的更清楚的统计。例如，代替试图解决知道何时调用远程引导的单一全局可行性问题，开发人员可以替代地解决如下可扩展性问题，即如何可以添加插件来缓解特定情况或自动驾驶异常，以及如何可以持续地改进这些插件来降低假阳性，由此使得能够并行地开发和/或添加多个插件，并且降低系统的工程维护和改进的复杂性。
48.现在参考图1，图1是可以实现本文中描述的系统、方法、产品、装置和/或设备的示例环境100的图。如图1中所示，环境100可以包括自动驾驶车辆102、远程引导系统104和/或通信网络106。
49.自动驾驶车辆102可以包括一个或多个设备，这一个或多个设备能够经由通信网络106从远程引导系统104接收信息和/或数据，和/或经由通信网络106将信息和/或数据传送到远程引导系统104。例如，自动驾驶车辆102可以包括计算设备，诸如服务器、一组服务器、移动设备和/或其他类似设备。
50.远程引导系统104可以包括一个或多个设备，这一个或多个设备能够经由通信网
络106从自动驾驶车辆102接收信息和/或数据，和/或经由通信网络106将信息和/或者数据传送到自动驾驶车辆102。例如，远程引导系统104可以包括计算设备，诸如服务器、一组服务器、移动设备和/或其他类似设备。在一些非限制性实施例或方面中，远程引导系统104可以位于自动驾驶车辆102外部并且位于与自动驾驶车辆102分离的位置处。
51.通信网络106可以包括一个或多个有线和/或无线网络。例如，通信网络106可以包括蜂窝网络(例如，长期演进(lte)网络、第三代(3g)网络、第四代(4g)网络、第五代(5g)网络、码分多址(cdma)网络等)、公共陆地移动网络(plmn)、局域网(lan)、广域网(wan)、城域网(man)、电话网络(例如，公共交换电话网络(pstn))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、和/或云计算网络等、和/或这些或其他类型的网络的组合。
52.图1中所示的设备和系统的数量和布置被提供作为示例。与图1中所示的设备和/或系统相比，可以存在额外的设备和/或系统、更少的设备和/或系统、不同的设备和/或系统、或者不同布置的设备和/或系统。此外，图1中所示的两个或多个设备和/或系统可以被实现在单个设备和/或系统内，或者图1中所示的单个设备和/或系统可以被实现为多个分布式设备和/或系统。附加地或替选地，环境100的一组设备和/或系统(例如，一个或多个设备或系统)可以执行被描述为由环境100的另一组设备和/或系统执行的一个或多个功能。例如，尽管图1将远程引导系统104示出为位于自动驾驶车辆102外部并且位于与自动驾驶车辆102分离的位置处，但是在其他非限制性实施例或方面中，远程引导系统104可以车载在自动驾驶车辆102上，诸如在车载计算设备内。例如，远程引导系统104可以车载在自动驾驶车辆102上，并且被包含在自动驾驶车辆102的硬件和/或软件组件(或者辅助计算设备，诸如永久或临时位于自动驾驶车辆102内的计算设备(例如，膝上型计算机))内，该硬件和/或软件组件可以与自动驾驶车辆102的包含多个插件的硬件和/或软件组件分离，多个插件被配置为独立地确定是否请求用于自动驾驶车辆102的远程引导会话。在这样的配置中，位于自动驾驶车辆102内的人类操作员可以通过自动驾驶车辆102和/或辅助计算设备的一个或多个接口与远程引导系统104交互。
53.现在参考图2，图2是用于车辆的说明性系统架构200的图。自动驾驶车辆102可以包括与图2中所示的系统架构200相同或相似的系统架构。
54.如图2中所示，系统架构200可以包括发动机或电动机202以及用于测量车辆的各种参数的各种传感器204-218。在具有燃料动力发动机的燃气动力或混合动力车辆中，传感器可以包括例如发动机温度传感器204、电池电压传感器206、发动机每分钟转数(“rpm”)传感器208和/或节气门位置传感器210。在电动或混合动力车辆中，车辆可以具有电动机，并且可以具有传感器，诸如电池监测传感器212(例如，用于测量电池的电流、电压和/或温度)、电动机电流传感器214、电动机电压传感器216和/或电动机位置传感器218(诸如解析器(resolver)和编码器)。
55.系统架构200可以包括操作参数传感器，其可以是两种类型的车辆所共有的，并且可以包括例如：位置传感器236，诸如加速度计、陀螺仪和/或惯性测量单元；速度传感器238；和/或里程计传感器240。系统架构200可以包括时钟242，系统200使用该时钟242在操作期间确定车辆时间。时钟242可以被编码到车辆车载计算设备220中，它可以是单独的设备，或者多个时钟可以是可用的。
56.系统架构200可以包括各种传感器，这些传感器进行操作以收集有关车辆操作和/
或行驶的环境的信息。这些传感器可以包括例如：定位传感器260(例如，全球定位系统(“gps”)设备)；对象检测传感器，诸如一个或多个相机262；lidar传感器系统264；和/或雷达和/或声纳系统266。传感器可以包括环境传感器268，诸如降水传感器和/或环境温度传感器。对象检测传感器可以使得系统架构200能够检测在任何方向上处于车辆的给定距离范围内的对象，并且环境传感器268可以收集有关车辆的操作和/或行驶的区域内的环境条件的数据。
57.在系统架构200的操作期间，将信息从系统架构200中的传感器传送到车载计算设备220。车载计算设备220分析由传感器捕获的数据，并且基于分析结果可选地控制车辆的操作。例如，车载计算设备220可以：经由制动控制器222来控制制动；经由转向控制器224来控制方向；经由节气门控制器226(例如，在燃气动力车辆中)或电动机速度控制器228(诸如电流水平控制器)(例如，在电动车辆中)来控制速度和加速度；控制差速齿轮控制器230(例如，在具有变速器的车辆中)；和/或控制其他控制器(诸如辅助设备控制器254)。
58.可以将地理位置信息从定位传感器260传送到车载计算设备220，车载计算设备220可以访问包括与位置信息相对应的地图数据的环境地图，以确定环境的已知固定特征，诸如街道、建筑物、停止标志和/或停止/行进信号。将来自相机262的捕获图像和/或视频和/或从诸如lidar 264之类的传感器捕获的对象检测信息从这些传感器传送到车载计算设备220。对象检测信息和/或捕获图像被车载计算设备220处理，以检测在车辆附近的对象。用于基于传感器数据和/或捕获图像进行对象检测的任何已知或将要已知的技术都可以在本文档中公开的实施例中使用。
59.现在参考图3，图3是说明性lidar系统300的图。图2的lidar系统264可以与lidar系统300相同或基本上相似。
60.如图3中所示，lidar系统300可以包括壳体306，壳体306可以围绕中心轴线(诸如轮毂或轴316)可旋转360
°
。壳体306可以包括由对光透明的材料制成的发射器/接收器孔径312。尽管在图3中示出了单个孔径，但是本公开的非限制性实施例或方面在这方面不受限制。在其他情况下，可以提供用于发射和/或接收光的多个孔径。无论哪种方式，当壳体306围绕内部组件旋转时，lidar系统300都可以通过一个或多个孔径312发射光，并且接收朝向一个或多个孔径312反射回来的光。在替选情况下，壳体306的外壳(shell)可以是固定圆顶(dome)，至少部分地由对光透明的材料制成，其中在壳体306内部具有可旋转组件。
61.在旋转外壳或固定圆顶内部是光发射器系统304，该光发射器系统304被配置为并且被定位为经由一个或多个激光发射器芯片或其他发光器件、通过壳体306的孔径312或者通过透明圆顶来生成并且发射光脉冲。发射器系统304可以包括任意数量的各个发射器(例如，8个发射器、64个发射器、128个发射器等)。发射器可以发射基本上相同强度或不同强度的光。由光发射器系统304发射的各个光束可以具有在整个阵列上不相同的明确定义的偏振状态。作为示例，一些光束可以具有垂直偏振，并且其他光束可以具有水平偏振。lidar系统300可以包括光检测器308，该光检测器308包含被定位为并且被配置为接收反射回到系统中的光的光电检测器或光电检测器阵列。发射器系统304和光检测器308可以与旋转外壳一起旋转，或者发射器系统304和光检测器308可以在壳体306的固定圆顶内部旋转。一个或多个光学元件结构310可以被定位在发光单元304和/或光检测器308的前面，以用作聚焦并且引导穿过光学元件结构310的光的一个或多个透镜和/或波片。
62.一个或多个光学元件结构310可以被定位在反射镜的前面，以聚焦并且引导穿过光学元件结构310的光。如以下在本文中所描述的，lidar系统300可以包括光学元件结构310，该光学元件结构310被定位在反射镜的前面并且连接到lidar系统300的旋转元件，使得光学元件结构310与反射镜一起旋转。替选地或附加地，光学元件结构310可以包括多个这样的结构(例如，透镜、波片等)。在一些非限制性实施例或方面中，多个光学元件结构310可以以阵列形式布置在壳体306的外壳部分上或与壳体306的外壳部分集成。
63.在一些非限制性实施例或方面中，每个光学元件结构310可以包括分束器，该分束器将系统接收到的光与系统生成的光分离。分束器可以包括例如四分之一波波片或半波波片，以执行分离并且确保接收到的光被引导到接收器单元而不是发射器系统(这可以在没有这样的波片的情况下发生，因为发射的光和接收到的光应该表现出相同或相似的偏振)。
64.lidar系统300可以包括为发光单元304、电动机316和电子部件供电的电源单元318。lidar系统300可以包括具有诸如处理器322和包含编程指令的非瞬态计算机可读存储器320之类的元件的分析器314，编程指令被配置为使得系统能够接收由光检测器单元收集的数据，分析该数据以测量所接收到的光的特性，并且生成信息，所连接的系统可以使用该信息来做出关于在从中收集数据的环境中操作的决定。分析器314可以如图所示地与lidar系统300集成，或者分析器314中的一些或全部可以在lidar系统300外部，并且经由有线和/或无线通信网络或链路通信地连接到lidar系统300。
65.现在参考图4，图4是用于计算设备400的说明性架构的图。计算设备400可以对应于自动驾驶车辆102的一个或多个设备(例如，自动驾驶车辆102的系统的一个或多个设备)(例如，系统架构200的一个或多个设备等)和/或远程引导系统104的一个或多个设备。在一些非限制性实施例或方面中，自动驾驶车辆102的一个或多个设备(例如，自动驾驶车辆102的系统的一个或多个设备)(例如，系统架构200的一个或多个设备等)和/或远程引导系统104的一个或多个设备可以包括至少一个计算设备400和/或计算设备400的至少一个组件。
66.图4中所示的组件的数量和布置被提供作为示例。在一些非限制性实施例或方面中，与图4中所示的组件相比，计算设备400可以包括额外的组件、更少的组件、不同的组件或不同布置的组件。附加地或替选地，计算设备400的一组组件(例如，一个或多个组件)可以执行被描述为由设备400的另一组组件执行的一个或多个功能。
67.如图4中所示，计算设备400包括用户接口402、中央处理单元(“cpu”)406、系统总线410、通过系统总线410连接到计算设备400的其他部分并且可由计算设备400的其他部分访问的存储器412、系统接口460以及连接到系统总线410的硬件实体414。用户接口402可以包括输入设备和输出设备，它们促进用于控制计算设备400的操作的用户-软件交互。输入设备可以包括但不限于物理和/或触摸键盘450。输入设备可以经由有线和/或无线连接(例如连接)连接到计算设备400。输出设备可以包括但不限于扬声器452、显示器454和/或发光二极管456。系统接口460被配置为促进与外部设备(例如，网络节点，诸如接入点等)进行有线和/或无线通信。
68.硬件实体414中的至少一些可以执行涉及访问和使用存储器412的动作，存储器412可以是随机存取存储器(“ram”)、盘驱动器、闪存、紧凑盘只读存储器(“cd-rom”)和/或能够存储指令和数据的其他硬件设备。硬件实体414可以包括盘驱动单元416，该盘驱动单元包括计算机可读存储介质418，在该计算机可读存储介质418上存储被配置为实现本文中
所描述的方法、过程或功能中的一个或多个的一组或多组指令420(例如，软件代码)。指令420、应用424和/或参数426也可以在由计算设备400执行和/或使用期间完全或至少部分地驻留在存储器412和/或cpu 406内。存储器412和cpu 406可以包括机器可读介质。如这里所使用的术语“机器可读介质”可以是指存储一组或多组指令420的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓存和服务器)。如这里所使用的术语“机器可读介质”可以是指能够存储、编码或携带一组指令420以供计算设备400执行并且使得计算设备400执行本公开的方法中的任何一个或多个方法的任何介质。
69.现在参考图5，图5是用于自动驾驶车辆的模块化且持续学习的远程引导处理500的非限制性实施例或方面的流程图。在一些非限制性实施例或方面中，处理500的一个或多个步骤可以由自动驾驶车辆102(例如，系统架构200、远程引导分类协调器(orchestrator)602、插件604a-604n等)来执行(例如，完全地、部分地等)。在一些非限制性实施例或方面中，处理500的一个或多个步骤可以由与自动驾驶车辆102(例如，系统架构200、远程引导分类协调器602、插件604a-604n等)分离或包括自动驾驶车辆102的另一设备或一组设备(诸如远程引导系统104(例如，远程引导系统104的一个或者多个设备等))来执行(例如，完全地、部分地等)。
70.如图5中所示，在步骤502处，处理500包括获得传感器数据。例如，自动驾驶车辆102(例如，系统架构200、远程引导分类协调器602等)可以获得与自动驾驶车辆102周围的环境相关联的传感器数据。作为示例，自动驾驶车辆102(例如，lidar系统300、相机262等)可以确定与自动驾驶车辆102周围的环境相关联的传感器数据。在这样的示例中，传感器数据可以包括描述自动驾驶车辆102的周围环境内的对象的位置和/或状态和/或自动驾驶车辆102的位置和状态的数据。在一些非限制性实施例或方面中，传感器数据可以包括已经被系统架构200的一个或多个组件处理的传感器数据(例如，与自动驾驶车辆102的周围环境内的对象的预测位置和/或状态相关联的数据等)。在一些非限制性实施例或方面中，传感器数据可以包括地图数据和/或已经利用地图数据处理的传感器数据。在一些非限制性实施例或方面中，传感器数据可以包括提供自动驾驶车辆102的自动驾驶控制的自动驾驶代码或处理的内部状态(例如，检测到某个软件组件正在经历异常或处理不一致或者已经经历了异常或处理不一致，可以直接基于检测到该软件组件正在经历异常或处理不一致或者已经经历了异常或处理不一致而自动触发远程引导等)。
71.还参考图6，图6是示出用于自动驾驶车辆的模块化且持续学习的远程引导系统600的组件的图。自动驾驶车辆102(例如，系统架构200等)可以包括与图6中所示的系统600相同或相似的系统。
72.如图6中所示，模块化且持续学习的远程引导系统600可以包括远程引导分类协调器602和多个插件604a
–
604n。模块化且持续学习的远程引导系统600(例如，远程引导分类协调器602等)可以被配置为接收和/或向多个插件604a-604n提供传感器数据，以确定何时触发和/或发起对远程引导的调用、和/或触发或发起对远程引导的调用(例如，建立自动驾驶车辆102和远程引导系统104之间的远程引导会话等)。
73.自动驾驶车辆102(例如，系统架构200、远程引导分类协调器602等)可以在自动驾驶车辆102和远程引导系统104之间的远程引导会话发起时和/或期间，将与自动驾驶车辆102周围的环境相关联的信息(例如，该环境的当前表示等)传送到远程引导系统104。例如，
该信息可以包括由自动驾驶车辆102从其周围环境收集的传感器数据的至少一个子集。例如，来自一个或多个摄像机的实时视频流和/或静止照片可以从自动驾驶车辆102传送到远程引导系统104，并且由远程引导系统104显示给人类操作员。作为示例，人类操作员和远程引导系统104可以位于在自动驾驶车辆102外部并且与自动驾驶车辆102分离的远程位置，该远程位置具有与自动驾驶车辆102的通信系统的无线连接。在这样的示例中，人类操作员可以位于具有用户界面的远程计算机终端(例如，远程引导系统104等)处，该用户界面提供来自自动驾驶车辆102的信息并且向人类操作员提供经由远程计算机终端控制自动驾驶车辆102的至少一个驾驶操作的能力。
74.在一些非限制性实施例或方面中，自动驾驶车辆102(例如，系统架构200、远程引导分类协调器602等)可以在远程引导会话期间从远程引导系统104接收远程引导数据(例如，执行一个或多个驾驶操作的命令等)，并且在远程引导会话期间基于远程引导数据执行自动驾驶车辆102的至少一个驾驶操作。例如，对驾驶操作的控制(例如，完全自动驾驶控制或经由远程引导的控制)可以包括控制自动驾驶车辆102在道路上的行驶，包括诸如改变自动驾驶车辆102的方向、改变自动驾驶车辆102的速度、指示自动驾驶车辆102执行一个或多个预定机动、和/或保持自动驾驶车辆102静止或不移动等操作。作为示例，响应于接收到远程引导数据，自动驾驶车辆102(例如，系统架构200、远程引导分类协调器602等)可以超越(和/或补充)车辆的自动驾驶系统，并且基于远程引导数据(例如，基于其中的命令等)控制自动驾驶车辆102的至少一个驾驶操作。
75.如图5中所示，在步骤504处，处理500包括将传感器数据提供给插件。例如，自动驾驶车辆102(例如，远程引导分类协调器602等)可以将传感器数据提供给多个插件604a
–
604n。作为示例，自动驾驶车辆102可以包括独立的监测子系统(例如，远程引导分类协调器602等)，该监测子系统监听或接收车载通信(例如，传感器数据、处理后的传感器数据、地图数据等)，并且将调用远程引导(例如，远程引导系统104等)的决定委托给独立插件的集合(例如，多个插件604a
–
604n等)。
76.多个插件604a
–
604n中的每个插件可以包括不同的模型，该模型可以被该插件应用于传感器数据，以确定是否请求用于自动驾驶车辆102的远程引导会话。例如，多个插件604a
–
604n中的第一插件可以包括第一模型，多个插件604a
–
604n中的第二插件可以包括第二模型，并且第一模型可以不同于第二模型。作为示例，一个模型可以接收与另一个模型不同类型和/或数量的传感器数据，应用与另一个模型不同类型的模型，和/或应用与另一个模型不同结构和/或训练的模型。在这样的示例中，不同的模型可以被配置为确定应该请求远程引导会话的不同自动驾驶异常的存在。
77.在一些非限制性实施例或方面中，模型可以包括以下模型中的至少一个：阈值模型、启发式模型、机器学习模型、神经网络模型或其任意组合。例如，示例启发式模型可以监测自动驾驶车辆102周围的场景中的每个对象的预测l2误差(例如，最小二乘误差损失函数、对象的预测轨迹的位移误差等)，以及如果对象的l2误差满足阈值，以及对象被确定在自动驾驶车辆102的当前路径上并且在自动驾驶车辆102的一定半径内，则启发式模型可以确定请求用于自动驾驶车辆102的远程引导会话。作为示例，示例数据驱动模型(诸如线性回归模型)可以根据自动驾驶车辆102周围的场景中的每个对象的推断状态来预测该对象的l2误差，以及如果对象的预测l2误差满足阈值，以及对象被确定在自动驾驶车辆102的当
前路径上并且在自动驾驶车辆102的一定半径内，则数据驱动模型可以确定请求用于自动驾驶车辆102的远程引导会话。
78.在一些非限制性实施例或方面中，可以使用机器学习技术来生成模型(例如，估计器、分类器、预测模型、检测器模型等)，该机器学习技术包括例如有监督和/或无监督技术，诸如决策树(例如，梯度增强决策树、随机森林等)、逻辑回归、人工神经网络(例如，卷积神经网络等)、贝叶斯统计、学习自动机、隐马尔可夫建模、线性分类器、二次分类器、和/或关联规则学习等。机器学习模型可以被训练以提供指示是否请求用于自动驾驶车辆102的远程引导会话的输出(例如，预测、分类等)(例如，指示是否存在与该模型相关联的并且应该请求远程引导会话的自动驾驶异常等)。在一些非限制性实施例或方面中，预测或分类可以包括与是否请求用于自动驾驶车辆102的远程引导会话的指示相关联的概率分数。
79.在一些非限制性实施例或方面中，可以基于传感器数据(例如，训练数据等)来生成模型。在一些实现方式中，模型被设计为接收传感器数据作为输入，并且提供关于是否请求用于自动驾驶车辆102的远程引导会话的预测(例如，概率、二进制输出、是-否输出、分数、预测分数、分类等)作为输出。在一些非限制性实施例中，自动驾驶车辆102存储模型(例如，存储模型以供以后使用)。
80.如图5中所示，在步骤506处，处理500包括利用每个插件独立地确定是否请求远程引导会话。例如，多个插件604a
–
604n中的每个插件可以基于传感器数据独立地确定是否请求用于自动驾驶车辆102的远程引导会话。作为示例，多个插件604a
–
604n中的每个插件可以将不同的模型应用于传感器数据，以确定是否请求用于自动驾驶车辆102的远程引导会话。在这样的示例中，多个插件604a
–
604n可以同时处理传感器数据，以确定是否请求用于自动驾驶车辆102的远程引导会话。在这样的示例中，响应于确定请求用于自动驾驶车辆102的远程引导会话，多个插件604a
–
604n中的插件可以生成发起远程引导会话的请求和/或将该请求提供给远程引导分类协调器602。
81.如图5中所示，在步骤508处，处理500包括从插件接收发起远程引导会话的请求。例如，自动驾驶车辆102(例如，远程引导分类协调器602等)可以从多个插件604a
–
604n中的至少一个插件接收发起用于自动驾驶车辆102的远程引导会话的请求。
82.在一些非限制性实施例或方面中，远程引导分类协调器602可以以指定的频率轮询多个插件604a
–
604n，以确定多个插件中的一个或多个插件当前是否正在请求(例如，已经生成了请求等)应该发起远程引导会话。在一些非限制性实施例或方面中，多个插件604a
–
604n中的插件可以响应于生成了发起用于自动驾驶车辆102的远程引导会话的请求而自动地将该请求传送到远程引导分类协调器602。
83.如图5中所示，在步骤510处，处理500包括与远程引导系统通信以建立远程引导会话。例如，自动驾驶车辆102(例如，系统架构200、远程引导分类协调器602等)可以响应于从多个插件604a
–
604n中的至少一个插件接收到发起远程引导会话的请求，与自动驾驶车辆外部的计算设备(例如，与远程引导系统104等)通信，以建立与计算设备的远程引导会话。作为示例，远程引导会话可以经由计算设备(例如，经由远程引导系统104等)向人类操作员提供与自动驾驶车辆周围的环境相关联的信息(例如，传感器数据等)和用于控制自动驾驶车辆102的至少一个驾驶操作的能力。
84.在一些非限制性实施例或方面中，多个插件604a
–
604n中的插件可以与自动驾驶
异常情况相关联。例如，插件可以被编程和/或被配置为确定与该插件相关联的自动驾驶异常情况是否存在，并且响应于确定自动驾驶异常情况存在，生成发起用于自动驾驶车辆102的远程引导会话的请求。作为示例，多个插件604a
–
604n中的每个插件可以与不同的自动驾驶异常情况相关联。在这样的示例中，远程引导会话可以经由远程计算系统104向人类操作员提供与如下插件相关联的自动驾驶异常情况的指示，其中由远程引导分类协调器602从该插件接收到发起远程引导会话的请求。
85.自动驾驶异常情况可以对应于这样的情况和/或环境，在该情况和/或环境中，自动驾驶车辆102(例如，系统架构200等)确定自动驾驶车辆102以可接受的方式(例如，在不违反一个或多个约束的情况下，等等)对检测到的情况和/或环境作出响应的概率或可能性未能满足阈值概率。自动驾驶异常情况的示例可以包括行人坐在自动驾驶车辆102正在其上行驶的公路的中间、和/或观察到的场景与先前观察到的场景之间的差异未能满足阈值差异(例如，基于将场景嵌入在度量空间中并且测量差异)等。例如，远程引导可以通过将驾驶操作的运动规划和控制委托给人类操作员来超越或抢占(preempt)自动驾驶车辆102的自动驾驶运动规划和/或驾驶操作。
86.在一些非限制性实施例或方面中，远程引导会话可以响应于在自动驾驶车辆102和远程引导系统104之间发起或建立远程引导会话，自动地将自动驾驶车辆102的至少一个驾驶操作的控制转移给远程引导系统104处的人类操作员。在一些非限制性实施例或方面中，远程引导会话可以向远程引导系统104处的人类操作员提供警报，以监测自动驾驶车辆102周围的场景，其中具有如下选项：接管自动驾驶车辆102的至少一个驾驶操作的控制，或者允许自动驾驶车辆102保持以完全自动驾驶的方式操作。例如，自动驾驶车辆102可以保持在完全自动驾驶的模式下操作，直到远程引导系统104在远程引导会话期间从人类操作员接收到如下输入，该输入指示人类操作员正在接管自动驾驶车辆102的至少一个驾驶操作的控制。
87.如图5中所示，在步骤512处，处理500包括获得与远程引导会话相关联的反馈数据。例如，自动驾驶车辆102(例如，系统架构200、远程引导分类协调器602等)可以经由计算设备(例如，经由远程引导系统104等)从人类操作员获得与远程引导会话相关联的反馈数据。
88.在一些非限制性实施例或方面中，反馈数据可以包括与远程引导会话相关联的指示或标签，并且该指示或标签可以提供是否应该已经发起了远程引导会话的指示(例如，“需要远程引导”标签、“不需要远程引导”标签等)。例如，标签可以提供如下指示：发起远程引导会话的请求是否是与请求远程引导会话的至少一个插件相关联的自动驾驶异常的假阳性。作为示例，在远程引导会话终止之后，远程引导系统104可以提示人类操作员输入用于远程引导会话的标签，和/或远程引导系统104可以向自动驾驶车辆102(例如，系统架构200、远程引导分类协调器602等)提供用于远程引导会话的标签和/或如下传感器数据，其中多个插件604a
–
604n中的至少一个插件根据该传感器数据做出了请求远程引导会话的确定。在这样的示例中，用于远程引导会话的标签可以与请求远程引导会话的多个插件604a
–
604n中的至少一个插件相关联。
89.如图5中所示，在步骤514处，处理500包括基于反馈数据来更新插件中的模型。例如，自动驾驶车辆102(例如，系统架构200、远程引导分类协调器602等)可以基于反馈数据
来更新从其接收到发起远程引导会话的请求的至少一个插件中包括的模型。在一些非限制性实施例或方面中，在步骤514中更新模型之后，处理可以返回到步骤502。
90.在一些非限制性实施例或方面中，自动驾驶车辆102(例如，系统架构200、远程引导分类协调器602等)可以通过如下方式来更新从其接收到发起远程引导会话的请求的至少一个插件中包括的模型：使用由插件触发或发起的远程引导会话的标签和/或如下传感器数据来重新训练该插件的模型，其中该插件根据该传感器数据决定请求远程引导会话。例如，可以基于反馈数据来生成插件的更新模型(例如，更新的机器学习模型、更新的神经网络等)。
91.在一些非限制性实施例或方面中，可以基于反馈数据来调整与模型相关联的阈值或启发法(heuristics)。例如，可以响应于反馈数据满足一个或多个其他阈值或启发法(例如，响应于接收到阈值数量的假阳性等)而自动调整与模型相关的阈值或启发法，这一个或多个其他阈值或启发法和与模型相关联的阈值或启发法相关联。作为示例，可以由开发者基于对反馈数据的分析来调整与模型相关联的阈值或启发法。
92.在一些非限制性实施例或方面中，从其接收到发起远程引导会话的请求的至少一个插件可以包括多个插件604a
–
604n中的两个或多个插件，反馈数据可以包括与两个或多个插件中的第一插件相关联的第一反馈数据和与两个或多个插件中的第二插件相关联的第二反馈数据，以及自动驾驶车辆102(例如，系统架构200、远程引导分类协调器602等)可以基于第一反馈数据来更新两个或多个插件中的第一插件中包括的第一模型，并且基于第二反馈数据来更新两个或多个插件中的第二插件中包括的第二模型。例如，可以基于反馈数据来单独地更新多个插件604a
–
604n，并且可以针对各个模型来单独地定制反馈数据。
93.尽管为了说明和描述的目的已经详细描述了实施例或方面，但是应当理解，这样的细节仅用于该目的，并且实施例或方面不限于所公开的实施例或方面，而是相反，旨在涵盖在所附权利要求的精神和范围内的修改和等效布置。例如，应当理解，本公开想到，在可能的范围内，任何实施例或方面的一个或多个特征可以与任何其他实施例或方案的一个或多个特征组合。实际上，这些特征中的任何一个都可以以权利要求中未具体记载和/或说明书中未公开的方式进行组合。尽管下面列出的每个从属权利要求可以直接从属于仅一个权利要求，但是可能实现方式的公开包括每个从属权利要求与权利要求集中的每个其他权利要求的组合。

技术特征：
1.一种用于控制自动驾驶车辆的至少一个驾驶操作的计算机实现的方法，包括：获得与所述自动驾驶车辆周围的环境相关联的传感器数据；将所述传感器数据提供给多个插件；利用所述多个插件中的每个插件，基于所述传感器数据独立地确定是否请求用于所述自动驾驶车辆的远程引导会话，其中，所述多个插件中的每个插件包括被该插件应用于所述传感器数据以确定是否请求所述远程引导会话的不同模型；从所述多个插件中的至少一个插件接收发起用于所述自动驾驶车辆的所述远程引导会话的请求；以及响应于接收到发起所述远程引导会话的请求，与所述自动驾驶车辆外部的计算设备通信以建立与所述计算设备的所述远程引导会话，其中，所述远程引导会话经由所述计算设备向人类操作员提供与所述自动驾驶车辆周围的环境相关联的信息和用于控制所述自动驾驶车辆的至少一个驾驶操作的能力。2.根据权利要求1所述的计算机实现的方法，进一步包括：经由所述计算设备从所述人类操作员获得与所述远程引导会话相关联的反馈数据；以及基于所述反馈数据来更新从其接收到发起所述远程引导会话的请求的所述至少一个插件中包括的模型。3.根据权利要求2所述的计算机实现的方法，其中，从其接收到发起所述远程引导会话的请求的所述至少一个插件中包括的模型包括以下模型中的至少一个：阈值模型、启发式模型、机器学习模型、神经网络模型或其任意组合。4.根据权利要求2所述的计算机实现的方法，其中，从其接收到发起所述远程引导会话的请求的所述至少一个插件包括所述多个插件中的两个或多个插件，其中，所述反馈数据包括与所述两个或多个插件中的第一插件相关联的第一反馈数据和与所述两个或多个插件中的第二插件相关联的第二反馈数据，并且其中，所述方法进一步包括：基于所述第一反馈数据来更新所述两个或多个插件中的所述第一插件中包括的第一模型；以及基于所述第二反馈数据来更新所述两个或多个插件中的所述第二插件中包括的第二模型。5.根据权利要求1所述的计算机实现的方法，其中，所述远程引导会话经由所述计算设备向所述人类操作员提供与从其接收到发起所述远程引导会话的请求的所述至少一个插件相关联的自动驾驶异常情况的指示。6.根据权利要求1所述的计算机实现的方法，进一步包括：在所述远程引导会话期间，从所述自动驾驶车辆外部的所述计算设备接收远程引导数据；以及在所述远程引导会话期间，基于所述远程引导数据来控制所述自动驾驶车辆的所述至少一个驾驶操作。7.一种用于控制自动驾驶车辆的至少一个驾驶操作的系统，包括：一个或多个处理器，所述一个或多个处理器被编程和/或被配置为：获得与所述自动驾驶车辆周围的环境相关联的传感器数据；
将所述传感器数据提供给多个插件；利用所述多个插件中的每个插件，基于所述传感器数据独立地确定是否请求用于所述自动驾驶车辆的远程引导会话，其中，所述多个插件中的每个插件包括被该插件应用于所述传感器数据以确定是否请求所述远程引导会话的不同模型；从所述多个插件中的至少一个插件接收发起用于所述自动驾驶车辆的所述远程引导会话的请求；以及响应于接收到发起所述远程引导会话的请求，与所述自动驾驶车辆外部的计算设备通信以建立与所述计算设备的所述远程引导会话，其中，所述远程引导会话经由所述计算设备向人类操作员提供与所述自动驾驶车辆周围的环境相关联的信息和用于控制所述自动驾驶车辆的至少一个驾驶操作的能力。8.根据权利要求7所述的系统，其中，所述一个或多个处理器进一步被编程和/或被配置为：经由所述计算设备从所述人类操作员获得与所述远程引导会话相关联的反馈数据；以及基于所述反馈数据来更新从其接收到发起所述远程引导会话的请求的所述至少一个插件中包括的模型。9.根据权利要求8所述的系统，其中，从其接收到发起所述远程引导会话的请求的所述至少一个插件中包括的模型包括以下模型中的至少一个：阈值模型、启发式模型、机器学习模型、神经网络模型或其任意组合。10.根据权利要求8所述的系统，其中，从其接收到发起所述远程引导会话的请求的所述至少一个插件包括所述多个插件中的两个或多个插件，其中，所述反馈数据包括与所述两个或多个插件中的第一插件相关联的第一反馈数据和与所述两个或多个插件中的第二插件相关联的第二反馈数据，并且其中，所述一个或多个处理器进一步被编程和/或被配置为：基于所述第一反馈数据来更新所述两个或多个插件中的所述第一插件中包括的第一模型；以及基于所述第二反馈数据来更新所述两个或多个插件中的所述第二插件中包括的第二模型。11.根据权利要求7所述的系统，其中，所述远程引导会话经由所述计算设备向所述人类操作员提供与从其接收到发起所述远程引导会话的请求的所述至少一个插件相关联的自动驾驶异常情况的指示。12.根据权利要求7所述的系统，其中，所述一个或多个处理器进一步被编程和/或被配置为：在所述远程引导会话期间，从所述自动驾驶车辆外部的所述计算设备接收远程引导数据；以及在所述远程引导会话期间，基于所述远程引导数据来控制所述自动驾驶车辆的所述至少一个驾驶操作。13.根据权利要求7所述的系统，进一步包括：所述自动驾驶车辆外部的所述计算设备，其中，所述自动驾驶车辆外部的所述计算设
备被编程和/或被配置为：提供用户界面，所述用户界面提供与所述自动驾驶车辆周围的环境相关联的信息和用于控制所述自动驾驶车辆的至少一个驾驶操作的能力。14.一种自动驾驶车辆，包括：一个或多个传感器，所述一个或多个传感器被配置为确定与所述自动驾驶车辆周围的环境相关联的传感器数据；计算设备，所述计算设备被编程和/或被配置为：获得与自动驾驶车辆周围的环境相关联的所述传感器数据；将所述传感器数据提供给多个插件；利用所述多个插件中的每个插件，基于所述传感器数据独立地确定是否请求用于所述自动驾驶车辆的远程引导会话，其中，所述多个插件中的每个插件包括被该插件应用于所述传感器数据以确定是否请求所述远程引导会话的不同模型；从所述多个插件中的至少一个插件接收发起用于所述自动驾驶车辆的所述远程引导会话的请求；以及响应于接收到发起所述远程引导会话的请求，与所述自动驾驶车辆外部的计算设备通信以建立与所述计算设备的所述远程引导会话，其中，所述远程引导会话经由所述计算设备向人类操作员提供与所述自动驾驶车辆周围的环境相关联的信息和用于控制所述自动驾驶车辆的至少一个驾驶操作的能力。15.根据权利要求14所述的自动驾驶车辆，其中，所述计算系统进一步被编程和/或被配置为：经由所述计算设备从所述人类操作员获得与所述远程引导会话相关联的反馈数据；以及基于所述反馈数据来更新从其接收到发起所述远程引导会话的请求的所述至少一个插件中包括的模型。16.根据权利要求15所述的自动驾驶车辆，其中，从其接收到发起所述远程引导会话的请求的所述至少一个插件中包括的模型包括以下模型中的至少一个：阈值模型、启发式模型、机器学习模型、神经网络模型或其任意组合。17.根据权利要求15所述的自动驾驶车辆，其中，从其接收到发起所述远程引导会话的请求的所述至少一个插件包括所述多个插件中的两个或多个插件，其中，所述反馈数据包括与所述两个或多个插件中的第一插件相关联的第一反馈数据和与所述两个或多个插件中的第二插件相关联的第二反馈数据，并且其中，所述计算系统进一步被编程和/或被配置为：基于所述第一反馈数据来更新所述两个或多个插件中的所述第一插件中包括的第一模型；以及基于所述第二反馈数据来更新所述两个或多个插件中的所述第二插件中包括的第二模型。18.根据权利要求14所述的自动驾驶车辆，其中，所述远程引导会话经由所述计算设备向所述人类操作员提供与从其接收到发起所述远程引导会话的请求的所述至少一个插件相关联的自动驾驶异常情况的指示。
19.根据权利要求14所述的自动驾驶车辆，其中，所述计算系统进一步被编程和/或被配置为：在所述远程引导会话期间，从所述自动驾驶车辆外部的所述计算设备接收远程引导数据；以及在所述远程引导会话期间，基于所述远程引导数据来控制所述自动驾驶车辆的所述至少一个驾驶操作。

技术总结
系统、方法和自动驾驶车辆可以获得与自动驾驶车辆周围的环境相关联的传感器数据；将传感器数据提供给多个插件；利用每个插件，基于传感器数据独立地确定是否请求用于自动驾驶车辆的远程引导会话，多个插件中的每个插件包括被该插件应用于传感器数据以确定是否请求远程引导会话的不同模型；从至少一个插件接收发起远程引导会话的请求；以及响应于接收到发起远程引导会话的请求，与自动驾驶车辆外部的计算设备通信以建立远程引导会话。计算设备通信以建立远程引导会话。计算设备通信以建立远程引导会话。


技术研发人员：J
受保护的技术使用者：阿尔戈人工智能有限责任公司
技术研发日：2022.02.10
技术公布日：2023/9/9