远程驾驶系统的制作方法

1.一个或更多个实施例涉及用于从远程位置控制交通工具的交通工具系统和方法。
2.背景
3.自主交通工具(autonomous vehicle)是一种包括相机和/或传感器的交通工具，用于监控交通工具外部的环境，并在交通工具内的驾驶员的输入很少或没有输入的情况下移动。自主交通工具可以包括一个或更多个交通工具系统，该交通工具系统监控来自传感器的外部环境数据并生成驾驶命令以控制交通工具功能。自主交通工具还可以与远程系统通信，用于监控外部环境数据并生成驾驶命令。交通工具传感器可以是高质量传感器，这导致了自主交通工具和远程系统之间的高带宽通信。例如，一项5g汽车联盟(5gaa)研究基于处于8兆比特/秒(mbps)的四个实时视频流和4mbps的传感器数据，估计用于远程驾驶的上行链路带宽为36mbps。
4.概述
5.在一个实施例中，交通工具系统设置有至少一个传感器以及与该至少一个传感器通信的处理器，该至少一个传感器用于生成指示主(host)交通工具外部的环境的高分辨率数据。该处理器被编程为基于高分辨率数据生成低分辨率数据，以及基于驾驶员命令控制至少一个交通工具致动器。至少一个收发器向远程驾驶系统提供低分辨率数据，并从远程驾驶系统接收驾驶员命令。
6.在另一实施例中，提供了一种用于远程地控制交通工具的方法。接收指示主交通工具外部的环境的高分辨率数据。基于高分辨率数据生成低分辨率数据。将低分辨率数据提供给远程驾驶系统。从远程驾驶系统接收驾驶员命令。基于驾驶员命令控制至少一个交通工具致动器。
7.在又一实施例中，自主交通工具系统设置有至少一个传感器以及与该至少一个传感器通信的处理器，该至少一个传感器用于生成指示主交通工具外部的环境的高分辨率数据。处理器被编程为基于高分辨率数据生成低分辨率数据。至少一个收发器发送低分辨率数据，并从远程驾驶系统接收基于低分辨率数据的驾驶员命令。处理器还被编程为基于驾驶员命令控制至少一个交通工具致动器。
8.附图简述
9.图1是交通工具系统的俯视示意图，其与远程系统通信，用于远程地控制主交通工具。
10.图2是示出根据一个或更多个实施例的交通工具系统和远程驾驶系统之间的通信的详细示意图。
11.图3是远程驾驶系统的用户界面的前视图，示出了第一模拟环境。
12.图4是远程驾驶系统的用户界面的另一前视图，示出了第二模拟环境。
13.图5是示出用于远程地控制主交通工具的方法的流程图。
14.详细描述
15.根据需要，本文公开了详细的实施例；然而，应理解，所公开的实施例仅仅是可以
以各种各样的和可替代的形式实施的本公开的示例。附图不一定是按比例绘制的；一些特征可能被放大或缩小以示出特定部件的细节。因此，本文所公开的具体结构细节和功能细节不应被解解为限制性的，而是仅仅作为用于教导本领域技术人员以多种方式实施本公开的代表性基础。
16.参考图1，示出了根据一个或更多个实施例的用于远程地控制主交通工具的交通工具系统，该交通工具系统通常用标记100表示。交通工具系统100被描绘在主交通工具(hv)102内。交通工具系统100包括控制器104和至少一个传感器106。传感器106监控hv 102外部的环境并生成环境的高分辨率数据(例如交通工具和对象的存在)。控制器104基于高分辨率数据生成低分辨率数据108，并通过网络112将低分辨率数据108提供给远程驾驶系统110。
17.远程驾驶系统110将低分辨率数据108呈现给远程驾驶员114，用于远程地控制hv 102。远程驾驶系统110包括远程控制器116和用户界面118。远程控制器116基于低分辨率数据108在用户界面118上生成模拟环境120。远程驾驶系统110包括一个或更多个驾驶员控制设备122，例如方向盘、油门踏板和制动踏板，以供远程驾驶员114基于模拟环境120人工地控制。驾驶员控制设备122基于远程驾驶员的人工输入生成驾驶员命令信号124，远程控制器116将该驾驶员命令信号124发送到交通工具系统100用于远程地控制hv 102。通过在将高分辨率数据发送到远程驾驶系统110之前将高分辨率数据转换为低分辨率数据，交通工具系统100比现有系统使用更少的带宽。
18.hv 102被示出为在两个远程交通工具(rv)——第一rv 126和第二rv 128——附近行驶。hv 102可以通过交通工具与交通工具间(v2v)通信来与一个或更多个rv通信。hv 102还可以通过交通工具与摩托车间(v2m)通信来与摩托车(未示出)通信，以及通过交通工具与基础设施间(v2i)通信来与结构(未示出)通信。
19.参考图2，交通工具系统100包括连接到控制器104的收发器202，用于与hv 102的其他系统通信。收发器202可以接收指示hv 102的各种系统(例如发动机、变速器、导航系统、制动系统等)(未示出)的当前工作状况的输入。每个输入可以是在收发器202和相应的交通工具系统之间直接传输的信号，或者是作为数据通过交通工具通信总线204(例如can总线)间接传输的信号。例如，收发器202可以通过交通工具通信总线204接收诸如交通工具速度、转向信号(turn signal)状态、制动位置、交通工具位置和转向角(steering angle)的输入。
20.收发器202还可以接收指示hv 102外部的环境的输入。例如，hv 102的传感器106可以包括光检测和测距(lidar)传感器，用于确定hv 102外部的对象的位置。传感器106还可以包括用于监控外部环境的一个或更多个相机206，例如高分辨率相机。在一个实施例中，交通工具系统100包括四个高分辨率相机206，每个相机以大约8mbps提供实时视频流。
21.交通工具系统100还包括v2x收发器208，该v2x收发器208连接到控制器104，用于与其他交通工具和结构通信。例如，hv 102的交通工具系统100可以使用v2x收发器208通过交通工具与交通工具间(v2v)通信直接与第一rv 126进行通信、通过交通工具与基础设施间(v2i)通信直接与标志(未示出)进行通信或通过交通工具与摩托车间(v2m)通信直接与摩托车(未示出)进行通信。
22.当两个v2x设备进入彼此的范围内时，交通工具系统100可以使用wlan技术来形成
车载自组织网络。这种技术被称为专用短程通信(dsrc)，其使用由ieee 802.11p提供的底层无线电通信。dsrc的范围通常约为300米，其中一些系统的最大范围约为1000米。美国的dsrc通常工作在5.9ghz范围内，从约5.85ghz到约5.925ghz，并且dsrc的典型延迟约为50ms。替代地，交通工具系统100可以使用蜂窝v2x(c-v2x)、长期演进v2x(lte-v2x)或新无线电蜂窝v2x(nr c-v2x)与另一v2x设备进行通信，蜂窝v2x(c-v2x)、长期演进v2x(lte-v2x)或新无线电蜂窝v2x(nr c-v2x)中的每一个都可以使用网络112(例如蜂窝网络)。此外，网络112可以是连接到云的5g蜂窝网络或利用边缘计算平台的5g蜂窝/v2x网络。
23.每个v2x设备可以将指示其自身状态的信息提供给其他v2x设备。使用dsrc进行连接的交通工具系统与v2v和v2i应用依赖于基本安全消息(bsm)，基本安全消息(bsm)是2020年7月在汽车标准学会(society of automotive standard)j 2735的《v2x通信消息集词典(v2xcommunications message set dictionary)》中定义的消息之一。bsm从交通工具上通过5.9ghz的dsrc频段进行广播，且传输范围约为1000米。bsm由两部分组成。bsm的第1部分包含核心数据元素，包括交通工具位置、航向、速度、加速度、转向轮角度和交通工具分类(例如，客运交通工具或摩托车)，并且该第1部分以每秒约10次的可调节速率传输。bsm的第2部分包含从可选元素的广泛列表中提取的数据元素的可变集合。它们是基于事件触发(例如，abs被激活)选择的，并被添加到第1部分并作为bsm消息的一部分被发送，但传输频率较低，以节省带宽。bsm消息包括仅当前的快照(路径数据例外，路径数据本身被限制到几秒钟的过去历史数据)。如将在本文进一步详细讨论的，应当理解，可以实现任何其他类型的v2x消息，并且v2x消息可以描述可以在v2x通信设备之间传输的信息和/或数据的任何集合或分组(packet)。此外，这些消息可以是不同格式的并且包括其他信息。每个v2x设备还可以提供指示在其附近的另一交通工具或对象的状态的信息。
24.尽管控制器104被描述为单个控制器，但它可以包含多个控制器，或者可以被体现为一个或更多个其他控制器内的软件代码。控制器104包括处理单元或处理器210，该处理单元或处理器210可以包括任意数量的微处理器、asic、ic、存储器(例如，flash、rom、ram、eprom和/或eeprom)以及软件代码，以彼此协同作用来执行一系列操作。这样的硬件和/或软件可以以组件的形式被分组在一起以执行某些功能。本文描述的控制器或设备中的任何一个或更多个包括计算机可执行指令，该计算机可执行指令可以从使用各种编程语言和/或技术创建的计算机程序进行编译或解释。控制器104还包括能够执行软件程序的指令的存储器212或非暂时性计算机可读存储介质。存储器212可以是但不限于电子存储设备、磁存储设备、光学存储设备、电磁存储设备、半导体存储设备或其任何合适的组合。通常，处理器210例如从存储器212、计算机可读介质等接收指令，并执行这些指令。根据一个或更多个实施例，控制器104还包括存储在存储器内的预先确定的数据或“查找表”。
25.控制器104将高分辨率数据转换为低分辨率数据108。处理器210将来自相机206的高分辨率视频数据压缩或转换为低分辨率数据108。在一个实施例中，处理器210使用openscenario软件生成可扩展标记语言文件(xml)格式的低分辨率数据108。在一个或更多个实施例中，低分辨率数据108包括传感器数据。收发器202例如通过网络112将低分辨率数据108发送到远程驾驶系统110。在一个或更多个实施例中，交通工具系统100还向远程驾驶系统110提供低质量视频馈送216。与常规系统相比，与低质量视频馈送216组合的低分辨率数据108需要低的带宽，例如小于10mbps，该常规系统诸如为在5g汽车联盟(5gaa)研究中描
述的系统，该5g汽车联盟(5gaa)研究基于处于8mbps的四个实时视频流和4mbps的传感器数据来估计用于远程驾驶的上行链路带宽为36mbps。
26.远程驾驶系统110包括用于接收低分辨率数据108和低质量视频馈送216的收发器218。远程控制器116包括从收发器218接收低分辨率数据108和低质量视频馈送216的处理器220和存储器222。处理器220基于低分辨率数据108在用户界面118上生成模拟环境120。
27.该模拟环境120使得远程驾驶员114能够将驾驶环境进行可视化，然后使用例如方向盘、制动踏板和加速踏板的驾驶员控制设备122来提供驾驶反馈，即驾驶员命令信号124。驾驶员命令信号124可包括目标航路点(target waypoint)、速度、加速度和控制器参数。收发器218向交通工具系统100发送驾驶员命令信号124。控制器104然后可以向交通工具致动器或系统提供命令。在任何情况下，根据一个或更多个实施例，远程驾驶系统110和交通工具系统100之间的双向无线通信使用诸如openscenario xml格式的预格式化通信来进行。
28.图3示出了在用户界面118上显示的示例模拟环境320。模拟环境320示出了hv图像302和第二rv图像328，表示如图1所示的那样hv 102尾随在第二rv 128后面。
29.图4示出了在用户界面118上显示的另一示例模拟环境420。模拟环境420示出了hv图像302尾随第二rv图像328并驶向具有路灯424的十字路口422。自行车426上的人正骑行穿过第二rv 328前面的十字路口422。路灯424包括被点亮的绿灯428，如由从绿灯428延伸的线所指示的。尽管绿灯428被点亮，但由于自行车426在十字路口422中，远程驾驶员114可以控制驾驶员控制设备122(例如制动踏板)，以开始使hv 102减速，例如，通过控制驾驶员控制设备122以发送指示制动的驾驶员命令信号124。
30.参考图5，示出了根据一个或更多个实施例的描绘用于远程地控制主交通工具的方法的流程图，该流程图通常用标记500表示。根据一个或更多个实施例，方法500使用由控制器104和远程控制器116执行的软件代码来实现。尽管流程图是以多个顺序步骤示出的，但在不偏离本公开的范围和设想的情况下，一个或更多个步骤可以被省略和/或可以以另一种方式被执行。
31.在步骤502处，控制器104例如从传感器106或相机206接收hv 102外部的环境的高分辨率数据。在步骤504处，控制器104例如使用open scenerio软件基于高分辨率数据生成低分辨率数据108。在步骤506处，控制器104例如通过网络112将低分辨率数据108提供给远程驾驶系统110的远程控制器116。
32.在步骤508处，远程控制器116基于低分辨率数据108在用户界面118上生成模拟环境120。远程驾驶员基于模拟环境120操纵驾驶员控制设备122以生成驾驶员命令信号124，该驾驶员命令信号124被提供给远程控制器116。在步骤510处，远程控制器116发送驾驶员命令信号，在步骤512处，交通工具系统100的控制器104接收该驾驶员命令信号。在步骤514处，控制器104基于驾驶员命令信号控制一个或更多个交通工具致动器。
33.虽然上文描述了示例性的实施例，但并不意图这些实施例描述本公开内容的所有可能的形式。而是，本说明书中使用的词语是描述性的而不是限制性的词语，并且应理解的是，可以进行多种改变而不会偏离本公开内容的精神和范围。此外，可以结合各种实现的实施例的特征以形成另外的实施例。

技术特征：
1.一种交通工具系统，包括：至少一个传感器，所述至少一个传感器用于生成指示主交通工具外部的环境的高分辨率数据；处理器，所述处理器与所述至少一个传感器通信并且被编程为：基于所述高分辨率数据生成低分辨率数据，以及基于驾驶员命令控制至少一个交通工具致动器；以及至少一个收发器，所述至少一个收发器用于向远程驾驶系统提供所述低分辨率数据，并从所述远程驾驶系统接收所述驾驶员命令。2.根据权利要求1所述的交通工具系统，其中，所述至少一个传感器包括至少一个相机，并且其中，所述高分辨率数据指示视频馈送。3.根据权利要求2所述的交通工具系统，其中，所述至少一个相机包括至少四个相机，其中，每个相机适于提供大约每秒8兆比特的实时视频流。4.根据权利要求1所述的交通工具系统，其中，所述低分辨率数据进一步包括可扩展标记语言文件和低质量视频中的至少一个。5.根据权利要求1所述的交通工具系统，其中，所述处理器还被编程为通过压缩所述高分辨率数据来生成低分辨率数据。6.根据权利要求1所述的交通工具系统，其中，所述低分辨率数据小于所述高分辨率数据的大小的三分之一。7.一种自主交通工具系统，包括：根据权利要求1所述的交通工具系统；以及所述远程驾驶系统，所述远程驾驶系统进一步包括：显示器，以及远程处理器，所述远程处理器用于基于所述低分辨率数据在所述显示器上生成模拟环境。8.根据权利要求7所述的自主交通工具系统，其中，所述远程驾驶系统还包括用于生成所述驾驶员命令的驾驶员控制设备。9.根据权利要求8所述的自主交通工具系统，其中，所述驾驶员控制设备适于响应于来自观看所述显示器的远程驾驶员的人工输入，生成所述驾驶员命令。10.根据权利要求8所述的自主交通工具系统，其中，所述驾驶员控制设备包括方向盘、油门踏板和制动踏板中的至少一个。11.一种用于远程地控制交通工具的方法，包括：接收指示主交通工具外部的环境的高分辨率数据；基于所述高分辨率数据生成低分辨率数据；将所述低分辨率数据提供给远程驾驶系统；从所述远程驾驶系统接收驾驶员命令；以及基于所述驾驶员命令控制至少一个交通工具致动器。12.根据权利要求11所述的方法，还包括响应于所述低分辨率数据，在显示器上生成模拟环境。13.根据权利要求12所述的方法，还包括响应于来自观看所述显示器上的所述模拟环
境的远程驾驶员的人工输入，从驾驶员控制设备接收所述驾驶员命令。14.根据权利要求11所述的方法，其中，基于所述高分辨率数据生成所述低分辨率数据进一步包括压缩所述高分辨率数据。15.一种自主交通工具系统，包括：至少一个传感器，所述至少一个传感器用于生成指示主交通工具外部的环境的高分辨率数据；处理器，所述处理器与所述至少一个传感器通信，并被编程为基于所述高分辨率数据生成低分辨率数据；至少一个收发器，所述至少一个收发器用于发送所述低分辨率数据，并从远程驾驶系统接收基于所述低分辨率数据的驾驶员命令；以及其中，所述处理器还被编程为基于所述驾驶员命令控制至少一个交通工具致动器。16.根据权利要求15所述的自主交通工具系统，还包括：显示器，所述显示器被安装为远离所述主交通工具；远程处理器，所述远程处理器被编程为基于所述低分辨率数据在所述显示器上生成模拟环境；以及驾驶员控制设备，所述驾驶员控制设备用于响应于来自观看所述显示器上的所述模拟环境的远程驾驶员的人工输入，生成所述驾驶员命令。17.根据权利要求16所述的自主交通工具系统，其中，所述驾驶员控制设备包括方向盘、油门踏板和制动踏板中的至少一个。18.根据权利要求15所述的自主交通工具系统，其中，所述至少一个传感器包括至少一个相机，并且其中，所述高分辨率数据指示视频馈送。19.根据权利要求15所述的自主交通工具系统，其中，所述处理器还被编程为通过压缩所述高分辨率数据来生成低分辨率数据。20.根据权利要求15所述的自主交通工具系统，其中，所述低分辨率数据小于所述高分辨率数据的大小的三分之一。

技术总结
本公开涉及远程驾驶系统，并且具体涉及一种用于远程地控制主交通工具的交通工具系统和方法。该交通工具系统设置有至少一个传感器以及与该至少一个传感器通信的处理器，该至少一个传感器用于生成指示主交通工具外部的环境的高分辨率数据。该处理器被编程为基于高分辨率数据生成低分辨率数据，以及基于驾驶员命令控制至少一个交通工具致动器。至少一个收发器向远程驾驶系统提供低分辨率数据，并从远程驾驶系统接收驾驶员命令。驾驶系统接收驾驶员命令。驾驶系统接收驾驶员命令。


技术研发人员：萨默尔
受保护的技术使用者：李尔公司
技术研发日：2022.12.02
技术公布日：2023/6/28