从基础设施信号确定交通灯标签和分类质量的制作方法

从基础设施信号确定交通灯标签和分类质量
1.相关申请的交叉引用
2.本专利文档要求于2020年8月25日提交的美国专利申请no.17/001,999的优先权。


背景技术：

3.当自主汽车(av)在真实环境中行驶时，它们必须能够对他们的传感器检测到的各种对象进行分类。例如，av检测系统需要对交通信号进行检测和分类，并将它们分类为红色、黄色或绿色，或者根据另一种状态(诸如闪烁)进行分类。
4.为了对检测到的对象进行分类，av通常依赖于深度神经网络。但是，为了训练深度神经网络来执行准确的分类，要求大量标记的数据。对数据做标记的过程既耗时又昂贵。在对交通灯数据做标记的情况下，团队必须每天手动识别数百或甚至数千个交通灯的面(face)位置、灯泡位置、灯泡类型和灯泡状态，以建立可以在数以百万计的交通灯面中计数的训练集。此外，当训练集包括其中人类标记者校正自动化系统出错的标签的示例时，训练集会更有价值，因为这有助于教导网络并避免将来出现不准确的标记。在av系统提供商改变车辆平台或希望在新的环境条件下操作的情况下，对大型数据集做标记所需的前导时间(lead time)需要提前几个月规划更改。当做标记过程完成时，这一要求限制了av的操作能力。因此，期望改进的做标记方法来帮助训练神经网络以用于对象分类过程。
5.此外，应用于av的深度神经网络的评估需要花时间，常常需要一天或更长时间来完成。这意味着对神经网络的任何评估都可能有些陈旧。因此，还需要改进的评估技术来帮助av准确识别交通信号及其环境中的其它对象。
6.本文档描述了针对解决上述问题和/或其它问题的方法和系统。


技术实现要素：

7.本文档公开了训练分类器以识别图像中的交通信号状态的方法。在各种实施例中，车辆在环境中行驶时可以使用相机来捕获环境的图像。车辆可以确定交通信号在相机的视场内，并且它可以将一些或全部图像保存到数据存储(store)，连同每个保存的图像的捕获时间一起保存到数据存储。可替代地，处理器可以用此类信息访问已经存在的数据存储。可以在车辆上或在车辆外部的系统中的处理器可以处理保存的图像以识别包括交通信号的图像。处理器将确定识别出的图像的捕获时间，访问指示捕获时交通信号的信号相位和定时的信号数据，分析捕获时接收到的信号数据以确定捕获时交通信号的状态，用所确定的状态的标签(label)对识别出的图像做标记(label)，并将识别出的图像和标签传递给分类器。然后分类器可以使用识别出的图像和标签来训练分类器。
8.可选地，处理器还可以处理保存的图像以识别各自包括附加交通信号的附加图像。对于附加图像中的每一个，处理器可以从数据存储中提取附加图像的捕获时间。对于每个附加图像，处理器然后可以分析附加信号数据以确定在附加图像的捕获时间附加图像中的附加交通信号的状态。处理器可以用附加交通信号的所确定的状态的标签对每个附加图像做标记，并且它可以将附加图像及其标签传递给分类器。分类器还将使用附加图像和每
个附加图像的标签来进一步训练分类器。
9.可选地，车辆(它可以是如上所述的同一车辆，或者它可以是不同的车辆)可以使用相机来捕获环境的新图像。处理器然后可以确定新图像之一包括交通信号，并且它可以使用分类器来确定在所确定的新图像中的交通信号的状态。处理器还可以访问在捕获所确定的新图像时收集的新信号数据，从信号数据中提取信号状态，并确定所提取的信号状态是否与分类器确定的状态相匹配。如果所提取的信号状态与分类器确定的状态不匹配，则系统可以使用所确定的新图像、所提取的信号状态和分类器确定的状态来进一步训练分类器。
10.可选地，确定交通信号在相机的视场内可以包括由处理器使用全球定位传感器来确定车辆的位置、分析地图数据以识别在相机的视场中的车辆前方的位置的特征，并确定识别出的特征之一是交通信号。
11.可选地，车辆的收发器可以从路边单元(rsu)接收作为信号相位和定时(spat)消息的信号数据。如果是，则确定交通信号在相机的视场内可以包括：(i)经由收发器从rsu接收地图数据；(ii)使用全球定位系统传感器确定车辆的位置；(iii)将地图数据与车辆的确定的位置和车辆的规划的路径相关(correlating)，以确定交通信号在视场中。
12.可选地，如果处理器包括与车辆集成的处理器组件，则确定交通信号在相机的视场内可以包括在处理图像时检测交通信号以识别包括交通信号的图像。
13.可选地，处理器可以接收针对识别出的图像的注释。如果是这样，则当将识别出的图像和标签传递给分类器时，处理器也可以将注释传递给分类器。分类器也可以使用注释来训练分类器。
14.可选地，处理器可以：(i)识别包括附加交通信号的附加图像；(ii)确定附加图像的捕获时间；(iii)分析附加信号数据以确定在附加图像的捕获时间附加图像中的附加交通信号的状态；(iv)接收附加交通信号的手动输入的标签；以及(v)确定所确定的附加交通信号的状态是否与手动输入的标签相匹配。如果所确定的附加交通信号的状态与手动输入的标签相匹配，则处理器可以将附加图像及其标签传递给分类器以用于训练分类器，否则它可以不将附加图像传递给分类器。
附图说明
15.图1是根据本公开的各种实施例的用于识别和分类交通信号设备的系统的示例。
16.图2是现有技术中可以存在的示例交通信号设备的图像的示例。
17.图3图示了训练分类器以识别捕获的图像中的交通信号状态的示例方法。
18.图4图示了系统可以通过该过程使用分类器的不正确表现(performance)来改进分类器的训练和未来表现的过程。
19.图5图示了示例交通灯分类管线，包括使用标记的数据来训练分类器，以及对未标记的图像进行分类以控制车辆的操作。
20.图6图示了系统可以通过该过程在为分类器开发训练数据集时评估人类标记者的表现的过程，并且在该过程中，系统可以滤除可能不可靠的数据以便在训练中不使用此类数据。
21.图7是图示根据本公开的各种实施例的可以用于包含或实现编程指令的示例硬件
的框图。
具体实施方式
22.如本文档中所使用的，单数形式“一(a)”、“一(an)”和“该(the)”包括复数引用，除非上下文另有明确规定。除非另有定义，否则本文使用的所有技术和科学术语具有与本领域普通技术人员普遍理解的相同含义。如本文档中所使用的，术语“包括”是指“包括但不限于”。与本文档相关的附加术语的定义包括在具体实施方式的末尾。
23.现在参考图1，示出了用于识别和分类交通信号设备130的系统100。根据各种实施例，系统100包括车辆105。如图所示，车辆105在道路110上行驶。但是，可以所述任何合适的路径。
24.车辆105可以包括被配置为接收交通信号设备130的数字图像的计算机视觉系统115。计算机视觉系统115可以包括用于捕获车辆105在其中行驶的环境的各种特征的数字图像的一个或多个相机。
25.此类特征可以包括一个或多个交通信号设备130。图1中所示的交通信号设备(在图2的现有技术图像中以示例的方式示出了更多细节)包括几个交通信号元素135a、135b。交通信号元素135a、135b是动态的，因为它们可以在至少两种状态之间切换以向一个或多个驾驶员发送交通指令，并且不同类型的信号元素135a、135b可以存在于单个交通信号设备130中。交通信号元素是交通信号设备的元素，它们可以打开和关闭、转动或移动，或以其它方式改变以确定由设备提供的信号。交通信号元素的示例可以包括例如红灯、黄灯和绿灯135a。其它示例包括带有方向箭头的灯135b(诸如指向左或右的箭头)、其它符号(诸如人行走的符号)或文字。在这些示例中的每一个中，每个灯都可以在关闭状态和打开状态之间切换。灯可以是发光二极管(led)、灯泡和/或传达交通信号元素135a、135b的状态的任何其它合适的照明元件。根据各种实施例，灯本质上可以是反射性的。
26.为了说明的目的，信号元素135a、135b在图2中被表示为圆形灯和箭头灯。但是，每个信号元素135a、135b的特征可以是各种信号元件特征中的任何一种，诸如例如绿灯、黄灯、红灯、圆形灯、左箭头灯、右箭头灯、具有位于任何方向的箭头的灯、前进箭头灯、闪烁的绿灯、闪烁的黄灯、闪烁的红灯、掉头灯、自行车灯、x灯和/或任何其它合适的交通信号元素特征。还应该注意的是，交通信号设备130可以包括任何合适数量的信号元素135a、135b，其在交通信号设备130的面上具有不同位置。交通信号元素135a、135b与被配置为向一个或多个驾驶员发送交通指令的指定灯相对应。
27.返回到图1，交通信号设备130可以包括路边单元(rsu)150或通信连接到路边单元(rsu)150，路边单元包括收发器、处理器以及被配置为使rsu从交通信号设备130接收状态信息并将交通信号设备的状态信息广播给附近的车辆(诸如车辆110)的编程指令或电路系统(circuitry)。在一些实施例中，消息可以包括用于一般称为信号相位和定时(spat)消息的数据和格式。但是，可以使用其它数据、消息类型和协议。rsu 150还可以广播包括关于十字路口的几何形状的信息的地图数据。(此类消息可以包括那些在交通控制领域中通常称为map消息的消息，但是可以使用其它类型的消息)。rsu 150发送器可以在短程通信协议(诸如专用短程通信(dsrc)协议)上操作，并且车辆将具有可以接收消息的使用这种协议的收发器120。rsu 150可以是与交通信号设备130通信的独立设备，或者它可以集成到交通信
号设备130的壳体中。rsu还可以通信连接到高级交通控制器(atc)155或与之集成，高级交通控制器(atc)155是用于采用atc标准的智能交通系统应用的硬件和软件平台(包括处理器、软件和壳体)，诸如由交通工程师协会和美国交通部发布的那些。
28.车辆的收发器120(其可以是一个或多个设备)也可以被配置为经由有线和/或无线通信网络(诸如例如通过蜂窝通信网络140)从远程服务器145发送和接收数字信息，其中车辆105和远程服务器145彼此电子通信。车辆105还可以包括处理器125。处理器125可以被配置为将交通信号设备130表示为光栅图像(诸如图3中所示的)，其中交通信号设备130的每个交通信号元素135a、135b由与交通信号设备130上的交通信号元素135、135b的位置相对应的掩码来表示。处理器125可以是用于车辆计算机视觉或其它系统的专用处理器、为车辆执行各种功能的处理器和/或远程服务器145的处理器。由任何处理器处理的数据可以是从车辆105接收的数据、从远程服务器145接收的数据和/或来自车辆105和远程服务器145的数据的组合。
29.图3图示了训练分类器以识别图像中的交通信号状态的示例方法。当av或其它车辆在环境中行驶时，它将使用一个或多个相机来捕获环境的数字图像(步骤301)。当系统捕获图像时，它会将它们连同捕获时间一起保存在数据存储中。车辆可以执行现在将描述的各种处理步骤，或者车辆可以将其捕获的数据传送到远程处理设备(诸如图1中的服务器145)以执行步骤中的一个或多个。
30.车辆可以识别交通信号在相机的视场中，并且因此可能以各种方式在一个或多个图像中。例如，在302处，车辆可以确定其位置并将该位置与地图数据相关。车辆可以这样做的一种方式是使用全球定位系统(gps)传感器来确定车辆的位置，分析地图数据以识别视场中车辆前方的位置的特征，以及确定识别出的特征之一是交通信号。当地图数据指示交通信号应当存在时，系统将断定交通信号必须存在于相机的视场中，并且在步骤303处系统将分析该位置处的图像以找到交通信号。可替代地，系统可以颠倒次序，使得在步骤322处系统可以简单地处理多个图像以寻找交通信号。当系统识别出图像中的交通信号时，它将分析地图数据以确定交通信号的位置(步骤323)。
31.在这些过程中的任一个中，系统可以以多种方式中的任何方式接收地图数据。例如，车辆可以在本地存储地图数据。系统可以向远程服务器发送调用以分析地图数据并返回是否存在交通信号的指示。当车辆在路边单元(rsu)的通信范围内时，车辆的收发器可以接收来自rsu的地图数据。可以使用其它方法，或者可以使用这些方法的组合。
32.系统可以使用任何合适的方法来处理图像并识别图像中的交通信号。各种方法在图像处理领域中是众所周知的。例如，系统可以识别每个图像中的一个或多个感兴趣区域(roi)，并使用分类器来处理图像并识别图像中潜在或实际的交通信号。系统可以使用颜色阈值化(即，寻找其中存在三种颜色(红色、黄色或绿色)的交通信号中的至少一种的图像)、二进制大对象(blob)检测和分析、聚光灯检测(即，寻找被较暗区域包围的亮区域)和/或其它现在或以后已知的图像处理方法来识别交通信号。
33.不管该过程如何，在确定交通信号在相机的视场内(即，图像可能包括交通信号)的同时、之前或之后，在304处系统还将接收指示交通信号的信号相位和定时的信号数据。在步骤304中，车辆可以经由收发器从外部源接收信号数据，诸如在来自位于交通信号附近的rsu的spat消息中，并且如果是这样，则系统可以将这个信号数据保存到数据存储。可替
代地，在步骤304中，系统可以接收数据集形式的信号数据，其中信号数据的每一项与捕获时间(即，收集信号数据的时间)相关联。在305处，系统然后将分析信号数据以确定在捕获时间交通信号的状态。例如，spat消息通常将包括信号状态，以及当前状态对于每个工作的(active)道路(approach)和车道将持续多长时间的指示物(indicator)。车辆可以确定车辆正在行驶的车道(根据gps数据和/或其它地面实况信息)并从spat消息中提取该车道的信号数据。
34.在306处，系统将用所确定的状态的标签对识别出的图像中的交通信号做标记。例如，系统可以为图像指派标签，该标签将活动信号元素识别为红灯、黄灯、绿灯、方向信号或其它信号元素。系统将与图像相关联地保存标签。
35.可选地，在308处，可以使用一个或多个附加步骤来确定图像是否应当被用来训练分类器，或者它是否应当被滤除。例如，人类可以观察图像和标签以确定系统是否将正确的标签应用于图像中的交通信号，或者系统可以对照系统对图像的分析来评估人类标签的准确性。如果标签正确(诸如红灯被正确标记为“红色”)，则图像和标签可以保留；如果不正确(诸如红灯被错误地标记为“绿色”)，则可以通过丢弃或简单地不使用或者通过在使用图像之前校正标签来滤除图像和标签。
36.此外，在309处，一个或多个人类注释者可以添加一个或多个带有关于图像和/或图像内的交通信号的附加信息的注释，诸如车辆姿态数据或其它信息。可以包括其它注释，诸如捕获图像时的天气状况(诸如雨、太阳、云或雾)，或者图像是在白天还是黑暗中捕获的。此类信息可以从外部源检索，诸如通过向天气服务或天气信息数据库发送查询，或通过人工注释手动添加。当人做注释时，人可以在计算设备的显示器上查看图像并使用诸如键盘、触摸屏或麦克风之类的用户输入端来添加注释，系统将注释与图像相关联地保存到数据存储，诸如在存储器中。此外，不正确标记的图像可能不会被滤除，而是可以保留标记为不正确的注释和/或正确标记应当是什么的指示。这个信息可以有助于训练分类器来标记未来图像和/或图像中的信号。
37.在310处，将通过诸如上述那些的任何筛选(screening)步骤存活的任何图像连同其(多个)标签一起传递给分类器。然后，分类器将使用识别出的图像和(多个)标签来训练分类器。
38.系统可以针对多个图像重复以上过程(步骤307)。此外，当处理图像时，系统可以确定任何图像包括多个信号，并且它可以对这种图像中的任何或所有交通信号执行以上步骤。
39.一旦分类器经过训练，在311处，车辆然后就可以经由分类器处理新捕获的图像，使得分类器返回图像中的交通信号的状态。然后，车辆的av操作系统可以在决定在环境中如何移动和移动到哪里时使用该信息。
40.一旦车辆在操作中使用分类器，系统就也可以使用信号数据(诸如spat信号)来改进分类器。这在图4中示出，其中在步骤401处，在环境中行驶的车辆捕获图像。在步骤402处，系统使用一个或多个过程(诸如以上在图3的上下文中讨论的那些过程)识别包含信号的图像。在步骤403处，系统还接收交通信号数据，诸如spat消息或其它信号数据，如以上也在图3的上下文中所讨论的。在步骤404(其可以在步骤403之前、之后或同时发生)处，系统将用分类器处理图像以返回图像中交通信号的标签。然后，系统将确定分类器的结果(即，
返回的标签)是否与交通信号数据中接收到的信号状态相匹配(步骤406)。如果标签匹配，则系统可以继续操作，使用标签做出操作决定。如果标签不匹配，则在步骤408处，系统可以将图像和标签传递给分类器，使得分类器可以从不正确的分类中学习(其中预期信号数据是正确的并且分类器不正确地对信号进行分类)。
41.图5是交通灯分类器(tlc)管线(pipeline)501的示例的框图，即，车辆的车载组件和/或诸如远程服务器的非车载组件如何使用标记的图像训练分类器，然后av如何使用分类器做出操作决定的总体流程。tlc管线501可以包括分类器502，该分类器502被配置为对在车辆的cvs 115在环境中的十字路口处或附近拍摄的图像531中检测到的交通信号元素和/或交通灯设备进行分类。分类器502可以包括存储在存储器中的编程指令的集合，当处理器执行这些指令时，使用机器学习算法执行本文中描述的交通灯分类功能。标记的图像530可以被发送到分类器训练器504，分类器训练器504是分析标记的图像并使用分析结果来学习各种交通信号状态的模式和特征的分类器的实例。分类器训练器504可以是车辆的元件，或者它可以是诸如远程服务器的车外(offboard)系统。分类器502、分类器训练器504和分类器过滤器510中的每一个都可以包括软件、固件和/或硬件模块，它们包括被配置为指示处理器执行分类、训练和过滤功能的编程指令，如本文所述。
42.tlc管线501可以被配置为产生表示图像中的交通信号设备的状态的控制信号560并且将控制信号传送到车辆的自动车辆系统(avs)565，该avs 565包括处理系统和软件以控制车辆通过十字路口的移动。例如，车辆的avs 565可以使用检测到的交通信号状态来生成信号，该信号是当车辆接近十字路口时车辆的加速度和/或速度。如果交通信号元素被分类为红灯，则avs 565可以激活车辆的制动控制器并使车辆停止。
43.在一些实施例中，当为分类器开发训练数据的集合时，系统还可以使用信号数据来评估人类标记者的表现。这在图6中示出，其中在步骤601处，在环境中行驶的车辆捕获图像。在步骤602处，系统使用诸如以上在图3的上下文中讨论的那些过程的一个或多个过程或通过人工识别来识别包含信号的图像。在步骤603处，系统还接收交通信号数据，诸如spat消息或其它信号数据，如以上也在图3的上下文中所讨论的。在步骤604(其可以在步骤603之前、之后或同时发生)处，系统将经由用户界面从人工标记者接收图像中交通信号的标记的输入。系统然后将确定手动输入的标签是否与在交通信号数据中接收到的信号状态相匹配(步骤606)。如果标签匹配，则在步骤608处，系统可以将图像和标签传递给分类器以用于训练分类器。如果标签不匹配，则在步骤607处系统将不会使用图像和标签来训练分类器，因为人工输入的标签将被认为是不可靠的。可选地，可以存储与用于任何个体标记者或标记者组的所使用图像的数量和丢弃图像的数量相对应的数据，并用于评估个体或组的表现。
44.图7描绘了可以包括在系统的任何电子组件中的内部硬件的示例，诸如av的内部处理系统、rsu或atc的元件或远程服务器。电气总线700用作互连硬件的其它图示组件的信息高速公路。处理器705是系统的中央处理设备，被配置为执行运行编程指令所需的计算和逻辑运算。如本文档和权利要求中所使用的，术语“处理器”和“处理设备”可以指单个处理器或共同执行操作集的处理器的集合中的任何数量的处理器，诸如中央处理单元(cpu)、图形处理单元(gpu)、远程服务器或这些的组合。只读存储器(rom)、随机存取存储器(ram)、闪存、硬盘驱动器和能够存储电子数据的其它设备构成存储器设备(即，存储介质)710的示
例。存储器设备可以包括存储数据和/或指令的单个设备或设备的集群(collection)。本发明的各种实施例可以包括包含编程指令的计算机可读介质，这些编程指令被配置为使一个或多个处理器执行在前面附图的上下文中描述的功能。
45.可选的显示器接口715可以允许来自总线700的信息以视觉、图形或字母数字格式显示在显示设备720上，诸如在车辆的仪表板内显示系统上。还可以提供音频接口和音频输出端(诸如扬声器)。与外部设备的通信可以使用诸如无线天线、射频标识(rfid)标签和/或短程或近场通信收发器之类的各种通信设备725来发生，其中的每一个都可以可选地经由一个或多个通信系统与设备的其它组件通信连接。(多个)通信设备725可以被配置为通信地连接到通信网络，诸如互联网、局域网或蜂窝电话数据网络。
46.硬件还可以包括用户接口传感器730，其允许从输入设备725(诸如键盘或小键盘、操纵杆、触摸屏、触摸板、遥控器、定点设备和/或麦克风)接收数据。也可以从可以捕获视频和/或静止图像的相机740接收数字图像帧。
47.以上讨论的特征和功能以及替代方案可以组合到许多其它不同的系统或应用中。各种组件可以以硬件或软件或嵌入式软件来实现。本领域的技术人员可以做出各种目前无法预见或未预料的替代方案、修改、变化或改进，其中每一个也意图被所公开的实施例所涵盖。
48.与以上提供的公开相关的术语包括：
[0049]“自动化设备”或“机器人设备”是指一种电子设备，其包括处理器、编程指令和一个或多个组件，这些组件基于来自处理器的命令可以执行至少一些操作或任务而最少或不需要人为干预。例如，自动化设备可以执行一个或多个自动化功能或功能集。此类操作、功能或任务的示例可以包括但不限于导航、运输、驾驶、交付、装载、卸载、医疗相关的过程、建筑相关的过程等。示例自动化设备可以包括但不限于自主车辆、无人机和其它自主机器人设备。
[0050]
术语“车辆”是指能够运载一个或多个人类乘员和/或货物并且由任何形式的能量提供动力的任何移动形式的交通工具。术语“车辆”包括但不限于汽车、卡车、货车、火车、自主车辆、飞行器、航空无人机等。“自主车辆”是具有处理器、编程指令和无需人类操作者可由处理器控制的动力传动系统组件的车辆。自主车辆可以是完全自主的，因为它不要求人类操作者来完成大部分或所有驾驶条件和功能，或者它可以是半自主的，其中在某些情况下或对于某些操作可能要求人类操作者，或者人类操作者可以超越车辆的自主系统并可以控制车辆。自主车辆还包括自主系统增强了车辆的人类操作的车辆，诸如具有驾驶员辅助转向、速度控制、制动、泊车和其它系统的车辆。
[0051]
在本文档中，术语“街道”、“道路”、“车道”和“十字路口”以在一条或多条道路上行驶的车辆为例进行说明。但是，这些实施例意图包括其它位置(诸如泊车区域)的车道和十字路口。此外，对于被设计用于室内的自主车辆(诸如仓库中的自动拣选设备)，街道可以是仓库的走廊并且车道可以是走廊的一部分。如果自主车辆是无人驾驶飞机或其它飞行器，则术语“街道”可以表示航线并且车道可以是航线的一部分。如果自主车辆是船只，则术语“街道”可以表示水路并且车道可以是水路的一部分。
[0052]“电子设备”或“计算设备”是指包括处理器和存储器的设备。每个设备可以具有其自己的处理器和/或存储器，或者处理器和/或存储器可以与虚拟机或容器布置中的其它设
备共享。存储器将包含或接收编程指令，当处理器执行这些程序指令时，使电子设备根据程序指令执行一个或多个操作。
[0053]
术语“存储器”、“存储器设备”、“一个或多个存储介质”、“数据存储”、“数据存储设施”等指计算机可读数据、编程指令或两者都被存储在其上的非暂态设备。除非另有明确说明，否则术语“存储器”、“存储器设备”、“一个或多个存储介质”、“数据存储”、“数据存储设施”等意图包括单个设备实施例、其中多个存储器设备一起或共同存储数据或指令的集合的实施例，以及此类设备中的各个扇区。
[0054]
术语“处理器”和“处理设备”是指被配置为执行编程指令的电子设备的硬件组件。除非另有明确说明，否则单数术语“处理器”或“处理设备”意图包括单个处理设备实施例和其中多个处理设备一起或共同执行过程的实施例。
[0055]
术语“分类器”是指系统使用人工智能将标签指派给一个或多个数据点的自动化过程。分类器通常从标记的训练数据的集合开始，并应用一个或多个机器学习算法来理解数据中与各种标签相对应的特征和模式。这些算法可以包括像决策树一样简单的算法、像朴素贝叶斯分类一样复杂的算法和/或中间算法(诸如k-最近邻算法)。分类器可以包括人工神经网络(ann)、支持向量机分类器和/或许多不同类型的分类器中的任何一个。一旦经过训练，分类器就可以使用它在训练期间学到的知识库对新数据点进行分类。训练分类器的过程可以随着时间的推移而发展，因为分类器可以周期性地在更新后的数据上进行训练，并且它们可以从所提供的关于它们可能被错误分类的数据的信息中学习。分类器将由执行编程指令的处理器实施，并且它可以对大型数据集(诸如图像数据、lidar系统数据和/或其它数据)进行操作。
[0056]
在本文档中，术语“通信链路”和“通信路径”是指有线或无线路径，第一设备经由该路径向一个或多个其它设备发送通信信号和/或从一个或多个其它设备接收通信信号。如果设备能够经由通信链路发送和/或接收数据，则设备是“通信连接的”。“电子通信”是指经由一个或多个信号在两个或更多个电子设备之间传输数据，无论是通过有线网络还是无线网络，以及无论是直接地还是经由一个或多个中间设备间接地。
[0057]
在本文档中，当使用诸如“第一”和“第二”之类的相对次序术语来修饰名词时，这种使用只是为了将一个项目与另一个项目区分开来，而不是为了要求顺序次序，除非特别说明。
[0058]
此外，诸如“前”和“后”之类的相对位置术语不一定限于前向或后向区域，而是分别还包括比后方更靠近前部的侧面区域，反之亦然。车辆的“侧面”意图指车辆的最前部和最后部之间的面向侧面的部分。

技术特征：
1.一种训练分类器以识别图像中的交通信号状态的方法，所述方法包括：在环境中行驶时由车辆：使用相机来捕获所述环境的图像，确定交通信号在所述相机的视场内，以及将多个图像保存到数据存储，连同每个保存的图像的捕获时间一起保存到数据存储；以及由处理器：处理所述保存的图像以识别包括所述交通信号的图像，确定识别出的图像的捕获时间，访问指示在捕获时间所述交通信号的信号相位和定时的信号数据，分析在捕获时间接收到的信号数据以确定在捕获时间所述交通信号的状态，用确定的状态的标签对识别出的图像做标记，以及将所述识别出的图像和所述标签传递给分类器；以及由所述分类器使用所述识别出的图像和所述标签来训练所述分类器。2.如权利要求1所述的方法，还包括：由所述处理器处理所述保存的图像以识别多个附加图像，每个附加图像包括附加交通信号；对于所述附加图像中的每个附加图像，由所述处理器：从所述数据存储中提取所述附加图像的捕获时间，分析附加信号数据以确定在所述附加图像的捕获时间所述附加图像中的附加交通信号的状态，用所确定的附加交通信号的状态的标签对所述附加图像做标记，以及将所述附加图像及其标签传递给所述分类器；以及由所述分类器使用所述附加图像和所述附加图像中的每个附加图像的标签来进一步训练所述分类器。3.如权利要求1所述的方法，还包括：由车辆使用相机捕获所述环境的新图像；以及由所述处理器：确定所述新图像之一包括交通信号，以及使用所述分类器来确定在所确定的新图像中的所述交通信号的状态。4.如权利要求3所述的方法，还包括：访问在捕获所确定的新图像时收集的新信号数据；从所述信号数据中提取信号状态；确定所提取的信号状态是否与所述分类器确定的状态相匹配；以及如果所提取的信号状态与所述分类器确定的状态不匹配，则使用所确定的新图像、所提取的信号状态和所述分类器确定的状态进一步训练所述分类器。5.如权利要求1所述的方法，其中，确定所述交通信号在所述相机的视场内包括：由所述处理器：使用全球定位传感器来确定车辆的位置；
分析地图数据以识别在所述相机的视场内所述车辆前方的位置的特征；以及确定识别出的特征之一是所述交通信号。6.如权利要求1所述的方法，还包括经由车辆的收发器从路边单元rsu接收作为信号相位和定时spat消息的信号数据。7.如权利要求6所述的方法，其中，确定所述交通信号在所述相机的视场内包括：经由所述收发器从所述rsu接收地图数据；使用全球定位系统传感器来确定所述车辆的位置；以及将所述地图数据与所确定的车辆的位置和车辆的规划路径相关，以确定所述交通信号在所述视场中。8.如权利要求1所述的方法，其中：所述处理器包括与所述车辆集成的处理器组件；以及确定所述交通信号在所述相机的视场内包括在处理所述图像以识别包括所述交通信号的图像时检测所述交通信号。9.如权利要求1所述的方法，还包括：由所述处理器：接收对识别出的图像的注释，以及当将所述识别出的图像和所述标签传递给所述分类器时，也将所述注释传递给所述分类器；以及由所述分类器也使用所述注释来训练所述分类器。10.如权利要求1所述的方法，还包括，由所述处理器：识别包括附加交通信号的附加图像；确定所述附加图像的捕获时间；分析附加信号数据以确定在所述附加图像的捕获时间所述附加图像中的附加交通信号的状态；接收所述附加交通信号的手动输入的标签；确定所确定的所述附加交通信号的状态是否与所述手动输入的标签相匹配；以及如果所确定的附加交通信号的状态与所述手动输入的标签相匹配，则将所述附加图像及其标签传递给所述分类器以用于训练所述分类器，否则不将所述附加图像传递给所述分类器。11.一种训练自主车辆的分类器以识别图像中的交通信号状态的方法，所述方法包括：由处理器：访问包含环境的数字图像以及对于所述图像中的每个图像的捕获时间的数据存储；处理数字图像的组以识别包括交通信号的图像，确定识别出的图像的捕获时间，访问信号数据，所述信号数据指示在所述识别出的图像的捕获时间所述交通信号的信号相位和定时；分析在所述识别出的图像的捕获时间接收到的信号数据以确定在所述识别出的图像的捕获时间所述交通信号的状态，用确定的状态的标签对所述识别出的图像做标记，以及
将所述识别出的图像和所述标签传递给自主车辆的分类器；以及由所述分类器使用所述识别出的图像和所述标签来训练所述分类器。12.如权利要求11所述的方法，还包括，由所述处理器：处理所保存的图像以识别多个附加图像，每个附加图像包括附加交通信号；以及对于所述附加图像中的每个附加图像：从数据存储中提取所述附加图像的捕获时间，分析附加信号数据以确定在所述附加图像的捕获时间所述附加图像中的附加交通信号的状态，用所确定的所述附加交通信号的状态的标签来对所述附加图像做标记，以及将所述附加图像及其标签传递给所述分类器；以及由所述分类器使用所述附加图像和所述附加图像中的每个附加图像的标签来进一步训练所述分类器。13.如权利要求11所述的方法，还包括，由所述处理器：接收所述环境的新图像；确定所述新图像之一包括交通信号；以及使用所述分类器来确定在所确定的新图像中的所述交通信号的状态。14.如权利要求13所述的方法，还包括：访问在捕获所确定的新图像时收集的新信号数据；从所述信号数据中提取信号状态；确定所提取的信号状态是否与所述分类器确定的状态相匹配；以及如果所提取的信号状态与所述分类器确定的状态不匹配，则使用确定的新图像、所提取的信号状态和所述分类器确定的状态进一步训练所述分类器。15.如权利要求11所述的方法，其中，访问所述信号数据包括访问经由车辆的收发器从路边单元rsu接收的作为信号相位和定时spat消息的信号数据。16.如权利要求11所述的方法，其中，访问所述信号数据包括访问所述处理器从路边单元rsu接收的作为信号相位和定时spat消息的信号数据。17.如权利要求11所述的方法，还包括：由所述处理器：接收对所述识别出的图像的注释，以及当将所述识别出的图像和所述标签传递给所述分类器时，也将所述标注传递给所述分类器；以及由所述分类器也使用所述注释来训练所述分类器。18.如权利要求1所述的方法，还包括，由所述处理器：识别包括附加交通信号的附加图像；确定所述附加图像的捕获时间；分析附加信号数据以确定在所述附加图像的捕获时间所述附加图像中的附加交通信号的状态；接收所述附加交通信号的手动输入的标签；确定所确定的附加交通信号的状态是否与所述手动输入的标签相匹配；以及
如果所确定的附加交通信号的状态与所述手动输入的标签相匹配，则将所述附加图像及其标签传递给所述分类器以用于训练所述分类器，否则不将所述附加图像传递给所述分类器。19.一种用于训练分类器以识别图像中的交通信号状态的系统，所述系统包括：处理器；以及编程指令，被配置为使所述处理器：访问包含环境的数字图像以及对于所述图像中的每个图像的捕获时间的数据存储，处理所述数字图像的组以识别包括交通信号的图像，确定识别出的图像的捕获时间，访问信号数据，所述信号数据指示在所述识别出的图像的捕获时间所述交通信号的信号相位和定时，分析在所述识别出的图像的捕获时间接收到的信号数据以确定在所述识别出的图像的捕获时间所述交通信号的状态，用确定的状态的标签对所述识别出的图像做标记，以及将所述识别出的图像和所述标签传递给自主车辆的分类器以训练所述分类器。20.如权利要求19所述的系统，还包括车辆，所述车辆包括：相机，被配置为捕获所述环境的图像；处理器；以及包含编程指令的存储器，所述指令被配置为使所述车辆的处理器：确定交通信号在所述相机的视场内，以及将多个图像保存到数据存储，连同每个保存的图像的捕获时间一起保存到数据存储。21.如权利要求20所述的系统，其中：所述系统还包括全球定位传感器；以及用于确定所述交通信号在所述相机的视场内的指令包括用于以下操作的指令：使用所述全球定位传感器来确定所述车辆的位置，分析地图数据以识别在所述相机的视场内所述车辆前方的位置的特征；以及确定所述识别出的特征之一是交通信号。22.如权利要求20所述的系统，其中：所述车辆还包括收发器；以及所述编程指令还包括用于经由车辆的收发器从路边单元rsu接收的作为信号相位和定时spat消息的信号数据的指令。23.如权利要求22所述的系统，其中，用于确定所述交通信号在所述相机的视场内的指令包括用于以下操作的指令：经由所述收发器从所述rsu接收地图数据；使用全球定位系统传感器来确定所述车辆的位置；以及将所述地图数据与所确定的所述车辆的位置和所述车辆的规划的路径相关，以确定所述交通信号在所述视场中。24.一种用于训练分类器以识别图像中的交通信号状态的计算机程序产品，所述计算机程序产品包括：
包含编程指令的存储器，所述指令被配置为使处理器：访问包含环境的数字图像以及对于所述图像中的每个图像的捕获时间的数据存储，处理所述数字图像的组以识别包括交通信号的图像，确定识别出的图像的捕获时间，访问信号数据，所述信号数据指示在所述识别出的图像的捕获时间所述交通信号的信号相位和定时，分析在所述识别出的图像的捕获时间接收到的信号数据以确定在所述识别出的图像的捕获时间所述交通信号的状态，用确定的状态的标签对所述识别出的图像做标记，以及将所述识别出的图像和所述标签传递给自主车辆和的分类器以训练所述分类器。25.如权利要求24所述的计算机程序产品，还包括附加编程指令，所述附加编程指令被配置为使处理器：从车辆的相机接收所述环境的图像；确定交通信号在所述相机的视场内；以及将多个图像保存到数据存储，连同每个保存的图像的捕获时间一起保存到数据存储。26.如权利要求25所述的计算机程序产品，其中，用于确定所述交通信号在所述相机的视场内的指令包括用于以下操作的指令：使用全球定位系统数据来确定所述自主车辆的位置；分析地图数据以识别在相机的视场内所述车辆前方的位置的特征；以及确定识别出的特征之一是交通信号。27.如权利要求25所述的计算机程序产品，还包括附加编程指令，所述附加编程指令被配置为使处理器：经由车辆的收发器从路边单元rsu接收作为信号相位和定时spat消息的信号数据。28.如权利要求27所述的计算机程序产品，其中，用于确定所述交通信号在所述相机的视场内的指令包括用于以下操作的指令：经由所述收发器从所述rsu接收地图数据；分析全球定位系统数据以确定所述车辆的位置；以及将所述地图数据与所确定的所述车辆的位置和所述车辆的规划的路径相关，以确定所述交通信号在所述视场中。

技术总结
本文档公开了训练分类器以识别由车辆捕获的图像中的交通信号状态的方法。然后，当车辆在环境中行驶时做出移动决定时，车辆能够使用识别出的状态。系统确定交通信号在相机的视场内(即，在图像内)。该系统还接收具有交通信号的信号相位和定时数据的信号。该系统处理图像以识别包括交通信号的图像。该系统分析信号数据以确定在图像捕获时间交通信号的状态、用所确定的状态的标签对图像做标记，并将图像和标签传递给分类器以训练分类器。标签传递给分类器以训练分类器。标签传递给分类器以训练分类器。


技术研发人员：R
受保护的技术使用者：福特全球科技有限责任公司
技术研发日：2021.08.25
技术公布日：2023/9/13