用于车辆的增强传感器健康和回归测试的制作方法

用于车辆的增强传感器健康和回归测试
1.相关申请的交叉引用
2.本技术要求于2020年10月23日提交的第17/079,000号美国专利申请的优先权，其公开通过引用整体并入本文。
技术领域
3.本公开总体上涉及用于传感器测试的系统和方法。


背景技术：

4.一些车辆配备有传感器系统，以收集与车辆周围环境的当前和发展状态相关的数据。车辆的适当性能取决于由传感器系统中的传感器收集的准确度数据。传感器系统可以包括雷达、视觉光谱相机、激光测距设备(lidar)、热传感器或其他类型的传感器。传感器系统使得车辆能够检测车辆附近的对象和障碍物，并跟踪车辆周围环境中的行人、其他车辆、交通灯或类似对象的速度和方向。
5.然而，传感器性能会随着时间而降级，从而破坏使用传感器系统的车辆的乘客的体验。
附图说明
6.图1图示了根据本公开的一个或多个示例实施例的车辆的示例环境。
7.图2描绘了根据本公开的一个或多个示例实施例的用于传感器健康和回归测试的说明性系统。
8.图3a描绘了根据本公开的一个或多个示例实施例的用于传感器健康和回归测试的说明性示例目标。
9.图3b描绘了根据本公开的一个或多个示例实施例的用于传感器健康和回归测试的说明性示例目标。
10.图3c描绘了根据本公开的一个或多个示例实施例的用于传感器健康和回归测试的说明性示例目标。
11.图4a描绘了根据本公开的一个或多个示例实施例的用于传感器健康和回归测试的说明性示例图形输出。
12.图4b描绘了根据本公开的一个或多个示例实施例的用于传感器健康和回归测试的说明性示例输出。
13.图5图示了根据本公开的一个或多个示例实施例的用于传感器健康和回归测试的过程的流程图。
14.图6是图示根据本公开的一个或多个示例实施例的可以在其上执行一种或多种技术(例如，方法)中的任何技术的计算设备或计算机系统的示例的框图。
15.现在将在下面参考附图更全面地描述某些实施方式，在附图中示出了各种实施方式和/或方面。然而，各种方面可以以许多不同的形式实现，并且不应被解释为限于本文阐
述的实施方式；相反，提供这些实施方式使得本公开将是透彻和完整的，并且将向本领域技术人员充分传达本公开的范围。附图中相同的标号始终指代相同的元件。因此，如果跨多个附图使用特征，则用于在首次出现特征的附图中识别该特征的标号将在后面的附图中使用。
具体实施方式
16.车辆车队(诸如自主车辆车队)可以具有传感器系统，该传感器系统使用相机、光检测和测距(lidar)、雷达和/或热传感器来检测对象并控制车辆操作。在车辆用于现场(例如，运输人员)之前，可以测试传感器的性能标准。一旦车辆正在行驶(例如，在使用中)，会无法随时间监测传感器性能。因为传感器性能会随时间下降，所以如果传感器性能未被跟踪，则车辆操作会受到影响，并且会破坏用户体验。例如，传感器检测可以控制车辆的加速和减速，因此当传感器检测到对象的存在时，车辆可以减速并停止。降级的传感器性能会导致车辆的“更难”减速(例如，更快的减速速率)，这对于车辆乘客而言会比更平滑(例如，更慢)的减速更不舒适。
17.因此，车辆和车辆乘客可以受益于传感器性能的主动监测和预测，以在会发生降级之前识别可能的未来传感器降级。
18.本文描述的示例实施例提供了用于传感器测试的某些系统、方法和设备。
19.在一个或多个实施例中，可以建立车辆传感器测试系统以测试车辆传感器，从多个车辆的传感器数据识别传感器数据趋势，并且针对任何车辆预测何时会发生传感器降级。传感器测试系统可以是车辆仓库位置，自主车辆可以驾驶到该车辆仓库位置并且对车辆传感器进行测试。例如，传感器测试系统可以是免下车直通仓库(drive-through depot)。随着车辆行驶通过仓库，可以对车辆传感器执行各种扫描和其他测试。车辆传感器测试可以提供指示任何车辆的任何传感器的健康的数据。
20.在一个或多个实施例中，车辆传感器测试系统可以识别传感器的数据何时表现出可能降级的迹象。例如，当传感器的数据不满足一个或多个阈值和/或匹配指示可能降级的传感器数据趋势(例如，基于来自一个或多个车辆的传感器数据随时间的语料库)时，车辆传感器测试系统可以在传感器性能下降之前主动地维修或更换传感器。
21.在一个或多个实施例中，车辆传感器测试系统可以允许车辆行驶到仓库的区域(例如，测试区域)中，在该区域中，传感器测试目标可以在距车辆一个或多个距离处围绕车辆布置(例如，在围绕车辆的圆圈中)。测试目标可以允许使用不同模态(例如，相机、lidar、雷达、热等)的车辆传感器检测对象及其距车辆的距离。例如，车辆传感器测试系统可以测量车辆相机的空间频率响应(sfr)、动态范围和颜色准确度，并且可以确定车辆相机的基于感知的图像质量评估器(piqe)分数。车辆传感器测试系统可以测量lidar传感器的噪声、范围、强度、检测概率和其他度量。基于任何传感器类型的传感器数据，车辆传感器测试系统可以确定何时可能发生传感器降级。
22.在一个或多个实施例中，车辆传感器测试系统可以包括用于车辆传感器的多个测试目标。一些测试目标可以用于不同模态的传感器，并且其他测试目标可以用于一种传感器模态，但不用于另一种传感器模态(例如，lidar传感器可以忽略相机测试目标)。测试目标可以使用不同的设计。例如，相机测试目标可以包括不同的颜色补片(patch)和/或倾斜
边缘补片。lidar测试目标可以包括高反射率和低反射率的交替区域(例如，斑马/裁判条纹测试目标)。可以组合测试目标。例如，具有颜色补片的相机测试目标可以结合到具有裁判条纹的lidar测试目标中。
23.在一个或多个实施例中，车辆传感器测试系统可以从多个车辆收集传感器数据。当车辆事件发生时，诸如硬减速(例如，超过阈值的减速)，车辆传感器测试系统可以评估经历该事件的车辆的一个或多个传感器的传感器数据，以识别该事件之前的任何数据趋势。车辆传感器测试系统可以识别随时间增加或减少的传感器数据度量，该传感器数据度量可以指示性能降级。例如，当评估随时间的相机sfr数据时，车辆传感器测试系统可以识别随时间的sfr数据点，其可以指示可以指示降级的sfr的减小。当评估随时间的lidar数据时，车辆传感器测试系统可以识别特定激光通道中的增加的噪声，并且增加的噪声可以指示降级。
24.在一个或多个实施例中，车辆传感器测试系统可以比较来自经历相同或相似事件的不同车辆的传感器的传感器数据趋势，并且可以确定指示可能导致事件发生的未来传感器降级的数据模式。当车辆传感器测试系统在仓库处对车辆执行传感器测试时，车辆传感器测试系统可以确定传感器数据和相应传感器的任何先前传感器数据是否与已经与事件相关联的数据模式匹配。当车辆传感器数据匹配已经与事件相关联的数据模式时，车辆传感器测试系统可以预测传感器可能在未来的时间内降级，并且可以触发传感器的进一步评估、维修或更换。车辆传感器测试系统还可以触发到与预测其传感器将经历降级的车辆相同的车辆车队中的其他车辆的通信，并且通信可以使车队车辆行驶到仓库以进行传感器测试。
25.在一个或多个实施例中，车辆传感器测试系统可以使用最小标准阈值，当传感器数据不满足该最小标准阈值时，会指示未来可能发生降级。然而，即使当车辆传感器数据满足最小标准阈值时，车辆传感器测试系统也可以评估任何传感器随时间的传感器数据，以识别数据趋势是否指示随时间的增加或减少，或者匹配与已知车辆事件相关联的任何模式。当车辆传感器数据不能满足最小标准阈值时，车辆传感器测试系统可以触发传感器的进一步评估、维修或更换。
26.以上描述是出于说明性的目的，并不意味着限制。可以存在许多其他示例、配置、过程等，其中一些在下面更详细地描述。现在将参考附图描述示例实施例。
27.图1图示了根据本公开的一个或多个示例实施例的车辆102的示例环境100。
28.参看图1，示出了具有用于多个相机、发射器和传感器的传感器系统110的车辆102。传感器系统110可以连接到车辆102。在该环境100中，示出了传感器系统110包括诸如传感器110a、110b、110c和110d的传感器。应当注意，该图中未示出的其他传感器也可以附接到车辆102，并且传感器110a、110b、110c和110d用于说明性目的。这些传感器可以检测车辆102附近和周围的对象(例如，对象152)。传感器系统110中的其他发射器和传感器可以发送和/或接收一个或多个信号以便检测和/或捕获与车辆102附近和周围的对象相关联的信息。例如，lidar传感器可以发送lidar信号(例如，光或电磁波)，雷达使用无线电波以便确定车辆与车辆附近的对象之间的距离，并且热传感器可以捕获温度(例如，基于发射和检测到的红外信号或其他激光信号)。
29.在一个或多个实施例中，传感器系统110可以包括lidar 122。lidar的一些示例可
以包括盖革(geiger)模式lidar、基于地面的lidar、大覆盖区lidar、小覆盖区lidar等。传感器系统110可以包括相机124，诸如立体相机，其可以捕获车辆102附近的图像。传感器系统110可以包括热传感器126，诸如远红外成像相机、热敏电阻、电阻温度检测器、热电偶、半导体等。此外，传感器系统可以包括雷达128，其可以是使用无线电波来捕获来自车辆102周围的对象的数据的任何雷达。传感器系统110还可以包括一个或多个处理器132。一个或多个处理器132可以使用lidar 122、相机124、热传感器126和雷达128来控制信号的发送和接收。当正确校准时，传感器系统110的各种传感器应该指示对象152的适当距离和形状。
30.在一个或多个实施例中，传感器系统110的lidar 122、相机124、热传感器126和雷达128中的任何一个可能随时间降级，从而破坏用户体验(例如，车辆102的乘客的体验)。车辆传感器测试系统(例如，如图2所示)可以测试车辆传感器，从多个车辆的传感器数据识别传感器数据趋势，并且预测车辆102何时可能发生传感器降级。当事件发生(例如，方向的突然改变、加速度的显著改变等)时，可以分析传感器系统110的lidar 122、相机124、热传感器126和雷达128中的任何一个的传感器数据，以确定传感器数据是否可以指示与事件相关联的传感器降级。以这种方式，传感器数据趋势可以用于预测和防止未来的车辆事件。
31.在一个或多个实施例中，传感器系统110可选地可以包括一个或多个附加传感器134，诸如声学传感器(例如，用于检测车辆102的声学数据的麦克风、超声传感器等)和/或可以检测车辆102在其中操作的环境的对象和/或状况(例如，检测声音、对象、人、天气等)的其他传感器，从而允许车辆102操作(例如，改变速度、方向、驾驶模式等)。
32.应当理解，以上描述是为了说明性的目的，并不意味着限制。
33.图2描绘了根据本公开的一个或多个示例实施例的用于传感器健康和回归测试的说明性系统200。
34.参考图2，系统200可以包括具有图1的传感器系统110的车辆102(例如，车辆102的俯视示意图)。车辆102可以进入传感器测试环境202(例如，仓库)。特别地，车辆102可以进入测试区域204，在该测试区域204中，车辆102可以至少部分地被测试目标(例如，目标206、目标208、目标210、目标212、目标214、目标216)包围以测试传感器系统110的传感器。测试目标可以测试传感器系统110的一个或多个传感器。例如，测试目标可以位于距传感器系统110一定距离处(例如，测试区域204的半径r，其可以是2-4米或另一距离)。远场目标218可以位于距传感器系统110不同距离d1(例如，10-15米或另一距离)处。长距离目标220可以位于距传感器系统110较长距离d2(例如，至少20米或另一距离)处。不同的目标可以用于评估不同的传感器性能度量，如本文进一步解释的。
35.仍然参考图2，系统200可以包括可以从传感器系统110收集传感器数据的一个或多个计算机设备230。一个或多个计算机设备230可以包括用于数据存储的数据库(例如，用于存储事件数据242的数据库240、用于存储传感器数据246的数据库244)，并且可以包括一个或多个模式匹配模块248(例如，用于识别与车辆事件相关联的传感器数据模式)和一个或多个传感器健康模块250(例如，用于确定传感器性能数据是否指示性能降级)。事件数据242可以包括一个或多个车辆的存储事件，诸如速度、方向、加速度等的显著改变。以这种方式，事件数据242可以包括标记的车辆事件(例如，与控制所识别的车辆的操作和移动相关联)的日期和时间、速度数据、加速度数据、操作数据等。事件数据242可以指示速度、加速度、方向变化等超过指示车辆的异常移动或操作的阈值，从而破坏乘客的体验。传感器数据
246可以包括用于传感器系统110的不同类型的传感器的数据，诸如sfr数据、动态范围数据、颜色测量、模糊、噪声、piqe分数、距离测量、频率通道、高度、每个目标的命中、范围准确度和精度、强度准确度和精度、检测(例如，检测到目标)的概率等。传感器数据246和事件数据242可以与日期、车辆运行时间、车辆标识符、传感器序列号(例如，用于识别特定传感器)、测试位置、车辆102上的传感器位置(例如，前中心、立体相机等)和传感器温度一起存储。传感器数据246和事件数据242可以被加时间戳，以允许一个或多个计算机设备230将传感器数据246与任何事件相关联。一个或多个计算机设备230可以基于指示车辆操作、速度、加速度等的车辆数据来识别车辆事件何时发生。例如，当车辆加速度高于或低于阈值时，这可以指示已经发生车辆事件，并且可以分析车辆事件之前的时间的对应传感器数据以匹配趋势。
36.在一个或多个实施例中，随着车辆102行驶通过测试环境202时，可以对车辆传感器执行各种扫描和其他测试。车辆传感器测试可以提供指示任何车辆的任何传感器的健康的数据。
37.在一个或多个实施例中，系统200可以识别传感器的数据何时表现出可能降级的迹象。举例来说，当传感器的数据不满足一个或多个阈值(例如，如由一个或多个传感器健康模块250确定)和/或匹配指示可能降级的传感器数据趋势(例如，如由一个或多个模式匹配模块248基于传感器数据246和事件数据242确定)时，系统200可以在传感器性能下降之前主动维修或更换传感器。
38.在一个或多个实施例中，测试目标可以允许使用不同模态(例如，相机、lidar、雷达、热等)的车辆传感器检测对象及其与车辆102的距离。例如，车辆传感器测试系统可以测量sfr数据、动态范围数据、颜色测量、模糊、噪声、piqe分数、距离测量、频率通道、高度、每个目标的命中、范围准确度和精度、强度准确度和精度、检测(例如，检测到目标)的概率等。基于任何传感器类型的传感器数据，一个或多个传感器健康模块250可以确定何时可能发生传感器降级。
39.在一个或多个实施例中，传感器测试目标可以提供不同类型的数据。例如，远场目标218可以用于检测相机(例如，图1的相机124)的sfr、动态范围和颜色准确度(例如，使用如图3a所示的补片)、piqe、自然图像质量评估器(niqe)、布里斯克(brisque)、拉普拉斯(laplacian)、方差等。lidar测试目标可以包括高反射率和低反射率的交替区域(例如，斑马/裁判条纹测试目标)。可以组合测试目标。例如，具有补片的相机测试目标可以结合到具有裁判条纹的lidar测试目标中。示例测试目标在图3a-3c中示出。测试目标可以由一个或多个传感器基于它们的放置和与车辆102的相应传感器的相对位置来检测。例如，目标206可以由图1的传感器110a和110d检测。目标210可以是由图1的传感器110a、110b和110c可检测的。并非每个目标都可以是由每个传感器可检测的(例如，因为一些目标可能在传感器的视场或范围之外)。目标可以包括黑色、白色和灰色的部分(例如，5％黑色、80％灰色、95％白色等)。目标的尺寸可以变化，并且可以位于地板之外(例如，使用框架和可伸缩脚轮等)。目标可以由木材或其他材料制成。如图2中所示，六个目标可以定位于距传感器系统110半径r处，且可以为静止目标。一些目标可以位于车辆102的一侧280上，并且其他目标可以位于车辆102的相对侧282上。
40.在一个或多个实施例中，一个或多个计算机230可以从多个车辆收集传感器数据
246。当车辆事件发生时，一个或多个计算机230可以评估经历事件的车辆的一个或多个传感器的传感器数据246，以识别事件之前的任何数据趋势。一个或多个计算机230可以识别可以指示性能下降的随时间增加或减少的传感器数据度量。例如，当评估随时间的相机sfr数据时，一个或多个计算机230可以识别随时间的sfr数据点，其可以指示可以指示降级的sfr的减小。当评估随时间的lidar数据时，一个或多个计算机230可以识别特定通道中的增加的噪声，并且增加的噪声可以指示降级。
41.在一个或多个实施例中，一个或多个模式匹配模块248可以比较来自经历相同或相似事件的不同车辆的传感器的传感器数据趋势，并且可以确定指示可能导致事件发生的未来传感器降级的数据模式。当系统200对车辆102执行传感器测试时，一个或多个模式匹配模块248可以确定传感器数据246是否匹配与事件相关联的数据模式。当传感器数据246匹配已经与事件相关联的数据模式时，一个或多个传感器健康模块250可以预测传感器可能在未来的时间内降级，并且可以触发传感器的进一步评估、维修或更换。一个或多个计算机230还可以触发到与预测其传感器将经历降级的车辆相同的车辆车队中的其他车辆270的通信260，并且通信可以使车队车辆270行驶到测试环境202以进行传感器测试。
42.在一个或多个实施例中，一个或多个传感器健康模块250可以使用最小标准阈值，当传感器数据246不满足最小标准阈值时，可以指示未来的降级可能发生。然而，即使当车辆传感器数据满足最小标准阈值时，一个或多个模式匹配模块248也可以随时间评估任何传感器的传感器数据246，以识别数据趋势是否指示随时间的增加或减少，或者匹配与已知车辆事件相关联的任何模式。当车辆传感器数据未能满足最小标准阈值时，一个或多个计算机230可以触发传感器的进一步评估、维修或更换。
43.应当理解，以上描述是为了说明性的目的，并不意味着限制。
44.图3a描绘了根据本公开的一个或多个示例实施例的用于传感器健康和回归测试的说明性示例目标300。
45.参考图3a，目标300可以用作图2的目标206、目标208、目标210、目标212、目标214、目标216、远场目标218和/或长距离目标220中的任何一个。目标300可以用于测试相机数据(例如，图1的相机124)，并且可以包括可以具有一种或多种颜色的图像对象(例如，对象302、对象304、对象306、对象308、对象310、对象312)。目标300可以包括补片阵列(例如，补片314、补片316)，其可以包括不同颜色和/或大小的多个补片。目标300可以用于检测车辆相机的sfr、动态范围、颜色准确度、niqe、piqe、拉普拉斯方差、模糊、噪声等。例如，较高的piqe分数指示比较低的piqe分数更差的性能，并且较低的拉普拉斯方差指示较不锐利的图像。目标300可以是40-50英寸宽和45-55英寸高。
46.应当理解，以上描述是为了说明性的目的，并不意味着限制。
47.图3b描绘了根据本公开的一个或多个示例实施例的用于传感器健康和回归测试的说明性示例目标330。
48.参考图3b，目标330可以用作图2的目标206、目标208、目标210、目标212、目标214、目标216、远场目标218和/或长距离目标220中的任何一个。目标330可以是具有条纹图案(例如，黑白条纹或其他颜色)的斑马或裁判风格目标。条带(例如，4-8英寸宽度或另一宽度)可以用反射片材(例如，金刚石级逆反射片材或其他片材)、涂料和/或其他材料形成。目标330可以用于lidar传感器测试，并且可以是30-40英寸宽乘70-90英寸高。
49.应当理解，以上描述是为了说明性的目的，并不意味着限制。
50.图3c描绘了根据本公开的一个或多个示例实施例的用于传感器健康和回归测试的说明性示例目标360。
51.参考图3c，目标360可以组合图3a的目标300和图3b的目标330。特别地，图3a的目标330可以覆盖图3b的目标330。由图2的一个或多个计算机230进行的lidar分析可以忽略目标330并且依赖于目标330。
52.在一个或多个实施例中，图3a-3c中所示的任何测试目标可以包括补片、对象、图像等，和/或可以表现出可以由图1的传感器系统110的任何传感器检测到的声音、温度等。来自传感器系统110的任何传感器的数据可以用于控制图1的车辆102的操作(例如，基于对象、温度、驾驶条件等的检测)。在一个或多个实施例中，车辆传感器测试系统可以识别传感器的数据何时表现出可能降级的迹象。例如，当传感器的数据不满足一个或多个阈值和/或匹配指示可能的降级的传感器数据趋势(例如，基于来自一个或多个车辆的传感器数据随时间的语料库)时，车辆传感器测试系统可以在传感器性能下降之前主动地维修或更换传感器。
53.应当理解，以上描述是为了说明性的目的，并不意味着限制。
54.图4a描绘了根据本公开的一个或多个示例实施例的用于传感器健康和回归测试的说明性示例图形输出400。
55.参考图4a，设备402可以显示具有图形输出400的界面404，其可以指车辆相机(例如，图1的相机124)的sfr数据。车辆相机可以包括传感器1(例如，图1的传感器110a)、传感器2(例如，图1的传感器110b)和传感器3(例如，图1的传感器110d)。如图所示，相机的sfr数据可以表示传感器随时间减小的sfr。减小的sfr可以触发响应(例如，当sfr下降到低于阈值sfr时，或者当减小的sfr与同一车辆或另一车辆的车辆事件之前的趋势匹配时)。
56.应当理解，以上描述是为了说明性的目的，并不意味着限制。
57.图4b描绘了根据本公开的一个或多个示例实施例的用于传感器健康和回归测试的说明性示例输出450。
58.参考图4b，输出450可以包括在不同时间的多个lidar数据点。设备402可以在第一时间显示第一lidar数据452，并且在稍后的时间显示第二lidar数据462。如图所示，第二lidar数据462可以基于lidar信号返回来指示一些噪声464。噪声464会导致lidar传感器性能(例如，图1的lidar 122的性能)不满足性能阈值(例如，超过阈值噪声的噪声)，并且当lidar数据未能满足性能标准或与同一车辆或另一车辆的车辆事件之前的趋势匹配时，可以触发响应。
59.图5图示了根据本公开的一个或多个示例实施例的用于传感器健康和回归测试的过程500的流程图。
60.在框502处，设备(例如，或系统，诸如图2的系统200)可以接收与车辆(例如，图1的车辆102)的第一相机相关联的第一相机数据。该系统可以包括第一多个传感器测试目标(例如，目标206、208和210)，其位于距车辆第一距离处的车辆的第一侧(例如，图2的半径r处的侧280)。该系统可以包括第二多个传感器测试目标(例如，目标212、214和216)，其位于距车辆第一距离处的车辆的第一侧(例如，图2的半径r处的侧282)。第一相机数据可以是第一多个传感器测试目标和/或第二多个传感器测试目标中的一个或多个传感器测试目标的
图像数据。例如，第一相机数据可以包括用于确定车辆相机的sfr、动态范围和颜色准确度以及车辆相机的图像质量评估器分数的数据。
61.在框504处，设备可以接收与车辆的第二相机相关联，并且基于针对第二多个传感器测试目标中的传感器测试目标捕获的图像数据的第二相机数据。例如，第二相机数据可以包括用于确定车辆相机的sfr、动态范围和颜色准确度以及车辆相机的图像质量评估器分数的数据。第一测试目标和第二测试目标可以与车辆相距相同的距离(例如，图2的半径r)，并且可以在车辆的相对侧(例如，图2的侧280和282)。
62.在框506处，设备可以接收车辆的第一lidar传感器的第一lidar数据。可以基于来自车辆lidar的发射光的反射来检测第一lidar数据，并且(例如，第一多个传感器测试目标中的)第三传感器测试目标的反射可以用于确定lidar数据度量，诸如噪声、范围、强度、检测的概率和其他度量。
63.在框508处，设备可以接收车辆的第二lidar传感器的第二lidar数据。可以基于来自车辆lidar的发射光的反射来检测第二lidar数据，并且(例如，第二多个传感器测试目标中的)第四传感器测试目标的反射可以用于确定lidar数据，诸如噪声、范围、强度、检测的概率和其他度量。
64.在框510处，设备可以接收车辆的第三相机的第三相机数据和/或可以接收车辆的第三lidar传感器的第三lidar数据。第三相机数据和/或lidar数据可以基于第五传感器测试目标和/或第六传感器测试目标(例如，图2的远场目标218和/或长距离目标220)。第五和/或第六传感器测试目标可以位于比第一距离长的相应距离处(例如，图2的d1或d2)。框502-510的任何传感器测试目标可以由车辆的一个或多个传感器使用以捕获传感器数据并确定传感器性能。框502-510的传感器测试目标可以包括图2-图3c的任何测试目标。
65.在框512处，设备可以基于框502-510的相机和/或lidar数据中的任何一个来确定车辆的传感器未能满足车辆性能度量和/或匹配与车辆事件相关联的数据趋势。例如，设备可以测量车辆相机的sfr、动态范围和颜色准确度，并且可以确定车辆相机的图像质量评估器分数，并且当这样的性能度量高于或低于阈值度量/分数时，其数据高于或低于阈值的传感器可以被识别为未能满足车辆性能度量。设备可以测量lidar传感器的噪声、范围、强度、检测的概率和其他度量。当lidar传感器的噪声超过阈值噪声、检测的概率低于阈值概率、范围低于阈值范围、或者强度低于阈值强度时，lidar传感器可以被识别为未能满足车辆性能度量。任何一个或多个传感器可以被识别为未能满足车辆性能度量。可替代地或另外地，设备可以识别出框502-510的相机和/或lidar数据的趋势(例如，增加或减少)可以匹配与已经与车辆事件(例如，突然停止、方向改变等)相关联的趋势，并且匹配趋势可以指示传感器正在降级并且可能导致相同或相似的车辆事件。
66.在框514处，设备可以使得呈现车辆的相机和/或lidar传感器未能满足车辆性能度量和/或匹配车辆事件趋势的指示。例如，图4a和图4b中呈现的输出可以分别表示匹配事件趋势或未能满足性能度量的相机数据和lidar数据的输出。可替代地或另外地，设备可以向其他车辆发送或呈现指示(例如，图2的通信260)，并且该指示可以使其他车辆行驶到测试环境以进行传感器测试。
67.应当理解，以上描述是为了说明性的目的，并不意味着限制。
68.图6是图示根据本公开的一个或多个示例实施例的可以在其上执行一种或多种技
术(例如，方法)中的任何技术的计算设备或计算机系统600的示例的框图。
69.例如，图5的计算系统600可以表示图1的一个或多个处理器132。计算机系统(系统)包括一个或多个处理器602-606。处理器602-606可以包括一个或多个内部级别的高速缓存(未示出)和总线控制器(例如，总线控制器622)或总线接口(例如，i/o接口620)单元，以指导与处理器总线612的交互。一个或多个传感器测试设备609(例如，图2的一个或多个模式匹配模块248和/或一个或多个传感器健康模块250)也可以与处理器602-606通信，并且可以连接到处理器总线612。
70.处理器总线612(也称为主机总线或前侧总线)可以用于将处理器602-606和/或一个或多个传感器测试设备609与系统接口624耦接。系统接口624可以连接到处理器总线612，以将系统600的其他组件与处理器总线612对接。例如，系统接口624可以包括用于将主存储器616与处理器总线612对接的存储器控制器618。主存储器616通常包括一个或多个存储卡和控制电路(未示出)。系统接口624还可以包括输入/输出(i/o)接口620，以将一个或多个i/o桥625或i/o设备630与处理器总线612对接。如所图示的，一个或多个i/o控制器和/或i/o设备(诸如i/o控制器628和i/o设备630)可以与i/o总线626连接。
71.i/o设备630还可以包括输入设备(未示出)，诸如字母数字输入设备，包括用于将信息和/或命令选择传送到处理器602-606和/或一个或多个传感器测试设备609的字母数字键和其他键。另一种类型的用户输入设备包括光标控制件，诸如鼠标、轨迹球或光标方向键，用于将方向信息和命令选择传送到处理器602-606和/或一个或多个传感器测试设备609并用于控制显示设备上的光标移动。
72.系统600可以包括动态存储设备(称为主存储器616)或随机存取存储器(ram)或耦接到处理器总线612的其他计算机可读设备，用于存储要由处理器602-606和/或一个或多个传感器测试设备609执行的信息和指令。主存储器616还可以用于在由处理器602-606和/或一个或多个传感器测试设备609执行指令期间存储临时变量或其他中间信息。系统600可以包括耦接到处理器总线612的只读存储器(rom)和/或其他静态存储设备，用于存储用于处理器602-606和/或一个或多个传感器测试设备609的静态信息和指令。图6中概述的系统仅是可以采用本公开的各方面，或根据本公开的各方面配置的计算机系统的一个可能的示例。
73.根据一个实施例，上述技术可以由计算机系统600响应于处理器604执行包含在主存储器616中的一个或多个指令的一个或多个序列来执行。这些指令可以从另一机器可读介质(诸如存储设备)读取到主存储器616中。包含在主存储器616中的指令的序列的执行可以使处理器602-606和/或一个或多个传感器测试设备609执行本文描述的处理步骤。在替代实施例中，可以使用电路来代替软件指令或与软件指令组合。因此，本公开的实施例可以包括硬件和软件组件两者。
74.各种实施例可以完全或部分地在软件和/或固件中实现。该软件和/或固件可以采取包含在非暂时性计算机可读存储介质中，或包含在非暂时性计算机可读存储介质上的指令的形式。然后，这些指令可以由一个或多个处理器读取和执行，以使得能够执行本文描述的操作。指令可以是任何合适的形式，诸如但不限于源代码、编译代码、解释代码、可执行代码、静态代码、动态代码等。这样的计算机可读介质可以包括用于以一个或多个计算机可读的形式存储信息的任何有形非暂时性介质，诸如但不限于只读存储器(rom)；随机存取存储
器(ram)；磁盘存储介质；光存储介质；闪存等。
75.机器可读介质包括用于以机器(例如，计算机)可读的形式(例如，软件、处理应用)存储或发送信息的任何机制。这样的介质可以采取但不限于非易失性介质和易失性介质的形式，并且可以包括可移除数据存储介质、不可移除数据存储介质，和/或经由有线或无线网络架构与这样的计算机程序产品(包括一个或多个数据库管理产品、web服务器产品、应用服务器产品和/或其他附加软件组件)一起可用的外部存储设备。可移动数据存储介质的示例包括光盘只读存储器(cd-rom)、数字通用光盘只读存储器(dvd-rom)、磁光盘、闪存驱动器等。不可移动数据存储介质的示例包括内部磁性硬盘、固态设备(ssd)等。一个或多个存储器设备606(未示出)可以包括易失性存储器(例如，动态随机存取存储器(dram)、静态随机存取存储器(sram)等)和/或非易失性存储器(例如，只读存储器(rom)、闪存等)。
76.包含实现根据当前描述的技术的系统和方法的机制的计算机程序产品可以驻留在主存储器616中，主存储器616可以被称为机器可读介质。应当理解，机器可读介质可以包括任何有形非暂时性介质，其能够存储或编码指令以执行本公开的任何一个或多个操作以供由机器执行，或者能够存储或编码由这些指令使用或与这些指令相关联的数据结构和/或模块。机器可读介质可以包括存储一个或多个可执行指令或数据结构的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。
77.本公开的实施例包括在本说明书中描述的各种步骤。这些步骤可以由硬件组件执行，或者可以体现在机器可执行指令中，该机器可执行指令可以用于使利用指令编程的通用或专用处理器执行这些步骤。可替代地，这些步骤可以由硬件、软件和/或固件的组合来执行。
78.在不脱离本发明的范围的情况下，能够对所讨论的示例性实施例进行各种修改和添加。例如，虽然上述实施例涉及特定特征，但是本发明的范围还包括具有特征的不同组合的实施例和不包括所有描述的特征的实施例。因此，本发明的范围旨在涵盖所有这些替代、修改和变化以及其所有等同物。
79.以上描述和示出的操作和过程可以在各种实施方式中以所期望的任何合适的顺序实施或执行。另外，在某些实施方式中，操作的至少一部分可以并行执行。此外，在某些实施方式中，可以执行少于或多于所描述的操作。
80.本文使用词语“示例性”来表示“用作示例、实例或说明”。本文描述为“示例性”的任何实施例不一定被解释为比其他实施例优选或有利。
81.如本文所使用的，除非另有说明，否则使用序数形容词“第一”、“第二”、“第三”等来描述共同的对象仅指示相同对象的不同实例被引用，并且不旨在暗示如此描述的对象必须在时间上、空间上、排名上或任何其他方式上按照给定的顺序。
82.应当理解，以上描述是为了说明性的目的，并不意味着限制。
83.尽管已经描述了本公开的具体实施例，但是本领域普通技术人员将认识到，许多其他修改和替代实施例在本公开的范围内。例如，关于特定设备或组件描述的任何功能和/或处理能力可以由任何其他设备或组件执行。此外，虽然已经根据本公开的实施例描述了各种说明性实施方式和架构，但是本领域普通技术人员将理解，对本文描述的说明性实施方式和架构的许多其他修改也在本公开的范围内。
84.尽管已经以特定于结构特征和/或方法动作的语言描述了实施例，但是应当理解，
本公开不一定限于所描述的特定特征或动作。相反，具体特征和动作被公开为实现实施例的说明性形式。除非另有明确说明或在所使用的上下文中以其他方式理解，否则条件语言，诸如“能够”、“可以”、“可能”或“会”等通常旨在表达某些实施例可以包括某些特征、元件和/或步骤，而其他实施例不包括某些特征、元件和/或步骤。因此，这种条件语言通常不旨在暗示：一个或多个实施例以任何方式需要特征、元素和/或步骤，或者一个或多个实施例必须包括用于在有或没有用户输入或提示的情况下决定这些特征、元素和/或步骤是否包括在任何特定实施例中或将在任何特定实施例中执行的逻辑。

技术特征：
1.一种车辆传感器测试系统，包括：第一多个传感器测试目标，位于距所述车辆第一距离处的车辆的第一侧；第二多个传感器测试目标，位于距所述车辆所述第一距离处的所述车辆的第二侧，所述第二侧与所述第一侧相对；以及第一传感器测试目标，位于距所述车辆第二距离处，所述第二距离比所述第一距离更远离所述车辆，其中，所述第一多个传感器测试目标包括与所述车辆的第一相机数据相关联的第二传感器测试目标，和与所述车辆的第一光检测和测距(lidar)数据相关联的第三传感器测试目标，其中，所述第二多个传感器测试目标包括与所述车辆的第二相机数据相关联的第四传感器测试目标，和与所述车辆的第二lidar数据相关联的第五传感器测试目标，并且其中，所述第一传感器测试目标与所述车辆的第三相机数据或所述车辆的第三lidar数据中的至少一个相关联。2.根据权利要求1所述的车辆传感器测试系统，还包括第六传感器测试目标，位于距所述车辆第三距离处，所述第三距离与所述第一距离和所述第二距离不同。3.根据权利要求1所述的车辆传感器测试系统，其中，所述第一多个传感器测试目标还包括第六传感器测试目标，并且其中，所述第二多个传感器测试目标包括第七传感器测试目标。4.根据权利要求1所述的车辆传感器测试系统，其中，所述第一传感器测试目标包括补片阵列。5.根据权利要求1所述的车辆传感器测试系统，其中，所述第一传感器测试目标包括第一颜色的第一条带和第二颜色的第二条带。6.根据权利要求1所述的车辆传感器测试系统，还包括至少一个处理器，被配置为：接收所述第一相机数据；确定所述第一相机数据未能满足相机数据性能度量；以及使得呈现所述第一相机数据未能满足所述相机数据性能度量的指示。7.根据权利要求1所述的车辆传感器测试系统，还包括至少一个处理器，被配置为：接收所述第一lidar数据；确定所述第一lidar数据未能满足lidar数据性能度量；以及使得呈现所述第一lidar数据未能满足所述lidar数据性能度量的指示。8.根据权利要求1所述的车辆传感器测试系统，还包括至少一个处理器，被配置为：接收包括所述第一相机数据和所述第一lidar数据的传感器数据；确定与所述车辆的操作相关联的事件；确定所述第一lidar数据或所述第一相机数据中的至少一个匹配与所述事件相关联的传感器数据简档；以及使得呈现所述第一lidar数据或所述第一相机数据中的至少一个匹配与所述事件相关联的所述传感器数据简档的指示。9.根据权利要求1所述的车辆传感器测试系统，其中：所述第一相机数据与所述车辆的第一相机相关联，
所述第二相机数据与所述车辆的第二相机相关联，所述第一lidar数据与所述车辆的第一lidar传感器相关联，并且所述第二lidar数据与所述车辆的第二lidar传感器相关联。10.根据权利要求1所述的车辆传感器测试系统，其中，所述第一多个传感器测试目标与以下各项中的至少一项相关联：所述车辆的雷达数据，所述车辆的热数据，或者所述车辆的声学数据。11.一种车辆传感器测试系统，包括：第一多个传感器测试目标，位于距车辆第一距离处的车辆的第一侧；第二多个传感器测试目标，位于距所述车辆第一距离处的所述车辆的第二侧，所述第二侧与所述第一侧相对；第一传感器测试目标，位于距所述车辆第二距离处，所述第二距离比所述第一距离更远离所述车辆，其中，所述第一多个传感器测试目标包括与所述车辆的第一相机数据相关联的第二传感器测试目标，和与所述车辆的第一光检测和测距(lidar)数据相关联的第三传感器测试目标，其中，所述第二多个传感器测试目标包括与所述车辆的第二相机数据相关联的第四传感器测试目标，和与所述车辆的第二lidar数据相关联的第五传感器测试目标，并且其中，所述第一传感器测试目标与所述车辆的第三相机数据或所述车辆的第三lidar数据中的至少一个相关联，以及耦接到存储器的至少一个处理器，所述至少一个处理器被配置为基于所述第一相机数据、所述第二相机数据、所述第三相机数据、所述第一lidar数据、所述第二lidar数据或所述第三lidar数据中的至少一项来确定所述车辆的传感器未能满足车辆传感器性能度量。12.根据权利要求11所述的车辆传感器测试系统，还包括第六传感器测试目标，位于距所述车辆第三距离处，所述第三距离与所述第一距离和所述第二距离不同。13.根据权利要求11所述的车辆传感器测试系统，其中，所述第一多个传感器测试目标还包括第六传感器测试目标，并且其中，所述第二多个传感器测试目标包括第七传感器测试目标。14.根据权利要求11所述的车辆传感器测试系统，其中，所述第一传感器测试目标包括补片阵列。15.根据权利要求11所述的车辆传感器测试系统，其中，所述第一传感器测试目标包括第一颜色的第一条带和第二颜色的第二条带。16.根据权利要求11所述的车辆传感器测试系统，其中，所述车辆传感器性能度量是相机数据性能度量，并且其中，确定所述车辆传感器未能满足所述车辆传感器性能度量包括：所述至少一个处理器还被配置为：接收所述第一相机数据；以及确定所述第一相机数据未能满足所述相机数据性能度量，其中，所述至少一个处理器还被配置为：使得呈现所述第一相机数据未能满足所述相
机数据性能度量的指示。17.根据权利要求11所述的车辆传感器测试系统，其中，所述车辆传感器性能度量是lidar数据性能度量，并且其中，确定所述车辆传感器未能满足所述车辆传感器性能度量包括所述至少一个处理器还被配置为：接收所述第一lidar数据；以及确定所述第一lidar数据未能满足所述lidar数据性能度量，其中，所述至少一个处理器还被配置为：使得呈现所述第一lidar数据未能满足所述lidar数据性能度量的指示。18.根据权利要求11所述的车辆传感器测试系统，其中，所述至少一个处理器被配置为：接收包括所述第一相机数据和所述第一lidar数据的传感器数据；确定与所述车辆的操作相关联的事件；确定所述第一lidar数据或所述第一摄像头数据中的至少一个匹配与所述事件相关联的传感器数据简档，其中，确定所述车辆传感器未能满足所述车辆传感器性能度量包括：确定所述第一lidar数据或所述第一摄像头数据中的至少一个匹配与所述事件相关联的所述传感器数据简档；以及使得呈现所述第一lidar数据或所述第一相机数据中的至少一个匹配与所述事件相关联的所述传感器数据简档的指示。19.一种用于车辆传感器测试的方法，所述方法包括：由设备的至少一个处理器接收与车辆的第一相机和传感器第一测试目标相关联的第一相机数据，其中，包括所述第一传感器测试目标的第一多个传感器测试目标位于距所述车辆第一距离处的车辆的第一侧；由所述至少一个处理器接收与所述车辆的第二相机和第二传感器测试目标相关联的第二相机数据，其中，包括所述第二传感器测试目标的第二多个传感器测试目标位于距所述车辆所述第一距离处的所述车辆的第二侧，所述第二侧与所述第一侧相对；由所述至少一个处理器接收与所述车辆的第一光检测和测距(lidar)传感器和第三传感器测试目标相关联的第一lidar数据，其中，所述第一多个传感器测试目标包括所述第三传感器测试目标；由所述至少一个处理器接收与所述车辆的第二lidar传感器和第四传感器测试目标相关联的第二lidar数据，其中，所述第二多个传感器测试目标包括所述第四传感器测试目标；由所述至少一个处理器接收与所述车辆的第三相机相关联的第三相机数据或与所述车辆的第三lidar传感器相关联的第三lidar数据中的至少一个，其中，所述第三相机数据或所述第三lidar数据中的所述至少一个与位于距所述车辆第二距离处的第五传感器测试目标相关联，所述第二距离大于所述第一距离；由所述至少一个处理器基于所述第一相机数据、所述第二相机数据、所述第三相机数据、所述第一lidar数据、所述第二lidar数据或所述第三lidar数据中的至少一项来确定所述车辆的传感器未能满足车辆传感器性能度量；以及由所述至少一个处理器使得呈现所述车辆的所述传感器未能满足所述车辆传感器性
能度量。20.根据权利要求18所述的用于车辆传感器测试的方法，还包括：确定与所述车辆的操作相关联的事件；确定所述第一lidar数据或所述第一相机数据中的至少一个匹配与所述事件相关联的传感器数据简档；以及使得呈现所述第一lidar数据或所述第一相机数据中的至少一个匹配与所述事件相关联的所述传感器数据简档的指示。

技术总结
提供了用于传感器健康和回归测试的设备、系统和方法。传感器测试系统可以包括：第一多个传感器测试目标，位于距车辆第一距离处的车辆的第一侧；第二多个传感器测试目标，位于距车辆第一距离处的车辆的第二侧；以及第一传感器测试目标，位于距车辆第二距离处，第二距离比第一距离更远离车辆。第一多个传感器测试目标和第二多个传感器测试目标都可以包括用于测试车辆的相机和光检测和测距(LIDAR)传感器的三个或更多个传感器测试目标。第一传感器测试目标可以用于测试相机或LIDAR数据中的至少一个。传感器测试系统可以识别传感器性能的降级，触发进一步的分析和/或维修。触发进一步的分析和/或维修。触发进一步的分析和/或维修。


技术研发人员：M
受保护的技术使用者：埃尔构人工智能有限责任公司
技术研发日：2021.10.18
技术公布日：2023/7/4