用于挂车挂接球位置定位和挂接角的系统和方法与流程

1.本公开总体上涉及车辆，并且更具体地涉及用于估计挂车挂接球位置和挂接角的系统和方法。


背景技术：

2.尽管在自动化方面有显著的发展，但是用于利用挂车进行操纵的驾驶员辅助特征需要对挂接球的位置进行准确估计。挂接球的位置对于挂车角度检测(tad)和用于操纵带挂车的车辆的其他驾驶员辅助特征(诸如倒车辅助)是重要的。
3.期望提供在车辆挂接到挂车之后提供挂接球位置信息和相关联的挂接角度信息的解决方案。


技术实现要素：

4.也就是说，就总体概述而言，本公开总体上涉及用于车辆挂接球位置估计和挂接角估计的系统和方法。一种示例性方法包括：从指向在联接点处联接到车辆的挂车前方的相机接收多个图像帧；在卷积神经网络中对所述图像帧进行建模以形成枢轴点位置的初始估计值作为位置；使用非线性方程优化模型以识别所述枢轴点位置；以及将所述联接点定位为所述优化的枢轴点位置。使用相同的模型来估计挂车与车辆之间的铰接角(挂接角)。
附图说明
5.下面参考附图阐述具体实施方式。使用相同的附图标记可以指示类似或相同的项。各种实施例可以利用除了附图中示出的那些之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。贯穿本公开，取决于背景，可以可互换地使用单数和复数术语。
6.图1示出了根据本公开的实施例的包括被配置有挂车挂接件和相机的车辆的示例性系统。
7.图2示出了根据本公开的实施例的可以包括在车辆的系统中的一些示例性功能块。
8.图3示出了根据本公开的实施例的相机针孔投影的模型。
9.图4示出了根据本公开的实施例的挂车平面和相机焦平面的模型。
10.图5示出根据本公开的实施例的最小二乘圆。
11.图6示出了根据本公开的实施例的挂车和拖挂车辆以及挂接角的俯视图。
12.图7示出了根据本公开的实施例的挂车和被配置为足够敏感以检测挂车的拖挂车辆的俯视图。
13.图8示出了根据本公开的实施例的方法的流程图。
具体实施方式
14.下文将参考附图更全面地描述本公开，其中示出了本公开的示例性实施例。然而，本公开可以以许多不同形式来体现，并且不应被解释为受限于本文阐述的示例性实施例。相关领域技术人员将理解，在不脱离本公开的精神和范围的情况下可对各种实施例作出形式和细节上的各种变化。因此，本公开的广度和范围不应受到上述示例性实施例中的任何一个限制，而是应仅根据所附权利要求和其等效物限定。以下描述是为了说明目的而呈现，并且不意图是详尽性的或受限于所公开的精确形式。应理解，替代实施方式可以以任何所期望的组合使用，以形成本公开的附加混合实施方式。例如，相对于特定装置、技术或部件描述的功能中的任一者可以由另一装置、技术或部件执行。此外，尽管已经描述了具体的装置特性，但是本公开的实施例可以涉及许多其他装置特性。另外，尽管已用特定于结构特征和/或方法动作的语言描述了实施例，但是应理解，本公开不一定受限于所描述的特定特征或动作。而是，将具体特征和动作公开为实现所述实施例的说明性形式。
15.还应理解，如本文使用的词语“示例”意图在本质上是非排他性的和非限制性的。此外，本文使用的某些词语和短语应被解释为指代本领域普通技术人员通常以各种形式和等效形式理解的各种对象和动作。例如，本文中关于诸如智能电话的移动装置使用的词语“应用程序”或短语“软件应用程序”是指安装在移动装置中的代码(通常是软件代码)。代码可以经由诸如触摸屏的人机界面(hmi)来启动和操作。在本公开中，词语“动作”可以与诸如“操作”和“操纵”的词语互换使用。在一些情况下，词语“操纵”可以与词语“控制”可以互换地使用。如本公开所使用的词语“车辆”可涉及各种类型的车辆中的任一种，诸如轿车、货车、运动型多用途车、卡车、电动车辆、汽油车辆、混合动力车辆和自主车辆。如在本公开中使用的诸如“自动车辆”、“自主车辆”和“部分自主车辆”的短语总体上是指能够在没有驾驶员坐在车辆内的情况下执行至少一些操作的车辆。
16.汽车工程师协会(sae)限定范围从0级(完全手动)到5级(完全自主)的六个驾驶自动化级别。这些级别已经由美国交通部采用。0级(l0)车辆是没有驾驶相关自动化的手动控制的车辆。1级(l1)车辆结合一些特征，诸如巡航控制，但是人类驾驶员保持对大部分驾驶和操纵操作的控制。2级(l2)车辆部分地自动化，其中由车辆计算机控制某些驾驶操作，诸如转向、制动和车道控制。驾驶员保持对车辆的某种级别的控制，并且可以超驰某些操作。3级(l3)车辆提供有条件的驾驶自动化，但是在具有感测驾驶环境和某些驾驶情形的能力方面更智能。4级(l4)车辆可以在自动驾驶模式下操作，并且包括其中车辆计算机在某些类型的装备事件期间取得控制的特征。人为干预的水平非常低。5级(l5)车辆是不涉及人类参与的完全自主车辆。
17.图1示出了根据本公开的实施例的包括挂接到车辆102的挂车101的示例性系统100。挂车101可以包括挂车标志灯105和107，并且在枢轴点109处经由挂接球联接到车辆102。车辆102可以是带底盘的各种类型的车辆中的一者并且可以是汽油动力车辆、电动车辆、混合动力电动车辆或自主车辆，其被配置为2级或更高级别的自动化车辆或半自动化车辆。系统100可以以多种方式实施，并且可以包括多种类型的装置。例如，示例性系统100可以包括作为车辆102的一部分的一些部件。可以作为车辆102的一部分的部件可以包括车辆车载计算机110和联接到相机(诸如联接到车辆102的相机150)的传感器系统112。相机可以是与车辆联接或相关联的任何合适的相机。因此，车载计算机110可以联接到车辆102的底
盘，所述车载计算机至少包括存储器和处理器，诸如存储器122和联接到存储器的处理器104，其中处理器104被配置为确定当车辆102通过挂接件联接时的枢轴点109。
18.车辆车载计算机110可以执行各种功能，诸如控制发动机操作(燃料喷射、速度控制、排放控制、制动等)、管理气候控制(空气调节、加热等)、激活安全气囊以及发出警告(检查发动机灯、灯泡故障、轮胎气压低、车辆处于盲点等)。
19.在一个或多个实施例中，车辆车载计算机110可以用于支持诸如被动无钥匙操作、远程控制车辆操纵操作和远程车辆监测操作的特征。车辆车载计算机110还可以控制由车辆102在自停放操作(在行业中称为远程停车辅助(repa)操作)以及诸如挂车挂接辅助操作(在行业中称为远程挂车挂接辅助(retha)操作)和挂车操纵辅助操作(在行业中称为远程挂车操纵辅助(retma)操作)的其他操作期间执行的一些操纵。关于挂接辅助和操纵辅助的一些可用特征需要在挂接球附接到挂接件并且不再可见之后知道挂接球或枢轴/联接点109的位置。例如，如果需要驾驶员手动地将挂接件附接到挂接球，然后使用挂车操纵辅助操作，则挂接球的位置是必需的。在此类情况下，车辆车载计算机110可以执行与将挂接球定位为其中挂接球联接到挂车(诸如挂车101)的枢轴点109相关联的某些操作。
20.车辆车载计算机110可以执行各种功能，诸如控制发动机操作(燃料喷射、速度控制、排放控制、制动等)、管理气候控制(空气调节、加热等)、激活安全气囊以及发出警告(检查发动机灯、灯泡故障、轮胎气压低、车辆处于盲点等)。在一个或多个实施例中，车辆车载计算机110可以启用自动驾驶汽车或提供驾驶员辅助。因此，车辆车载计算机110还可以包括高级驾驶员辅助系统(“adas”)增强系统125，作为一个实施例，所述adas增强系统还包括车辆102的可以被控制、激活、和/或由车辆通过adas增强系统125操作的各种部件。在一种实施方式中，adas增强系统125可以是独立装置(例如，封闭在外壳中)。在另一种实施方式中，adas增强系统125的一些或所有部件可以与车辆车载计算机110一起容纳、合并或共享功能性。例如，将adas增强系统125的功能性结合的集成单元可以由单个处理器和单个存储器装置操作。在所示的示例性配置中，adas增强系统125包括处理器104、输入/输出接口127和存储器122、adas增强系统模块177、数据库175和操作系统180。输入/输出接口127被配置为提供adas增强系统125与其他部件(诸如传感器150、车辆控制部件和任何信息娱乐系统(如果存在))之间的通信。作为非暂时性计算机可读介质的一个示例的存储器122可以用于存储操作系统(os)180、数据库175和各种代码模块，诸如adas增强系统模块177。包括adas增强系统177的模块可以以计算机可执行指令的形式提供，所述计算机可执行指令可已由处理器104执行以执行根据本公开的各种操作。
21.在一个或多个实施例中，通信网络140包括使得车辆102能够与网络140通信的蜂窝或wi-fi通信链路，所述网络可以包括用于根据本公开传递数据的基于云的网络或源。
22.安装在车辆102上的相机150还可以包括以允许车辆车载计算机110与装置通信并收集数据以用于联接点估计和挂接角检测的方式安装在车辆102上的一组节点和/或传感器。示例可以包括能够检测对象、距离的传感器、雷达和/或发射器，诸如超声波雷达、激光雷达、相机等。在一个或多个实施例中，传感器/相机还可以包括启用的传感器或启用低功耗(ble)的传感器中的一者或多者。在一个实施例中，单个节点和/或传感器和/或相机150可以安装在车辆102的后部。其他传感器也可以存在于车辆102中，所述传感器包括轮速传感器、加速度计、速率传感器、gps传感器和方向盘传感器。
23.车辆车载计算机110包括枢轴点模块130以通过从车辆102上的倒车相机150或指向挂接球位置(枢轴点109)的其他传感器收集数据来执行挂接球定位。车辆车载计算机110还可以使用由车辆102在自停放操作(在行业中称为远程停车辅助(repa)操作)以及诸如挂车挂接辅助操作(在行业中称为远程挂车挂接辅助(retha)操作)和挂车操纵辅助操作(在行业中称为远程挂车操纵辅助(retma)操作)的其他操作期间执行的一些操纵控制车辆102。
24.参考图2，示出了根据一个或多个实施例的车辆车载计算机110，所述车载计算机被配置为执行与经由枢轴点模块130估计挂接球的位置相关联的各种操作。
25.如图所示，在一个实施例中，车载计算机110包括诸如处理器202、收发器210和存储器204的部件，所述部件是非暂时性计算机可读介质的一个示例，可以用于存储操作系统(os)240、数据库230和各种模块(诸如枢轴点模块130)。呈计算机可执行指令的形式的一个或多个模块可以由处理器210执行以执行根据本公开的各种操作。更具体地，枢轴点模块130可以由根据本公开的处理器210执行以用于确定枢轴点109的位置，所述位置识别用于将车辆102连接到挂车的挂接球的位置。
26.返回参考图1，挂车101和车辆102被示出为处于具有枢轴点109的挂接位置中。根据实施例，无论车辆102是否处于运动中，但在挂车101被连接时，都确定挂接球位置。更具体地，根据实施例，深度学习对象检测和跟踪模型应用于检测和跟踪位于挂车101前侧的标志灯或其他特征，诸如标志灯105和107。尽管在一些实施例中，目标特征可以是标志灯105和107，但是挂车101上示出的可由计算机视觉检测和跟踪的任何特征都适用于本文的实施例。
27.如图1所示，联接到车辆102上的传感器包括相机150。在一个或多个实施例中，由相机150接收的数据可以被提供给枢轴点模块130以确定在车辆102和挂车101联接和/或移动之后的枢轴点位置。然而，在可以定位枢轴点109之前，校准程序考虑了诸如由相机150中的广角或鱼眼引起的任何失真。为了完成校准程序，可以执行opencv(开放计算机视觉)或任何其他适当的工具箱以提取相机的固有矩阵，以对来自挂车101的校正的图像数据进行归一化。
28.更具体地，与普通镜头(即，50mm焦距)相比，典型的相机150可以包括广角鱼眼镜头以提供能够捕获车辆102后面大得多的区域的大视野。鱼眼镜头中的大曲率使对象从其直线位置移位。因此，为了正确地估计检测到的标记灯的位置，当安装在相机传感器150上的鱼眼镜头引起失真时，神经网络模型需要通过校准来补偿失真。
29.在校准提取相机的固有矩阵之后，所述矩阵可以用于反向针孔投影。例如，如图3所示，相机针孔投影的模型300从x、y、z坐标空间302投影，其中z轴是光学轴306。
30.将校准的相机数据应用于来自指向在枢轴点109处联接到车辆102的挂车101前方的相机/传感器150的多个图像帧。在一个或多个实施例中，在相对于车辆102的旋转范围内收集多个图像帧。在收集多个图像帧之后，可以使用卷积神经网络对象检测技术来准确地定位挂车101上的标志灯并结合该位置信息以估计挂车铰接角和用于挂接球定位的枢轴点109。在一些实施例中，可以使用图像回归模型或者可以使用其他标准特征来检测和跟踪，诸如挂车正面或牵引杆。如本领域技术人员可以理解的，标志灯105和107在形状和颜色上具有显著较低的多样性，并且可以是用于定位标志灯或其他适当特征的通用模型的基础。
31.在模型检测并提取挂车101的期望特征之后，在实施例中，模型将它们投影到挂车平面上。例如，在图4中，模型400示出了挂车平面402、相机焦平面404、相机406和用于对挂接球410的位置进行建模的水平线408。相机406拍摄图像，并且在每个图像帧中，神经网络模型检测或跟踪图1所示的标记灯105和107或被训练用于标志灯检测的其他特征。在其他实施例中，可以应用光流技术。神经网络模型或其他模型在时间t:处返回边界框中心作为标志灯的位置。接下来，如上所述，如果存在鱼眼或广角镜头失真，则神经网络利用提取的相机固有矩阵来缓解镜头失真使得
32.接下来，模型将枢轴点109的初始猜测视为o0＝[x
0 y0]
t
。参考图4，相机406被示为放置在相对于挂接球/枢轴点位置410的位置中。
[0033]
用于神经网络的多个图像帧可以在卷积神经网络中借助以挂车101前方的预定标志灯105和107的位置为中心的多个边界框进行建模，如图4所示，所述对图像帧进行建模是经由将像素反向针孔投影到投影在挂车平面上的三维坐标系上以使得能够从多个图像帧检测到所计算的标志灯位置并确定挂车101的相对尺寸并定位联接点并且还确定铰接角109。
[0034]
因此，使用o0，神经网络模型执行如图3和图4所示的反向针孔投影，使得
[0035]
因此，在一个实施例中，神经网络模型形成与每个标志灯相对应的集合qn，其中每个集合包括标志灯位置向量
[0036]
在一个实施例中，在挂接球联接到挂车101之后，挂接球的位置是挂车101相对于拖挂车辆进行旋转位移的枢轴点109。因此，无论挂车取向如何，从标志灯105和107到挂接球和枢轴点109的距离都是恒定的并且彼此相等。挂接球沿着y方向的位置在图4中的挂车平面302上示出为hy。
[0037]
因此，根据实施例，经由非线性最小二乘优化公式(nllsq)，挂车枢轴点109的估计值在挂车平面302上为如下所示：
[0038]
其中r(o)＝[r1(o)，..，rm(o)]
t
，，并且其中是挂车平面上的联接点109，并且q表示挂车101上的预定多个标志的估计值。
[0039]
在一个或多个实施例中，可以通过数值方法求解nllsq优化公式来求解所述公式，包括求解雅可比矩阵(jacobian matrix)以收敛于枢轴点109。例如，一种方法包括求解非线性方程，
[0040][0041]
其中j(o
t
)是雅可比矩阵，其被给出为：
[0042][0043]
注意，公式假设标志灯105和107对称地定位在挂车101上。在一个实施例中，卷积神经网络或常规跟踪模型独立地检测和跟踪每个标记灯，并且可以记录随时间变化的估计位置。无论挂车101上的位置如何，枢轴点109处的挂接球都是旋转中心。因此，挂车101上的多个被跟踪对象可以用于扩展所述函数。在一个实施例中，将被单独跟踪对象的误差函数或数组r(o
t
)与雅可比矩阵级联以提供更精确的结果。例如，如果标志灯不是精确对称的，则误差数组可以校正差值的量。旋转中心概念在图5中示出，其中最小二乘圆示出了标记灯位置可以位于x,y最小二乘圆上的位置，其中检测到的标记灯位置以米为单位的y轴502和以米为单位的x轴504示出。
[0044]
参考图6和图7，在定位挂接球之后，一个实施例提供了在挂车连接到车辆102时实时检测挂车角度。例如，如图1所示并且除了相机之外，adas系统还可以包括用于盲点信息系统(blis)等的雷达将有益于利用有限计算进行挂车角检测，并且不需要例如高性能计算单元。如图6所示，车辆102联接到挂车101。更具体地，在实施例中，当车辆和挂车如图6所示相对于彼此以圆弧移动时，通过跟踪以挂车前方的预定标志的位置为中心的多个边界框，通过几何手段估计与枢轴点109的挂接角，使用估计的挂车尺寸和使用相机150收集的多个图像帧来估计挂接角602。
[0045]
现在参考图8，流程图示出了根据实施例的方法。如图所示，框810提供从指向在联接点处联接到车辆的挂车前方的相机接收多个图像帧。例如，网络140或计算机110可以从位于联接到挂车101的车辆102上的相机150接收图像帧。在框810内有框8102，其提供在相对于车辆的旋转范围内接收多个图像帧。
[0046]
框820提供在卷积神经网络中对图像帧进行建模以形成枢轴点位置的初始估计值作为位置。例如，诸如本领域中已知的卷积神经网络可以使用图像帧。框820包括任选框8202，其提供对以挂车前方的预定标志的位置为中心的多个边界框进行建模，所述对图像帧进行建模是经由将像素反向针孔投影到投影在挂车平面上的三维坐标系上以使得来自多个图像帧的所计算的标志位置能够确定挂车的相对尺寸并定位联接点。框820还包括任选框8204，其提供对挂车上的标志位置应用基于深度学习的对象检测和基于计算机视觉的跟踪，并且以每个图像帧上的行和列像素索引的形式返回中心点。例如，如图1所示的跟踪标志灯105、107可以用于确定挂车平面并实现如图4所示的倒车针孔投影。
[0047]
框830提供使用非线性方程来优化模型以识别枢轴点位置。框830包括任选框8302，其提供通过用于挂车上的多个标记的非线性最小二乘(nllsq)优化公式来求解非线性方程。
[0048]
框840提供将联接点识别为优化的枢轴点位置。例如，优化的枢轴点位置是挂车挂
接件联接到车辆102的点。
[0049]
在以上公开中，已经参考了形成以上公开的一部分的附图，附图示出了其中可以实践本公开的具体实施方式。应理解，在不脱离本公开的范围的情况下，可利用其他实施方式，并且可进行结构改变。说明书中对“一个实施例”、“实施例”、“示例性实施例”、“示例性实施例”、“示例性实施方式”等的引用指示所描述的实施例或实施方式可以包括特定的特征、结构或特性，但是每个实施例或实施方式不必包括特定的特征、结构或特性。此外，此类短语不一定指相同的实施例或实施方式。另外，当结合实施例或实施方式描述特定特征、结构或特性时，无论是否明确地描述，本领域技术人员都将认识到结合其他实施例或实施方式的此类特征、结构或特性。例如，上文关于自主停车操纵所描述的各种特征、方面和动作适用于各种其他自主操纵，并且必须相应地进行解释。
[0050]
本文所公开的系统、设备、装置和方法的实施方式可以包括或利用包括硬件(诸如，例如本文所讨论的一个或多个处理器和系统存储器)的一个或多个装置。本文公开的装置、系统和方法的实施方式可通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬连线、无线或者硬连线或无线的任何组合)向计算机传送或提供信息时，计算机适当地将所述连接视为传输介质。传输介质可包括网络和/或数据链路，所述网络和/或数据链路可用于携载呈计算机可执行指令或数据结构的形式的期望的程序代码装置，并且可由通用或专用计算机访问。以上项的组合也应包括在非暂时性计算机可读介质的范围内。
[0051]
计算机可执行指令包括例如在处理器处执行时致使处理器执行特定功能或功能组的指令和数据。计算机可执行指令可为例如二进制代码、中间格式指令(诸如汇编语言)或甚至源代码。尽管已经用特定于结构特征和/或方法动作的语言描述了本主题，但是应理解，在所附权利要求中限定的主题不必限于上面描述的所述特征或动作。而是，所描述的特征和动作被公开作为实施权利要求的示例形式。
[0052]
存储器装置可包括任何一个存储器元件或易失性存储器元件(例如，随机存取存储器(ram，诸如dram、sram、sdram等))和非易失性存储器元件(例如，rom、硬盘驱动器、磁带、cdrom等)的组合。此外，存储器装置可并入有电子、磁性、光学和/或其他类型的存储介质。在本文件的背景下，“非暂时性计算机可读介质”可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置。计算机可读介质的更具体的示例(非详尽列表)将包括以下项：便携式计算机软磁盘(磁性)、随机存取存储器(ram)(电子)、只读存储器(rom)(电子)、可擦除可编程只读存储器(eprom、eeprom或快闪存储器)(电子)以及便携式压缩盘只读存储器(cd rom)(光学)。应注意，计算机可读介质甚至可以是上面打印有程序的纸张或另一种合适的介质，因为可例如经由对纸张或其他介质的光学扫描来电子地捕获程序，随后进行编译、解译或另外在需要时以合适的方式进行处理，并且随后存储在计算机存储器中。
[0053]
本领域技术人员将了解，本公开可在具有许多类型的计算机系统配置的网络计算环境中实践，所述计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、移动装置、多处理器系统、基于微处理器的或可编程的消费型电子产品、网络pc、小型计算机、大型计算机、移动电话、pda、平板电脑、寻呼机、路由器、交换机、
各种存储装置等。本公开还可在分布式系统环境中实践，其中通过网络链接(通过硬连线数据链路、无线数据链路或者通过硬连线数据链路与无线数据链路的任何组合)的本地和远程计算机系统两者都执行任务。在分布式系统环境中，程序模块可位于本地和远程存储器存储装置两者中。
[0054]
另外，在适当的情况下，本文中描述的功能可在以下一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(asic)可以被编程为执行本文所描述的系统和程序中的一者或多者。贯穿说明书以及权利要求使用某些术语指代特定系统部件。如本领域技术人员将理解，部件可以通过不同的名称来指代。本文件不意图区分名称不同但功能相同的部件。
[0055]
本公开的至少一些实施例涉及计算机程序产品，所述计算机程序产品包括(例如，以软件形式)存储在任何计算机可用介质上的此种逻辑。这种软件当在一个或多个数据处理装置中被执行时致使装置如本文所描述那样进行操作。
[0056]
虽然上文已描述了本公开的各种实施例，但应理解，仅通过示例而非限制的方式呈现本公开的各种实施例。相关领域的技术人员将明白，在不脱离本公开的精神和范围的情况下可进行形式和细节上的各种改变。因此，本公开的广度和范围不应受到上述示例性实施例中的任何一个限制，而是应仅根据所附权利要求和其等效物限定。已经出于说明和描述目的而呈现了前述描述。前述描述并不意图是详尽的或将本公开限制于所公开的精确形式。鉴于以上教导，许多修改和变化形式是可能的。此外，应注意，前述可选实施方式中的任一者或全部可按任何所期望的组合使用，以形成本公开的附加混合实施方式。例如，相对于特定装置或部件描述的功能中的任一者可以由另一个装置或部件执行。另外，尽管已经描述了特定装置特性，但本公开的实施例可能涉及许多其他装置特性。另外，尽管已用特定于结构特征和/或方法动作的语言描述了实施例，但是应理解，本公开不一定受限于所描述的特定特征或动作。而是，将具体特征和动作公开为实现所述实施例的说明性形式。除非另有特别说明或在使用时在上下文内以其他方式理解，否则诸如尤其是“能够”、“可能”、“可以”或“可”的条件语言通常意图表达某些实施例可以包括某些特征、元件和/或步骤，而其他实施例可以不包括某些特征、元件和/或步骤。因此，此类条件语言通常并不意图暗示一个或多个实施例无论如何都需要各特征、元件和/或步骤。
[0057]
根据实施例，所述处理器被配置为执行指令以通过如下所示用于所述挂车上的多个标记的非线性最小二乘(nllsq)优化公式求解所述非线性方程来优化模型：其中r(o)＝[r1(o)，...，rm(o)]
t
，，并且其中是挂车平面上的联接点，并且q表示所述挂车上的预定多个标记的估计值。
[0058]
根据实施例，通过一种或多种数值方法来求解所述nllsq优化公式以求解所述非线性方程，所述一种或多种数值方法包括求解雅可比矩阵以收敛于所述联接点，当所述挂车上的预定多个标记未对称地定位在所述挂车上时，所述雅可比矩阵与误差数组级联。
[0059]
根据实施例，所述处理器被配置为执行指令以使用几何铰接和优化技术、使用估计的挂车尺寸和所述多个图像帧来估计挂接角。
[0060]
根据本发明，提供了一种车辆，其具有：底盘；传感器，所述传感器联接到所述底
盘，所述传感器包括相机和高级驾驶员辅助系统(adas)雷达中的一者或多者；车载计算机，所述车载计算机耦合到所述底盘，所述车载计算机包括存储器和耦合到所述存储器的处理器，所述处理器被配置为访问所述存储器并执行计算机可执行指令以：从指向联接到所述车辆的挂车前方的相机接收多个图像帧；在卷积神经网络中对所述图像帧进行建模以形成所述车辆联接到所述挂车的枢轴点位置的初始估计值；使用非线性方程优化模型以识别所述枢轴点位置；以及将所述联接点定位为所述枢轴点位置。
[0061]
根据实施例，所述处理器被配置为执行指令以使用所述多个图像帧和所述枢轴点位置通过几何地计算常数来估计挂接角，所述常数包括所述联接点与由所述多个图像帧捕获的多个标记之间的距离和角度。

技术特征：
1.一种方法，其包括：从指向在联接点处联接到车辆的挂车前方的相机接收多个图像帧；在卷积神经网络中对所述图像帧进行建模以形成枢轴点位置的初始估计值作为位置；使用非线性方程优化模型以识别所述枢轴点位置；以及将所述联接点定位为所述枢轴点位置。2.如权利要求1所述的方法，其还包括使用所述枢轴点位置采用跟踪系统获得所述挂车与所述车辆之间的铰接角(挂接角)，所述跟踪系统在圆弧上跟踪所述挂车前方的标记点。3.如权利要求1所述的方法，其中接收所述多个图像帧包括在相对于所述车辆的旋转范围内接收所述多个图像帧。4.如权利要求1所述的方法，其中在所述卷积神经网络中对所述图像帧进行建模包括在所述卷积神经网络中借助以所述挂车前方的预定标志位置为中心的多个边界框进行建模，其中对所述图像帧进行建模包括将像素反向针孔投影到投影在挂车平面上的三维坐标系上以使得来自所述多个图像帧的所计算的标志位置能够确定所述挂车的相对尺寸并定位所述联接点。5.如权利要求1所述的方法，其中所述相机位于所述车辆上，当所述相机包括非精确广角镜头时，针对失真而校正所述多个图像帧，所述图像帧通过镜头校准来校正。6.如权利要求1所述的方法，其中在所述卷积神经网络中对所述图像帧进行建模包括对所述挂车上的标志位置应用基于深度学习的对象检测和基于计算机视觉的跟踪，并且返回中心点作为每个图像帧上的行和列像素索引。7.如权利要求1所述的方法，其中所述优化包括通过如下所示用于所述挂车上的多个标记的非线性最小二乘(nllsq)优化公式求解所述非线性方程：其中其中并且其中是挂车平面上的所述联接点，并且q表示所述挂车上的预定多个标记的估计值。8.如权利要求7所述的方法，其中通过一种或多种数值方法来求解所述nllsq优化公式以求解所述非线性方程，所述一种或多种数值方法包括求解雅可比矩阵以收敛于所述联接点。9.如权利要求8所述的方法，其中当所述挂车上的所述预定多个标记未对称地定位在所述挂车上时，所述雅可比矩阵与误差数组级联。10.如权利要求1所述的方法，其还包括使用几何铰接和优化技术、使用估计的挂车尺寸和所述多个图像帧来估计所述车辆与所述挂车之间的挂接角，其中枢轴点在所述车辆的挂接球的估计位置处。11.一种用于车辆的系统，其包括：存储器，所述存储器存储计算机可执行指令；处理器，所述处理器被配置为访问所述存储器并且执行所述计算机可执行指令以：从指向在联接点处联接到所述车辆的挂车前方的相机接收多个图像帧；在卷积神经网络中对所述图像帧进行建模以形成枢轴点位置的初始估计值作为位置；
使用非线性方程优化模型以识别所述枢轴点位置；将所述联接点定位为所述枢轴点位置；以及使用几何铰接以基于所述枢轴点位置的定位和跟踪系统来估计组合的移动车辆和挂车的瞬时挂接角，所述跟踪系统在圆弧上跟踪所述挂车前方的标记点。12.如权利要求11所述的系统，其中所述处理器被配置为执行指令以在旋转范围内从所述相机接收所述多个图像帧，所述相机联接到所述车辆。13.如权利要求11所述的系统，其中所述处理器被配置为执行指令以在所述卷积神经网络中借助以所述挂车前方的预定标志位置为中心的多个边界框对所述图像帧进行建模，所述对所述图像帧进行建模是经由将像素反向针孔投影到投影在挂车平面上的三维坐标系上以使得来自所述多个图像帧的所计算的标志位置能够确定所述挂车的相对尺寸并定位所述联接点。14.如权利要求11所述的系统，其中所述处理器被配置为执行指令以处理来自位于所述车辆上的所述相机的所述多个图像帧，当所述相机包括非精确广角镜头时，针对失真而校正所述多个图像帧，所述图像帧通过镜头校准来校正。15.如权利要求11所述的系统，其中所述处理器被配置为执行指令以通过对所述挂车上的标志位置应用基于深度学习的对象检测和基于计算机视觉的跟踪并且返回中心点作为每个图像帧上的行和列像素索引来在所述卷积神经网络中对所述图像帧进行建模。

技术总结
本公开提供了“用于挂车挂接球位置定位和挂接角的系统和方法”。本公开总体上涉及用于挂车挂接球位置定位的系统和方法，所述方法包括：从指向在联接点处联接到车辆的挂车前方的相机接收多个图像帧；在卷积神经网络中对所述图像帧进行建模以形成枢轴点位置的初始估计值作为位置；使用非线性方程优化模型以识别所述枢轴点位置；以及将所述联接点定位为优化的枢轴点位置。卷积神经网络包括以挂车前方的预定标志位置为中心的多个边界框，所述建模是经由将像素反向针孔投影到投影在挂车平面上的三维坐标系上以使得所计算的标志位置能够确定挂车的相对尺寸并定位联接点。所述优化包括求解用于挂车上的多个标记的非线性最小二乘(NLLSQ)优化公式。所述方法包括使用几何方式以通过当车辆和挂车相对于彼此以圆弧移动时跟踪以挂车前方的预定标记位置为中心的多个边界框来确定挂车与拖挂车辆之间的铰接角(挂接角)。接角)。接角)。


技术研发人员：M
受保护的技术使用者：福特全球技术公司
技术研发日：2022.12.21
技术公布日：2023/7/11