自动驾驶系统中的自我监督网络的联合学习的系统和方法与流程

1.本文所公开的实施例大体上涉及用于对具有自动驾驶系统(ads：automated driving system)的多个运载工具的感知功能进行更新的系统和方法。尤其是，本文所公开的实施例涉及用于ads中自我监督机器学习算法的联合学习的系统和方法。


背景技术：

2.在过去几年中，与自主运载工具相关的研究和开发活动在数量上呈爆炸式增长，并且正在探索许多不同的方法。越来越多的现代化运载工具配备了先进的驾驶员辅助系统(adas：driver-assistance systems)，以提高运载工具安全性以及更广泛的道路安全性。adas(例如，可以由自适应巡航控制(acc：adaptive cruise control)防撞系统、前向碰撞警告系统等来代表)是一种可在驾驶过程中帮助运载工具驾驶员的电子系统。如今，在与adas和自主驾驶(ad：autonomous driving)领域相关的诸多技术领域内正在推进研究和开发。本文中，将在通用术语自动驾驶系统(ads)下提及adas和ad，ads与例如由sae j3016驾驶自动化等级(0-5)定义的所有不同的自动化等级相对应，特别是等级4和等级5。
3.在不久的将来，预计ads解决方案将会进入到投放市场的大多数新车中。ads可以被解释为各种组件的复杂组合，这些组件可以被定义其中由电子设备和机械而非人类驾驶员来执行运载工具的感知、决策以及操作的系统，并且可以被定义为在道路交通中引入自动化。这包括在交通中对运载工具的处理以及形成对周围环境的了解。虽然ads可以对运载工具加以控制，但它会允许人类操作员将全部或至少部分责任留给系统。ads通常结合各种传感器来感知运载工具的周围环境，所述各种传感器诸如雷达、激光雷达(lidar)、声纳、相机、导航系统(例如，gps：global positioning system)、里程表、和/或惯性测量单元(imu：inertial measurement unit)等，在此基础上，先进的控制系统可以对感测信息进行解释，以识别适当的导航路径、障碍物、自由空间区域、相关标志物等。
4.诸如深度学习(dl：deep learning)之类的机器学习(ml：machine learning)是感知领域中一项很有前途的技术，例如，用以对图像、视频流和/或激光雷达点云中的对象进行检测和分类。然而，许多深度神经网络的问题在于，它们很快就能达到一定的性能水平(成熟度)，并且在于需要非常大量的数据才能进一步提高性能。对数百万张图像进行注释的成本很高，因此在自主驾驶领域中采取了诸多措施，用以通过半自动的注释以及从被注释的数据中高效地进行学习来降低该成本。然而，即使已经取得了这些进展，它仍然是一个非常昂贵的处理过程。
5.因此，本领域需要新的解决方案来促进ads功能的开发，特别是针对ads的感知功能，以便能够持续地提供更安全和更好性能的系统。一如既往地，优选在不对机载系统或平台的尺寸、功耗以及成本产生重大负面影响的情况下进行改进。


技术实现要素：

6.本发明寻求减轻、缓解或消除现有技术中的一个或多个上述缺陷及缺点，以解决
与ads功能的开发相关的各种问题，特别是与ads感知功能的开发相关的各种问题。
7.所公开的发明的各个方面以及优选实施例在下面以及所附独立及从属权利要求中被定义。
8.根据本发明的第一方面，提供了一种用于对具有自动驾驶系统(ads)的多个远程运载工具的感知功能进行更新的计算机实施的方法。该方法包括：从多个远程运载工具获取自我监督机器学习算法的一个或多个本地更新后的模型参数；以及基于所获取的一个或多个本地更新后的模型参数来更新全局自我监督机器学习算法的一个或多个模型参数。进一步地，该方法包括：基于被注释的数据集来微调全局自我监督机器学习算法，以便生成包括一个或多个微调后的模型参数的微调后的全局机器学习算法。该方法进一步包括：基于微调后的全局机器学习算法来形成用于运载工具中的感知模块的机器学习算法；以及将所形成的用于所述运载工具中的感知模块的机器学习算法的一个或多个模型参数传输到多个远程运载工具。
9.根据本发明的第二方面，提供了一种存储一个或多个程序的(非暂时性)计算机可读存储介质，该一个或多个程序被配置为由处理系统的一个或多个处理器执行，该一个或多个程序包括用于执行根据本文所公开的第一方面的任何一个实施例的方法的指令。对于本发明的该方面，存在与前面讨论的各方面类似的优点及优选特征。
10.如本文所使用的，术语“非暂时性”旨在描述不包括传播的电磁信号的计算机可读存储介质(或“存储器”)，但并不旨在以其他方式限制物理计算机可读存储设备的类型，物理计算机可读存储设备被用语“计算机可读介质或存储器”所涵盖。例如，术语“非暂时性的计算机可读介质”或“有形的存储器”旨在涵盖不一定永久存储信息的存储设备类型，包括例如随机存取存储器(ram：random access memory)。以非暂时性的形式存储在有形的计算机可访问存储介质上的程序指令和数据还可以通过传输介质或诸如电气、电磁或数字信号等信号来传输，这些信号可以通过诸如网络和/或无线链路等通信介质来传送。因此，本文所使用的术语“非暂时性的”是对介质本身的限制(即，有形的，而不是信号)，而不是对数据存储持久性的限制(例如，ram与rom)。
11.根据本发明的第三方面，提供了一种用于对具有自动驾驶系统(ads)的运载工具的感知功能进行更新的处理系统。该处理系统包括控制电路，该控制电路被配置为：从多个远程运载工具获取自我监督机器学习算法的一个或多个本地更新后的模型参数；以及基于所获取的一个或多个本地更新后的模型参数来更新全局自我监督机器学习算法的一个或多个模型参数。该控制电路进一步被配置为：基于被注释的数据集来微调全局自我监督机器学习算法，以便生成包括一个或多个微调后的模型参数的微调后的全局机器学习算法。此外，该控制电路被配置为：基于微调后的全局机器学习算法来形成用于运载工具中的感知模块的机器学习算法；以及将所形成的用于运载工具中的感知模块的机器学习算法的一个或多个模型参数传输到多个远程运载工具。对于本发明的该方面，存在与前面讨论的各方面类似的优点及优选特征。
12.根据本发明的第四方面，提供了一种远程服务器，该远程服务器包括根据本文所公开的第三方面的任何一个实施例的处理系统。对于该方面，存在与前面讨论的各方面类似的优点及优选特征，反之亦然。
13.根据本发明的第五方面，提供了一种云环境，该云环境包括根据本文所公开的第
四方面的任何一个实施例的一个或多个远程服务器。对于该方面，存在与前面讨论的各方面类似的优点及优选特征，反之亦然。
14.根据本发明的第六方面，提供了一种由运载工具中的处理系统执行的用于对具有自动驾驶系统(ads)的运载工具的感知功能进行更新的计算机实施的方法。该方法包括：从一个或多个安装于运载工具的传感器获取感知数据，该一个或多个安装于运载工具的传感器被配置为监视运载工具的周围环境；使用自我监督机器学习算法来处理所获取的感知数据，并且本地更新自我监督机器学习算法的一个或多个模型参数。该方法进一步包括：将自我监督机器学习算法的本地更新后的模型参数传输到远程实体；以及从远程实体获取由自我监督机器学习算法的整合后版本形成的集中微调后的机器学习算法。此外，该方法包括：从充当教师模型的集中微调后的机器学习算法中蒸馏出用于运载工具中的感知模块的机器学习算法，其中，使用从一个或多个安装于运载工具的传感器获取的感知数据来执行该蒸馏。进一步地，该方法包括：将蒸馏出的机器学习算法的一个或多个模型参数传输到远程实体；从远程实体接收用于运载工具中的感知模块的机器学习方法的一个或多个整合后的模型参数；以及基于所接收的一个或多个整合后的模型参数来更新用于运载工具中的感知模块的机器学习算法。对于本发明的该方面，存在与前面讨论的各方面类似的优点及优选特征。
15.根据本发明的第七方面，提供了一种存储一个或多个程序的(非暂时性)计算机可读存储介质，该一个或多个程序被配置为由处理系统的一个或多个处理器执行，该一个或多个程序包括用于执行根据本文所公开的第一方面的任何一个实施例的方法的指令。对于本发明的该方面，存在与前面讨论的各方面类似的优点及优选特征。
16.根据本发明的第八方面，提供了一种用于对具有自动驾驶系统(ads)的运载工具的感知功能进行更新的运载工具中的处理系统10。处理系统包括控制电路，该控制电路被配置为：从一个或多个安装于运载工具的传感器获取感知数据，该一个或多个安装于运载工具的传感器被配置为监视运载工具的周围环境；以及使用自我监督机器学习算法来处理所获取的感知数据，并且本地更新自我监督机器学习算法的一个或多个模型参数。控制电路进一步被配置为：将自我监督机器学习算法的本地更新后的模型参数传输到远程实体；从远程实体获取由自我监督机器学习算法的整合后版本形成的集中微调后的机器学习算法；以及从充当教师模型的集中微调后的机器学习算法(33)中蒸馏出用于运载工具中的感知模块的机器学习演算法。使用从一个或多个安装于运载工具的传感器获取的感知数据来执行该蒸馏。此外，控制电路被配置为：将蒸馏出的机器学习算法的一个或多个模型参数传输到远程实体；从远程实体接收用于运载工具中的感知模块的机器学习方法的一个或多个整合后的模型参数；以及基于所接收的一个或多个整合后的模型参数来更新用于运载工具中的感知模块的机器学习算法。对于本发明的该方面，存在与前面讨论的各方面类似的优点及优选特征。
17.根据本发明的第九方面，提供了一种运载工具，该运载工具包括自动驾驶系统(ads)以及根据本文所公开的第八方面的任何一个实施例的运载工具中的处理系统。对于本发明的该方面，存在与前面讨论的本发明的各方面类似的优点及优选特征。
18.在一些实施例中，运载工具的ads包括：感知系统，具有一个或多个安装于运载工具的传感器，这些安装于运载工具的传感器被配置为监视运载工具的周围环境。
programmable gate arrays)和/或使用一个或多个数字信号处理器(dsp：digital signal processor))来实施。还将理解，当采用方法的形式来描述本公开时，本公开还可以体现在一个或多个处理器以及与一个或多个处理器耦接的一个或多个存储器中，其中一个或多个存储器存储一个或多个程序，当由一个或多个处理器执行该一个或多个程序时，这些程序会执行本文所公开的步骤、服务和功能。
33.还应当理解的是，本文所使用的术语仅用于描述特定实施例的目的，而并不旨在加以限制。必须注意的是，如在本说明书和所附权利要求书中所使用的，用语“一”、“一个”、“该”和“所述”旨在表示存在一个或多个元素，除非上下文另有明确规定。因此，例如，在某些上下文等中，对“一个单元”或“该单元”的引用可以指多于一个单元。此外，词语“包含”、“包括”、“含有”不排除其他的元素或步骤。应当强调的是，当在本说明书中使用术语“包含/含有”时，该术语被用于指定所述特征、整体、步骤或组件的存在。它并不排除一个或多个其他特征、整体、步骤、组件或它们的组的存在或添加。术语“和/或”应被解释为“两者”的含义，并且每个都可作为替代方案。术语“获取”在本文中应作广义解释，包括接收、检索、收集、获取等。
34.除非上下文另有说明，否则本说明书中使用的某些术语应在权利要求书以及附图的描述中给出以下解释。在详细描述中还可以提供用于对某些术语的范围进行解释的附加示例。
35.通常，为了开发机器学习算法以达到工业用途的适当性能水平，需要大量的训练数据。诸如对象检测和对象分类之类的“视觉任务”(即，感知功能)尤为如此，它们通常使用深度神经网络。
36.自动驾驶领域对大量训练数据的需求甚至在进一步扩大，因为要在现场(即在交通中)可以部署ads之前达到必要的完整性及性能水平的必要条件是巨大的。然而，与针对诸如生成被注释的数据集之类的ads开发目的而获取大量训练数据相关联的一个普遍性挑战在于，已知它们是成本高昂的和/或劳动密集的。其他需要解决的挑战例如与带宽要求、数据存储容量以及数据隐私有关，这取决于实体间传输大量且潜在敏感的数据集时的相应需求。
37.联合学习(fl)是一种方案，其中“全局”或“中心”模型是由在边缘处训练得到的“本地”模型整合而成的。这在例如智能手机的“语音助手”和“打字模型”中很普遍。在本上下文中，运载工具构成边缘设备或节点，而一个或多个远程服务器可以构成中心服务器，该中心服务器负责对来自边缘设备中的每一个的模型更新进行聚合或整合。这将被称为集中式联合学习方案。然而，在一些实施例中，可以省略对中心实体的需要，并且边缘设备(例如，运载工具的车队)可以被配置为对它们自己加以协调以获取全局模型，如所谓的分散式联合学习方案。在下面的描述中，主要参考集中式联合学习方案来给出该描述。然而，假定本领域技术人员将会容易地理解如何将本文中的教导实施为分散式联合学习方案，并且由本文所公开的本发明所传达的范围也涵盖了这样的实现。应当指出，在本上下文中，术语“全局”不一定意味着“全范围”，而是应被解释为某些事项在多个“本地”实体之间被“共享”。
38.与使用联合学习相关的一个挑战在于，只有在可以构造损失函数(也可被称为成本函数)的情况下，才能够训练本地模型。对于自动驾驶领域中的监督训练而言，该挑战更
为重要，因为它需要被注释的数据集，如上所述，很难获取足够大量的被注释的数据集。这些要求导致了几乎很难应对的情况，因为可能无法共享数据(由于带宽要求以及数据隐私/安全原因)，并且因为通常不太可能抽出在运载工具中收集到的所有数据的准确注释。
39.然而，最近提出了一种使用“自我监督学习”的新范例，用以至少部分地缓解机器学习算法训练过程中对被注释的数据的需求。通过该处理，可以通过使用不需要被注释的图像来对感知功能的机器学习算法进行训练。例如，bao,h.等人在(2021)《beit:图像变换器的bert预训练(beit:bert pre-training of image transformers)》中；he,k.等人在(2021)《掩码自动编码器是可扩展的视觉学习者(masked autoencoders are scalable vision learners)》中；xie,z.等人在(2021)《simmim:用于掩码图像建模的简单框架(simmim:a simple framework for masked image modeling)》中；zhou,j.等人在(2021)《ibot:使用在线令牌化器进行图像bert预训练(ibot:image bert pre-training with online tokenizer)》中提供了“自我监督”学习的更多背景以及细节。
40.本文中提出了利用这种“自我监督”的范例，并且提出了将其与联合学习方案相结合以便为开发ads感知功能提供“边缘自我监督学习平台”。简言之，一些实施例包含机器学习算法，该机器学习算法是通过在边缘设备(即，运载工具)处进行的自我监督学习而训练得到的。这些随后被集中整合，并且对整合后的模型进行微调，以构造高性能的“教师型网络”或“教师网络”。然后，教师型网络可被用于通过使量产网络充当“学生型网络”或“学生网络”来以有效的方式训练该“量产网络”，即，在ads中提供的用于感知功能的机器学习算法。所形成的量产网络随后在全局软件更新程序中被推送给车队中配备有ads的运载工具。
41.相应地，凭借本文所公开的技术，可以在量产网络的训练中有效地结合车队的运载工具在正常操作期间所面临的各种场景以及情境，而不需要传输巨大的数据集或对由每个运载工具收集到的数据进行注释。因此，用于提高“量产网络”性能的有效处理是容易实现的。此外，以更快的速度将量产网络的操作能力有效地扩展到新区域和新用例(即，操作设计域扩展)是很容易实现的。
42.操作设计域(odd：operational design domain)应被理解为对自动或半自动驾驶系统(即，ad或adas)被设计为在其下进行工作的操作域的描述，包括但并不限于，地理、道路(例如，类型、表面、几何形状、边缘和标记)、环境参数、连通性、周围对象和速度限制。也就是说，ads的量产网络可以与特定环境情境相关联，并且仅被配置为在满足一组“情境参数”的环境内操作，示例情境是交通堵塞、公路/高速公路慢速行驶等。odd可以进一步定义驾驶情境及其动态(例如，交通信号灯、十字路口、乱穿马路者、雪、冰、切入口、大型动物等)的允许暴露率。“情境参数”可以例如从来自一个或多个安装于运载工具的传感器中的传感器数据或者经由运载工具到运载工具(v2v)通信协议从远程服务器或另一运载工具获取的通信数据中获取。情境参数例如可以是道路类型、天气数据、速度限制、交通密度、可用车道的数量、道路工程的存在与否等。
43.因此，一些实施例的优点在于，与已知的现有技术相比，可以使对用于在配备有ads的运载工具中提供感知功能的机器学习算法的训练变得更具成本效益且劳动密集度更低。
44.一些实施例的优点在于，对用于在配备有ads的运载工具中提供感知功能的机器学习算法的训练通常可以变得更加有效，因为传输可包含个人数据的巨大数据集的需求可
以得到缓解，而这在一些国家中甚至是不被允许的。
45.此外，一些实施例进一步提供了这样的优点，即，增加了捕获可被结合到对量产网络的训练中的罕见案例(也可被称为极端案例)的可能性，与已知的现有技术相比，甚至以更高的速度进一步提高了性能。
46.在一些实施例中，以本领域普通技术人员已知的任何适当方式，使用公开可用的适当的软件开发机器学习代码元素(例如，诸如在python、keras和tensorflow中或者在任何其他适当的软件开发平台中可用的那些元素)来实施机器学习算法(也可被称为机器学习模型、神经网络等)。
47.图1是根据一些实施例的由中心处理系统执行的用于对多个配备有ads的运载工具的感知功能进行更新的方法s100的示意性流程图表示。中心处理系统也可被称为“车队管理系统”、“后台管理系统”、“云”等。因此，术语“中心”不必被解释为“集中式”，因为根据一些实施例，资源可以被分布并配置，以共同执行方法s100。
48.图2是根据一些实施例的由运载工具中的处理系统执行的用于对配备有ads的运载工具的感知功能进行更新的方法s200的示意性流程图表示。
49.应注意，图3所示的流程图用于进一步阐明如何通过“中心服务器”(即，中心处理系统)与边缘设备(即，配备有ads的运载工具)之间的合作来对多个配备有ads的运载工具的感知功能进行更新。换言之，图3示出了将图1和图2中描绘的实施例组合在一起的示例实施例。图3中方法的流程图表示相应地从“系统角度”进行了阐释，这意味着一些功能由运载工具中的处理系统(即，在边缘处)执行，而一些功能由中心处理系统执行，如根据图3右上角中的说明，由流程图中的不同框类型所示。
50.返回到图1，图1示出了根据一些实施例的由与多个配备有ads的运载工具进行通信的中心处理系统适当执行的、用于对多个配备有ads的运载工具的感知功能进行更新的、计算机实施的方法s100的示意性流程图表示。中心处理系统可以例如包含一个或多个处理器以及与一个或多个处理器耦接的一个或多个存储器，其中一个或多个存储器存储一个或多个程序，当由一个或多个处理器执行时，该一个或多个程序执行本文所公开的方法s100的步骤、服务和功能。
51.方法s100包括从多个远程运载工具获取s101自我监督机器学习算法的一个或多个本地更新后的模型参数。应注意，术语“本地”是相对于每个运载工具而言的，即在每个运载工具中的本地更新，而对于中心处理系统而言，这些运载工具仍被理解为“远程”。
52.在当前上下文中，“自我监督机器学习算法”被理解为不需要被标记或被注释的数据来进行学习的机器学习算法(例如，人工神经网络)。在一些实施例中，自我监督机器学习算法是诸如掩码自动编码器(mae：masked autoencoder)之类的自动编码器(ae：autoencoder)。在一些实施例中，通过操纵(例如，扣留)图像的一部分并指示算法重建该被操纵的图像以作为其学习过程的一部分，来训练自我监督机器学习算法。随后将重建后的图像与原始图像进行比较以创建损失函数，该损失函数被用于更新模型参数(例如，网络权重和/或偏差)，如本领域已知的。对图像的操纵可以例如通过掩蔽、对图像添加噪声或本领域技术人员容易理解的类似方法来执行。然而，在一些实施例中，不需要操纵输入数据以训练机器学习算法，而是可以用“原生输入”来进行训练，诸如例如在传统的自动编码器中。因此，在一些实施例中，自我监督机器学习算法可以包括无监督机器学习算法。
53.一般而言，参考本文所使用的获取或接收步骤的短语“一个或多个模型参数”用于包括如下实施例，在该实施例中，相关联的ml算法的版本在接收实体处已经可用，因此，仅有更新后的模型参数(例如，网络权重和/或偏差)才需要是可用的，以便更新整个ml算法。由此，可以提高带宽利用率。然而，如本领域技术人员容易理解的，在一些实施例中，相关联的ml算法的所有模型参数都被传输/接收或者以其他方式传送。
54.进一步地，方法s100包括基于所获取的一个或多个本地更新后的模型参数来更新s102全局自我监督机器学习算法的一个或多个模型参数。换言之，本地自我监督ml算法被整合以形成“全局”自我监督ml算法，即，节点的本地模型参数被整合以形成全局模型。
55.更进一步地，方法s100包括基于被注释的数据集来微调s104全局自我监督ml算法，以便生成包括一个或多个微调后的模型参数的微调后的全局ml算法。换句话说，全局自我监督ml算法使用包括被注释/被标记的数据的训练数据集来经历监督学习过程。因此，自我监督ml算法的本地更新/训练以及随后的整合s102可以被解释为针对微调s104的“预训练”过程。相应地，微调后的全局ml算法可以被理解为如下的ml算法，该ml算法被调整为执行与本地和全局自我监督ml算法的任务不同的特定任务(例如，分割、对象检测、对象分类)。
56.此外，一旦对全局自我监督ml算法进行了微调s104，它就可以作为形成用于运载工具中的感知模块的机器学习算法的基础。在本上下文中，用于运载工具中的感知模块的ml算法可以被称为上述提到的“量产网络”。
57.然而，在一些实施例中，用于运载工具中的感知模块的机器学习算法(即，量产网络)由知识蒸馏过程形成(knowledge distillation process)。在这样的实施例中，微调后的全局ml算法充当“教师网络”或“教师模型”，而量产网络充当被训练以模拟教师网络的输出的“学生网络
””
或“学生模型”。更具体而言，来自教师网络的输出被用作“基本事实”或“目标”，并且来自两个ml算法的输出之间的差异被用于形成损失函数(成本函数)，该损失函数被用于使用本领域已知的优化算法来更新量产网络的模型参数(例如，网络权重和/或偏差)。hinton,g.等人在(2015)《在神经网络1
–
9中蒸馏出知识(distilling the knowledge in a neural network.1
–
9)》中提供了与知识蒸馏过程有关的更多细节以及说明性示例。
58.知识蒸馏过程可以集中地或者根据联合学习方案来执行，这将在下文中详述。
59.即使“教师网络”可以实现其所调整的任务的高性能，但“教师网络”可能太“大”，因此在配备有ads的运载工具中直接使用时速度会太慢，这是由于运载工具机载处理能力有限，从而难以在运载工具中使用教师网络来进行实时处理。更详细而言，教师网络可以包括多个(相对较大的)网络，即集合，其输出被合并为一组“高质量”的教师输出。因此，为了仍然能够从用于实时感知功能的“教师网络”的高性能中获益，本发明人认识到，可以利用“教师网络”并通过知识蒸馏来形成该“教师网络”的更精简版本。相应地，蒸馏后的网络可以更适合于为具有有限处理能力的运载工具的ads提供实时感知功能。因此，在一些实施例中，量产网络是“教师网络”的精简后/蒸馏后的版本。
60.相应地，在一些实施例中，形成用于运载工具中的感知模块的ml算法的步骤包括从充当教师模型的微调后的全局机器学习算法中蒸馏s105出用于运载工具中的感知模块的机器学习算法。此外，蒸馏使用形式为交通情境的(存储的)图像的的输入数据执行。换言
之，用于运载工具中的感知模块的ml算法(即“量产网络”)可以通过中心蒸馏s105过程来获取，其中交通情境/场景的图像是从中心处理系统可访问的数据仓库中获取的。交通情境/场景的图像在当前上下文中被广义地解释，并且可以是单眼相机图像、立体相机图像、雷达图像和/或激光雷达图像的形式。应当注意，这些图像可以是单个图像或者是图像序列(即，视频馈送)。
61.然而，在一些实施例中，另一种联合学习方法被用于“蒸馏”过程。更详细而言，根据一些实施例，形成用于运载工具中的感知模块的ml算法的步骤包括：将微调后的全局机器学习算法的微调后的模型参数传输s106到多个远程运载工具；以及从多个远程运载工具中的每个远程运载工具获取s107用于运载工具中的感知模块的本地机器学习算法的一个或多个本地蒸馏后的模型参数。随后，基于一个或多个本地蒸馏后的模型参数的整合，来形成s108用于运载工具中的感知模块的机器学习算法。换言之，教师网络被推送到运载工具，这些运载工具配备有适当的硬件和/或软件，以基于在运载工具中的每一个中本地生成的感知数据形式的输入数据来执行“本地”知识蒸馏。使用联合学习方案以进行知识蒸馏的优点在于，可以提高在知识蒸馏过程中成功包括罕见情境(边缘案例或极端案例)的概率，从而进一步提高所形成的量产网络的性能。使用联合学习方案以进行知识蒸馏的另一个优点在于，由于可用数据量的增加，量产网络可以更有效地向教师网络靠拢。
62.应当注意，在将本地蒸馏后的参数最终传输到中心处理系统以进行整合s108之前，可以在每个运载工具中执行多次(循环)“本地”知识蒸馏。然而，在一些实施例中，“循环”也可以被扩展到包括整合s108，随之利用(集中)整合s108后的量产网络来重复本地蒸馏，直到实现满意的蒸馏为止。类似地，前面讨论的自我监督ml算法的本地更新可以包括若干个本地更新，可以周期性地(例如，每周一次、每月一次等)和/或根据本领域技术人员容易理解的网络可用性、网络需求、系统设置、用户设置等来将这些本地更新传输到中心处理系统。
63.进一步地，方法s10包括将所形成的用于运载工具中的感知模块的机器学习算法的一个或多个模型参数传输s110到多个远程运载工具。换言之，已形成/已更新的“量产网络”被推送s110给运载工具的车队。
64.在一些实施例中，量产网络和微调s104后的全局ml算法具有相同的架构。在这种情况下，微调s104后的全局ml算法可被用作量产网络的更新后版本。相应地，在一些实施例中，所传输s110的量产网络的一个或多个模型参数是一个或多个微调s104后的模型参数。
65.更进一步地，在一些实施例中，方法s100包括在所形成的用于运载工具中的感知模块的机器学习算法的一个或多个模型参数的传输s110之前，基于被注释的数据集来验证s109所形成的用于运载工具中的感知模块的机器学习算法。换言之，在“量产网络”被推出并部署在远程运载工具中以用于为该远程运载工具的ads提供感知功能之前，对“量产网络”进行验证，例如通过将所形成的“量产网络”的输出与所定义的基本事实进行比较。然而，如本领域技术人员容易理解的，量产网络的验证s109过程可以根据上下文、说明书以及其他的一般性要求被更多或更少地详尽阐述。例如，验证s109可以进一步包括在量产网络上运行全栈模拟或者甚至在多个配备有ads的运载工具中以开环进行阴影模式测试。在本上下文中，验证s109过程可以被理解为一种用于确保所形成的量产网络符合所定义的要求及操作可靠性的过程。参考上述“循环”，方法s100可以包括在集中更新后的量产网络的验
证s109及最终传输s110之前被执行多次的一个或多个内部循环(例如，自我监督ml算法的本地更新、本地蒸馏、和/或本地蒸馏及整合)。
66.图2是由运载工具中的处理系统执行的、用于对具有自动驾驶系统(ads)的运载工具的感知功能进行更新的、计算机实施的方法s200的示意性流程图表示。运载工具中的处理系统可以例如包括一个或多个处理器以及与一个或多个处理器耦接的一个或多个存储器，其中一个或多个存储器存储一个或多个程序，当由一个或以上处理器执行时，该一个或多个程序执行本文所公开的方法s200的步骤、服务和功能。术语“运载工具中的”应被理解为处理系统被提供机载在运载工具上的含义。
67.与参考图1的上述实施例相比，方法s200例示了从“运载工具侧”或者在“边缘设备”处执行的步骤或功能，即，从与中心处理系统进行通信的一个配备有ads的运载工具的角度出发。特别地，图2的流程图所示的方法s200用于从运载工具侧说明一些实施例，其中联合学习方法被用于教师网络的知识蒸馏。
68.方法s200包括从一个或多个安装于运载工具的传感器获取s201感知数据，这些安装于运载工具的传感器被配置为监视运载工具的周围环境。感知数据可以例如包括单眼相机图像、立体相机图像、雷达图像和/或激光雷达图像形式的原生传感器数据或经处理的传感器数据。应当注意，图像可以是单个图像或者是图像序列(即，视频馈送)。“从”一个或多个安装于运载工具的传感器获取s201感知数据的步骤应被理解为获取s201源自一个或多个安装于运载工具的传感器的感知数据。
69.感知数据可以例如被存储或保存在数据缓冲区(未示出)中，并且感知数据可以被理解为指示运载工具周围环境的数据。这可以例如是从第一时间点t1到第二时间点t2被连续和/或间歇地导出的原生传感器数据或经处理的传感器数据。该时间段以及相应的可选数据缓冲区的长度可以是任何被认为可行的任意大小，例如考虑到数据容量限制和/或ads的特性，可以例如在从不到一秒到几分钟的范围内，或者更优选地，在从几秒到少于一分钟的范围内。存储在数据缓冲区中的感知数据随后可被各种软件和/或硬件模块访问和检索，以用于本文所公开的目的。
70.进一步地，方法s200包括使用自我监督机器学习算法来处理所获取的感知数据，并且本地更新s202自我监督机器学习算法的一个或多个模型参数。如之前所提到的，在一些实施例中，通过操纵(例如，扣留)感知数据中包括的图像的一部分来训练自我监督机器学习算法，随之该算法被配置为重建被操纵的图像。随后将重建后的图像与原始图像进行比较以创建损失函数(成本函数)，该损失函数用于更新模型参数(例如，网络权重和/或偏差)，如本领域已知的。对图像的操纵可以例如通过掩蔽、对图像添加噪声或类似方法来执行。
71.方法s200进一步包括将自我监督机器学习算法的本地更新后的模型参数传输s203到远程实体(例如，上述的中心处理系统)。应当注意，不必在每次更新s202之后直接执行传输s203。相反，本地更新s202过程可以“循环”，并且本地更新s202后的模型参数的传输s203可以根据设置的调度(例如，每周一次、每月一次)来执行、根据来自远程实体的请求来执行、或者只要适当的通信网络连接可用就执行。此外，当运载工具在交通中进行操作时(即，在驾驶会话期间)，不需要执行本地更新s202。本地更新s202可以例如在运载工具静止(例如，停泊)时执行，以便使处理资源可被用于其他的ads功能(例如，安全关键功能)，并且
避免操作期间的处理瓶颈。在这种情况下，获取s201感知数据的步骤可以包括(临时地)存储感知数据，并且所存储的感知数据可稍后被用于对自我监督机器学习算法的一个或多个模型参数进行本地更新s202。
72.在一些实施例中，方法s200包括从远程实体接收s210自我监督ml算法的一个或多个整合后的模型参数，并且基于整合后的模型参数来更新s211自我监督ml算法。换言之，自我监督ml算法被抑制为“全局更新”，该全局更新是基于在配备有ads的运载工具的整个车队中执行的多个“本地更新”的。该自我监督ml算法的整合后的或“全局”的版本形成了新的“基线”，该基线将在方法s200的后续迭代中被本地更新s202。
73.更进一步地，方法s200包括从远程实体获取s204由自我监督机器学习算法的整合后版本形成的集中微调后的机器学习算法的一个或多个模型参数。在一些实施例中，运载工具已经可以访问一个(较旧的)版本的集中微调后的ml算法，因此该运载工具只需要接收集中微调后的ml算法的更新后参数以便获取(更新后版本的)集中微调后的ml算法。然而，在一些实施例中，集中微调后的ml算法的所有模型参数都可以从远程实体中被传输，并且被运载工具中的处理系统接收并存储。
74.集中微调后的机器学习算法可以被理解为上述的教师网络或教师模型，这些教师网络或教师模型将被用于知识蒸馏过程，该知识蒸馏过程遵循如上所述的联合学习方法。相应地，方法s200进一步包括从充当教师模型的集中微调后的机器学习算法中蒸馏s206出用于运载工具中的感知模块的机器学习算法(即，量产网络)，其中使用源自一个或多个安装于运载工具的传感器的感知数据来执行该蒸馏。如前所述，感知数据可以例如包括单眼相机图像、立体相机图像、雷达图像和/或激光雷达图像形式的原生传感器数据或经处理的传感器数据。应当注意，图像可以是单个图像或者是图像序列(即，视频馈送)。
75.在一些实施例中，与基于感知数据的自我监督ml算法的本地更新s202、本地更新后的模型参数的传输s203、整合后的模型参数的接收s210以及基于整合后的模型参数的自我监督ml算法的更新s211有关的这些步骤，在行进到微调后的自我监督ml算法的获取s204之前被循环多次。
76.方法s200进一步包括：将蒸馏s206后的机器学习算法的一个或多个模型参数传输s207到远程实体；以及从远程实体接收s208用于运载工具中的感知模块的机器学习算法的一个或多个整合后的模型参数。此外，方法s200包括基于所接收的一个或多个整合后的模型参数来更新s209用于运载工具中的感知模块的机器学习算法。换言之，教师网络从远程实体被推送到运载工具，在运载工具处，基于在运载工具中的每一个中本地生成的输入数据来进行“本地”知识蒸馏，然后这些本地蒸馏后的量产网络被集中整合，并且作为量产网络的全局更新被推送到整个车队。使用联合学习方案以进行知识蒸馏的优点在于，可以提高在知识蒸馏过程中成功包括罕见情境(边缘案例或极端案例)的概率，从而进一步提高所形成的量产网络的性能。
77.如所提到的，图3是图示出前面描述整个平台中的处理流程的示意流程图。因此，图3用于进一步阐明根据一些实施例的中心实体(有时被称为中心处理系统)与多个配备有ads的运载工具之间的合作。然而，鉴于前面已经参考图1和图2详细讨论了各种功能或步骤，为了简洁起见，将不再重复这些功能或步骤。
78.可选地，用于执行这些功能的可执行指令被包括在非暂时性计算机可读存储介质
中、或者在被配置为由一个或多个处理器执行的其他计算机程序产品中。
79.图4是根据一些实施例的用于对具有自动驾驶系统(ads)的运载工具1的感知功能进行更新的(中心)处理系统20的示意框图表示。更详细而言，图4用于通过示意性地图示出信息流和各种过程步骤，来进一步地描述与量产网络的中心知识蒸馏有关的上述实施例。处理系统10包括被配置为执行本文所公开的方法s10的功能的控制电路(例如，一个或多个处理器)，其中这些功能可以被包括在非暂时性计算机可读存储介质中或者在被配置为由控制电路执行的或其他计算机程序产品中。然而，为了更好地阐明本发明，控制电路在图4中被表示为各种“模块”或块21至24，它们中的每一个都被链接到控制电路的一个或多个特定功能。
80.与整合过程、蒸馏过程、微调过程等有关的细节已在前面详细讨论过，为了简洁起见，将不再参考图4和图5重复。假定本领域技术人员容易理解，上文中讨论的相应示例和特征类似地适用于图4和图5。
81.(中心)处理系统20能够向/从多个远程的配备有ads的运载工具1传输和接收数据。蜂窝通信技术可被用于运载工具1与中心处理系统20之间的远程通信。蜂窝无线电技术的示例包括全球移动通信系统(gsm：global system for mobile communications)、通用无线分组业务(gprs：general packet radio service)、增强型数据速率gsm演进(edge：enhanced data rate forgsmevolution)、长期演进(lte：long term evolutio n)、第五代移动通信技术(5g：5th generation mobile communication technology)、5g nr(new radio，新空口)等，还包括未来的蜂窝解决方案。
82.处理系统20从多个远程运载工具1获取自我监督机器学习算法的一个或多个本地更新后的模型参数。更详细而言，自我监督机器学习算法被“本地”部署在每个运载工具中(例如，作为运载工具ads平台的一部分)，然后可以连续地(或者如果在操作期间计算资源不可用，则至少在停泊时)摄取ads所经历的场景(图像)以进行自我监督学习。
83.如之前所提到的，运载工具1的ads采用单独的“量产网络”(参见图5中的附图标记43)以用于执行ads的各种操作任务。运载工具1自身的处理系统被配置为将感知到的场景或图像馈送到“自我监督学习引擎”(图5中的附图标记40)中，并且在适当的时间(例如，在预定的时间段、预定的驾驶次数或者预定的摄取图像张数等之后)将本地更新后的自我监督机器学习算法(或任何其他的数据，例如网络权重、网络偏差等)传输到中心处理系统20。参考图5进一步详尽阐述了运载工具侧的过程。
84.继续，处理系统包括整合引擎/模块21，其被配置为基于所接收的一个或多个本地更新后的模型参数来更新全局自我监督机器学习算法31的一个或多个模型参数。
85.换言之，当在每个运载工具1处更新自我监督机器学习算法时，本地更新后的自我监督机器学习算法和/或任何其他的数据(例如网络权重、网络偏差等)都会被传输到中心处理系统20，该中心处理系统20将这些本地更新整合到全局自我监督机器学习算法31。在一些实施例中，在整合引擎21更新了中心或全局自我监督机器学习算法31之后，处理系统20可以将该更新提供给车队中的运载工具1，使得它们的“本地”自我监督机器学习算法各自都能够使用更新后的全局或中心算法的副本。
86.此外，处理系统20具有微调引擎/模块22，其被配置为基于被注释的数据集来微调全局自我监督机器学习算法31，以便生成包括一个或多个微调后的模型参数的微调后的全
局机器学习算法。被注释的数据集可以例如被存储在微调引擎22可访问的适当的数据仓库25中。
87.微调后的全局机器学习算法随后被用于形成用于多个远程运载工具的运载工具中的感知模块43的机器学习算法32，即，它被用于形成/更新由车队中的运载工具1的ads使用的量产网络32。在一些实施例中，处理系统20具有中心蒸馏引擎/模块23，其被配置为从充当教师模型的微调后的全局机器学习算法中蒸馏出用于运载工具中的感知模块43的机器学习算法32，其中使用形式为交通情境的图像的输入数据来执行该蒸馏。输入数据可以例如被存储在中心蒸馏引擎/模块23可访问的适当的数据仓库25中。
88.在一些实施例中，随后通过被适当配置后的验证引擎/模块24来验证所形成的量产网络。更详细而言，验证引擎24被配置为将所形成的“量产网络”的输出与所定义的基本事实进行比较。然而，如本领域技术人员容易理解的，量产网络的验证过程可以根据上下文、说明书以及其他的一般性要求被更多或更少地详尽阐述。例如，该验证可以进一步包括在量产网络上运行全栈模拟，或者甚至在多个配备有ads的运载工具中以开环进行阴影模式测试。
89.然后，作为全局软件更新程序的一部分，更新并验证后的量产网络被传输到多个配备有ads的运载工具1。
90.转到图5，该图5是根据一些实施例的用于对具有自动驾驶系统(ads)的运载工具的感知功能进行更新的运载工具中的处理系统10的示意框图表示。更详细而言，图5用于通过示意性地图示出信息流和各种过程步骤，来进一步地描述与量产网络的分布式知识蒸馏有关(即，根据联合学习方案)的上述实施例。图6中还示意性地图示出了根据一些实施例的包括运载工具中的处理系统10的运载工具1的示例。
91.每个运载工具1被提供有运载工具中的处理系统20。处理系统10包括控制电路(例如，一个或多个处理器)11，其被配置为执行本文所公开的方法(s200)的功能，其中这些功能可以被包括在非暂时性计算机可读存储介质12中或者在被配置为由控制电路11执行的其他计算机程序产品中。然而，为了更好地阐述本发明，控制电路11在图5中被表示为各种“模块”或块40、43，它们中的每一个都被链接到控制电路的一个或多个特定功能。此外，运载工具中的处理系统10可以被包括在运载工具的ads平台中，或者可以作为本领域技术人员容易理解的独立模块。
92.继续，控制电路11被配置为获取源自一个或多个安装于运载工具的传感器6a至6c的感知数据50，这些安装于运载工具的传感器6a至6c被配置为监视运载工具的周围环境。感知数据可以例如以实时数据流的形式接收，或者从数据缓冲区中或至少临时存储了感知数据50的任何其他适当的数据仓库中接收。换言之，感知数据是从机载在运载工具上的源处获取的。
93.进一步地，控制电路11被配置为使用自我监督机器学习算法来处理所获取的感知数据，并且本地更新自我监督机器学习算法41的一个或多个模型参数。相应地，运载工具中的处理系统10可以包括自我监督学习引擎40，其被配置为例如通过操纵(例如，扣留)图像的一部分并指示算法41重建被操纵的图像以作为其学习过程的一部分，来训练自我监督ml算法，如前所述。随后，自我监督ml算法的本地更新后的模型参数被传输到远程实体20，在该远程实体20处，它们与来自车队中的其他的运载工具1的相应贡献整合(21a)，以形成全
access memory)、或其他随机存取固态存储器设备；并且可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备、或其他非易失性固态存储设备。
100.进一步地，运载工具1可以经由例如无线链路(例如，用于传输和接收数据)被连接到外部网络(多个)2。相同的或一些其他的无线链路可被用于与该运载工具附近的其他运载工具或与本地基础设施元件进行通信。蜂窝通信技术可被用于远程通信，例如与外部网络的通信，如果所使用的蜂窝通信技术具有低的延迟，则它也可被用于运载工具之间的通信，即运载工具到运载工具(v2v)和/或运载工具到基础设施(v2x)。蜂窝无线电技术的示例包括全球移动通信系统(gsm：global system for mobile communications)、通用无线分组业务(gprs：general packet radio service)、增强型数据速率gsm演进(edge：enhanced data rate forgsmevolution)、长期演进(lte：long term evolution)、第五代移动通信技术(5g：5th generation mobile communication technology)、5g nr(new radio，新空口)等，还包括未来的蜂窝解决方案。然而，在一些解决方案中，使用了中短程通信技术，如无线局域网(lan：local area network)等，例如基于ieee 802.11的解决方案。欧洲电信标准协会(etsi：european telecommunications standards institute)正在制定用于运载工具通信的蜂窝标准，例如，由于低延迟以及对高带宽和通信通道的高效处理，5g被认为是一种适当的解决方案。
101.总之，根据本文所公开的技术，在多个配备有ads的运载工具中的每一个中本地部署了自我监督网络。然后，这些网络可以连续地(或者如果在操作期间计算资源不可用，则至少在停泊时)摄取ads所经历的场景(图像)以进行自我监督学习。然而，对于实时操作，ads采用单独的“量产”网络，该网络仅通过“空中下载更新”(例如从中心服务器)来进行更新。更详细而言，在配备有ads的运载工具中，感知到的场景/图像被馈送到自我监督学习引擎中，并且在适当的时间(例如，在预定的时间、预定的驾驶次数或预定的摄取图像等之后)，将更新后的自我监督网络传输到中心服务器。
102.在中心服务器处，接收整个车队的本地更新后的模型，并将它们组合或整合到新更新后的全局模型中，该全局模型结合了来自所有本地模型的教导。这种方案通常被称为联合学习(fl)。该更新后的全局模型随后被用作“预训练的模型”，即，它将被训练以使用包括被注释的数据的训练数据集来形成教师模型。
103.教师模型被用于使用知识蒸馏来训练目标量产网络(学生)。这可以被理解为一个模型将其知识转移到另一个模型的过程。通常，相同的输入(例如，图像)被呈现给学生模型和教师模型，并且学生模型被训练以模拟教师模型的输出。使用这种知识蒸馏过程的优点在于，教师模型所展现出的高性能水平可以至少在某种程度上被转移到“更轻”的模型，即，需要更少的计算资源来进行操作的模型。
104.知识蒸馏可以被实施为中心过程或者以联合方式被实施为运载工具中的本地过程。这两种知识蒸馏方法都会在云中生成量产网络的候选。然后，根据验证程序对该候选进行验证和确定，并最终将其作为更新推送给车队，从而结束本文中提出的示例实施例的一个完整周期。
105.上面已经参考具体实施例介绍了本发明。然而，除上述之外的其他实施例也是可行的，并且处于本发明的范围内。在本发明的范围内可以提供与上述那些不同的、通过硬件或软件来执行该方法的方法步骤。因此，根据示例性实施例，提供了一种存储一个或多个程
序的非暂时性计算机可读存储介质，该一个或多个程序被配置为由运载工具控制系统的一个或多个处理器执行，该一个或多个程序包括用于执行根据上述任何一个实施例的方法的指令。可替代地，根据另一个示例性实施例，云计算系统可以被配置为执行本文所提出的由中心处理系统执行的任何方法。云计算系统可以包括分布式云计算资源，其在一个或多个计算机程序产品的控制下，共同地执行本文所提出的方法。
106.一般而言，计算机可访问介质可以包括任何有形的或非暂时性的储存介质或存储介质，诸如电气、磁性或光学介质(例如，经由总线被耦接到计算机系统的磁盘或cd/dvd-rom)。如本文所使用的，术语“有形的”和“非暂时性的”旨在描述不包括传播的电磁信号的计算机可读储存介质(或“存储器”)，但并不旨在以其他方式来限制物理计算机可读储存设备的类型，物理计算机可读储存设备被用语“计算机可读介质或存储器”所涵盖。例如，术语“非暂时性的计算机可读介质”或“有形的存储器”旨在涵盖不一定永久存储信息的储存设备类型，包括例如随机存取存储器(ram)。以非暂时性的形式存储在有形的计算机可访问存储介质上的程序指令和数据还可以通过传输介质或诸如电气、电磁或数字信号等信号来传输，这些信号可以通过诸如网络和/或无线链路等通信介质来传送。
107.(与处理系统10、20相关联的)处理器可以是或包括任何数量的硬件组件，该硬件组件用于进行数据或信号处理，或者用于执行存储在存储器12中的计算机代码。处理系统具有相关联的存储器，并且存储器可以是一个或多个如下设备，该设备用于存储数据和/或计算机代码，以完成或促进本说明书中所描述的各种方法。存储器可以包括易失性存储器或非易失性存存储器。存储器可以包括数据库组件、对象代码组件、脚本组件、或用于支持本描述的各种活动的任何其他类型的信息结构。根据示例性实施例，任何分布式的或本地的存储器设备都可以与本描述的系统和方法一起使用。根据示例性实施例，存储器被可通信地连接到处理器(例如，通过电路或任何其他有线、无线或网络连接)，并且包括用于执行本文所描述的一个或多个过程的计算机代码。
108.应当注意，词语“包括”不排除存在除所列那些之外的其他元件或步骤，并且在元件之前的词语“一”或“该”不排除存在多个这样的元件。还应注意，任何附图标记并不限制权利要求的范围，本发明可以至少部分地凭借硬件和软件来实现，并且若干个“装置”或“单元”可以由相同的硬件项目来表示。
109.尽管附图中可能显示了方法步骤的特定顺序，但这些步骤的顺序可以与所描绘的不同。此外，可以同时地或部分同时地执行两个或更多个步骤。这种变化将取决于所选的软件和硬件系统以及设计师的选择。所有这些变化都处于本发明的范围内。同样，软件实施可以使用具有基于规则的逻辑和其他逻辑的标准编程技术来完成，用以完成各种连接步骤、处理步骤、比较步骤和决策步骤。以上提及和描述的实施例仅作为示例给出，并且不应限制本发明。如以下描述的专利实施例中所要求保护的本发明范围内的其他解决方案、用途、目标和功能对于本领域技术人员来说应为显而易见的。

技术特征：
1.一种用于对具有自动驾驶系统(ads)的多个运载工具的感知功能进行更新的计算机实施的方法(s100)，所述方法(s100)包括：从多个远程运载工具获取(s101)自我监督机器学习算法的一个或多个本地更新后的模型参数；基于所获取的一个或多个本地更新后的模型参数来更新(s102)全局自我监督机器学习算法的一个或多个模型参数；基于被注释的数据集来微调(s104)所述全局自我监督机器学习算法，以便生成包括一个或多个微调后的模型参数的微调后的全局机器学习算法；基于所述微调后的全局机器学习算法来形成用于运载工具中的感知模块的机器学习算法；并且将所形成的用于所述运载工具中的感知模块的所述机器学习算法的一个或多个模型参数传输(s110)到所述多个远程运载工具。2.根据权利要求1所述的方法(s100)，其中，用于所述运载工具中的感知模块的所述机器学习算法的所述形成包括：从充当教师模型的所述微调后的全局机器学习算法中蒸馏(s105)出用于所述运载工具中的感知模块的机器学习算法，其中，所述蒸馏使用形式为交通情境的图像的输入数据执行。3.根据权利要求1所述的方法(s100)，其中，用于所述运载工具中的感知模块的所述机器学习算法的所述形成包括：将所述微调后的全局自我监督机器学习算法的所述微调后的模型参数传输(s106)到所述多个远程运载工具；从所述多个远程运载工具中的每个远程运载工具获取(s107)用于所述运载工具中的感知模块的所述机器学习算法的一个或多个本地蒸馏后的模型参数；并且基于所述一个或多个本地蒸馏后的模型参数的整合来形成(s108)用于所述运载工具中的感知模块的所述机器学习算法。4.根据权利要求1所述的方法(s100)，其中，用于所述运载工具中的感知模块的所述机器学习算法的所述形成包括：在所形成的用于所述运载工具中的感知模块的所述机器学习算法的所述一个或多个模型参数的传输之前，基于所述被注释的数据集来验证(s109)所形成的用于所述运载工具中的感知模块的所述机器学习算法。5.根据权利要求1至4中的任一项所述的方法(s100)，进一步包括：将所述全局自我监督机器学习算法的一个或多个更新(s102)后的模型参数传输(s103)到所述多个远程运载工具。6.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序被配置为由处理系统的一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至5中的任一项所述的方法的指令。7.一种用于对具有自动驾驶系统(ads)的运载工具(1)的感知功能进行更新的处理系统(20)，所述处理系统(20)包括控制电路，所述控制电路被配置为：从多个远程运载工具(1)获取自我监督机器学习算法(41)的一个或多个本地更新后的
模型参数；基于所获取的一个或多个本地更新后的模型参数来更新全局自我监督机器学习算法(31)的一个或多个模型参数；基于被注释的数据集(25)来微调所述全局自我监督机器学习算法，以便生成包括一个或多个微调后的模型参数的微调后的全局机器学习算法(33)；基于所述微调后的全局机器学习算法(33)来形成用于运载工具中的感知模块的机器学习算法(32)；并且将所形成的用于所述运载工具中的感知模块的所述机器学习算法(32)的一个或多个模型参数传输到所述多个远程运载工具。8.根据权利要求7所述的处理系统(20)，其中，所述控制电路被配置为通过被配置为进行以下步骤来形成用于所述运载工具中的感知模块的所述机器学习算法(32)：从充当教师模型的所述微调后的全局机器学习算法中蒸馏出用于所述运载工具中的感知模块的机器学习算法，其中，所述蒸馏使用形式为交通情境的图像的输入数据执行。9.根据权利要求7所述的处理系统(20)，其中，所述控制电路被配置为通过被配置为进行以下步骤来形成用于所述运载工具中的感知模块的所述机器学习算法(32)：将所述微调后的全局自我监督机器学习算法的所述微调后的模型参数传输到所述多个远程运载工具；从所述多个远程运载工具中的每个远程运载工具获取用于所述运载工具中的感知模块的本地机器学习算法的一个或多个本地蒸馏后的模型参数；并且基于所述一个或多个本地蒸馏后的模型参数的整合来形成用于所述运载工具中的感知模块的所述机器学习算法。10.一种远程服务器，包括根据权利要求7至9中的任一项所述的处理系统。11.一种云环境，包括根据权利要求10所述的一个或多个远程服务器。12.一种由运载工具中的处理系统执行的用于对具有自动驾驶系统(ads)的运载工具的感知功能进行更新的计算机实施的方法(s200)，所述方法包括：从一个或多个安装于运载工具的传感器获取(s201)感知数据(50)，所述一个或多个安装于运载工具的传感器被配置为监视所述运载工具的周围环境；使用自我监督机器学习算法来处理所获取的感知数据，并且本地更新(s202)所述自我监督机器学习算法的一个或多个模型参数；将所述自我监督机器学习算法的本地更新后的模型参数传输(s203)到远程实体(20)；从所述远程实体获取(s204)由所述自我监督机器学习算法的整合后版本形成的集中微调后的机器学习算法；从充当教师模型的所述集中微调后的机器学习算法(33)中蒸馏(s206)出用于运载工具中的感知模块的机器学习算法，其中，所述蒸馏使用从一个或多个安装于运载工具的传感器获取的感知数据(50)执行；将蒸馏出的所述机器学习算法的一个或多个模型参数传输(s207)到所述远程实体；从所述远程实体(20)接收(s208)用于所述运载工具中的感知模块(43)的所述机器学习算法的一个或多个整合后的模型参数；并且基于所接收的一个或多个整合后的模型参数来更新(s209)用于所述运载工具中的感
知模块(43)的所述机器学习算法。13.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序被配置为由运载工具中的处理系统的一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求12所述的方法的指令。14.一种用于对具有自动驾驶系统(ads)的运载工具的感知功能进行更新的运载工具中的处理系统(10)，所述处理系统包括控制电路(11)，所述控制电路(11)被配置为：从一个或多个安装于运载工具的传感器获取感知数据(50)，所述一个或多个安装于运载工具的传感器被配置为监视所述运载工具的周围环境；使用自我监督机器学习算法来处理所获取的感知数据，并且本地更新所述自我监督机器学习算法的一个或多个模型参数；将所述自我监督机器学习算法的本地更新后的模型参数传输到远程实体(20)；从所述远程实体获取由所述自我监督机器学习算法的整合后版本形成的集中微调后的机器学习算法；从充当教师模型的所述集中微调后的机器学习算法(33)中蒸馏出用于运载工具中的感知模块的机器学习算法，其中，所述蒸馏使用从一个或多个安装于运载工具的传感器获取的感知数据(50)执行；将蒸馏出的所述机器学习算法的一个或多个模型参数传输到所述远程实体；从所述远程实体(20)接收用于所述运载工具中的感知模块(43)的所述机器学习算法的一个或多个整合后的模型参数；并且基于所接收的一个或多个整合后的模型参数来更新用于所述运载工具中的感知模块(43)的所述机器学习算法。15.一种运载工具(1)，包括：自动驾驶系统(ads)；根据权利要求14所述的运载工具中的处理系统(10)。

技术总结
本发明涉及自动驾驶系统中的自我监督网络的联合学习的系统和方法。公开了用于更新具有ADS的运载工具的感知功能的方法，包括：从多个远程运载工具获取自我监督机器学习算法的一个或多个本地更新后的模型参数；以及基于所获取的一个或多个本地更新后的模型参数来更新全局自我监督机器学习算法的一个或多个模型参数。方法还包括：基于被注释的数据集来微调全局自我监督机器学习算法，以便生成包括一个或多个微调后的模型参数的微调后的全局机器学习算法。方法还包括：基于微调后的全局机器学习算法形成用于运载工具中的感知模块的机器学习算法；和将所形成的用于运载工具中的感知模块的机器学习算法的一个或多个模型参数传输到多个远程运载工具。数传输到多个远程运载工具。数传输到多个远程运载工具。


技术研发人员：芒努斯
受保护的技术使用者：哲晰公司
技术研发日：2023.03.15
技术公布日：2023/9/20