车辆相关图像的定制的制作方法

1.本发明涉及车辆相关图像的定制。


背景技术：

2.在近来的车辆中，可以使用所谓的“智能后视镜”。智能后视镜可以提供连接的摄像头视图。例如，车辆的后摄像头可以在特殊驾驶情况下获得后方图像。然后，这些图像可以在“智能后视镜”的显示屏上显示。换句话说，“智能后视镜”可以取代现有的玻璃后视镜来充当数字后视镜。
3.cn109461131a公开了一种显示车辆周围的后视的后视镜。图像控制单元用于处理来自后视摄像头的图像，以便调整诸如图像失真和屏幕亮度的参数。卷积神经网络基于训练图像进行训练以实现去模糊模型，去模糊模型应用于由后视镜摄像头在使用期间获得的图像，以服务于“恶劣天气”条件。
4.cn111409555a也公开了一种后视镜。如果质量筛选单元判断获得的图像的图像分辨率和信噪比低于阈值，则质量转换单元的数字信号处理器处理由摄像头获得的车辆周围的“低质量”后视镜图像以获得高质量的图像。质量筛选单元在这方面应用深度学习生成对抗网络。生成式对抗网络的训练是基于“高质量”和“低质量”图像执行的，从而调整生成式对抗性网络的生成器。
5.us11017506b2公开了一种利用卷积神经网络的滤波器来增强图像质量的方法，卷积神经网络是生成式对抗网络(gan)的组成部分。图像增强模块包括至少一个经过训练的卷积神经网络，以基于对象基础上的图像的至少一个子集来调整图像质量。
6.us11042758b2公开了一种可变自动编码器gan，用以根据通过车辆传感装置获得的基础合成图像生成多个域自适应合成图像。gan被训练为通过适应天气和亮度特性来适应来自第一域的基础合成图像，以考虑到不同的第二域。可选地，指定根据哪个域来适配基本合成图像的相应域的用户输入可以包括在该过程中。
7.然而，现有的“智能后视镜”可能受到限制，例如，在图像定制和连接方面也受到限制。此外，准备使用基础神经网络的训练程序复杂且效率低下。


技术实现要素：

8.本公开总体涉及车辆相关图像的驾驶员辅助图像定制的方法、数据处理设备、计算机程序、计算机可读介质和车辆。
9.本公开的一些方面与方法有关，其他方面与相应的设备有关。然而，这些方面或特征可以相应地彼此应用。
10.本文公开的某些实施例的概述如下。应当理解，呈现这些方面仅仅是为了提供这些实施例的简要概述，并且这些方面不旨在限制本公开的范围。本公开可以包含以下可能未阐述的各种方面。
11.根据一方面，提供了一种用于车辆相关图像的驾驶员辅助图像定制的方法。该方
法至少包括以下步骤：
12.s1利用车辆的至少一个感测设备获得要定制的输入图像；
13.s2利用车辆的至少一个人机界面或与其连接的人机界面接收确定要执行的至少一个定制方案的输入，
14.s3使用车辆的应用人工智能的至少一个数据处理设备根据至少一个定制方案将输入图像变换成由至少一个数据处理设备提供的变换后的输出图像；以及
15.s4利用车辆的至少一个智能后视镜或连接到至少一个数据处理设备的移动设备输出变换后的输出图像。
16.至少一个定制方案包括一种或多种不同的适应模式。
17.根据本方法，用户可以指定将使用哪个特定的定制方案来个性化输入图像。因此，与现有方法相比，可用的定制范围大大增强。因此，用户能够根据需要使用车辆。此外，鉴于所选择的定制方案，本方法允许相应地调整变换过程。例如，用户可以指定要执行的可用的第一适应模式。然后，变换过程直接反映所选择的适应模式。随后，相同或不同的用户可以指定要执行的不同的适应模式。在这种情况下，将相应地修改变换过程。因此，本方法提供了一种在根据需要调整变换过程的同时加强用户与其车辆之间的关系的途径。
18.在当前上下文中，可以考虑定制来描述根据用户的请求对图像的显示的特定属性的修改。
19.在当前上下文中，人机界面可以被视为允许至少一个数据处理设备与用户交互的设备。人机界面可以是单通道、双通道或多通道界面。因此，在第一配置中，可以仅接收用户输入，而在其他配置中，也可以在人机界面处输出输出数据或信息(例如输出图像)。
20.在当前上下文中，可以考虑定制方案来反映用户指定的配置，根据该配置可以定制输入图像。该配置可以定义用户期望的在变换后的输出图像中出现或包括(嵌入或覆盖)的某些属性。定制方案可以包括用户期望出现或包括在变换后的输出图像内的单个或多个不同方面。
21.在当前上下文中，适应模式可以被视为图像配置，即图像像素的配置或规格，其中，变换后的输出图像预计将根据适应模式出现。作为示例，第一适应模式可以被认为是黑/白模式。因此，用户期望变换后的输出图像仅显示黑色和白色。另一示例包括可以是灰度图像的第二适应模式。因此，第二适应模式可以被认为反映了一种配置，变换后的输出图像根据该配置以灰度颜色显示。
22.鉴于适应模式，特定的定制方案还可以包括在单个配置中组合的不同适应模式的组合。换言之，定制方案确定变换后的输出图像预期包括的适应模式的特定的组合或配置。
23.在当前上下文中，人工智能可以描述基于软件或硬件的模仿智能行为的过程。例如，人工智能可以包括优化和机器学习。因而，至少一个数据处理设备可以被配置为执行人工智能过程。至少一个数据处理设备还可以包括额外的硬件组件以实时使用机器学习算法。换句话说，基于计算机程序(软件)或硬件的系统可以包括指令，从而模仿智能行为。基于人工智能，对输入图像进行变换，并且提供变换后的输出图像。通常，可以使用至少一个深度神经网络来实现人工智能。
24.深度神经网络由大量分层组织的连接的神经元组成。深度神经网络允许从训练示例中自动学习特征。在这方面，如果神经网络具有输入和输出层以及至少一个隐藏的中间
层，那么它被认为是“深”的。每个节点都是根据来自前一层中多个节点的加权输入来计算的。换句话说，在学习期间，算法遵循描述深度神经网络的机制的随机初始化策略。所有神经元的权重可以被认为表示神经网络的从输入状态(这里是输入图像)到输出状态(这里考虑到至少一个定制方案的变换后的输出图像)的特定的映射策略。
25.在当前上下文中，智能后视镜可以被视为位于车辆中或与其连接的嵌入式系统。智能后视镜可以取代实际的后视镜。例如，常规上包括基于玻璃的反射器的内后视镜或侧视镜可以被智能后视镜代替。通常，智能后视镜可以包括显示变换后的输出图像的显示器或不同的设备(例如投影设备)。
26.至少一个数据处理设备可以连接到或包括能够与与通信设备连接的移动设备通信的通信设备。
27.可选地，多个不同的适应模式包括清晰度适应模式、亮度适应模式、天气类型适应模式、人像适应模式、漫画适应模式和颜色适应模式中的至少一种。
28.在当前上下文中，清晰度适应模式可以被视为对输入图像中包括的对象的清晰度的调整。例如，对象可以显示为具有模糊的轮廓。然后可以选择清晰度适应模式，使得模糊轮廓变为更好地反映真实世界对象轮廓的清晰的轮廓。因此，对象可以在变换后的输出图像内更容易识别。
29.在当前上下文中，亮度适应模式可以被视为相对于输入图像在变换后的输出图像内的亮度调整。例如，输入图像可以显示在夜间获得的景象，因此可以包括相对较暗的部分。通过选择亮度适应模式，变换后的输出图像然后可以替代地显示包括相对明亮的颜色的白天景象。因此，用户可以更容易识别图像的各个方面。
30.天气类型适应模式可以被视为有关特定的天气相关的伪影(如雨滴、雨夹雪、冰雹、雪花和/或雾)的调整机制。天气类型适应模式可以被配置为从输入图像中去除这些伪影。晴天的景象可以替代地显示在变换后的输出图像内。因此，变换后的输出图像可以在显示的景象内显示出大大减少的不规则性。
31.人像适应模式可以表示对输入图像中包括的景象的总体布局的调整。可以调整景象，使得在变换后的输出图像内替代地显示人像类图像。
32.漫画适应模式可以被视为一种变换，根据该变换，输入图像中包括的真实世界的景象被变换为在变换后的输出图像中具有漫画般的景象。例如，如果儿童在场，则用户可以选择漫画适应模式。因此，可以增强变换后的输出图像的娱乐特性。
33.颜色适应模式可以被视为当将输入图像变换为变换后的输出图像时要使用的特定颜色方案。例如，如果用户具有红绿色弱，则可以相应地调整颜色。在变换后的输出图像内，然后可以省略同时包含绿色和红色色调。
34.通常，所有适应模式都可以包括各种子模式。例如，颜色适应模式可以包括黑/白模式以及红绿色弱模式。此外，亮度适应模式可以包括不同的模式，每个模式在变换后的输出图像内产生不同的亮度水平。
35.然后，特定的定制方案可以包括单个适应模式或当将输入图像变换为变换后的输出图像时要考虑的多个适应模式的组合。
36.优选地，至少一个数据处理设备包括多个生成式对抗网络(gan)。多个gan中的至少一个gan被分配给多个不同的适应模式中的每一个。
37.在当前上下文中，gan可以被认为是使用至少两个神经网络的基于算法软件或基于硬件的架构。神经网络相互竞争生成新的合成的数据实例。在训练阶段，神经网络的基础映射策略被调整，直到合成的数据可以被看作真实的数据。
38.由于不同的适应模式需要考虑对变换过程进行特定的修改，因此将单个gan分配给每个不同的适应模式。因此，考虑到从人机界面接收的特定的定制方案中包括的适应模式，精确地调整输入图像到变换后的输出图像的变换过程的所需修改。因此，根据已知的方法改进了图像到图像的变换，其中仅提供单个gan来服务于所有不同类型的图像到图像变换。
39.可选地，至少一个数据处理设备连接到服务器设备。每个gan可以包括至少两个神经网络。然后，至少一个数据处理设备可以从服务器接收至少一个操作映射策略，操作映射策略包括要应用的至少个gan的至少一个神经网络中包括的神经元的权重。换句话说，包括在车辆内的gan无需单独使用该车辆进行训练。相反，例如，可以从服务器上的集中实例接收描述在gan的使用阶段期间要使用的神经网络内包括的神经元的权重的相应操作映射策略。因此，可以省略相应车辆的gan的训练。
40.可以至少基于以下步骤确定操作映射策略：
41.s0-1提供至少一个训练图像作为相应gan的生成器的输入，其中生成器包括第一神经网络；
42.s0-2使用生成器，基于分配给生成器的生成器映射策略，生成与至少一个训练图像相关的至少一个伪图像作为输出；
43.s0-3提供至少一个训练图像和与其相关的至少一个伪图像作为对相应gan的鉴别器的输入，其中鉴别器包括第二神经网络；以及
44.s0-4考虑到至少一个训练图像和与其相关的至少一个伪图像，使用鉴别器确定置信水平矩阵作为输出，其中置信水平矩阵确定至少一个训练图像和至少一个伪图像的相应图像是否被认为是真实的。
45.在重复步骤s0-1至s0-4时，根据其中包括的单个权重的水平来调整生成器映射策略，至少直到置信水平矩阵包括等于或超过置信水平阈值的(个体)置信水平。至少一个操作映射策略至少包括如此调整的生成器映射策略。
46.操作映射策略可以被视为表示相应gan的训练阶段的结果。特别地，操作映射策略确定包括在相应gan的神经网络内的神经元的权重，以在训练后使用。
47.训练阶段可以被认为是表示调整基础神经网络的神经元的权重的阶段，从而生成器生成更真实的合成的数据实例，并且对于鉴别器来说，从一个周期到另一个周期，决定哪个数据实例(原始输入数据或伪数据)是真实的更具挑战性。
48.更详细地，鉴于输入图像，生成器使用gan的第一神经网络生成新的合成的数据实例。gan的鉴别器包括第二神经网络。鉴别器评估原始数据和新的合成的数据实例的真实性。换句话说，鉴别器决定它认为原始数据和新的合成的数据的哪个实例是真实的。基于鉴别器的决策过程，在后续循环之间调整生成器映射策略。然后，在随后的周期内，生成器可以潜在地创建新的合成的图像，因为调整后的生成器映射策略使得生成器能够生成甚至更真实的伪图像，所以新的合成的图像的评估对鉴别器来说更具挑战性。
49.例如，在第一周期期间，生成器生成的合成的图像可能质量相对较差。因此，由鉴
别器确定的置信水平矩阵可以指定输入图像被认为在90％的概率下是真实的，并且合成的图像(由生成器生成)被认为在10％的概率下真实。结果，可以为后续步骤调整生成器映射策略中包括的神经元的权重。在随后的周期中，合成的图像可能更真实，导致80％与20％概率的修改的置信水平。经过多次重复，该过程可用于调整生成器映射策略，直到鉴别器确定等于或高于某个阈值的置信水平。例如，如果鉴别器确定两个数据实例(原始数据和伪数据)在50％的概率下都是真实的，这可以意味着鉴别器不再能够区分真实图像和伪图像。这对应于生成器能够生成如此真实的合成的图像，使得它们不再与实际原始图像区分开来。因此，生成器被优化以创建最真实的图像，即鉴别器无法容易识别的图像。该训练过程产生适合于使用阶段的生成器映射策略，例如，在诸如智能后视镜的显示器中使用。因此，如果由鉴别器确定的置信水平等于或超过置信水平阈值，那么如此调整的生成器映射策略被认为表示由服务器设备提供给相应gan以供使用的操作映射策略的至少一部分。
50.在当前上下文中，置信水平阈值不一定代表单个数字。相反，置信水平阈值还可以根据包括与要由鉴别器评估的图像相对应的条目的阈值矩阵包括不同的数字。此外，对于不同的gan，置信水平阈值对于不同的训练过程可以是不同的。
51.服务器设备还允许应用分布式训练程序。换句话说，可以由包括具有gan的数据处理设备的多个车辆同时执行相应gan的训练。因此，不是基于单个gan进行训练阶段，而是基于不同车辆(例如，在车辆的“车队”中)中包括的多个gan进行训练阶段。这也可以称为云训练。因此，可以在更短的时间内获得更复杂的结果。此外，也可以在使用相应gan期间连续地执行训练。这可能导致由服务器设备分发的甚至更复杂的操作映射策略。
52.可以使用来自源域(输入图像)和目标域(变换后的输出图像)的图像的集合以无监督的方式训练gan。源域和目标域不需要以任何方式关联。例如，gan用于将夜间图像变换为白天图像，将雨天图像变换为晴天图像，以及将模糊图像变换为更清晰的图像。相应地收集相应的源域图像和目标域图像。
53.可选地，至少一个感测设备包括视觉光谱摄像机、深度摄像机、红外摄像机、立体摄像机和光检测和测距(lidar)设备中的至少一个。这些是目前用于感测车辆周围环境的典型设备。至少一个感测设备可以位于车辆的具有驾驶员对不可见点的必要视野的任何位置。此外，现有的图像传感器(例如泊车摄像机、360度摄像机和其他驾驶辅助功能摄像机)可以重新用于捕捉图像，因此也可以是至少一个感测设备的一部分。当然，考虑多个感测设备也可以获得输入图像。在这种情况下，可以组合相应的多个感测设备的数据以建立单个输入图像。
54.至少一个人机界面可以包括车辆的智能后视镜和/或车辆的多媒体设备和/或连接到车辆的至少一个数据处理设备或连接到与车辆的至少一个数据处理设备连接的服务器设备的移动设备中的至少一个。因此，为用户提供了多个实例来指定特定的定制方案。例如，车辆可以包括网络通信标准，例如车辆的附加乘客的移动设备可以连接到该网络通信标准并且输入特定的定制方案。因此，连通性大大增强。
55.可选地或累积地，至少一个人机界面还可以配置为使得用户可以根据本方法关闭/打开图像变换模式。
56.在一些实施例中，车辆的至少一个智能后视镜具有至少一个显示器，并且包括车辆的多媒体设备、车辆的数字天窗和连接到车辆的至少一个数据处理设备或连接到与车辆
的至少一个数据处理设备连接的服务器设备的移动设备中的至少一种。因此，变换后的输出图像可以在几个不同的情况下显示。因此，进一步增强定制。变换后的输出图像可以示例性地在移动设备处输出，例如包括位于车辆后部的用于儿童的漫画适应模式的移动电话或平板电脑。
57.可选地，通过至少一个人机界面处的一个或多个输入来确定多个定制方案。然后可以根据多个定制方案来变换输入图像。例如，移动设备可以用于根据第一定制方案(例如，位于车辆后部的用于儿童的漫画适应模式)输出变换后的输出图像。此外，可以根据包括驾驶员的亮度适应模式和天气类型适应模式的不同的定制方案，在用作后视镜的智能后视镜处输出变换后的输出图像。换句话说，根据车辆乘客的各自需求提供定制。
58.适应模式还可以包括设备状态适应模式。然后，至少一个智能后视镜可以连接到车辆的至少一个控制设备，并且适于接收其控制器局域网(can)数据。如果在至少一个人机界面处接收的至少一个定制方案中至少包括设备状态适应模式，则至少一个智能后视镜可以被配置为包括嵌入或覆盖有输出的变换后的输出图像的设备状态信息。设备状态信息可以基于接收到的can数据。车辆的控制设备可以被认为是控制车辆的电气和电子辅助设备的中央控制单元。接收到的can数据可直接包含在智能后视镜中。在这方面，智能后视镜可以包括在这方面相应配置的数据处理设备。因此，变换后的输出图像可以在另一方面(即关于基础车辆的状态的方面)被定制。例如，在燃料或能量水平低的情况下，变换后的输出图像还可以包括这方面的指示，例如红色边缘部分。换言之，变换后的输出图像不仅需要从美学角度表示输入图像，还可以包括描述关于车辆的状态的附加信息的特定部分。因此，变换后的输出图像在各种情况下更好地帮助驾驶员。
59.在一些实施例中，适应模式还包括设备状态适应模式。至少一个数据处理设备可以连接到车辆的至少一个控制设备，并且适于接收其can数据。如果在至少一个人机界面处接收的至少一个定制方案中至少包括设备状态适应模式，则至少一个数据处理设备可以被配置为在变换后的输出图像内包括设备状态信息。设备状态信息可以基于接收到的can数据。换句话说，can数据不需要包含在智能后视镜中，但也可以包含在数据处理设备本身中。如果智能后视镜用基于can数据的特定的特征覆盖变换后的输出图像，则数据处理设备可替代地将特定的特征嵌入变换过程中。
60.上述方法的至少步骤s3可以由计算机实现。优选地，步骤s0-1至s0-4也由计算机实现。
61.根据另一方面，提供了一种数据处理设备，包括用于执行上述方法的至少步骤s3的装置。
62.根据另一方面，提供了一种计算机程序。计算机程序包括指令，当计算机执行该程序时，该指令使计算机执行上述方法的至少步骤s3。
63.根据又一方面，提供了一种包括指令的计算机可读介质，当由计算机执行时，该指令使计算机执行上述方法的至少步骤s3。
64.根据另一方面，提供了一种车辆，其包括至少一个感测设备、车辆的至少一个人机界面或与其连接的人机界面、至少一个应用人工智能的数据处理设备以及至少一个连接到至少一个数据处理设备的智能后视镜或移动设备。至少一个感测设备被配置为获得要定制的输入图像。至少一个人机界面被配置为接收确定要执行的至少一个定制方案的输入。至
少一个定制方案包括多个不同的适应模式。至少一个数据处理设备被配置为根据至少一个定制方案将输入图像变换成变换后的输出图像，并且将变换后的输出图像提供给智能后视镜或移动设备。智能后视镜或移动设备被配置为输出变换后的输出图像。
65.这种如此设计的车辆提供了更高程度的定制，同时增强了驾驶员辅助功能。
66.关于各个方面解释的所有特征可以单独组合或与其他方面(子)组合。
附图说明
67.所要求保护的主题的上述方面和进一步的优点将变得更容易理解，因为当结合附图时，通过参考以下详细描述可以更好地理解上述方面和优点。在附图中：
68.图1是车辆的示意图；
69.图2是硬件组件的示意图；
70.图3是方法的示意图；
71.图4是系统的示意性活动图；
72.图5是变换之前和之后的示例性图像的示意图；
73.图6是gan的训练方法的示意图；
74.图7是gan算法的示意图。
具体实施方式
75.下面结合附图给出的详细描述(其中相同的附图标记表示相同的元件)旨在作为所公开主题的各种实施例的描述，而不旨在表示唯一的实施例。本发明中描述的每个实施例仅作为示例或说明而提供，不应被解释为优于或优越于其他实施例。本文提供的说明性示例不旨在穷尽或将所要求保护的主题限制为所公开的精确形式。对所描述的实施例的各种修改对于本领域技术人员来说将是显而易见的，并且在不脱离所描述实施例的精神和范围的情况下，本文定义的一般原理可以应用于其他实施例和应用。因此，所描述的实施例不限于所示的实施例，而是要符合与本文公开的原理和特征一致的最宽范围。
76.下文中关于示例实施例和/或附图公开的所有特征可以单独或以任何子组合与本公开的方面的特征组合，包括其优选实施例的特征，前提是所得到的特征组合对于本领域技术人员来说是合理的。
77.为了本发明的目的，短语“a、b和c中的至少一个”例如意味着(a)、(b)、(c)、(a和b)，(a和c)，(b和c)或(a、b和c)，包括当列出多于三个元素时的所有其他可能的排列。换句话说，术语“a和b中的至少一个”通常指“a和/或b”，即单独“a”、单独“b”或“a和b”。
78.图1是车辆10的示意图。根据该实施例，车辆10包括若干感测设备12a至12c。特别地，车辆10包括获取相对于车辆10的驾驶员的死角的图像的第一、第二和第三摄像机。
79.车辆10还包括连接到感测设备12a至12c的数据处理设备14。数据处理设备14应用人工智能。
80.此外，车辆10包括人机界面16。例如，人机界面16可以包括车辆10的多媒体设备。经由人机界面16，用户可以指定特定输入以定义期望的定制方案。
81.可选地，以下描述的方法也可以包括在存储在计算机可读介质18上的计算机程序17中。计算机可读介质18可以连接到数据处理设备14。然后，程序代码可以由包括在车辆10
内的数据处理设备14执行。
82.此外，车辆10包括第一、第二和第三智能后视镜20a至20c。智能后视镜20a至20c耦合到车辆的数据处理设备14。智能后视镜20a至20c各自包括可以用于输出由数据处理设备14变换的图像的显示器。
83.图2是硬件组件的示意图。根据该实施例，车辆10还包括附加的电子控制单元(ecu)22。ecu 22被配置为调节车辆10的附加辅助装置(例如燃料液位计和速度感测设备)并与之通信。ecu 22还被配置为向智能后视镜20a至20c提供确定车辆10的特定特性(例如当前速度)的can数据。在不同的实施例中，can数据也可以从ecu 22提供给数据处理设备14。
84.如图所示，由感测设备12a至12c获取的图像作为输入图像提供给数据处理设备14。经由人机界面16，数据处理设备14从操作员接收指定特定的定制方案的输入，根据特定的定制方案，使用人工智能(ai)能力来变换输入图像。在变换之后，变换后的输出图像从数据处理设备14被提供给智能后视镜20a至20c，在智能后视镜20a至20c中，它们被输出并且为驾驶员提供车辆10的更好地控制和定制。
85.根据本实施例，数据处理设备14还包括通信设备24。经由通信设备24，数据处理设备14可以与服务器设备26通信。例如，这种通信可以是使用移动网络和/或wi-fi标准的无线通信。因此，变换后的输出图像也可以由服务器设备26提供给与其连接的移动设备28。因此，变换后的输出图像不仅可以在智能后视镜20a至20c处显示，而且可以在移动设备28处显示。因此，车辆10内(例如位于车辆10的后部)的其他乘客可以通过他们的移动电话或平板电脑观看变换后的输出图像。
86.虽然在本实施例中未示出，但数据处理设备14和移动设备28之间的通信可以是双向的。这意味着，如果进行了特定输入，则移动设备28也可以用于指定定制方案。
87.图3是用于车辆相关图像的驾驶员辅助图像定制的方法30的示意图。可选方面用虚线显示。
88.在步骤32中，用车辆10的至少一个感测设备12获得待定制的输入图像。
89.在步骤34中，用车辆10的至少一个人机界面16或与其连接的人机界面16接收确定要执行的至少一个定制方案的输入。至少一个定制方案包括多个不同的适应模式。
90.在步骤36中，使用车辆10的应用人工智能的至少一个数据处理设备14，根据至少一个定制方案将输入图像变换为变换后的输出图像。变换后的输出图像由至少一个数据处理设备14提供。
91.在步骤38中，用车辆10的至少一个智能后视镜20或连接到至少一个数据处理设备14的移动设备28输出变换后的输出图像。
92.可选地，数据处理设备14可以包括多个生成的对抗网络(gan)40a至40c。鉴于可以包括在定制方案中的多个适应模式，向每个适应模式分配单独的gan 40a至40c。由于不同的适应模式决定了要进行的输入图像的变换的类型，因此如果考虑到不同的适应模式来适应变换，则变换质量得到改善。由于每个gan 40a至40c包括单独的发电机，所以使用多个gan 40b至40c允许根据不同的需要调整这些发电机。例如，可以训练第一gan 40a的生成器，使得输入图像被变换以避免在变换后的输出图像内的天气伪影。相比之下，可以训练不同的gan 40b的生成器，使得输入图像在变换后的输出图像内被变换成漫画般的美学风景。
由于这些变换需要不同的变换过程，与单个gan的单个生成器相比，不同的gan 40a至40c的不同训练的生成器可以更好地适应各种变换过程的相应需要。
93.图4是根据示例的车辆10的基础系统的示意性活动或过程图42。
94.在开始44之后，移动设备28在步骤46检查经过训练的神经网络是否作为数据处理设备14的一部分存在。
95.如果作为数据处理设备14的生成的对抗网络(gan)的一部分的经过训练的神经网络不存在，则在步骤48中，在服务器设备26的监督下训练至少一个(或多个)gan。
96.一旦训练过程完成，在步骤50中，服务器设备26将训练过程的描述gan的基础神经网络的神经元的权重的结果发送到数据处理设备14。
97.在步骤52中，训练结果存储在与服务器设备26连接的数据存储设备中，其中训练结果根据潜在可用的定制方案的可用适应模式描述了要使用的神经元的权重。换句话说，考虑特定适应模式的gan来执行训练。在步骤52中，为已经完成训练的那些适应模式的那些训练过程存储设置。如果考虑到特定的适应模式，训练还没有完成，则显然在步骤52不能存储设置。换句话说，在步骤52中，通过与服务器设备26存储的那些训练结果来确定适应模式的可用范围。
98.如果存在作为数据处理设备14的gan的一部分的经过训练的神经网络，则移动设备28在步骤54检查是否存在关于经过训练的神经网络的可用的配置的特定设置。这意味着在步骤54中，移动设备28依赖于适应模式的可用范围来检查可用的定制方案。在这方面，在步骤54中，移动设备28可以可选地从服务器设备26接收可用的定制方案的范围。
99.一旦完成了关于gan的神经网络的训练过程，或者一旦知道了描述神经网络神经元的权重的各个训练的参数，数据处理设备14就在步骤56中从服务器设备26接收这些参数。
100.此外，在步骤58中，数据处理设备14接收由至少一个感测设备12收集的输入图像。
101.可选地，在步骤60中，数据处理设备14还接收描述车辆10的特性的车辆10的ecu 22的can数据。
102.在步骤62中，服务器设备26将关于经过训练的神经网络的可用的配置的设置发送到数据处理设备14，经过训练的神经网络描述了新的网络的神经元的权重以及指定的定制方案。
103.在步骤64中，数据处理设备14启用设置。
104.根据本实施例，在步骤66中，数据处理设备14基于在步骤58中接收的输入图像和在步骤60中接收的can数据来实现图像变换。在步骤66中的图像变换表示用户未指定定制方案的情况。尽管没有输入定制方案，但是数据处理设备14可以自动地将输入图像变换成变换后的输出图像，并且基于can数据包括(嵌入)特定的信息。
105.可选地或附加地，数据处理设备14与移动设备28通信，以请求用户在步骤68中通过在移动设备28处执行的用户输入来选择特定的定制方案。
106.如果在步骤68中选择了包括至少一个或多个适应模式的这种定制方案，则在步骤70中，由数据处理设备14相应地调整图像变换过程。基于使用gan的相应设置的经调整的图像变换过程，还考虑指定的定制方案来生成变换后的输出图像。
107.在步骤72中，至少一个智能后视镜20从数据处理设备14接收在步骤66和/或步骤
70中已经生成的变换后的输出图像。在这方面，可以执行确定要使用的变换后的输出图像的选择器71。例如，如果用户在步骤68中已经指定了特定的定制方案，则可以选择在步骤70中生成的变换后的输出图像。如果用户尚未输入特定的定制方案，则可以替代地选择在步骤66中生成的变换后的输出图像。
108.在步骤74中，使用显示设备，至少一个智能后视镜20输出所接收的变换后的输出图像。
109.应当理解，活动图42只是示例性的，本领域技术人员可以进行修改。例如，变换后的输出图像也可以替代地或附加地与移动设备28一起输出。此外，智能后视镜20还能够接收用户输入以选择定制方案。
110.使用本文描述的方法30的变换过程可实质上影响输入图像。图5是变换前和变换后的示例图像的示意图。左图像76表示由感测设备12的在没有任何图像变换的情况下获取的示例性图像。换言之，如果不应用本方法30，并且从至少一个感测设备12接收的获取的图像直接显示在智能后视镜20上，则这样的图像76可能显示黑暗、多云和模糊的景象。
111.相反，通过应用方法30，图像变换可以产生更清晰的图像。这里，右侧图像78示例性地表示已经相应地变换的图像。右侧变换的图像78呈现了具有改善的清晰度并且基本上省略了任何与天气相关的伪影的晴朗景象。因此，向驾驶员或用户提供了更清晰的图像，并且能够相应地定制车辆10的记录。
112.图6是gan的训练方法80的示意图。鉴于每个不同的适应模式，单独的gan被训练并且包括在数据处理设备14内。gan可以是基于软件和/或硬件的。
113.在步骤82中，提供至少一个训练图像作为相应gan的生成器的输入。生成器包括gan的第一神经网络。
114.在步骤84中，基于分配给生成器的生成器映射策略，使用生成器生成与至少一个训练图像相关的至少一个伪图像。生成器映射策略描述了在生成至少一个伪图像期间生成器的基础神经网络的神经元的权重。
115.在步骤86中，将至少一个训练图像和与其相关的至少一个伪图像作为输入提供给相应的gan的鉴别器。鉴别器包括gan的第二神经网络。
116.在步骤88中，使用鉴别器确定针对至少一个训练图像和与其相关的至少一个伪图像的置信水平矩阵。置信水平矩阵确定至少一个训练图像和至少一个伪图像的相应图像是否被认为是真实的。
117.执行步骤82至88的若干重复90。在重复90之后，在步骤92中调整生成器映射策略。这意味着在步骤92中，考虑到在重复90时包括在其中的个体权重水平来调整生成器映射策略，至少直到置信水平矩阵包括等于或超过置信水平阈值的个体置信水平。换言之，鉴于与伪图像相关的原始输入图像，更难以评估其真实性，调整生成器映射策略使得生成器生成更真实的伪图像。目标是调整生成器，使得与原始输入(训练)图像相比，伪图像在同等概率下被认为是真实的。然后，优化生成器以生成真实的伪图像。
118.一旦置信水平矩阵在步骤94中包括等于或超过置信水平阈值的个体置信水平，则在步骤96中确定操作映射策略，至少包括如此调整的生成器映射策略。该操作映射策略可以被认为表示在使用期间针对各个gan使用的参数。在活动图42的步骤56中，数据处理设备14接收包括描述相应的gan的神经网络的神经元的权重的训练的参数的操作映射策略。
119.图7是根据示例的gan算法98的示意图。
120.gan算法98的生成器100接收随机向量102并且生成伪图像。这些伪图像被提供给鉴别器104。根据该示例，鉴别器104还接收使用至少一个感测设备12获取的输入图像106。
121.在步骤108中，鉴别器104将接收到的伪图像和输入图像106分类为真实的或假的。换句话说，鉴别器评估所接收图像的真实性。基于关于真实性的发现，在循环的重复110时调整生成器映射策略。可选地，描述评估所接收的图像的真实性的过程的鉴别器映射策略也可以在重复112时进行调整。
122.一旦达到或超过置信水平阈值，生成器映射策略已被充分调整。因此，可以认为训练程序已经完成。如此调整的生成器映射策略可用于在gan算法98的“现场”使用阶段期间在步骤114中生成变换后的输出图像。
123.本文公开的某些实施例，特别是相应的模块或设备，利用电路(例如，一个或多个电路)来实现本文公开的标准、协议、方法或技术，可操作地连接两个或更多个组件，生成信息、处理信息、分析信息、生成信号、编码/解码信号、变换信号、发送和/或接收信号，控制其他设备等。可以使用任何类型的电路。
124.在实施例中，诸如包括在数据处理设备中的电路系统除了其他之外包括一个或多个计算设备，例如处理器(例如微处理器)、中央处理单元(cpu)、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、片上系统(soc)等，或其任何组合，以及可以包括分立的数字或模拟电路元件或电子器件或其组合。在实施例中，电路系统包括硬件电路实现(例如，模拟电路实现、数字电路实现等，以及其组合)。
125.在实施例中，电路系统包括电路和具有存储在一个或多个计算机可读存储器上的软件或固件指令的计算机程序产品的组合，其一起工作以使设备执行本文描述的一个或多个协议、方法或技术。在实施例中，电路系统包括需要软件、固件等操作的电路，例如微处理器或微处理器的部分。在实施例中，电路系统包括一个或多个处理器或其部分以及伴随的软件、固件、硬件等。
126.本技术可以引用数量和数字。除非特别说明，否则这些数量和数字不应被视为限制性的，而是与本技术相关的可能数量或数字的示例性的。同样在这方面，本技术可以使用术语“多个”来指代数量或数字。在这方面，术语“多个”是指大于一的任何数字，例如，二、三、四、五等。术语“大约”、“近似”、“接近”等表示所述值的正负5％。
127.尽管已经针对一个或多个实施方式说明和描述了本发明，但是在阅读和理解本说明书和附图之后，本领域的其他技术人员将发生等效的改变和修改。此外，虽然本发明的特定特征可能仅针对几个实施例中的一个而被公开，但是对于任何给定或特定应用来说，这种特征可以与其他实施例的一个或多个其他特征组合，这可能是期望的并且是有利的。

技术特征：
1.一种用于车辆中的图像的定制的方法，所述方法包括：从所述车辆的至少一个感测设备获得要定制的图像；在所述车辆中的或连接到所述车辆的至少一个人机界面中接收确定要执行的至少一个定制方案的输入；使用所述车辆的应用人工智能的至少一个数据处理设备，根据所述至少一个定制方案将所述图像变换成变换后的图像；以及利用所述车辆的至少一个智能后视镜或连接到所述至少一个数据处理设备的移动设备输出所述变换后的图像；其中，所述至少一个定制方案包括指定相应的不同的图像配置的多个适应模式。2.根据权利要求1所述的方法，其中，所述多个适应模式包括清晰度适应模式、亮度适应模式、天气类型适应模式、人像适应模式、漫画适应模式和颜色适应模式中的至少一个。3.根据权利要求1所述的方法，其中所述至少一个数据处理设备包括多个生成式对抗网络，其中将所述多个生成式对抗网络中的至少一个生成式对抗网络分配给所述多个适应模式中的每一个。4.根据权利要求3所述的方法，其中所述至少一个数据处理设备连接到服务器设备，其中所述多个生成式对抗网络中的每一个包括至少两个神经网络，以及其中所述至少一个数据处理设备接收至少一个操作映射策略，所述操作映射策略包括被分配给所述多个适应模式中的每一个的所述多个生成式对抗网络中的每个至少一个生成式对抗网络的所述两个神经网络中的至少一个神经网络所包括的神经元的权重。5.根据权利要求4所述的方法，其中所述操作映射策略至少由以下步骤确定：(1)在所述多个生成式对抗网络中的生成式对抗网络的生成器中提供至少一个训练图像；(2)使用所述生成器，基于分配给所述生成器的生成器映射策略，生成与所述至少一个训练图像相关的至少一个伪图像；(3)向相应的生成式对抗网络的鉴别器提供所述至少一个训练图像和所述至少一个伪图像，其中所述生成器和所述鉴别器包括不同的神经网络；以及(4)使用所述鉴别器基于所述至少一个训练图像和所述至少一个伪图像来确定置信水平矩阵，其中所述置信水平矩阵确定所述至少一个训练图像和所述至少一个伪图像的相应图像是否被认为是真实的；其中，在重复步骤(1)-(4)时，根据其中包括的单个权重的水平来调整所述生成器映射策略，至少直到所述置信水平矩阵包括等于或超过置信水平阈值的个体置信水平，以及其中，所述至少一个操作映射策略至少包括被调整的所述生成器映射策略。6.根据权利要求1所述的方法，其中所述至少一个人机界面包括所述车辆的所述智能后视镜和/或所述车辆的多媒体设备和/或连接到所述车辆的所述至少一个数据处理设备或连接到与所述车辆的所述至少一个数据处理设备连接的服务器设备的移动设备中的至少一个。7.根据权利要求1所述的方法，其中通过所述至少一个人机界面处的一个或多个输入来确定多个定制方案，以及其中，根据所述多个定制方案来变换所述图像。8.根据权利要求1所述的方法，其中所述多个适应模式还包括设备状态适应模式，其中
所述至少一个智能后视镜连接到所述车辆的至少一个控制设备，并且适于接收所述至少一个控制设备的控制器局域网数据，其中如果在所述至少一个人机界面处接收的所述至少一个定制方案中至少包括所述设备状态适应模式，则所述至少一个智能后视镜被配置为包括嵌入或覆盖有所述变换后的图像的设备状态信息，以及其中，所述设备状态信息基于所接收的控制器局域网数据。9.根据权利要求1所述的方法，其中，所述多个适应模式包括设备状态适应模式；其中，所述至少一个数据处理设备连接到所述车辆的至少一个控制设备，并且适于接收所述至少一个控制设备的控制器局域网(can)数据；其中，如果在所述至少一个人机界面处接收的所述至少一个定制方案中至少包括所述设备状态适应模式，则所述至少一个数据处理设备被配置为在所述变换后的图像内包括设备状态信息；以及其中，所述设备状态信息基于所接收的控制器局域网数据。10.一种系统，包括：用于车辆的至少一个配置为获得要定制的图像的感测设备；所述车辆的或与所述车辆连接的至少一个人机界面，其被配置为接收确定要执行的至少一个定制方案的输入，其中所述至少一个定制方案包括多个适应模式；至少一个数据处理设备，其被编程为根据所述至少一个定制方案应用人工智能将所述图像变换成变换后的图像，以及输出输出图像；以及连接到所述至少一个数据处理设备的至少一个智能后视镜或移动设备，其被配置为接收和输出所述变换后的图像。11.根据权利要求10所述的系统，其中所述多个适应模式包括清晰度适应模式、亮度适应模式、天气类型适应模式、人像适应模式、漫画适应模式和颜色适应模式中的至少一个。12.根据权利要求10所述的系统，其中所述至少一个数据处理设备包括多个生成式对抗网络，其中将所述多个生成式对抗网络中的至少一个生成式对抗网络分配给所述多个适应模式中的每一个。13.根据权利要求12所述的系统，其中所述至少一个数据处理设备连接到服务器设备，其中所述多个生成式对抗网络中的每一个包括至少两个神经网络，以及其中所述至少一个数据处理设备接收至少一个操作映射策略，所述操作映射策略包括被分配给所述多个适应模式中的每一个的所述多个生成式对抗网络中的每个至少一个生成式对抗网络的所述两个神经网络中的至少一个神经网络所包括的神经元的权重。14.根据权利要求13所述的系统，其中所述操作映射策略至少由以下步骤确定：(1)在所述多个生成式对抗网络中的生成式对抗网络的生成器中提供至少一个训练图像；(2)使用所述生成器，基于分配给所述生成器的生成器映射策略，生成与所述至少一个训练图像相关的至少一个伪图像；(3)向相应的生成式对抗网络的鉴别器提供所述至少一个训练图像和所述至少一个伪图像，其中所述生成器和所述鉴别器包括不同的神经网络；以及(4)使用所述鉴别器基于所述至少一个训练图像和所述至少一个伪图像来确定置信水
平矩阵，其中所述置信水平矩阵确定所述至少一个训练图像和所述至少一个伪图像的相应图像是否被认为是真实的；其中，在重复步骤(1)-(4)时，根据其中包括的单个权重的水平来调整所述生成器映射策略，至少直到所述置信水平矩阵包括等于或超过置信水平阈值的个体置信水平，以及其中，所述至少一个操作映射策略至少包括被调整的所述生成器映射策略。15.根据权利要求10所述的系统，其中所述至少一个感测设备包括视觉光谱摄像机、深度摄像机、红外摄像机、立体摄像机以及光检测和测距设备中的至少一个。16.根据权利要求10所述的系统，其中所述至少一个人机界面包括所述车辆的所述至少一个智能后视镜和/或多媒体设备和/或连接到所述车辆的所述至少一个数据处理设备或连接到与所述车辆的所述至少一个数据处理设备连接的服务器设备的移动设备中的至少一个。17.根据权利要求10所述的系统，其中所述车辆的所述至少一个智能后视镜具有至少一个显示器，并且包括所述车辆的多媒体设备、所述车辆的数字天窗、以及连接到所述车辆的至少一个数据处理设备或连接到与所述车辆中的所述至少一个数据处理设备连接的服务器设备的移动设备中的至少一个。18.根据权利要求10所述的系统，其中通过所述至少一个人机界面处的一个或多个输入来确定多个定制方案，以及其中，根据所述多个定制方案来变换所述图像。19.根据权利要求10所述的系统，其中所述多个适应模式还包括设备状态适应模式，其中所述至少一个智能后视镜连接到所述车辆的至少一个控制设备，并且适于接收所述至少一个控制设备的控制器局域网数据，其中如果在所述至少一个人机界面处接收的所述至少一个定制方案中至少包括所述设备状态适应模式，则所述至少一个智能后视镜被配置为包括嵌入或覆盖有所述变换后的图像的设备状态信息，以及其中，所述设备状态信息基于所接收的控制器局域网数据。20.根据权利要求10所述的系统，其中，所述多个适应模式包括设备状态适应模式；其中，所述至少一个数据处理设备连接到所述车辆的至少一个控制设备，并且适于接收所述至少一个控制设备的控制器局域网(can)数据；其中，如果在所述至少一个人机界面处接收的所述至少一个定制方案中至少包括所述设备状态适应模式，则所述至少一个数据处理设备被配置为在所述变换后的图像内包括设备状态信息；以及其中，所述设备状态信息基于所接收的控制器局域网数据。

技术总结
一种用于车辆相关图像的驾驶员辅助图像定制的方法、数据处理电路、计算机程序、计算机可读介质，以及车辆，可以包括利用车辆的至少一个感测设备获得要定制的输入图像。利用车辆的至少一个人机界面或与车辆连接的至少一个人机界面，接收确定要执行的至少一个定制方案的输入。使用车辆的应用人工智能的至少一个数据处理电路，根据至少一个定制方案将输入图像变换成变换后的输出图像。利用车辆的至少一个智能后视镜或连接到至少一个数据处理电路的移动设备输出变换后的输出图像。至少一个定制方案包括多个不同类型的适应模式。方案包括多个不同类型的适应模式。方案包括多个不同类型的适应模式。


技术研发人员：图尔加伊
受保护的技术使用者：福特全球技术公司
技术研发日：2023.02.02
技术公布日：2023/8/9