一种图像拍摄参数的自适应调整方法、系统和车辆与流程

1.本发明涉及自动驾驶技术领域，尤其涉及一种图像拍摄参数的自适应调整方法、系统和车辆。


背景技术：

2.具有自动驾驶技术的新能源车日益获得了更多的关注和发展。在自动驾驶技术中，考虑到技术可靠性和易于落地能力，更多的采用视觉方案来实现自动驾驶控制，即，通过摄像头采集到图像数据，再通过isp将其转换成正常可检测的图像，再通过深度学习对图像进行车辆行人等目标识别，再做出驾驶行为的判断和决策指令(如刹车、减速、前车跟随、转向等)来控制车辆进行相应的动作。
3.当前，在以视觉为核心的自动驾驶技术中，isp的成像效果直接影响到自动驾驶性能，成像效果清晰时，能够实现对车辆行人目标的识别距离更远、识别精度更大、识别准确性更高，从而使得驾驶行为的判断和决策更精准，从而使得自动驾驶能更安全更智能。然而，室外的驾驶道路千差万别(如高速、主干道、人车混杂路等)、驾驶场景多种多样(如白天、夜晚、晴天、雨天、尘雾等)，导致难以保证isp的成像效果。
4.因此，现有的自动驾驶车辆在实时获取图像的过程中，存在由于外部场景突变导致isp的成像效果差的问题。


技术实现要素：

5.有鉴于此，有必要提供一种图像拍摄参数的自适应调整方法、系统和车辆，用以解决现有技术中的自动驾驶车辆在实时获取图像的过程中，存在的由于外部场景突变导致isp的成像效果差的问题。
6.为了解决上述问题，本发明提供一种图像拍摄参数的自适应调整方法，包括：
7.获取图像样本，以及目标图像拍摄参数样本；
8.建立初始图像识别模型，将图像样本输入至初始图像识别模型，并以对应的目标图像拍摄参数样本作为样本标签，训练初始图像识别模型，得到训练完备的目标图像识别模型；
9.获取实时图像，将实时图像输入至目标图像识别模型，得到对应的目标图像拍摄参数，并基于目标图像拍摄参数对图像拍摄参数进行调整；
10.其中，初始图像识别模型包括初始摄像头预处理参数识别子模型、初始图像亮度识别子模型、初始图像色彩识别子模型、初始图像噪声识别子模型和初始图像畸变识别子模型中的至少一种。
11.进一步地，获取图像样本，以及目标图像拍摄参数样本，包括：
12.获取初始图像样本及其对应的初始图像拍摄参数；
13.基于初始图像样本，调整初始图像拍摄参数并重新拍摄，得到多个过渡图像样本及其对应的过渡图像拍摄参数；
14.选取多个过渡图像样本中的最优过渡图像样本，并确定最优过渡图像样本对应的最优过渡图像拍摄参数为目标图像拍摄参数样本；
15.其中，初始图像样本包括在不同外部环境条件的同一场景下拍摄到的多个图像样本。
16.进一步地，建立初始图像识别模型，将图像样本输入至初始图像识别模型，并以对应的目标图像拍摄参数样本作为样本标签，训练初始图像识别模型，得到训练完备的目标图像识别模型，包括：
17.建立初始图像识别模型；
18.对图像样本进行分块，得到多个关键特征区块；
19.将多个关键特征区块分别输入至初始图像识别模型，得到图像样本对应的目标图像拍摄参数样本，并以对应的目标图像拍摄参数样本作为样本标签，不断迭代训练初始图像识别模型，得到训练完备的目标图像识别模型。
20.进一步地，将多个关键特征区块分别输入至初始图像识别模型，得到图像样本对应的目标图像拍摄参数样本，包括：
21.初始摄像头预处理参数识别子模型用于识别出关键特征区块的瑕疵样本，并根据瑕疵样本确定关键特征区块的校正瑕疵拍摄参数样本；
22.初始图像亮度识别子模型用于识别出关键特征区块的亮度样本，并根据亮度样本确定关键特征区块的校正亮度拍摄参数样本；
23.初始图像色彩识别子模型用于识别出关键特征区块的色彩样本，并根据色彩样本确定关键特征区块的校正色彩拍摄参数样本；
24.初始图像噪声识别子模型用于识别出关键特征区块的噪声样本，并根据噪声样本确定关键特征区块的校正噪声拍摄参数样本；
25.初始图像畸变识别子模型用于识别出关键特征区块的畸变样本，并根据畸变样本确定关键特征区块的校正畸变拍摄参数样本；
26.目标图像拍摄参数样本包括校正瑕疵拍摄参数样本、校正亮度拍摄参数样本、校正色彩拍摄参数样本、校正噪声拍摄参数样本、校正畸变拍摄参数样本中的至少一种。
27.进一步地，获取实时图像，将实时图像输入至目标图像识别模型，得到对应的目标图像拍摄参数，并基于目标图像拍摄参数对图像拍摄参数进行调整，包括：
28.获取实时图像；
29.根据ai技术对实时图像进行场景效果，判定是否存在场景突变；
30.当判定存在场景突变时，将实时图像输入至目标图像识别模型，得到对应的目标图像拍摄参数，并基于目标图像拍摄参数对图像拍摄参数进行调整。
31.进一步地，基于目标图像拍摄参数对图像拍摄参数进行调整，后还包括：
32.基于目标图像拍摄参数，得到更新图像；
33.根据ai技术对判断更新图像是否达到目标效果；
34.当判定更新图像未达到目标效果时，将更新图像输入至目标图像识别模型以获取更新目标图像拍摄参数，直至得到达到目标效果的图像。
35.进一步地，初始摄像头预处理参数识别子模型、和/或初始图像亮度识别子模型、和/或初始图像色彩识别子模型、和/或初始图像噪声识别子模型、和/或初始图像畸变识别
子模型同时运行。
36.进一步地，图像拍摄参数包括isp参数和摄像头配置参数。
37.为了解决上述问题，本发明还提供一种图像拍摄参数的自适应调整系统，包括：
38.样本获取模块，用于获取图像样本，以及目标图像拍摄参数样本；
39.目标图像识别模型获取模块，用于建立初始图像识别模型，将图像样本输入至初始图像识别模型，并以对应的目标图像拍摄参数样本作为样本标签，训练初始图像识别模型，得到训练完备的目标图像识别模型；
40.图像拍摄参数调整模块，用于获取实时图像，将实时图像输入至目标图像识别模型，得到对应的目标图像拍摄参数，并基于目标图像拍摄参数对图像拍摄参数进行调整；
41.其中，初始图像识别模型包括初始摄像头预处理参数识别子模型、初始图像亮度识别子模型、初始图像色彩识别子模型、初始图像噪声识别子模型和初始图像畸变识别子模型中的至少一种。
42.为了解决上述问题，本发明还提供一种车辆，包括处理器以及存储器，存储器上存储有计算机程序，计算机程序被处理器执行时，实现如前文所述的图像拍摄参数的自适应调整方法。
43.采用上述技术方案的有益效果是：本发明提供一种图像拍摄参数的自适应调整方法、系统和车辆，该方法通过构建目标图像识别模型对车辆自动驾驶过程中的图像进行图像识别，确定车辆当前所处的场景状态，并根据当前的场景状态选取最适配的目标图像拍摄参数，实现根据车辆实时的场景状态对应切换目标图像拍摄参数，又因为基于实时场景状态匹配的目标图像拍摄参数能够有效保证isp的成像效果，因而能够有效克服由于外部场景突变导致isp的成像效果差的问题。
附图说明
44.图1为本发明提供的图像拍摄参数的自适应调整方法一实施例的流程示意图；
45.图2为本发明提供的获取样本一实施例的流程示意图；
46.图3为本发明提供的得到训练完备的目标图像识别模型一实施例的流程示意图；
47.图4为本发明提供的对图像样本进行分块一实施例的结果示意图；
48.图5为本发明提供的得到对应的目标图像拍摄参数一实施例的流程示意图；
49.图6为本发明提供的得到达到目标效果的图像一实施例的流程示意图；
50.图7为本发明提供的图像拍摄参数的自适应调整系统一实施例的结构示意图；
51.图8为本发明提供的电子装置一实施例的结构示意图。
具体实施方式
52.下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
53.在陈述实施例之前，先对isp进行阐述：
54.isp(image signal processing，图像信号处理)主要用来对前端图像传感器输出信号处理的单元，以匹配不同厂商的图像传感器。
55.具有自动驾驶技术的新能源车日益获得了更多的关注和发展。目前，我国的自动
驾驶技术水平已逐渐由l1或l2的智能辅助驾驶阶段逐步过渡到l3或l4的高阶自动驾驶阶段。在自动驾驶技术中，考虑到技术可靠性和易于落地能力，更多的采用视觉方案来实现自动驾驶控制，即，通过摄像头采集到图像数据，再通过isp将其转换成正常可检测的图像，再通过深度学习对图像进行车辆行人等目标识别，再做出驾驶行为的判断和决策指令(如刹车、减速、前车跟随、转向等)来控制车辆进行相应的动作。
56.当前，在以视觉为核心的自动驾驶技术中，isp的成像效果直接影响到自动驾驶性能，成像效果清晰时，能够实现对车辆行人目标的识别距离更远、识别精度更大、识别准确性更高，从而使得驾驶行为的判断和决策更精准，从而使得自动驾驶能更安全更智能。然而，室外的驾驶道路千差万别(如高速、主干道、人车混杂路等)、驾驶场景多种多样(如白天、夜晚、晴天、雨天、尘雾等)，导致难以保证isp的成像效果。
57.进一步地，现有的应用于自动驾驶领域的isp技术中，往往isp的参数是在系统启动后完成配置，isp在使用时一直处于较好地适配于某一种驾驶场景下。然而，isp的某一套参数并不能适应所有场景，比如：对于能在白天晴天良好光照场景下isp处理产生出较好的图像的一套参数，往往在夜晚暗光环境下难以产生同样好的图像效果(可能出现画面黑暗、但灯光过曝导致看不清图像中的车辆等问题)。这是由于现有isp技术的算法的本身实现机制导致的，即一种isp调校参数只能较好的适配某类场景，晴天的参数只能应用于晴天场景，夜晚的参数只能应用于夜晚场景。
58.毫无疑问，自动驾驶的应用场景有很多，有些场景的参数是很矛盾的，比如：在进出隧道时，在进出地库时，其光照在极短的时间内由明亮到黑暗的转变极为剧烈。导致要么适用于白天isp处理技术到黑暗环境下显示图像一片黑暗，要么适用于黑暗isp处理技术到高亮环境下显示图像一片白色。
59.因此，现有的自动驾驶车辆在实时获取图像的过程中，存在由于外部场景突变导致isp的成像效果差的问题。
60.为了解决上述问题，本发明提供了一种图像拍摄参数的自适应调整方法、系统和车辆，以下分别进行详细说明。
61.如图1所示，图1为本发明提供的图像拍摄参数的自适应调整方法一实施例的流程示意图，包括：
62.步骤s101：获取图像样本，以及目标图像拍摄参数样本；
63.步骤s102：建立初始图像识别模型，将图像样本输入至初始图像识别模型，并以对应的目标图像拍摄参数样本作为样本标签，训练初始图像识别模型，得到训练完备的目标图像识别模型；
64.步骤s103：获取实时图像，将实时图像输入至目标图像识别模型，得到对应的目标图像拍摄参数，并基于目标图像拍摄参数对图像拍摄参数进行调整；
65.其中，初始图像识别模型包括初始摄像头预处理参数识别子模型、初始图像亮度识别子模型、初始图像色彩识别子模型、初始图像噪声识别子模型和初始图像畸变识别子模型中的至少一种。
66.本实施例中，首先，获取图像样本，以及目标图像拍摄参数样本；然后，建立初始图像识别模型，将图像样本输入至初始图像识别模型，并以对应的目标图像拍摄参数样本作为样本标签，训练初始图像识别模型，得到训练完备的目标图像识别模型；最后，获取实时
图像，将实时图像输入至目标图像识别模型，得到对应的目标图像拍摄参数，并基于目标图像拍摄参数对图像拍摄参数进行调整；其中，初始图像识别模型包括初始摄像头预处理参数识别子模型、初始图像亮度识别子模型、初始图像色彩识别子模型、初始图像噪声识别子模型和初始图像畸变识别子模型中的至少一种。
67.本实施例中，通过构建目标图像识别模型对车辆自动驾驶过程中的图像进行图像识别，确定车辆当前所处的场景状态，并根据当前的场景状态选取最适配的目标图像拍摄参数，实现根据车辆实时的场景状态对应切换目标图像拍摄参数，又因为基于实时场景状态匹配的目标图像拍摄参数能够有效保证isp的成像效果，因而能够有效克服由于外部场景突变导致isp的成像效果差的问题。
68.作为优选的实施例，图像拍摄参数包括isp参数和摄像头配置参数。
69.作为优选的实施例，在步骤s101中，为了获取图像样本，以及目标图像拍摄参数样本，如图2所示，图2为本发明提供的获取样本一实施例的流程示意图，包括：
70.步骤s111：获取初始图像样本及其对应的初始图像拍摄参数；
71.步骤s112：基于初始图像样本，调整初始图像拍摄参数并重新拍摄，得到多个过渡图像样本及其对应的过渡图像拍摄参数；
72.步骤s113：选取多个过渡图像样本中的最优过渡图像样本，并确定最优过渡图像样本对应的最优过渡图像拍摄参数为目标图像拍摄参数样本；
73.其中，初始图像样本包括在不同外部环境条件的同一场景下拍摄到的多个图像样本。
74.本实施例中，首先，获取初始图像样本及其对应的初始图像拍摄参数；然后，基于初始图像样本，调整初始图像拍摄参数并重新拍摄，得到多个过渡图像样本及其对应的过渡图像拍摄参数；最后，选取多个过渡图像样本中的最优过渡图像样本，并确定最优过渡图像样本对应的最优过渡图像拍摄参数为目标图像拍摄参数样本；其中，初始图像样本包括在不同外部环境条件的同一场景下拍摄到的多个图像样本。
75.本实施例中，基于初始图像样本对应的场景，调整其图像拍摄参数以进行多次拍摄，实现对于某一场景能够获取到多个过渡图像样本，然后通过比较，选取其中效果最佳的最优过渡图像样本，并将最优过渡图像样本对应的最优过渡图像拍摄参数作为目标图像拍摄参数样本，从而实现了在获取到任一图像时，都能根据图像当前对应的场景状态获取到匹配的图像拍摄参数。
76.作为优选的实施例，在步骤s102中，为了得到训练完备的目标图像识别模型，如图3所示，图3为本发明提供的得到训练完备的目标图像识别模型一实施例的流程示意图，包括：
77.步骤s121：建立初始图像识别模型；
78.步骤s122：对图像样本进行分块，得到多个关键特征区块；
79.步骤s123：将多个关键特征区块分别输入至初始图像识别模型，并以对应的目标图像拍摄参数样本作为样本标签，不断迭代训练初始图像识别模型，得到训练完备的目标图像识别模型。
80.本实施例中，通过对图像样本进行分块，得到具备图像样本特点的多个关键特征区块，再由初始图像识别模型对关键特征区块进行数据分析处理，有效减少了数据处理量，
从而提高了数据处理效率，减少了获取目标图像拍摄参数的时间，从而提高了自动驾驶车辆在运行过程中的反应速度。
81.在步骤s132中，对于每一个图像样本，一方面，对其进行isp处理；另一方面，同时通过ai来智能识别其对应的场景效果。在采样每一类的效果图像时，为了提高实时性，对图像样本进行分块，实现仅需采样关键特征区块的效果，便能得到整个图像样本的分类特征。
82.由于驾驶场景的图像具有整体一致性的特性，即，如果场景是晌午晴天很亮，则整个图像都很亮，如果是夜晚很暗，整个图像都很暗。因此，只需采样部分图像特征块即可；另外，由于不同isp分类的处理方式算法不同，其采样的特征块的位置和大小也不同，此由系统根据isp处理流程做自动切换。
83.在一具体实施例中，如图4所示，图4为本发明提供的对图像样本进行分块一实施例的结果示意图。在正午晴天的驾驶场景，由于光照强烈，已超出摄像头的线性范围，因此摄像头产生了过曝画面使得画面全部偏白色，难以看看驾驶细节。当某一帧摄像头数据被进入到isp的亮度对比度这类处理效果后，随即进行此类isp效果检测，由于整个画面的isp特征都呈现一致性，为此仅需采样到跟驾驶道路范围左右的局部小区域范围的关键特征区块，从而减少处理数据量，提高了处理实时性性能。
84.作为优选的实施例，在步骤s133中，初始图像识别模型包括初始摄像头预处理参数识别子模型、初始图像亮度识别子模型、初始图像色彩识别子模型、初始图像噪声识别子模型和初始图像畸变识别子模型中的至少一种，以下分别说明各个子模型的作用。
85.第一，基于初始摄像头预处理参数识别子模型识别出关键特征区块的瑕疵样本，并根据瑕疵样本确定关键特征区块的校正瑕疵拍摄参数样本。
86.也就是说，初始摄像头预处理参数识别子模型能够识别到关键特征区块中的固有瑕疵，例如：坏点、黑电平异常、噪点、马赛克等；基于识别结果，通过对当前的拍摄参数进行调整，从而确定关键特征区块的校正瑕疵拍摄参数样本，实现根据校正瑕疵拍摄参数样本得到当前场景状态下的较优图像，以满足自动驾驶车辆的使用需要。
87.基于校正瑕疵拍摄参数样本得到当前场景状态下的较优图像，至少能够在isp的过程中，实现以下优化效果，例如：坏点校正、黑电平校正、raw去噪、去马赛克等。
88.需要说明的是，固有瑕疵还包括其他能够被识别出来的瑕疵。
89.第二，基于初始图像亮度识别子模型识别出关键特征区块的亮度样本，并根据亮度样本确定关键特征区块的校正亮度拍摄参数样本。
90.也就是说，初始图像亮度识别子模型能够识别到关键特征区块中亮度问题，例如：分辨率、图像宽动态、亮度、对比度、白平衡、自动曝光等；基于识别结果，通过对当前的拍摄参数进行调整，从而确定关键特征区块的校正亮度拍摄参数样本，实现根据校正亮度拍摄参数样本得到当前场景状态下的较优图像，以满足自动驾驶车辆的使用需要。
91.基于校正亮度拍摄参数样本得到当前场景状态下的较优图像，至少能够在isp的过程中，实现以下优化效果，例如：gamma设置、图像宽动态设置、亮度设置、对比度设置、自动白平衡、自动曝光等。
92.需要说明的是，亮度问题还包括其他影响图像亮度的问题。
93.第三，基于初始图像色彩识别子模型识别出关键特征区块的色彩样本，并根据色彩样本确定关键特征区块的校正色彩拍摄参数样本。
94.也就是说，初始图像色彩识别子模型能够识别到关键特征区块中色彩问题，例如：颜色矩阵、高彩色解析度、黑电平调整、色域变换、色调饱和度、图像曲线还原等；基于识别结果，通过对当前的拍摄参数进行调整，从而确定关键特征区块的校正色彩拍摄参数样本，实现根据校正色彩拍摄参数样本得到当前场景状态下的较优图像，以满足自动驾驶车辆的使用需要。
95.基于校正色彩拍摄参数样本得到当前场景状态下的较优图像，至少能够在isp的过程中，实现以下优化效果，例如：颜色矩阵设置、高彩色解析度、黑电平调整、色域变换、色调饱和度设置、图像曲线还原等。
96.需要说明的是，色彩问题还包括其他影响图像色彩的问题。
97.第四，基于初始图像噪声识别子模型识别出关键特征区块的噪声样本，并根据噪声样本确定关键特征区块的校正噪声拍摄参数样本。
98.也就是说，初始图像噪声识别子模型能够识别到关键特征区块中噪声问题，例如：图像2d噪声、3d噪声、边缘噪声等；基于识别结果，通过对当前的拍摄参数进行调整，从而确定关键特征区块的校正噪声拍摄参数样本，实现根据校正噪声拍摄参数样本得到当前场景状态下的较优图像，以满足自动驾驶车辆的使用需要。
99.基于校正噪声拍摄参数样本得到当前场景状态下的较优图像，至少能够在isp的过程中，实现以下优化效果，例如：图像2d去噪、3d去噪、边缘去噪等。
100.需要说明的是，噪声问题还包括其他能够被识别出来影响图像的噪声问题。
101.第五，基于初始图像畸变识别子模型识别出关键特征区块的畸变样本，并根据畸变样本确定关键特征区块的校正畸变拍摄参数样本。
102.也就是说，初始图像畸变识别子模型能够识别到关键特征区块中图像畸变问题，例如：摄像头镜头歪斜、图像畸变、边缘弱化、图像锐化等；基于识别结果，通过对当前的拍摄参数进行调整，从而确定关键特征区块的校正畸变拍摄参数样本，实现根据校正畸变拍摄参数样本得到当前场景状态下的较优图像，以满足自动驾驶车辆的使用需要。
103.基于校正噪声拍摄参数样本得到当前场景状态下的较优图像，至少能够在isp的过程中，实现以下优化效果，例如：摄像头镜头矫正、图像畸变矫正、边缘增强、图像锐化等。
104.需要说明的是，畸变问题还包括其他导致图像产生畸变的问题。
105.需要说明的是，虽然初始摄像头预处理参数识别子模型、初始图像亮度识别子模型、初始图像色彩识别子模型、初始图像噪声识别子模型和初始图像畸变识别子模型各有作用，但是在实际应用的过程中，由于不同的车辆在自动驾驶的过程中面对的场景不同，因此，初始图像识别模型可以根据实际需要选取其中的部分或全部子模型来处理数据，从而实现根据校正瑕疵拍摄参数样本、校正亮度拍摄参数样本、校正色彩拍摄参数样本、校正噪声拍摄参数样本、校正畸变拍摄参数样本中的至少一种，得到图像样本对应的目标图像拍摄参数样本。
106.在其他实施例中，还可以根据实际需要调整任一子模型的数量，来提高最终得到的目标图像拍摄参数的可靠度。
107.进一步地，对于包含多个子模型的初始图像识别模型，为了提高数据处理的效率，所有的子模型同时运行；即，处于同一初始图像识别模型的初始摄像头预处理参数识别子模型、和/或初始图像亮度识别子模型、和/或初始图像色彩识别子模型、和/或初始图像噪
声识别子模型、和/或初始图像畸变识别子模型同时运行。
108.作为优选的实施例，在步骤s103中，在获取到训练完备的目标图像识别模型的基础上，为了对自动驾驶车辆的图像拍摄参数实现实时调整，以得到对应的目标图像拍摄参数，如图5所示，图5为本发明提供的得到对应的目标图像拍摄参数一实施例的流程示意图，包括：
109.步骤s131：获取实时图像；
110.步骤s132：根据ai技术对实时图像进行场景效果，判定是否存在场景突变；
111.步骤s133：当判定存在场景突变时，将实时图像输入至目标图像识别模型，得到对应的目标图像拍摄参数。
112.本实施例中，首先，获取实时图像；然后，根据ai技术对实时图像进行场景效果，判定是否存在场景突变；最后，当判定存在场景突变时，将实时图像输入至目标图像识别模型，得到对应的目标图像拍摄参数。
113.本实施例中，通过对实时图像进行场景效果，有效判定当前车辆的场景状态是否存在突变，实现了降低目标图像识别模型的工作量，即，当自动驾驶车辆处于一稳定的场景状态并稳定运行时，不激活目标图像识别模型，也避免调整目标图像拍摄参数。
114.在一具体实施例中，在场景发生变化时，若是初始图像识别模型包括初始摄像头预处理参数识别子模型、初始图像亮度识别子模型、初始图像色彩识别子模型、初始图像噪声识别子模型和初始图像畸变识别子模型中的多个子模型时，在获取到各个子模型对应的校正拍摄参数样本后，可能会出现相互矛盾的情况，为了保证最终的成像效果，还需要对根据目标图像拍摄参数得到的图像进行效果复核，以得到达到目标效果的图像，如图6所示，图6为本发明提供的得到达到目标效果的图像一实施例的流程示意图。
115.首先，基于目标图像拍摄参数，得到更新图像；然后，通过ai技术检测isp的图像处理效果，以判断更新图像是否达到目标效果；最后，当判定更新图像未达到目标效果时，将更新图像输入至目标图像识别模型以获取更新目标图像拍摄参数，直至得到达到目标效果的图像。
116.本实施例中，通过ai技术检测图像的效果，并实时调整更新目标图像拍摄参数，系统化地修正图像拍摄参数，能够实现整体最优，得到整体效果最优的图像。
117.通过上述方式，通过构建目标图像识别模型对车辆自动驾驶过程中的图像进行图像识别，确定车辆当前所处的场景状态，并根据当前的场景状态选取最适配的目标图像拍摄参数，实现根据车辆实时的场景状态对应切换目标图像拍摄参数，又因为基于实时场景状态匹配的目标图像拍摄参数能够有效保证isp的成像效果，因而能够有效克服由于外部场景突变导致isp的成像效果差的问题。
118.为了解决上述问题，本发明还提供了一种图像拍摄参数的自适应调整系统，如图7所示，图7为本发明提供的图像拍摄参数的自适应调整系统一实施例的结构示意图，图像拍摄参数的自适应调整系统700包括：
119.样本获取模块701，用于获取图像样本，以及目标图像拍摄参数样本；
120.目标图像识别模型获取模块702，用于建立初始图像识别模型，将图像样本输入至初始图像识别模型，并以对应的目标图像拍摄参数样本作为样本标签，训练初始图像识别模型，得到训练完备的目标图像识别模型；
121.图像拍摄参数调整模块703，用于获取实时图像，将实时图像输入至目标图像识别模型，得到对应的目标图像拍摄参数，并基于目标图像拍摄参数对图像拍摄参数进行调整；
122.其中，初始图像识别模型包括初始摄像头预处理参数识别子模型、初始图像亮度识别子模型、初始图像色彩识别子模型、初始图像噪声识别子模型和初始图像畸变识别子模型中的至少一种。
123.本发明还相应提供了一种车辆，包括处理器以及存储器，存储器上存储有计算机程序，计算机程序被处理器执行时，实现如上文所述的图像拍摄参数的自适应调整方法。其中，存储器上存储有图像拍摄参数的自适应调整程序。
124.存储器在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器在另一些实施例中也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储安装于计算机设备的应用软件及各类数据，例如安装计算机设备的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，图像拍摄参数的自适应调整程序可被处理器所执行，从而实现本发明各实施例的图像拍摄参数的自适应调整方法。
125.处理器在一些实施例中可以是一中央处理器(central processing unit，cpu)，微处理器或其他数据处理芯片，用于运行存储器中存储的程序代码或处理数据，例如执行图像拍摄参数的自适应调整程序等。
126.进一步地，本发明还相应提供了一种对多摄像头数据进行实时isp处理的电子装置，如图8所示，图8为本发明提供的电子装置一实施例的结构示意图。
127.电子装置包括：mcu控制模块100，摄像头控制模块101，sensor数据预处理相关isp功能模块102，图像亮度/对比度相关isp功能模块103，图像色彩相关isp功能模块104，图像去噪相关isp功能模块105，图像去畸变/增强相关isp功能模块106，数据缓存模块107，isp图像中的驾驶关键区域的数据采集模块108，多核ai处理器模块109，isp/摄像头参数实时调校(查表)模块110。各单元操作说明如下：
128.在本装置使用前，需要通过实际上路测试得到各种驾驶场景下的最佳成像效果，并确定这些驾驶场景下的最佳效果所需的各类isp处理功能的调校参数，以及相应的摄像头配置参数。并且本装置中使用ai来检测isp成像效果，由此需要根据各种驾驶场景和最佳效果的调校参数作为标注基准来对ai做isp效果检测的神经网络进行训练，并得到训练好的ai神经网络参数和权重。
129.在本装置使用前，需要将各种场景下的isp调校参数、摄像头配置参数、ai神经网络参数权重预先保存到片外的sd卡或emmc中。
130.当本装置上电后，mcu控制模块100先正常工作，并从sd卡或emmc中读取默认的驾驶场景下(一般是白天正常光照场景)的isp各功能模块的参数、摄像头配置参数，再配置给isp的各个相关功能模块(模块102-106)。摄像头参数通过摄像头控制模块101配置给片外摄像头，使他们正常工作起来。mcu控制模块100另外再从sd卡或emmc读取ai神经网络的参数和权重，并发给多核ai处理器模块109，并通过多核ai处理器模块109预先保存到片外ddr中。之后mcu控制模块100启动多核ai处理器模块109工作，多核ai处理器模块109再从片外
ddr中读取相关权重参数进行ai神经网络检测。
131.在上电后，mcu控制模块100将其他场景的isp调校参数和该场景下摄像头协同适配参数也从sd卡emmc中读取送给isp/摄像头参数实时调校(查表)模块110并分别存到模块111中，分场景以表格形式存入。
132.当摄像头采集到原始数据送给sensor数据预处理相关isp功能模块102进行预处理后，则当前帧处理效果一方面继续送给后面模块另一方面送给数据缓存模块107缓存。为了达到实时性性能，数据缓存模块107采用乒乓操作方式缓存，即第n帧、n+1帧交替保存到rama、b之中。当sensor数据预处理相关isp功能模块102写到rama或b中，则isp图像中的驾驶关键区域的数据采集模块108分别相应地从b或a中读取isp效果数据。从而实现当前帧采样，当前帧检测，检测后实时调校，在下一帧产生新的isp效果，从而实现无间断实时调校控制，从而使得自动驾驶更安全更高目标识别精度。
133.通过上述方法，isp图像中的驾驶关键区域的数据采集模块108仅从数据缓存模块107的rama或b中仅采样读取跟驾驶相关联的范围里的关键特征区块，而不是全部的isp效果图像，从而减少了采用数据量提高了处理速度，实现更高性能的实时性。
134.由于ips各个功能模块是pipeline流水连续工作，即每个图像帧都有每个功能都在同时处理，为此数据缓存模块107将模块102～106写到ram中的效果数据都同时读出并同时送给多核ai处理器模块109进行ai对isp效果检测。多核ai处理器模块109是多核ai处理器，其内部有多个可独立并行同时工作的ai处理核，每个核可分别的同时检测isp各个功能效果数据。
135.当多核ai处理器模块109中的某个ai核检测到某种isp效果需要调校，则将需要调校的信息(如场景过亮，需减少亮度和过曝)发给isp/摄像头参数实时调校(查表)模块110，isp/摄像头参数实时调校(查表)模块110根据这些信息转换成相应的参数表格式，并根据对应的表格式去模块111中读取该表中的isp参数和摄像头参数。模块111中的每个ram分别存放一种参数表的参数，模块111根据isp/摄像头参数实时调校(查表)模块110将相应的参数取出给isp/摄像头参数实时调校(查表)模块110，再由isp/摄像头参数实时调校(查表)模块110在本帧内调校相应的isp模块和摄像头适配。之所以调校参数采用专用硬件电路查表取得，是因为通过mcu进行计算或查找，则速度很慢，难以实现本帧调校下帧实现的实时性要求。而由专用硬件电路实现查表操作则可以达到最快速度，提高了实时性能。
136.当sensor数据预处理相关isp功能模块102～106经过调校产生很好的isp效果的图像通过缓存送给深度学习目标识别模块，由于图像质量很好，使得深度学习模块很容易实现更远的检测距离，更准确的检测精度，从而提升的整个自动驾驶的性能。
137.需要说明的是，ai技术通过模拟人类的思维方式，实现了机器能灵活地解决各种复杂的问题，其特性有以下几点：
138.首先，ai技术的目的是使机器具有模拟人类思维的能力，从而能够处理复杂的现实问题。ai技术可以大量设计各种不同形式的“算法”，这些算法可以帮助机器理解复杂的问题，同时也可以根据不断增加的数据，持续改进算法的表现能力。
139.其次，ai技术可以大大提高工作效率。ai技术可以自动处理大量的信息，迅速解决问题，可以更准确地执行任务，有效地降低了机器出现错误的可能性。
140.因此，通过ai技术能够实现对车辆外部场景的高精度监测，并根据监测结果快速
得到对应的反向调校参数，以实现实时调整车辆的拍摄参数，有效克服由于外部场景突变导致isp的成像效果差的问题。
141.在一具体实施例中，电子装置可以是一种电路结构或者是一种芯片，通过将图像实时送给ai模块进行检测(过亮、过暗)，从而对应产生反向的调整参数给该类isp，实现到下一帧输出正常的图像效果。
142.需要说明的是，在调校isp同时，也需要协同对摄像头做相应的重新适配调整(如调整曝光时间、hdr压缩曲线等)。由于isp算法以及在芯片的处理性能的限制，对过于宽的动态大变化仅从调isp不一定能达到最好效果，而在调isp和摄像头同时协同调整可以使得画面相应做到更好效果。
143.以下是举例在某一驾驶场景下的调校方式：
144.当车辆进出隧道时，图像会由很亮突然变成很暗，反之如此。此时摄像头在大动态光量变化下原始数据会产生噪声和底电流改变。为此通过ai检测sensor数据预处理相关isp功能模块102的效果数据并进行调整。
145.在隧道环境时，图像过亮或过暗，导致摄像头的数据过白或过黑，则检测图像亮度/对比度相关isp功能模块103并调整。
146.由于隧道内空间狭窄，其光照不是标准的白色，而是车灯、隧道顶灯、应急灯等各种光线混合，导致画面颜色变得不正常，难以分清车辆外形和交通灯标识牌等颜色，为此需要检测图像色彩相关isp功能模块104并相应调整。
147.在下雨天、雾霾天、灰尘弥漫的驾驶场景下，摄像头拍摄的画面呈现噪点状密集颗粒效果，由于远距离车辆较小会被湮没在这种颗粒中间难以识别，需要对图像去噪相关isp功能模块105进行检测并调校使其画面均衡明确，让远距离车辆更清晰更容易识别。
148.在下雨天、雾霾天、灰尘弥漫的驾驶场景下，摄像头的画面比较灰暗，导致浅色车辆或小型骑行车的边缘颜色跟水泥道路的颜色接近，不易识别浅色车辆，需要对图像去畸变/增强相关isp功能模块106进行检测并调校，使其浅色车辆和骑行车的边缘更加增强明显，从而易于识别。
149.在一具体实施例中，电子装置可以是一种电路结构或者是一种芯片，来实现上文所述的图像拍摄参数的自适应调整方法。
150.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)，以及存储器总线动态ram(rdram)等。
151.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，
都应涵盖在本发明的保护范围之内。

技术特征：
1.一种图像拍摄参数的自适应调整方法，应用于车辆自动驾驶，其特征在于，包括：获取图像样本，以及目标图像拍摄参数样本；建立初始图像识别模型，将所述图像样本输入至所述初始图像识别模型，并以对应的所述目标图像拍摄参数样本作为样本标签，训练所述初始图像识别模型，得到训练完备的目标图像识别模型；获取实时图像，将所述实时图像输入至所述目标图像识别模型，得到对应的目标图像拍摄参数，并基于所述目标图像拍摄参数对所述图像拍摄参数进行调整；其中，所述初始图像识别模型包括初始摄像头预处理参数识别子模型、初始图像亮度识别子模型、初始图像色彩识别子模型、初始图像噪声识别子模型和初始图像畸变识别子模型中的至少一种。2.根据权利要求1所述的图像拍摄参数的自适应调整方法，其特征在于，所述获取图像样本，以及目标图像拍摄参数样本，包括：获取初始图像样本及其对应的初始图像拍摄参数；基于所述初始图像样本，调整所述初始图像拍摄参数并重新拍摄，得到多个过渡图像样本及其对应的过渡图像拍摄参数；选取所述多个过渡图像样本中的最优过渡图像样本，并确定最优过渡图像样本对应的最优过渡图像拍摄参数为所述目标图像拍摄参数样本；其中，所述初始图像样本包括在不同外部环境条件的同一场景下拍摄到的多个图像样本。3.根据权利要求1所述的图像拍摄参数的自适应调整方法，其特征在于，所述建立初始图像识别模型，将所述图像样本输入至所述初始图像识别模型，并以对应的所述目标图像拍摄参数样本作为样本标签，训练所述初始图像识别模型，得到训练完备的目标图像识别模型，包括：建立初始图像识别模型；对所述图像样本进行分块，得到多个关键特征区块；将所述多个关键特征区块分别输入至所述初始图像识别模型，得到所述图像样本对应的所述目标图像拍摄参数样本，并以对应的所述目标图像拍摄参数样本作为样本标签，不断迭代训练所述初始图像识别模型，得到训练完备的目标图像识别模型。4.根据权利要求3所述的图像拍摄参数的自适应调整方法，其特征在于，所述将所述多个关键特征区块分别输入至所述初始图像识别模型，得到所述图像样本对应的所述目标图像拍摄参数样本，包括：所述初始摄像头预处理参数识别子模型用于识别出所述关键特征区块的瑕疵样本，并根据所述瑕疵样本确定所述关键特征区块的校正瑕疵拍摄参数样本；所述初始图像亮度识别子模型用于识别出所述关键特征区块的亮度样本，并根据所述亮度样本确定所述关键特征区块的校正亮度拍摄参数样本；所述初始图像色彩识别子模型用于识别出所述关键特征区块的色彩样本，并根据所述色彩样本确定所述关键特征区块的校正色彩拍摄参数样本；所述初始图像噪声识别子模型用于识别出所述关键特征区块的噪声样本，并根据所述噪声样本确定所述关键特征区块的校正噪声拍摄参数样本；
所述初始图像畸变识别子模型用于识别出所述关键特征区块的畸变样本，并根据所述畸变样本确定所述关键特征区块的校正畸变拍摄参数样本；所述目标图像拍摄参数样本包括所述校正瑕疵拍摄参数样本、所述校正亮度拍摄参数样本、所述校正色彩拍摄参数样本、所述校正噪声拍摄参数样本、所述校正畸变拍摄参数样本中的至少一种。5.根据权利要求1所述的图像拍摄参数的自适应调整方法，其特征在于，所述获取实时图像，将所述实时图像输入至所述目标图像识别模型，得到对应的目标图像拍摄参数，并基于所述目标图像拍摄参数对所述图像拍摄参数进行调整，包括：获取实时图像；根据ai技术对所述实时图像进行场景效果，判定是否存在场景突变；当判定存在场景突变时，将所述实时图像输入至所述目标图像识别模型，得到对应的目标图像拍摄参数，并基于所述目标图像拍摄参数对所述图像拍摄参数进行调整。6.根据权利要求5所述的图像拍摄参数的自适应调整方法，其特征在于，所述基于所述目标图像拍摄参数对所述图像拍摄参数进行调整，后还包括：基于所述目标图像拍摄参数，得到更新图像；根据所述ai技术对判断所述更新图像是否达到目标效果；当判定所述更新图像未达到目标效果时，将所述更新图像输入至所述目标图像识别模型以获取更新目标图像拍摄参数，直至得到达到所述目标效果的图像。7.根据权利要求1所述的图像拍摄参数的自适应调整方法，其特征在于，所述初始摄像头预处理参数识别子模型、和/或所述初始图像亮度识别子模型、和/或所述初始图像色彩识别子模型、和/或所述初始图像噪声识别子模型、和/或所述初始图像畸变识别子模型同时运行。8.根据权利要求1所述的图像拍摄参数的自适应调整方法，其特征在于，所述图像拍摄参数包括isp参数和摄像头配置参数。9.一种图像拍摄参数的自适应调整系统，其特征在于，包括：样本获取模块，用于获取图像样本，以及目标图像拍摄参数样本；目标图像识别模型获取模块，用于建立初始图像识别模型，将所述图像样本输入至所述初始图像识别模型，并以对应的所述目标图像拍摄参数样本作为样本标签，训练所述初始图像识别模型，得到训练完备的目标图像识别模型；图像拍摄参数调整模块，用于获取实时图像，将所述实时图像输入至所述目标图像识别模型，得到对应的目标图像拍摄参数，并基于所述目标图像拍摄参数对所述图像拍摄参数进行调整；其中，所述初始图像识别模型包括初始摄像头预处理参数识别子模型、初始图像亮度识别子模型、初始图像色彩识别子模型、初始图像噪声识别子模型和初始图像畸变识别子模型中的至少一种。10.一种车辆，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-8任一项所述的图像拍摄参数的自适应调整方法。

技术总结
本申请公开了一种图像拍摄参数的自适应调整方法、系统和车辆，该方法通过构建目标图像识别模型对车辆自动驾驶过程中的图像进行图像识别，确定车辆当前所处的场景状态，并根据当前的场景状态选取最适配的目标图像拍摄参数，实现根据车辆实时的场景状态对应切换目标图像拍摄参数，又因为基于实时场景状态匹配的目标图像拍摄参数能够有效保证ISP的成像效果，因而能够有效克服由于外部场景突变导致ISP的成像效果差的问题。ISP的成像效果差的问题。ISP的成像效果差的问题。


技术研发人员：朱亚凡 曹晶 干志斌
受保护的技术使用者：智瀚星途（苏州）科技有限公司
技术研发日：2023.06.06
技术公布日：2023/8/21