镜头组的光学结构优化方法、装置和电子装置与流程

1.本技术涉及镜头设计技术领域，特别是涉及一种镜头组的光学结构优化方法、装置、电子装置和存储介质。


背景技术：

2.随着智能手机的不断发展，智能手机变得更轻薄和更便携，但是由于用户对手机拍照画质的追求日益提高，大底感光元件以及更多片数的光学镜头组被渐渐应用到智能手机中，导致智能手机的后置相机厚度逐渐增加，进而降低智能手机的便携性。
3.目前主要是直接对镜头组的光学结构进行优化来完成对镜头组的减薄目标，例如，利用光学设计软件，改变镜头组的结构、面型或者材料，通过改变某些镜片的折射或衍射特性对镜头组进行减薄，然而采用这些技术方案的镜头组相比于未减薄的镜头组存在画质损失的问题，难以适用对成像质量要求高的设备。
4.目前针对相关技术中镜头组无法兼顾减薄和高成像质量的问题，尚未提出有效的解决方案。


技术实现要素：

5.本技术实施例提供了一种镜头组的光学结构优化方法、装置、电子装置和存储介质，以至少解决相关技术中镜头组无法兼顾减薄和高成像质量的问题。
6.第一方面，本技术实施例提供了一种镜头组的光学结构优化方法，所述方法包括：获取镜头组的预设的多种光学结构，其中，每种光学结构所对应的所述镜头组的mtf值和主值参数不同，每种光学结构所对应的所述镜头组的镜头全长均小于预设的第一阈值；获取所述镜头组在每种光学结构下的psf信息，并根据所述psf信息生成多张仿真图像，其中，所述psf信息包括在不同物距下及不同视场角下的psf，每张仿真图像对应在一种光学结构下的一种psf；分别将每张仿真图像输入已训练的图像复原模型，得到所述已训练的图像复原模型对所述镜头组的mtf值的阈值要求以及psf值的均匀性要求；通过调整所述镜头组的镜头全长和/或主值参数对所述镜头组的光学结构进行迭代优化，以使得优化后的光学结构所对应的mtf值满足所述阈值要求，以及psf值满足所述均匀性要求，主值参数满足预设的参数指标。
7.在其中一些实施例中，获取镜头组的预设的多种光学结构包括：将所述镜头组的镜头全长降低至小于所述第一阈值；设置不同梯度的mtf值，并获取对应每种mtf值的主值参数，得到所述镜头组的多种光学结构。
8.在其中一些实施例中，通过调整所述镜头组的镜头全长和/或主值参数对所述镜头组的光学结构进行迭代优化包括：将所述多种光学结构中mtf值最高的光学结构作为第一光学结构；降低所述第一光学结构所对应的mtf值，并基于降低后的mtf值调整所述第一光学结构所对应的主值参数，对所述第一光学结构进行迭代优化；在优化后的第一光学结构所对应的主值参数满足所述参数指标，mtf值满足所述阈值要求，且psf值满足所述均匀
性要求的情况下，确定所述第一光学结构完成优化；在优化后的第一光学结构所对应的主值参数未满足所述参数指标，且mtf值已降低至所述阈值要求中的最低阈值时的情况下，增大所述第一光学结构所对应的镜头全长，得到第二光学结构；降低所述第二光学结构所对应的mtf值，并基于降低后的mtf值调整所述第二光学结构所对应的主值参数，对所述第二光学结构进行迭代优化；在优化后的第二光学结构所对应的主值参数满足所述参数指标，mtf值满足所述阈值要求，且psf值满足所述均匀性要求的情况下，确定所述第二光学结构完成优化。
9.在其中一些实施例中，获取所述镜头组在每种光学结构下的psf信息包括：获取所述镜头组中的成像传感器的光谱响应曲线；根据所述光学结构和所述光谱响应曲线，获取所述镜头组在每种光学结构下的psf信息，其中，所述psf信息包括在不同物距下及不同视场角下的r通道、g通道和b通道的psf。
10.在其中一些实施例中，所述方法还包括：将所述多种光学结构中mtf值最高的光学结构作为第一光学结构；获取所述镜头组在所述第一光学结构下的psf信息，其中，所述psf信息包括在不同物距下及不同视场角下的r通道、g通道和b通道的psf；将预设的训练数据集中的每张样本图像，分别与每个psf进行卷积，得到与每张样本图像对应的不同物距下的多张降质图像；将每张样本图像和与每张样本图像对应的多张降质图像均输入到预设的图像复原模型，利用反向传播优化所述图像复原模型的参数信息；利用预设的测试数据集对所述图像复原模型的图像复原性能进行测试，根据所述图像复原模型的图像复原性能优化所述图像复原模型的参数信息，得到已训练的图像复原模型。
11.在其中一些实施例中，分别将每张仿真图像输入已训练的图像复原模型，得到所述已训练的图像复原模型对所述镜头组的mtf值的阈值要求以及psf值的均匀性要求包括：分别将每张仿真图像输入已训练的图像复原模型，得到所述已训练的图像复原模型在每种光学结构下的图像复原性能；根据所述已训练的图像复原模型在每种光学结构下的图像复原性能是否均满足预设的目标需求，确定所述已训练的图像复原模型对所述镜头组的mtf值的阈值要求；根据所述psf信息，生成第一数据集和第二数据集，其中，所述第一数据集包括在预设的物距下，不同视场角所对应的仿真图像，所述第二数据集包括在预设的视场角，不同物距所对应的仿真图像；利用对应每种光学结构的第一数据集和第二数据集对所述已训练的图像复原模型的图像复原性能进行测试，得到所述已训练的图像复原模型对所述镜头组的psf值的均匀性要求。
12.在其中一些实施例中，所述阈值要求包括：在预设的第一频率下所述mtf值大于预设的第二阈值；在预设的第二频率下所述mtf值大于预设的第三阈值，其中，所述第一频率小于所述第二频率；所述均匀性要求包括：在所述第一频率和预设的物距下，预设的多种视场角所对应的psf卷积核大小的方差小于预设的第四阈值；在所述第一频率和预设的视场角下，预设的多种物距所对应的psf卷积核大小的方差小于预设的第五阈值。
13.第二方面，本技术实施例提供了一种镜头组的光学结构优化装置，所述装置包括：第一获取模块，用于获取镜头组的预设的多种光学结构，其中，每种光学结构所对应的所述镜头组的mtf值和主值参数不同，每种光学结构所对应的所述镜头组的镜头全长均小于预设的第一阈值；第二获取模块，用于获取所述镜头组在每种光学结构下的psf信息，并根据所述psf信息生成多张仿真图像，其中，每张仿真图像对应一种光学结构下的psf信息；输入
模块，用于分别将每张仿真图像输入已训练的图像复原模型，得到所述已训练的图像复原模型对所述镜头组的mtf值的阈值要求以及psf值的均匀性要求；优化模块，用于通过调整所述镜头组的镜头全长和/或主值参数对所述镜头组的光学结构进行迭代优化，以使得优化后的光学结构所对应的mtf值满足所述阈值要求，以及psf值满足所述均匀性要求，主值参数满足预设的参数指标。
14.第三方面，本技术实施例还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如上述第一方面所述的镜头组的光学结构优化方法。
15.第四方面，本技术实施例还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述第一方面所述的镜头组的光学结构优化方法。
16.相比于相关技术，本技术实施例提供的镜头组的光学结构优化方法、装置、电子装置和存储介质，获取镜头组的预设的多种光学结构，其中，每种光学结构所对应的镜头组的mtf值和主值参数不同，每种光学结构所对应的镜头组的镜头全长均小于预设的第一阈值；获取镜头组在每种光学结构下的psf信息，并根据psf信息生成多张仿真图像，其中，psf信息包括在不同物距下及不同视场角下的psf，每张仿真图像对应在一种光学结构下的一种psf；分别将每张仿真图像输入已训练的图像复原模型，得到已训练的图像复原模型对镜头组的mtf值的阈值要求以及psf值的均匀性要求；通过调整镜头组的镜头全长和/或主值参数对镜头组的光学结构进行迭代优化，以使得优化后的光学结构所对应的mtf值满足阈值要求，以及psf值满足均匀性要求，主值参数满足预设的参数指标。解决了相关技术中镜头组无法兼顾减薄和高成像质量的问题，实现了在对镜头组进行减薄的同时提高镜头组的成像质量的技术效果。
17.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
18.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
19.图1是根据本技术实施例的镜头组的光学结构优化方法的流程图；
20.图2是根据本技术实施例的卷积神经网络的网络结构示意图；
21.图3是根据本技术实施例的镜头组的成像效果对比图；
22.图4是根据本技术实施例的镜头组的光学结构优化装置的结构框图；
23.图5是根据本技术实施例的电子装置的结构示意图。
具体实施方式
24.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。此外，还可以理解的是，虽然
这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
25.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
26.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
27.本实施例提供了一种镜头组的光学结构优化方法，图1是根据本技术实施例的镜头组的光学结构优化方法的流程图，如图1所示，该方法包括：
28.步骤s101，获取镜头组的预设的多种光学结构，其中，每种光学结构所对应的镜头组的mtf值和主值参数不同，每种光学结构所对应的镜头组的镜头全长均小于预设的第一阈值。
29.在本实施例中，调制传递函数(modulation transfer function，简称为mtf)是分析光学系统的解像力的一种标准，可用于表示光学系统的特征，mtf值越大，则表示光学系统的成像质量越好。
30.在本实施例中，主值参数为镜头组的光圈大小、视场角(field of view，简称为fov)等参数。
31.在本实施例中，在初始的光学结构设计阶段，可以先对镜头组进行减薄，即降低镜头组的镜头全长(total track length，简称为ttl)，放宽对其他主值参数的限制，设置较高的mtf优化目标，得到多种光学结构，其中，在该多种光学结构中，除了ttl满足预期，光圈大小、fov均无法达到未减薄前的标准，且mtf值相比于未减薄前略有下降，还需要通过后续的优化保证在减薄镜头组的同时，提高镜头组的成像质量。
32.步骤s102，获取镜头组在每种光学结构下的psf信息，并根据psf信息生成多张仿真图像，其中，psf信息包括在不同物距下及不同视场角下的psf，每张仿真图像对应在一种光学结构下的一种psf。
33.在本实施例中，点扩散函数(point spread function，简称为psf)为输入物为一点光源时其输出像的光场分布。
34.在本实施例中，psf信息包括在不同物距下及不同视场角下的r通道、g通道和b通道的psf，可以使用预设的高清图像与在一种光学结构下的每种psf进行卷积，进而得到与高清图像对应的，在该种光学结构下的在不同物距下的多张仿真图像或者在该种光学结构下的在某一种物距下的一张仿真图像，进而获取与高清图像对应的在每种光学结构下的在不同物距下的多张仿真图像或者在每种光学结构下的在某一种物距下的一张仿真图像。
35.步骤s103，分别将每张仿真图像输入已训练的图像复原模型，得到已训练的图像复原模型对镜头组的mtf值的阈值要求以及psf值的均匀性要求。
36.在本实施例中，图像复原模型可以是卷积神经网络模型。
37.卷积神经网络(convolutional neural networks，简称为cnn)是一类包含卷积计算且具有深度结构的前馈神经网络(feedforward neural networks，简称为fnn)，是深度学习的代表算法之一。卷积神经网络就有连接性、表征学习能力，因此能够很好地从大量样本中学习到相应的特征。
38.在本实施例中，可以通过深度学习模型学习样本图像与降质图像之间的关系，从而实现图像复原模型的图像复原效果，提高镜头组的成像质量。
39.在其中一个实施例中，可以采用res-unet结构的卷积神经网络来实现图像复原模型的构建。
40.res-unet是具有残差结构的u-net网络，u-net网络具备编码器和解码器，形成了u型结构性对称结构，是一种应用广泛的网络结构，可以构建res-unet结构的卷积神经网络，并设置合理的损失函数约束，训练得到从清晰度下降的降质图像到高质量图像的映射模型，即已训练的图像复原模型。
41.步骤s104，通过调整镜头组的镜头全长和/或主值参数对镜头组的光学结构进行迭代优化，以使得优化后的光学结构所对应的mtf值满足阈值要求，以及psf值满足均匀性要求，主值参数满足预设的参数指标。
42.在本实施例中，图像复原模型具备两个功能：其一是提升镜头组中的成像传感器输出的图像的清晰度；其二则是给出对光学结构所对应的mtf值下降的容忍度，增加光学结构设计的自由度；图像复原模型可以根据其在不同mtf值和不同形态psf下的图像复原性能，对光学结构的低高频mtf阈值、以及在不同视场角、不同物距下的psf值的均匀性提出相应要求，用以指导光学结构的迭代优化，从而在最终的正向推理过程中获得质量更高的复原图像。
43.可以根据图像复原模型对mtf值的阈值要求和对psf值的均匀性要求，放宽对场曲、像差以及色差等参数的限制，逐渐降低mtf值优化目标，优化镜头组的主值参数和/或ttl，对镜头组的光学结构进行迭代优化，从而保证优化后的光学结构所对应的mtf值满足阈值要求，psf值满足均匀性要求，主值参数满足预设的参数指标，进而在对镜头组减薄的同时，提高镜头组的成像质量。
44.在相关技术中，一些技术方案会通过直接对镜头组的光学结构进行优化来完成对镜头组的减薄目标，例如，利用光学设计软件，改变镜头组的结构、面型或者材料，通过改变某些镜片的折射或衍射特性对镜头组进行减薄，然而采用这些技术方案的镜头组相比于未减薄的镜头组存在画质损失的问题，难以适用对成像质量要求高的设备。
45.另一些技术方案则会利用深度学习模型对镜头组的光学系统的像差进行去除，通
过获取带有光学系统像差的psf，然后根据psf构造训练集，达成对光学系统像差的抑制目标。这类技术方案避免了增加镜头组的硬件的复杂性，通过软件的方式来校正光学像差，有利于镜头组的小型化。然而这些技术方案并未关注如何对镜头组的光学结构设计进行反馈指导，无法在对镜头组进行减薄的同时，提高其成像质量。
46.在上述技术方案中，往往无法兼顾镜头组的减薄和高成像质量，且对安装精度、适用设备都存在一定的要求，存在应用困难、无法适配各类设备等问题。
47.本技术提供的镜头组的光学结构优化方法通过将对镜头组的光学结构设计和图像复原相结合，利用已训练的图像复原模型，在提高镜头组的成像传感器输出图像的清晰度和质量的同时也对光学结构设计进行反馈指导，使得镜头组的光学结构与图像复原模型达成端对端的系统最优，在对镜头组进行减薄的同时，提高镜头组的成像质量，可适用于手机、平板电脑等对图像质量要求较高的设备。
48.通过上述步骤s101至步骤s104，获取镜头组的预设的多种光学结构，其中，每种光学结构所对应的镜头组的mtf值和主值参数不同，每种光学结构所对应的镜头组的镜头全长均小于预设的第一阈值；获取镜头组在每种光学结构下的psf信息，并根据psf信息生成多张仿真图像，其中，psf信息包括在不同物距下及不同视场角下的psf，每张仿真图像对应在一种光学结构下的一种psf；分别将每张仿真图像输入已训练的图像复原模型，得到已训练的图像复原模型对镜头组的mtf值的阈值要求以及psf值的均匀性要求；通过调整镜头组的镜头全长和/或主值参数对镜头组的光学结构进行迭代优化，以使得优化后的光学结构所对应的mtf值满足阈值要求，以及psf值满足均匀性要求，主值参数满足预设的参数指标。通过本技术，解决了相关技术中镜头组无法兼顾减薄和高成像质量的问题，实现了在对镜头组进行减薄的同时提高镜头组的成像质量的技术效果。
49.在其中一些实施例中，阈值要求包括：在预设的第一频率下mtf值大于预设的第二阈值；在预设的第二频率下mtf值大于预设的第三阈值，其中，第一频率小于第二频率；均匀性要求包括：在第一频率和预设的物距下，预设的多种视场角所对应的psf卷积核大小的方差小于预设的第四阈值；在第一频率和预设的视场角下，预设的多种物距所对应的psf卷积核大小的方差小于预设的第五阈值。
50.在本实施例中，阈值要求包括mtf在低频和高频下的最低阈值要求，以低频是80lp/mm，高频是150lp/mm为例，即，在第一频率80lp/mm下，要求mtf值大于第二阈值，在第二频率150lp/mm下，要求mtf值大于第三阈值。
51.均匀性要求可以包括在第一频率80lp/mm下，在同一个物距下，要求在00、03、05和07四个视场角下的psf卷积核大小的方差小于第四阈值；在第一频率80lp/mm下，在同一个视场角下，要求在30cm、80cm、150cm和无穷远四个物距下的psf卷积核大小的方差小于第五阈值。
52.在上述实施例中，第一阈值、第二阈值、第三阈值、第四阈值和第五阈值均可根据对镜头组的实际需要自行进行配置，上述的第一频率、第二频率、多种物距和多种视场角也可自行进行选择，本技术在此不作限制。
53.通过已训练的图像复原模型对镜头组的mtf值的阈值要求和对镜头组的psf值的均匀性要求共同反馈镜头组的光学结构设计，经过迭代优化，可以达成减薄镜头组的同时也未降低其他主值参数的目标，并且最终镜头组的成像质量略优于减薄前的镜头组，适用
于手机、平板电脑等对图像质量要求较高的设备。
54.在其中一些实施例中，获取镜头组的预设的多种光学结构可以通过如下步骤实现：
55.步骤1，将镜头组的镜头全长降低至小于第一阈值。
56.步骤2，设置不同梯度的mtf值，并获取对应每种mtf值的主值参数，得到镜头组的多种光学结构。
57.在本实施例中，可以以镜头组高度降低的光学结构作为初始设计，即主要限制镜头组的ttl，放宽其他主值参数的限制，且设置较高的mtf优化目标，利用光学设计软件完成初步优化，输出第一版光学结构设计，其中，该第一版光学结构设计除了ttl满足预设的目标，光圈大小、fov等主值参数均无法达到镜头组未减薄前的标准，mtf相比于未减薄前略有下降但不明显。
58.在上述实施例中，可以针对第一版光学结构设计继续优化主值参数，并设置不同梯度的mtf优化目标，进而得到不同梯度mtf值和不同主值参数的多种光学结构。
59.在其中一些实施例中，通过调整镜头组的镜头全长和/或主值参数对镜头组的光学结构进行迭代优化通过如下步骤实现：
60.步骤1，将多种光学结构中mtf值最高的光学结构作为第一光学结构。
61.步骤2，降低第一光学结构所对应的mtf值，并基于降低后的mtf值调整第一光学结构所对应的主值参数，对第一光学结构进行迭代优化。
62.步骤3，在优化后的第一光学结构所对应的主值参数满足参数指标，mtf值满足阈值要求，且psf值满足均匀性要求的情况下，确定第一光学结构完成优化。
63.步骤4，在优化后的第一光学结构所对应的主值参数未满足参数指标，且mtf值已降低至阈值要求中的最低阈值时的情况下，增大第一光学结构所对应的镜头全长，得到第二光学结构。
64.步骤5，降低第二光学结构所对应的mtf值，并基于降低后的mtf值调整第二光学结构所对应的主值参数，对第二光学结构进行迭代优化。
65.步骤6，在优化后的第二光学结构所对应的主值参数满足参数指标，mtf值满足阈值要求，且psf值满足均匀性要求的情况下，确定第二光学结构完成优化。
66.在本实施例中，可以将多种光学结构中mtf值最高的光学结构作为第一光学结构进行迭代优化，还可以选取多种光学结构中任一版光学结构作为第一光学结构进行迭代优化。
67.在本实施例中，可以根据已训练的图像复原模型对镜头组的mtf值的阈值要求和对镜头组的psf值的均匀性要求，可以放宽第一光学结构的场曲、像差以及色差等参数的限制，降低第一光学结构所对应的mtf值，并优化第一光学结构的光圈大小、fov等主值参数，直到主值参数满足参数指标，或者mtf值已降低至阈值要求中的最低阈值时。
68.在上述实施例中，若第一光学结构所对应的主值参数已达标，mtf值满足阈值要求，且psf值满足均匀性要求时，则确认第一光学结构直接完成迭代优化的过程；若第一光学结构所对应的主值参数未达标，则可以逐步放宽对第一光学结构的ttl的限制，得到第二光学结构，并对第二光学结构进行上述的迭代优化，直至第二光学结构的主值参数达标，且mtf值刚好满足阈值要求，psf值刚好满足均匀性要求，则此时第二光学结构所对应的ttl即
当前镜头组所能够压缩的极限高度，完成第二光学结构的迭代优化过程。
69.在上述实施例中，在完成第一光学结构或第二光学结构的迭代优化后，还可以在其主值参数不变的情况下，对优化后的第一光学结构或第二光学结构按照传统结构设计方式进行细微调优，提高镜头组的适用性，在对镜头组进行减薄的同时，提高镜头组的成像质量。
70.在其中一些实施例中，获取镜头组在每种光学结构下的psf信息通过如下步骤实现：
71.步骤1，获取镜头组中的成像传感器的光谱响应曲线。
72.步骤2，根据光学结构和光谱响应曲线，获取镜头组在每种光学结构下的psf信息，其中，psf信息包括在不同物距下及不同视场角下的r通道、g通道和b通道的psf。
73.在本实施例中，可以根据镜头组的光学结构和成像传感器的光谱响应曲线等参数，利用衍射模型、几何光学成像模型等光路传播模型，从而得到成像传感器正向计算该光学系统的psf信息的过程，进而计算得到该镜头组的每种光学结构所对应的在不同物距下，所有视场角范围内的r通道、g通道和b通道的psf。
74.在其中一些实施例中，该方法还实施如下步骤：
75.步骤1，将多种光学结构中mtf值最高的光学结构作为第一光学结构。
76.步骤2，获取镜头组在第一光学结构下的psf信息，其中，psf信息包括在不同物距下及不同视场角下的r通道、g通道和b通道的psf。
77.步骤3，将预设的训练数据集中的每张样本图像，分别与每个psf进行卷积，得到与每张样本图像对应的在不同物距下的多张降质图像。
78.步骤4，将每张样本图像和与每张样本图像对应的多张降质图像均输入到预设的图像复原模型，利用反向传播优化图像复原模型的参数信息。
79.步骤5，利用预设的测试数据集对图像复原模型的图像复原性能进行测试，根据图像复原模型的图像复原性能优化图像复原模型的参数信息，得到已训练的图像复原模型。
80.在本实施例中，可以针对第一光学结构，在近距、中距和远距下都获取对应物距的不同视场角的psf，并将不同视场角的psf与样本图像进行卷积，从而得到在近距、中距和远距下的降质图像，并将不同物距下的降质图像与样本图像输入图像复原模型进行微调(fine tune)训练，改进图像复原模型的性能，进一步提升图像复原模型的图像复原质量，提高镜头组的成像质量。
81.在本实施例中，退化成像过程可以用卷积运算来表示：y＝x*a，其中，*表示卷积运算，y表示降质图像，x即样本图像，预设的高清图像，a则表示psf。
82.在本实施例中，可以采用多张样本图像，例如采用大于2000张的4k分辨率的高清rgb数据集分别与每个psf进行卷积，仿真生成多张降质图像。
83.在本实施例中，可以将样本图像分别与每个psf进行卷积，利用环形分割和/或切块拼合不同视场角，并将预设的高斯白噪声加入到生成的模糊图像中，得到与样本图像对应的在不同物距下的降质图像。
84.在本实施例中，为了模拟光学系统中不完全校正的模糊，可以将样本图像与psf进行卷积，然后将预设的高斯白噪声添加到生成的模糊图像中，以模拟光路噪声，该高斯白噪声的标准差可以在0到3之间随一取值，进一步地，在得到与样本图像对应的在不同物距下
的降质图像后，还可以对降质图像进行标准化、归一化处理，以方便后续的训练模型过程。
85.在本实施例中，可以将每张样本图像和与每张样本图像对应的在不同物距下的多张降质图像均作为训练数据对输入到预设的图像复原模型，还可以将训练数据对切块，得到多个图像块，并对每个图像块均进行数据增广后输入到图像复原模型。
86.在本实施例中，可以利用水平/垂直翻转、旋转、缩放、裁剪、剪切、平移、调整对比度、色彩抖动和添加噪声等方式对每个图像块进行数据增广，增加图像复原模型的训练数据集，使得训练数据集尽可能的多样化，提高图像复原模型的泛化能力。
87.在本实施例中，测试数据集包括未经训练物距下的仿真成像图，通过测试数据集对图像复原模型的图像复原性能进行测试，根据图像复原模型的图像复原性能调整调整图像复原模型的参数信息，包括网络结构、训练数据集的构造以及损失函数的约束等等，直到图像复原模型输出的复原图像满足预设的需求，得到已训练的图像复原模型。
88.在本实施例中，通过将训练数据集输入到图像复原模型，对损失函数进行全局最小化，根据损失函数利用图像复原模型的反向传播功能，优化图像复原模型的参数信息，构建的图像复原模型在输入降质图像后可以直接输出对应的复原图像，同时还能够基于图像复原模型的图像复原性能，对镜头组的mtf值提出阈值要求，对镜头组的psf值提出均匀性要求，用以指导光学结构设计的迭代优化，从而在最终的正向推理过程中获得质量更高的复原图像，在提高镜头组的成像传感器输出图像的清晰度和质量的同时也对光学结构设计进行反馈指导，使得镜头组的光学结构与图像复原模型达成端对端的系统最优，在对镜头组进行减薄的同时，提高镜头组的成像质量，可适用于手机、平板电脑等对图像质量要求较高的设备。
89.图2是根据本技术实施例的卷积神经网络的网络结构示意图，如图2所示，图像复原模型是采用res-unet结构的卷积神经网络构建得到的，该卷积神经网络中包括多个卷积层、解卷积层和残差块。
90.卷积层用于提取输入到图像复原模型的图像的不同特征，其中，低卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。
91.其中，残差结构为图像复原模型提供了更多的可调试性，图像复原模型可以通过调整权重因子k来控制最后一层的叠加比例，从而控制输出图像的清晰度，具体公式如下：
92.output＝input+k*layer
out
。
93.在本实施例中，可以使用实际的镜头组拍摄不同视场角下的点光源，从而获取该镜头组在不同视场角下的psf，并在近距、中距和远距下都获取对应物距的不同视场角下的psf，利用高清raw图分块卷积不同物距、不同视场角下的psf，获得对应的第一训练数据对，该第一训练数据对包括高清raw图和卷积后形成的降质图像。
94.可以使用实际的镜头组拍摄在近距、中距和远距下的高清显示器，获取对应的实拍raw图和投影rgb图，对投影rgb图进行raw图退化操作，并与实拍raw图进行位置、亮度和颜色的匹配生成gt(真值样本，ground truth，简称为gt)图，将gt图与实拍raw图作为第二训练数据对。
95.将第一训练数据对和第二训练数据对输入到图像复原模型，对图像复原模型进行微调(fine tune)训练改进图像复原模型的性能，进一步提升图像复原模型的图像复原质
量，提高屏下相机的成像质量。
96.在其中一些实施例中，分别将每张仿真图像输入已训练的图像复原模型，得到已训练的图像复原模型对镜头组的mtf值的阈值要求以及psf值的均匀性要求通过如下步骤实现：
97.步骤1，分别将每张仿真图像输入已训练的图像复原模型，得到已训练的图像复原模型在每种光学结构下的图像复原性能。
98.步骤2，根据已训练的图像复原模型在每种光学结构下的图像复原性能是否均满足预设的目标需求，确定已训练的图像复原模型对镜头组的mtf值的阈值要求。
99.步骤3，根据psf信息，生成第一数据集和第二数据集，其中，第一数据集包括在预设的物距下，不同视场角所对应的仿真图像，第二数据集包括在预设的视场角，不同物距所对应的仿真图像。
100.步骤4，利用对应每种光学结构的第一数据集和第二数据集对已训练的图像复原模型的图像复原性能进行测试，得到已训练的图像复原模型对镜头组的psf值的均匀性要求。
101.在本实施例中，可以根据不同梯度mtf值的光学结构所对应的psf信息对已训练的图像复原模型进行训练，根据已训练的图像复原模型输出的复原图像是否满足预设的目标需求，确定已训练的图像复原模型对镜头组的mtf值的阈值要求，该目标需求可以是已训练的图像复原模型的复原图像在主观评价和客观评价上均要优于减薄前的镜头所输出的图像。
102.在本实施例中，可以利用每种光学结构所对应的在不同物距下、不同视场角下的psf信息，生成单一物距下不同视场角的psf均匀程度不同的仿真图像对已训练的图像复原模型进行训练和效果验证；还可以生成单一视场角下不同物距的psf均匀性程度不同的仿真图像对已训练的图像复原模型进行训练和效果验证，进而获取已训练的图像复原模型对镜头组的psf值的均匀性要求。
103.通过上述实施例，将已训练的图像复原模型对镜头组的mtf值的阈值要求和对镜头组的psf值的均匀性要求同时反馈光学结构的迭代优化设计，从而在最终的正向推理过程中获得质量更高的复原图像，在提高镜头组的成像传感器输出图像的清晰度和质量的同时也对光学结构设计进行反馈指导，使得镜头组的光学结构与图像复原模型达成端对端的系统最优，在对镜头组进行减薄的同时，提高镜头组的成像质量。
104.图3是根据本技术实施例的镜头组的成像效果对比图，在本实施例中，本技术实施例的镜头组的光学结构优化方法，能够在当前智能手机普遍采用大底感光元件、大光圈以及小ttl等高规格参数的要求下，设计得到更薄的光学镜头组，同时获得更高的成像质量，在具体的实施方案中，本技术实施例的镜头组的光学结构优化方法能够在保持智能手机的镜头组的其他主值参数不变的情况下，将镜头组的ttl降低大约20％，如图3所示，左边的图像是采用本技术实施例的镜头组的光学结构优化方法完成减薄的镜头组的成像效果，右边的图像则是未减薄的镜头组的成像效果，由此可得，采用本技术实施例的镜头组的光学结构优化方法完成减薄的镜头组的成像效果要略优于未减薄的镜头组。
105.本实施例提供了一种镜头组的光学结构优化装置，图4是根据本技术实施例的镜头组的光学结构优化装置的结构框图，如图4所示，该装置包括：第一获取模块41，用于获取
镜头组的预设的多种光学结构，其中，每种光学结构所对应的镜头组的mtf值和主值参数不同，每种光学结构所对应的镜头组的镜头全长均小于预设的第一阈值；第二获取模块42，用于获取镜头组在每种光学结构下的psf信息，并根据psf信息生成多张仿真图像，其中，psf信息包括在不同物距下及不同视场角下的psf，每张仿真图像对应在一种光学结构下的一种psf；输入模块43，用于分别将每张仿真图像输入已训练的图像复原模型，得到已训练的图像复原模型对镜头组的mtf值的阈值要求以及psf值的均匀性要求；优化模块44，用于通过调整镜头组的镜头全长和/或主值参数对镜头组的光学结构进行迭代优化，以使得优化后的光学结构所对应的mtf值满足阈值要求，以及psf值满足均匀性要求，主值参数满足预设的参数指标。
106.在其中一些实施例中，第一获取模块41还被配置为用于将镜头组的镜头全长降低至小于第一阈值；设置不同梯度的mtf值，并获取对应每种mtf值的主值参数，得到镜头组的多种光学结构。
107.在其中一些实施例中，优化模块44还被配置为用于将多种光学结构中mtf值最高的光学结构作为第一光学结构；降低第一光学结构所对应的mtf值，并基于降低后的mtf值调整第一光学结构所对应的主值参数，对第一光学结构进行迭代优化；在优化后的第一光学结构所对应的主值参数满足参数指标，mtf值满足阈值要求，且psf值满足均匀性要求的情况下，确定第一光学结构完成优化；在优化后的第一光学结构所对应的主值参数未满足参数指标，且mtf值已降低至阈值要求中的最低阈值时的情况下，增大第一光学结构所对应的镜头全长，得到第二光学结构；降低第二光学结构所对应的mtf值，并基于降低后的mtf值调整第二光学结构所对应的主值参数，对第二光学结构进行迭代优化；在优化后的第二光学结构所对应的主值参数满足参数指标，mtf值满足阈值要求，且psf值满足均匀性要求的情况下，确定第二光学结构完成优化。
108.在其中一些实施例中，第二获取模块42还被配置为用于获取镜头组中的成像传感器的光谱响应曲线；根据光学结构和光谱响应曲线，获取镜头组在每种光学结构下的psf信息，其中，psf信息包括在不同物距下及不同视场角下的r通道、g通道和b通道的psf。
109.在其中一些实施例中，该装置还包括训练模块，用于将多种光学结构中mtf值最高的光学结构作为第一光学结构；获取镜头组在第一光学结构下的psf信息，其中，psf信息包括在不同物距下及不同视场角下的r通道、g通道和b通道的psf；将预设的训练数据集中的每张样本图像，分别与每个psf进行卷积，得到与每张样本图像对应的在不同物距下的多张降质图像；将每张样本图像和与每张样本图像对应的多张降质图像均输入到预设的图像复原模型，利用反向传播优化图像复原模型的参数信息；利用预设的测试数据集对图像复原模型的图像复原性能进行测试，根据图像复原模型的图像复原性能优化图像复原模型的参数信息，得到已训练的图像复原模型。
110.在其中一些实施例中，输入模块43还被配置为用于分别将每张仿真图像输入已训练的图像复原模型，得到已训练的图像复原模型在每种光学结构下的图像复原性能；根据已训练的图像复原模型在每种光学结构下的图像复原性能是否均满足预设的目标需求，确定已训练的图像复原模型对镜头组的mtf值的阈值要求；根据psf信息，生成第一数据集和第二数据集，其中，第一数据集包括在预设的物距下，不同视场角所对应的仿真图像，第二数据集包括在预设的视场角，不同物距所对应的仿真图像；利用对应每种光学结构的第一
数据集和第二数据集对已训练的图像复原模型的图像复原性能进行测试，得到已训练的图像复原模型对镜头组的psf值的均匀性要求。
111.在其中一些实施例中，阈值要求包括：在预设的第一频率下mtf值大于预设的第二阈值；在预设的第二频率下mtf值大于预设的第三阈值，其中，第一频率小于第二频率；均匀性要求包括：在第一频率和预设的物距下，预设的多种视场角所对应的psf卷积核大小的方差小于预设的第四阈值；在第一频率和预设的视场角下，预设的多种物距所对应的psf卷积核大小的方差小于预设的第五阈值。
112.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
113.本实施例还提供了一种电子装置，图5是根据本技术实施例的电子装置的硬件结构示意图，如图5所示，该电子装置包括存储器504和处理器502，该存储器504中存储有计算机程序，该处理器502被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
114.具体地，上述处理器502可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，简称为asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
115.其中，存储器504可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器504可包括硬盘驱动器(hard disk drive，简称为hdd)、软盘驱动器、固态驱动器(solid state drive，简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universalserialbus，简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器504可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器504可在镜头组的光学结构优化装置的内部或外部。在特定实施例中，存储器504是非易失性(non-volatile)存储器。在特定实施例中，存储器504包括只读存储器(read-only memory，简称为rom)和随机存取存储器(random access memory，简称为ram)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(programmable read-only memory，简称为prom)、可擦除prom(erasable programmable read-only memory，简称为eprom)、电可擦除prom(electrically erasable programmable read-only memory，简称为eeprom)、电可改写rom(electrically alterable read-only memory，简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器(static random-access memory，简称为sram)或动态随机存取存储器(dynamic random access memory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器(fast page mode dynamic random access memory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extended date out dynamic random access memory，简称为edodram)、同步动态随机存取内存(synchronous dynamic random-access memory，简称sdram)等。
116.存储器504可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器502所执行的可能的计算机程序指令。
117.处理器502通过读取并执行存储器504中存储的计算机程序指令，以实现上述实施例中的任意一种镜头组的光学结构优化方法。
118.可选地，上述电子装置还可以包括传输设备506以及输入输出设备508，其中，该传输设备506和上述处理器502连接，该输入输出设备508和上述处理器502连接。
119.可选地，在本实施例中，上述处理器502可以被设置为通过计算机程序执行以下步骤：
120.s1，获取镜头组的预设的多种光学结构，其中，每种光学结构所对应的镜头组的mtf值和主值参数不同，每种光学结构所对应的镜头组的镜头全长均小于预设的第一阈值。
121.s2，获取镜头组在每种光学结构下的psf信息，并根据psf信息生成多张仿真图像，其中，psf信息包括在不同物距下及不同视场角下的psf，每张仿真图像对应在一种光学结构下的一种psf。
122.s3，分别将每张仿真图像输入已训练的图像复原模型，得到已训练的图像复原模型对镜头组的mtf值的阈值要求以及psf值的均匀性要求。
123.s4，通过调整镜头组的镜头全长和/或主值参数对镜头组的光学结构进行迭代优化，以使得优化后的光学结构所对应的mtf值满足阈值要求，以及psf值满足均匀性要求，主值参数满足预设的参数指标。
124.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
125.另外，结合上述实施例中的镜头组的光学结构优化方法，本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种镜头组的光学结构优化方法。
126.本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
127.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种镜头组的光学结构优化方法，其特征在于，所述方法包括：获取镜头组的预设的多种光学结构，其中，每种光学结构所对应的所述镜头组的mtf值和主值参数不同，每种光学结构所对应的所述镜头组的镜头全长均小于预设的第一阈值；获取所述镜头组在每种光学结构下的psf信息，并根据所述psf信息生成多张仿真图像，其中，所述psf信息包括在不同物距下及不同视场角下的psf，每张仿真图像对应在一种光学结构下的一种psf；分别将每张仿真图像输入已训练的图像复原模型，得到所述已训练的图像复原模型对所述镜头组的mtf值的阈值要求以及psf值的均匀性要求；通过调整所述镜头组的镜头全长和/或主值参数对所述镜头组的光学结构进行迭代优化，以使得优化后的光学结构所对应的mtf值满足所述阈值要求，以及psf值满足所述均匀性要求，主值参数满足预设的参数指标。2.根据权利要求1所述的镜头组的光学结构优化方法，其特征在于，获取镜头组的预设的多种光学结构包括：将所述镜头组的镜头全长降低至小于所述第一阈值；设置不同梯度的mtf值，并获取对应每种mtf值的主值参数，得到所述镜头组的多种光学结构。3.根据权利要求1所述的镜头组的光学结构优化方法，其特征在于，通过调整所述镜头组的镜头全长和/或主值参数对所述镜头组的光学结构进行迭代优化包括：将所述多种光学结构中mtf值最高的光学结构作为第一光学结构；降低所述第一光学结构所对应的mtf值，并基于降低后的mtf值调整所述第一光学结构所对应的主值参数，对所述第一光学结构进行迭代优化；在优化后的第一光学结构所对应的主值参数满足所述参数指标，mtf值满足所述阈值要求，且psf值满足所述均匀性要求的情况下，确定所述第一光学结构完成优化；在优化后的第一光学结构所对应的主值参数未满足所述参数指标，且mtf值已降低至所述阈值要求中的最低阈值时的情况下，增大所述第一光学结构所对应的镜头全长，得到第二光学结构；降低所述第二光学结构所对应的mtf值，并基于降低后的mtf值调整所述第二光学结构所对应的主值参数，对所述第二光学结构进行迭代优化；在优化后的第二光学结构所对应的主值参数满足所述参数指标，mtf值满足所述阈值要求，且psf值满足所述均匀性要求的情况下，确定所述第二光学结构完成优化。4.根据权利要求1所述的镜头组的光学结构优化方法，其特征在于，获取所述镜头组在每种光学结构下的psf信息包括：获取所述镜头组中的成像传感器的光谱响应曲线；根据所述光学结构和所述光谱响应曲线，获取所述镜头组在每种光学结构下的psf信息，其中，所述psf信息包括在不同物距下及不同视场角下的r通道、g通道和b通道的psf。5.根据权利要求1所述的镜头组的光学结构优化方法，其特征在于，所述方法还包括：将所述多种光学结构中mtf值最高的光学结构作为第一光学结构；获取所述镜头组在所述第一光学结构下的psf信息，其中，所述psf信息包括在不同物距下及不同视场角下的r通道、g通道和b通道的psf；
将预设的训练数据集中的每张样本图像，分别与每个psf进行卷积，得到与每张样本图像对应的在不同物距下的多张降质图像；将每张样本图像和与每张样本图像对应的多张降质图像均输入到预设的图像复原模型，利用反向传播优化所述图像复原模型的参数信息；利用预设的测试数据集对所述图像复原模型的图像复原性能进行测试，根据所述图像复原模型的图像复原性能优化所述图像复原模型的参数信息，得到已训练的图像复原模型。6.根据权利要求1所述的镜头组的光学结构优化方法，其特征在于，分别将每张仿真图像输入已训练的图像复原模型，得到所述已训练的图像复原模型对所述镜头组的mtf值的阈值要求以及psf值的均匀性要求包括：分别将每张仿真图像输入已训练的图像复原模型，得到所述已训练的图像复原模型在每种光学结构下的图像复原性能；根据所述已训练的图像复原模型在每种光学结构下的图像复原性能是否均满足预设的目标需求，确定所述已训练的图像复原模型对所述镜头组的mtf值的阈值要求；根据所述psf信息，生成第一数据集和第二数据集，其中，所述第一数据集包括在预设的物距下，不同视场角所对应的仿真图像，所述第二数据集包括在预设的视场角，不同物距所对应的仿真图像；利用对应每种光学结构的第一数据集和第二数据集对所述已训练的图像复原模型的图像复原性能进行测试，得到所述已训练的图像复原模型对所述镜头组的psf值的均匀性要求。7.根据权利要求1至6中任一项所述的镜头组的光学结构优化方法，其特征在于，所述阈值要求包括：在预设的第一频率下所述mtf值大于预设的第二阈值；在预设的第二频率下所述mtf值大于预设的第三阈值，其中，所述第一频率小于所述第二频率；所述均匀性要求包括：在所述第一频率和预设的物距下，预设的多种视场角所对应的psf卷积核大小的方差小于预设的第四阈值；在所述第一频率和预设的视场角下，预设的多种物距所对应的psf卷积核大小的方差小于预设的第五阈值。8.一种镜头组的光学结构优化装置，其特征在于，所述装置包括：第一获取模块，用于获取镜头组的预设的多种光学结构，其中，每种光学结构所对应的所述镜头组的mtf值和主值参数不同，每种光学结构所对应的所述镜头组的镜头全长均小于预设的第一阈值；第二获取模块，用于获取所述镜头组在每种光学结构下的psf信息，并根据所述psf信息生成多张仿真图像，其中，每张仿真图像对应一种光学结构下的psf信息；输入模块，用于分别将每张仿真图像输入已训练的图像复原模型，得到所述已训练的图像复原模型对所述镜头组的mtf值的阈值要求以及psf值的均匀性要求；优化模块，用于通过调整所述镜头组的镜头全长和/或主值参数对所述镜头组的光学结构进行迭代优化，以使得优化后的光学结构所对应的mtf值满足所述阈值要求，以及psf值满足所述均匀性要求，主值参数满足预设的参数指标。9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的镜头组
的光学结构优化方法。10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的镜头组的光学结构优化方法。

技术总结
本申请涉及一种镜头组的光学结构优化方法、装置、电子装置和存储介质，该方法包括：获取镜头组的多种光学结构，其中，每种光学结构所对应的MTF值和主值参数不同，镜头全长均小于预设的第一阈值；获取在每种光学结构下的PSF信息，并根据PSF信息生成多张仿真图像；将每张仿真图像输入已训练的图像复原模型，得到已训练的图像复原模型对镜头组的MTF值的阈值要求以及PSF值的均匀性要求；通过调整镜头全长和/或主值参数对光学结构进行迭代优化，以使得优化后的光学结构的MTF值满足阈值要求，以及PSF值满足均匀性要求。通过本申请，解决了相关技术中镜头组无法兼顾减薄和高成像质量的问题，实现了在对镜头组进行减薄的同时提高镜头组的成像质量的技术效果。镜头组的成像质量的技术效果。镜头组的成像质量的技术效果。


技术研发人员：陈聪 陈燚 姜安琪 李艳萍
受保护的技术使用者：舜宇光学（浙江）研究院有限公司
技术研发日：2021.12.28
技术公布日：2023/7/13