利用部分反射器的高放大摄影中图像校正和处理的方法和系统与流程

1.本技术整体涉及高放大摄影和成像技术领域。更具体地，本技术涉及用于校正高放大照相机或成像设备中的图像像差的系统和方法，其包括使用部分反射器。本技术还涉及内置在移动电话、智能电话、平板电脑、膝上型电脑或任何其他移动设备中的成像设备或照相机。


背景技术：

2.数字照相机广泛应用于移动设备中。数字照相机的性能是消费者的主要区分因素，并且是市场份额的驱动力。因此，移动设备制造商和供应商努力改善照相机性能。
3.移动设备照相机性能的一个关键方面是高放大(或高缩放)摄影。通常，实现高放大摄影的照相机或成像设备具有长且大的透镜组件(例如，dslr照相机中的缩放透镜)。但移动设备薄且紧凑，并且不能包含长透镜组件，这传统地限制了其放大和缩放能力。
4.美国专利申请2021/0211563(edo waks,benjamin shapiro)公开了用于为照相机或成像设备产生物体的高放大图像的系统和方法，该照相机或成像设备很薄，并且可安装在移动电话、智能电话、平板电脑、膝上型电脑或其他移动设备的厚度内部。具体地，其公开了在照相机或成像系统内部的部分反射表面之间使用部分反射，以增加路径光程，从而在薄的照相机或成像系统内部实现长焦距和高放大。
5.本技术提供了减少照相机或成像设备的图像像差的解决方案，这些照相机或成像设备包括部分反射器，并且可结合到移动设备，诸如移动电话、智能电话、平板电脑、膝上型电脑等中。该应用包括硬件解决方案(选择光学元件及其位置和特性)和软件解决方案(选择成像方法和算法)两者。


技术实现要素：

6.本技术公开了用于减少具有部分反射器的照相机中的图像像差的系统和方法。所有照相机和成像系统都在一定程度上受到图像像差的影响。图像像差是指由于照相机或成像设备或光学系统不能拍摄完美图像而在所形成的图像中产生的缺陷或瑕疵。图像像差可包括离焦和焦点偏移效应、彗形像差、散光、场曲、畸变、球面像差和色差、波前误差、场畸变(枕形或桶形畸变)、渐晕、重影或光斑、衍射以及其他类型的像差。该方法和系统可产生具有减少的图像像差的高放大图像。所公开的成像系统或照相机系统可安装到薄且紧凑的移动设备中，并利用部分反射器。具体地，本技术提供了用于减少包括部分反射器的照相机或成像设备的图像像差的方法和系统，以实现移动设备的高放大高质量摄影。
7.其他方面提供了具有光学元件(例如，至少一个透镜、两个部分反射器)和成像传感器(例如，时间积分传感器)的系统，其中在传感器上形成聚焦图像的光在部分反射器之间完成至少一次往返部分反射。选择光学元件的特性(位置、尺寸、形状、材料、涂层)，以在小体积设备中实现高放大并且减少图像像差。提供图像处理算法来提取在传感器上形成的
图像的聚焦分量，并对其进行处理以减少图像像差。
附图说明
8.图1示出了通过在部分反射器之间具有至少一个透镜来减少球面像差的示例性系统。
9.图2示出了具有透镜、两个部分反射器和传感器的系统，其中在部分反射器之间的一次往返反射(标记为102、103、104)之后实现聚焦图像，并且已经选择了光学元件的数量、类型、位置、形状和材料以减少图像像差。
10.图3示出了具有透镜、具有弯曲的部分反射表面的两个部分反射器(标记为222、231)和传感器的系统，其中在部分反射器之间的一次往返反射之后实现聚焦图像。已经选择了光学元件的数量、类型、位置、形状和材料以减少图像像差。
11.图4示出了具有棱镜(标记为200)、透镜、两个部分反射器和传感器的系统，其中在部分反射器之间的一次往返反射之后实现聚焦图像，并且已经选择了光学元件的数量、类型、位置、形状和材料以减少图像像差。
12.图5示出了具有透镜、角镜(标记为203)、两个部分反射器和传感器的系统，其中角镜放置在部分反射器之间，并且在部分反射器之间的一次往返反射之后实现聚焦图像，并且已经选择了光学元件的数量、类型、位置、形状和材料以减少图像像差。
13.图6a示出了具有两个透镜和传感器的常规系统，其中第二透镜(标记为202)可由致动器(标记为301)来回移动，以改变焦距并实现聚焦和缩放。
14.图6b示出了具有两个透镜(211,214)和两个部分反射器(212,213)以及传感器(411)的系统，其中第二部分反射器和第二透镜(213和214)可通过致动器(311)一起来回移动，以改变焦距并实现聚焦和缩放。
15.图7a示出了常规照相机的理想成像传递函数的示意图，其中存在一个光路。此传递函数是缩小点(标记为106)。
16.图7b示出了具有一个或多个部分反射和多个光路的照相机的更复杂的成像传递函数的示意图。由于部分反射(标记207、208)，此传递函数具有附加的更大和更暗的点。
具体实施方式
17.现在将参考附图更全面地描述本技术，在附图中示出了本发明的优选实施方案。然而，本发明可以许多不同的形式体现，并且不应被解释为受限于本文所阐述的实施方案。
18.已知由于透镜、其他光学元件的物理限制和光学限制，以及由于图像处理固件和软件的限制，在任何照相机形成的图像中总是存在一些畸变和像差。图像像差可包括离焦和焦点偏移效应、彗形像差、散光、场曲、畸变、球面像差和色差、波前误差、场畸变(枕形或桶形畸变)、渐晕、重影或光斑、衍射以及其他类型的像差。
19.实施方案包括用于改善和校正来自照相机或成像设备或具有部分反射器的光学系统的图像的系统和方法。这些包括公开照相机或成像系统的配置，包括示例性的位置、尺寸、形状、材料和材料属性、表面涂层、焦距、折射率、吸收和散射，以及系统光学元件的其他方面，诸如透镜、部分反射器、棱镜和镜。另外公开了选择具有部分反射器的照相机或成像系统的配置的示例性方法，并且还公开了示例性设计。还公开了从传感器(例如时间积分传
感器)上形成的图像中提取聚焦减少的像差图像的成像处理方法和算法。具体地，本发明的实施方案提供了用于减少照相机或成像设备的图像像差的方法和系统，这些照相机或成像设备包括部分反射器，以在小或薄的移动设备中实现高放大。
20.尽管具有大焦距的单个球面透镜可实现高放大，但是在美国专利申请2021/0211563(edo waks,benjamin shapiro)中公开了添加部分反射器和图像处理使单个球面透镜在小或薄的设备中实现高放大。但是单个球面透镜通常也会产生强烈的球面像差。因此，使用多个透镜来校正像差是有利的。例如，可使用一系列甚至更长焦距的透镜来实现净期望焦距，但是具有减少的像差，例如具有减少的球面像差。
21.如本文所公开的，部分反射器产生了新且新型的机会以校正图像像差。具体地，具有部分反射器的光学系统允许光多次访问光学元件，这意味着单个光学元件可多次与光束相互作用。这从根本上改变了光学元件如何相互作用，并提供了本文所公开的本发明的配置、部件选择和形状以及图像处理算法。
22.通常地，如果期望某一焦距，可通过具有具有较长焦距透镜的两个或更多个透镜来实现该焦距，并一起使用它们来实现期望焦距。这样做的益处是具有较长焦距透镜的透镜产生较少的像差，因此具有较长焦距透镜的多个透镜实现相同的期望焦距，但是具有较少的球面像差。通常地，当光从场景穿过每个透镜到达成像传感器时，光与每个透镜相互作用一次。
23.我们公开了一种用于减少和校正图像像差，诸如球面像差的方法，该方法通过利用使光与中的一个光学元件、一些光学元件或所有多次相互作用的多次部分反射。例如，由于多次作用在光上的透镜将像作用在该光上的相同透镜的许多拷贝一样起作用，因此可采用具有甚至更长焦距的透镜。如本文所公开的，通过设计光学元件以利用部分反射，可比常规的照相机系统进一步减少像差。
24.实施方案：穿过透镜的多个光有助于减少球面图像像差
25.图1示出了示例性系统。该系统由透镜(201)、部分反射器(202)、第二透镜(203)、第二部分反射器(204)和成像传感器(401)构成。入射光(101)通过第一透镜，然后在部分反射器之间反射期望的次数(例如，一次往返102、103、104、105、106、107以形成图像的聚焦分量)，并且该光(108)被传感器(401)检测到。在一个示例中，第一透镜的焦距长于光在已经经历了期望数量的部分反射并到达传感器之后所行进的总路径长度。如果k是往返部分反射的期望数量，则光线将穿过第二透镜2k+1次，以在传感器上形成期望的聚焦图像分量。在每次通过时，第二透镜(203)将部分地聚焦光束，使得在k次往返反射之后，总体上其将有助于在图像传感器处形成聚焦的图像分量。通过让光多次穿过第二透镜，该透镜的焦距会多次发挥作用，从而放大其聚焦效果。这意味着可为两个透镜(201和203)选择更长的焦距。并且这进而意味着球面像差可减少，因为球面像差随着焦距的增加而减少。
26.因此，如在示例性图1中所公开的，部分反射器和这些部分反射器之间的透镜使得总体照相机期望的焦距具有更小的像差，因为其允许使用具有更长焦距的透镜，这允许期望的总体照相机聚焦，但是具有更小的球面像差。因为第二透镜(203)作用2k+1次，所以改善了达到期望的照相机焦距但具有更小的像差的益处，因此其可具有甚至更长的焦距并且实现更小的像差。所公开的示例性系统还能够使用更薄的透镜(因为每个透镜可具有更长的焦距)，这进而还允许减少成像系统的尺寸(薄透镜比厚透镜占用更少的空间)。
27.本技术还公开了使用弯曲的部分反射镜来实现具有减少的像差效果的期望的照相机焦距。对于部分反射，可使用具有更长焦距的一个或多个弯曲部分反射器，以实现期望的照相机焦距，但引发更少的像差。这是因为光路将多次访问弯曲的部分反射元件，例如对于k次往返的部分反射，将访问k+1次，并且每次访问将导致附加的聚焦，但是具有减少的像差(因为弯曲的部分反射器的更长的焦距)。此外，弯曲的反射器也不会引入色差，因此这能够同时减轻多种像差。
28.还公开了使用透镜和平面的或弯曲的部分反射器的组合。然后，部分反射多次访问较长焦距的透镜和/或较长焦距的弯曲的反射器，或两者，并且因此产生具有减少的像差的期望的照相机焦距。
29.实施方案：具有成形透镜和具有平坦反射表面的两个部分反射器的系统
30.在一个实施方案中，本发明为具有部分反射器的系统提供了光学元件的成形(例如弯曲)，以减少像差。在一个示例性实施方案中，公开了一种系统，该系统具有两个成形透镜、两个部分反射器和传感器，这两个部分反射器的反射表面是平坦的，但是它们的其他表面是成形的，使得在两个部分反射器之间的一次往返反射之后，聚焦图像形成在传感器上。并且形成的图像具有减少的图像像差。
31.图2中示出了光学元件(透镜、部分反射器)的示例性位置和形状，并且已经选择这些元件来减少聚焦图像的图像像差。具体地，入射光(101)穿过第一透镜(201)，光(102)的一部分然后穿过部分反射器(202)并通过从第二部分反射器(203)部分地反射而经历一次预期的往返反射(102,103,104)，光(105)的一部分然后穿过第二部分反射器(203)和第二透镜(204)以到达焦点(106)处的传感器(401)。仅为清晰起见，未示出光的其他路径(例如，无往返；以及2次、3次、4次等往返反射)，因为在此实施方案中，其将不会在(401)传感器平面处聚焦。
32.此实施方案是通过经验、创新和数学优化的组合选择的。具体地，选择光学元件位置、尺寸和形状以实现高性能以及可制造性和大规模生产。例如，选择透镜的弯曲度，以使其能够通过标准可用的透镜大规模制造方法来制造。
33.在此实施方案中，第一透镜(201)的两个表面(211和212)、和第二透镜(204)的两个表面(241和242)以及两个部分反射器(202和203)的非反射表面(221和232)已经被成形(弯曲)以最小化图像像差。我们公开了这些弯曲形状可以是非球面的(曲线不是近似圆的一部分)，并且已经通过本文所公开的优化方法选择。但是在此实施方案中，两个部分反射器(202和203)的部分反射表面(222和231)都已经保持平坦。对于熟悉光学器件和透镜设计领域的人来说，显而易见的是，透镜和部分反射器的其他组合也是可能的，并且可选择表面的其他组合来成形(弯曲)或保持平坦，并且聚焦图像的部分往返反射的预期数量可以不同(例如2、3、4等而不是1)。所公开的实施方案是示例，并且应当理解，其他组合和选择也是可能的，并且被本公开所覆盖。
34.实施方案：选择光学元件形状的方法
35.现在我们公开为具有部分反射器的系统选择光学元件形状的示例性方法和程序。
36.在示例性情况下，选择光学元件(例如，图2中的4个光学元件)的数量和类型，并且然后通过数学参数来表示其位置、形状和材料特性。例如，位置可由离传感器的轴向距离来表示；方向可用倾斜度来表示；形状可由前曲率和后曲率(对于球面元件)或者样条或其他
函数的参数(对于非球面元件，例如图2中的透镜204)来表示；并且材料特性可由材料的折射率、光吸收和散射的参数来表示。示例性参数可包括光学元件形状参数(厚度、直径、曲率半径、二次曲线系数和例如多项式函数的高阶形状系数)、材料特性(折射率、反射率、吸收、散射等的参数)、涂层特性、波长透射率或滤波参数、光圈、散射、杂质、热系数以及其他光学和材料参数。
37.用于优化光学元件的方法涉及优化所选择的自由参数，以便最小化所选择的照相机价值函数。选择哪些参数设置为自由，和选择哪些参数保持固定，以及选择适当的照相机价值函数，是一门艺术。本技术的创造性的部分是针对具有部分反射的照相机的此优化技术。表面的自由参数可包括但不限于：表面曲率半径(对于球面光学元件)，或二次曲线系数或高阶多项式系数(对于非球面元件)。除自由参数之外，还可施加约束。例如，当在两个部分反射器之间存在一次光的往返反射时(如图2所示)，焦距可被限制为匹配光从第一光学元件行进到传感器的距离。此类选择使得系统被选择来为光在部分反射器之间的一次往返反射提供聚焦图像分量。其他示例性约束包括光学元件之间的最小距离或最大距离、对光学元件曲率或厚度的约束、对来自点光源的图像点尺寸的约束等。约束可以是精确的(例如，焦距必须精确匹配值)，或其可以是范围的(例如，焦距必须在指定的最小值和最大值之间)。
38.我们公开了选择价值函数来反映期望的系统光学性能。例如，价值函数可包括表示有效焦距、在一个或多个物距和设置下的mtf(光学传递函数的模数)、在点处或跨一部分或整个光场的点尺寸、离焦和焦点偏移效应、彗形像差、散光、场曲、畸变、球面像差和色差、波前误差、场畸变(枕形或桶形畸变)、渐晕、重影或光斑、衍射和其他类型的像差、对一部分或整个系统的物理长度约束等的参数。这些量中的一个、一些或全部可乘以不同的加权量。例如，如果期望mtf性能比渐晕更强地实施，则可使前者的权重比后者的权重更强。
39.一旦已经选择了全部光学元件的可变参数、价值函数参数和它们的加权，就可如本文所公开的那样优化光学系统。这可通过手动调整值或通过使用自动例程来完成。本文所公开的照相机实施方案是已经通过创造性技术，通过使用创造性来选择光学元件的数量和类型，以及还通过手动调整和通过所公开的自动化优化步骤，组合在一起成为迭代的和创造性的过程而选择的。上述的选择和组合是可能的，并且被公开。还应当理解，所公开的设计是示例性的，并且许多修改、添加和变化都是可能的。
40.本技术公开了解决优化问题以帮助选择示例性系统的光学元件的位置、形状和材料。优化问题的数学部分可通过光学设计或数学优化领域中已知的手段来解决，包括通过诸如梯度方法、非线性算法、概率搜索方法、分支定界方法、神经网络、遗传算法、机器学习、al(人工智能)方法等的方法。一旦找到解决方案，就可改变元件的数量，并重复该过程以达到设计选择。例如，对于图2的实施方案和本技术中的其他附图中所示的元件的选择，已经这样做了。
41.当前示例的创造性特征包括光学元件的非球面表面。例如，对透镜表面增加更高阶的多项式修改可导致显著改善的像差减少。我们还公开了部分反射表面不需要平坦的或平面的。部分反射表面可制成具有球面或非球面曲率。通过允许部分反射表面偏离平面，可实现光学性能的进一步改善。这对于物理长度受移动设备封装要求限制的光学系统尤其有用。
42.我们注意到我们的设计选择方法的示例性公开是示例性的而非限制性的。应当理解，其他设计选择也是可能的，包括改变元件的数量，以及使用数学优化来找到其他光学元件的位置、形状和材料选择。具体地，在传感器上形成聚焦图像的光往返反射的数量也可改变。可为一次、两次、三次、四次等部分反射往返选择设计。
43.实施方案：具有成形透镜和至少一个成形(弯曲)部分反射表面的系统
44.在一个实施方案中，本发明提供了反射表面也被成形(弯曲)以减少图像像差。在示例性实施方案中，公开了一种具有成形透镜、具有成形(弯曲)反射表面的两个部分反射器以及传感器的系统，使得聚焦图像在两个部分反射器之间的一次往返反射之后形成在传感器上，并且以减少的图像像差形成。
45.选择光学元件位置、尺寸和形状以实现高性能以及可制造性和大规模生产。例如，选择透镜的弯曲度，以使其能够通过标准可用的透镜大规模制造方法来制造。
46.图3中示出了光学元件(透镜、部分反射器)的示例性位置和形状，并且已经被选择以减少聚焦图像的图像像差。具体地，来自一个角度的入射光(101)穿过第一透镜(201)，光(102)的一部分然后穿过部分反射器(202)并通过从第二部分反射器(203)部分地反射而经历一次预期的往返反射(102,103,104)，光(105)的一部分然后穿过第二部分反射器(203)和第二透镜(204)以到达焦点(106)处的传感器(401)。来自不同角度的入射光(151)同样穿过透镜(201)，其一部分穿过部分反射器(202)并经历一次往返反射，然后穿过第二透镜(203)，并且光(155)的一部分然后通过第二部分反射器(204)离开，以到达传感器平面(401)处的焦点(156)。仅清晰起见，对于入射光的两个角度，示出了预期的一次往返反射。未示出光的其他路径(例如，无往返；以及2次、3次、4次等往返)。
47.本技术公开了除透镜和部分反射器的其他侧面的成形之外，部分反射器的反射表面(222和231)已经通过本文所公开的方法成形(如先前在图2的上下文中公开的)。因此，本技术公开了可使用与如本技术公开的选择非反射表面的形状相同的方法和程序来选择部分反射表面的形状。
48.实施方案：具有棱镜、成形透镜和至少一个成形(弯曲)部分反射器表面的系统
49.本技术公开了具有部分反射器的系统可包括棱镜或角镜。在一个实施方案中，本发明提供了一种系统，该系统具有棱镜(也可以是角镜)、两个透镜、部分反射表面被成形的两个部分反射器以及传感器，使得在两个部分反射器之间的一次往返反射之后，具有减少的图像像差的聚焦图像形成在传感器上。因为光与部分反射器表面多次相互作用，所以这些表面形状的轻微变化会对总体光学性能和像差减少产生显著影响。通过允许部分反射表面是非平面的，有可能进一步改善光学性能，同时保持系统的光学长度较短。
50.此实施方案是通过经验、创新和数学优化的组合选择的。具体地，选择光学元件位置、尺寸和形状以实现高性能以及可制造性和大规模生产。例如，选择透镜的弯曲度，以使其能够通过标准可用的透镜大规模制造方法来制造。
51.图4中示出了光学元件(棱镜、透镜、部分反射器)的示例性位置和形状，并且已经被选择以减少聚焦图像的图像像差。棱镜可由角镜或拐角镜代替。具体地，入射光(101)被棱镜(200)转向基本上90度，穿过第一透镜(201)，然后光(103)的一部分穿过第一部分反射器(202)，经历一次往返部分反射(103，104)，并且此光(105)的一部分穿过第二部分反射器(203)，然后穿过第二透镜(204)，并到达传感器(401)。已经经历了一次往返部分反射的光
聚焦到达传感器平面(焦点106)。仅为清晰起见，未示出零次往返部分反射、两次往返部分反射和多于两次往返部分反射的光路。
52.本技术公开了两个透镜(201,204)的前表面和后表面以及两个部分反射器(202,203)的前表面和后表面已经通过本文所公开的方法成形，以便在一次往返反射之后将光聚焦到图像平面(401)，并且还减少图像像差并改善图像质量。
53.实施方案：具有平面部分反射器、成形透镜和透镜间角镜的系统
54.在一个实施方案中，本发明提供了发生在部分反射器之间的光路的90度转向。因此，在另一个示例性实施方案中，具有透镜、两个部分反射器、在这两个部分反射器之间基本上45度的角镜以及传感器的系统被设计成使得在两个部分反射器之间的一次往返反射之后，聚焦图像以减少的图像像差形成在传感器上。在此，将光转向基本上90度的光学元件(角镜)位于部分反射器之间。将转向镜放置在光学器件组之间可减少光学元件的数量，并减少光学系统所占据的总体积。另外，由于光路在一次或多次往返中多次反射镜表面，因此此镜角度的小变化将对图像在传感器上的位置产生显著影响，使得此镜的主动机电控制成为实现图像稳定和物体跟踪的更有效方法。
55.选择光学元件位置、尺寸和形状以实现高性能以及可制造性和大规模生产。例如，选择透镜的弯曲度，以使其能够通过标准可用的透镜大规模制造方法来制造。
56.图5示出了光学元件(透镜、部分反射器、角镜)的示例性位置和形状，并且已经被选择以减少聚焦图像的图像像差。具体地，入射光(101)通过第一透镜(201)进入，该光的一部分穿过第一部分反射器(202)，被角镜(203)转向，并且然后该光的一部分经历往返反射，在往返反射中该光的一部分反射反射器和角镜两者，然后此光的一部分离开第二部分反射器(105)到达传感器(401)。已经经历了一次往返部分反射的光聚焦到达传感器平面(焦点106)。零次和两次或更多次往返部分反射的光路将离焦地到达传感器。仅为说明清晰起见，图5中未示出零次和两次或更多次往返反射的这些路径。
57.在此示例中，本技术公开了两个透镜(201,205)的前表面和后表面以及两个部分反射器(202,204)的非反射表面已经成形，而每个部分反射器的部分反射表面已经保持平坦。通过本文所公开的方法和程序进行成形，以在一次往返反射之后将光(106)聚焦到图像平面(401)，并减少像差。
58.实施方案：选择其他光学参数，以减少具有部分反射器的系统的像差
59.除为具有部分反射的系统选择光学元件的形状和位置之外，我们还公开了选择其他参数来减少图像像差。例如，本技术公开了选择光学特性，诸如折射率、反射率、透射率、散射和吸收。这些参数可从范围或从可用值列表中选择。范围可对应于可用或可制造的范围。例如，对于玻璃透镜或塑料透镜，可能存在可制造的曲率范围，或者对于非球面元件，可能存在可由二次曲线或多项式函数参数的范围描述的可制造形状的范围。从列表中的选择可对应于可用透镜或部分反射器形状的列表，和/或其可对应于可用玻璃或塑料材料的材料参数(折射率、折射、反射率、透射率、散射和吸收，和/或可用表面涂层的参数)的列表。本技术公开了选择此类值是优化具有部分反射的系统的技术、方法和程序的一部分，并且包括对其进行优化以减少像差和帮助图像校正和处理。
60.在实施方案中，本发明提供使用传统或非传统的透镜材料和几何形状，以便进一步改善图像质量。例如，可使用grin(梯度指数)透镜，其中材料的折射率作为透镜内位置的
函数以系统的方式变化。在我们公开的优化方法中，描述grin透镜的参数可以是自由参数，并且可针对具有部分反射器的系统进行优化。
61.实施方案：具有部分反射器的系统的聚焦、缩放和近距“微距摄影”62.接下来公开的是改变焦距(聚焦、缩放)的改善方法。在常规的照相机中，至少一个透镜或光学元件可来回移动以改变系统的焦距。在移动电话或移动设备中，透镜或光学元件可来回行进的距离受到设备厚度和/或其包含的照相机厚度的限制，并且还受到照相机的其他元件(其他透镜、传感器、光圈、快门、滤波器、pcb板等)所占据的空间的限制。因此，常规移动电话或移动设备照相机中可能的聚焦或缩放程度可受到限制。具体地，可能难以或不可能聚焦在电话或移动设备附近的物体上。
63.本文所公开的方法和系统可克服上述限制。与将不具有部分反射的系统的那种情况相比，具有部分反射器的系统的一个或多个光学元件的小的来回运动可导致聚焦或缩放(例如焦距)的更大变化。参考图6a，在常规的照相机中，仅为了图示清晰起见，这里仅表示为两个透镜(201和202)，这两个透镜之间的距离是la1，并且从外部到传感器(101,102,103至401)的光路仅行进距离la1一次。因此，将第二透镜机械地移动(使用致动器301)距离δx也仅改变了两个透镜之间的距离δx。这将常规的照相机的焦距改变了一定量δy，并且此可用量可用于聚焦和缩放。
64.相比之下，现在参考图6b，在具有部分反射的照相机中，两个透镜之间的距离仍是la1(其等于lb1+lb2+lb3)，但是对于一次往返反射，从外部到传感器的光路(111,112,113,114,115到411)行进距离lb2三次。现在将第二部分反射器和第二透镜一起机械地移动(使用致动器311)距离δx，这将两个透镜211和214之间行进的光路距离改变3δx(是常规照相机的三倍)。如果系统改为使用两次往返反射来操作，则将致动器移动距离δx会将两个透镜之间行进的光路距离改变5δx(是常规照相机的五倍)等。因此，部分反射允许小的光学元件机械行进距离δx在光路长度上具有较大的(倍增的)变化，例如3δx、5δx等。因此，如与常规照相机相比，焦距将改变例如3δy、5δy等，如上所述，该常规照相机仅改变δy。
65.本技术还公开了其他光学元件可与透镜一起逐一地或以各种组合来移动。例如，将第二部分反射器213仅移动δx将改变两个透镜211和214之间的光路距离，对于一次往返部分反射改变2δx的距离，对于两次往返改变4δx的距离等。因此，正如移动透镜一样，移动部分反射器具有有益的倍增效果。本技术公开了这可用于改善移动设备的照相机和成像系统中的图像稳定和自动聚焦，因为现在光学元件的小移动将改善缩放、聚焦和图像稳定的焦距变化的可用量。
66.因此，对于具有部分反射的系统，如果部分反射器移动距离d，则光路长度的对应变化是2k d，其中k是往返部分反射的数量。这意味着，为了实现光路长度δl的改变，我们仅需要机械地移动部分反射器d＝δl/2k。具有部分反射时，所需的机械运动比不具有部分反射时短1/(2k)。例如，对于k＝2的往返部分反射，对于不具有部分反射的系统，四分之一的运动将提供与光学元件完全运动相同的缩放能力。
67.此外，本技术公开了可在部分反射器之间布置一个或多个被致动的透镜。在此类实施方案中，光可多次穿过所述已致动透镜，并且这可为缩放、聚焦或图像稳定提供倍增效果。本文所公开的优化方法可用于设计在部分反射器之间具有这种一个或多个已致动透镜的系统。
68.因此，本技术公开了使用部分反射以允许一个或多个光学元件的可用行进距离以实现覆盖比常规照相机可能覆盖的更大的聚焦或缩放范围。我们还公开了上述优化方法可用于帮助选择部分反射器和透镜的形状(例如，曲率或非球面形状)，并且还选择哪些元件将移动多少，以确保缩放和聚焦可被最大化，并且因此在比常规照相机可能的大得多的范围内有效地变化。总体上，本技术公开了一种具有部分反射器的系统，其中光与至少一个光学元件相互作用多于一次，此类系统实现改善的缩放或聚焦范围，并且具体地还实现聚焦在照相机附近的物体上(“微距摄影”)。
69.关于“微距摄影”，现代移动电话照相机在拍摄过于靠近移动设备的物体的聚焦图像方面具有局限性。例如，大多数常规的电话照相机不能被带到物体的大约小于4厘米的范围内，并且仍实现聚焦的照片。这是因为电话照相机的尺寸和透镜的数量限制了照相机内部透镜的机械行进量，以适应对近距物体的聚焦。
70.本技术公开了使用部分反射来克服此限制，并且既更接近物体又实现更高的放大，从而累积双重益处(例如，小物体仍然在聚焦时更近，并且被放大得更多，从而双重改善了附近物体的摄影)。因此，我们公开的系统可例如比当前电话可能的4厘米更接近小昆虫或花，并且也比当前移动电话可能的放大昆虫或花。
71.因此，对于光学元件的机械运动受小体积照相机尺寸限制的小体积照相机，如在移动电话中，本技术公开了部分反射提供了优势。现在，相同的机械运动范围将允许更大范围的聚焦和缩放。因此，通过部分反射，移动电话照相机可以聚焦到基本上比例如4厘米远更近的物体上(因此实现改善的“微距摄影”)。另选地，如果相同的缩放范围是所有期望的，则利用部分反射，较少的机械运动将实现相同的缩放范围，并且可简化照相机设计，从而节省成本和复杂性。因此，部分反射可减少光学元件需要移动的量，或相反地，对于相同的运动范围，可增加光学元件机械运动范围的可用量的缩放和聚焦范围。
72.实施方案：用于具有部分反射器的系统的图像处理方法
73.在实施方案中，本发明提供了用于具有部分反射器的高放大照相机系统的图像处理方法和算法，包括减少图像像差的算法。本技术公开了包括去卷积的算法，其包括点扩展函数、模糊掩模、高通滤波和其他方法的表征和使用，这些算法可提取图像的聚焦分量，并且可用于处理图像和改善图像质量。具体地，这些算法可用于减少图像像差。此类算法可结合到成像系统中，诸如用于移动设备(移动电话、平板电脑、膝上型电脑)、数字摄像机、数字静态图像照相机或具有部分反射的任何其他成像系统。
74.现在参考图7a和图7b，本技术公开了用于具有部分反射器的系统的去卷积图像校正。在具有部分反射的系统中，传感器上的图像由于离焦图像和聚焦图像的总和而畸变(图7b)。这构成了具有适当传递函数的图像的近似线性变换。本文公开了从形成在传感器上的图像中提取期望的(未畸变的或畸变最小的聚焦图像)的方法，该图像已经被聚焦和离焦部分反射的总和所畸变。
75.一个实施方案包括一种系统或方法，其中图像提取经由具有部分反射的系统的光学传递函数使用去卷积。传递函数实质上是成像光学器件对平面波输入的响应。对于单个透镜，理想的传递函数是紧密聚焦的点(106)，如图7a所示。
76.相反地，对于具有一个或多个部分反射的系统，传递函数如图7b所示。紧密焦点(206)用于部分反射的预期数量。其伴随着对应于其他往返数量的多个松散聚焦的点(207,
208)，并且因此对应于光的其他路径长度。这些其他光路长度在成像传感器上产生散焦图像。因此，在空间域中，传递函数根据卷积方程使获取的图像c(i,j)畸变
[0077][0078]
其中r(a,b)是聚焦图像，并且h是传递函数。在频域中，此卷
[0079]
积成为乘积
[0080]
c(u,v)＝h(u,v)r(u,v)。
[0081]
为了获得具有一个或多个部分反射的系统的聚焦图像，本技术公开了应用去卷积算法
[0082]
r(u,v)＝c(u,v)/h(u,v)。
[0083]
还公开了使用其他算法，应用这些算法以执行此去卷积，例如以数值上更有效的方式，或者消除或减少数值误差。
[0084]
我们还公开了使用模糊掩模来提取具有部分反射的系统的聚焦图像分量。在此方法中，我们从原始图像中减去传感器上图像的模糊版本。模糊版本提供了对离焦图像的估计。模糊半径和加权是可调节参数，这些可调节参数经过优化以实现最佳图像质量。
[0085]
还公开了对具有部分反射的系统使用高通滤波图像校正。在具有部分反射的系统中，图像的离焦分量将主要具有低频空间分量。但是聚焦图像将具有高频分量。通过消除低频，我们可有效地去除离焦分量，同时保留驻留在较高频率范围内的大部分聚焦图像。因此，本技术公开了使用高通滤波来提取聚焦图像。
[0086]
除通过移动光学元件(透镜、部分反射器或棱镜/角镜)来增加缩放范围之外，我们另外公开了通过利用不同数量的部分反射往返来甚至进一步增加缩放范围。通过在我们的照相机内移动光学元件，使得我们对于不同数量的往返(例如k+l次往返而不是k次往返)实现聚焦图像，然后我们可实现更大的焦距，而不增加成像系统的形状因子。例如，系统可在一次往返之后首先提取聚焦图像，然后在两次往返之后提取该聚焦图像，然后在三次往返之后提取该聚焦图像等或反过来。将使用如与先前所公开的相同的方法来提取得到的聚焦图像。这将结合移动光学元件和使用最理想数量的往返部分反射的益处，以最大化缩放和聚焦范围。
[0087]
实施方案：对于具有部分反射器的系统，利用光谱透射(例如颜色)来排除离焦的图像分量
[0088]
本技术公开了一种创造性的方法，该方法通过设计一个或多个部分反射器的光谱透射来排除在传感器上形成的图像的离焦分量。在示例性情况下，如果部分反射器完全透射红光(不反射任何红光)，但是部分地反射其他颜色的光(例如，部分地反射蓝光和绿光)，则依赖于k次往返部分反射的聚焦图像将不包含任何红光。因此，红光可用于确定图像的哪些部分应该作为离焦“单程”分量被减去，并且其他频率的光可用于确定图像的哪个部分是期望的聚焦部分。因此，利用部分反射器中的颜色选择可帮助提取图像的聚焦部分。
[0089]
摄影、光学器件和图像处理领域的专业人员将认识到，上述创造性方法可以多种方式实现，包括提供高图像质量的方式。例如，部分反射器可透射窄频带的光(例如，仅特定色调的红色)，从而最小化聚焦部分不可用的光谱。对于具有部分反射的系统，其他修改也是可能的，包括选择部分反射或不部分反射的颜色，以及通过利用不同颜色和频率的光来
提取聚焦图像分量。
[0090]
因此，我们还公开了例如部分反射器，该部分反射器在某些波长(例如蓝色和绿色)下是部分反射的，但是在其他波长(例如红色)下是透射的。然后红色信道提供离焦图像的估计，该估计可用于校正蓝色信道和绿色信道。
[0091]
实施方案：具有部分反射器的系统的传感器暗水平
[0092]
在一个实施方案中，本发明还提供了一种具有透镜、部分反射器和时间积分传感器阵列的系统，其中传感器阵列的一些元件测量光强，以便为其他传感器元件设置暗水平。
[0093]
本技术公开了能够对具有部分反射器的系统进行暗水平校正的特征和元件，包括模数转换之前的暗水平校正。当由于一个或多个部分反射而在传感器上集成多个散焦图像时，所形成的图像可获取大的背景水平。在模数转换之后，此背景将通过将相关像素水平压缩到数字值的顶端来减少像素深度。
[0094]
为了消除像素深度的此减少，本技术公开了在数模转换之前使用附加像素执行暗水电校正，该附加像素的目的是对传感器上每个点处的强度进行采样。因此，本技术公开了添加附加像素来部分地测量背景强度。来自这些像素的信号可用于自适应地设置传感器元件(例如ccd或cmos照相机中的像素)的暗水平，从而允许在不损失像素深度的情况下重建原始图像。例如，在模数转换之前，这些像素的值可用于确定每个信号的电压偏移，这将消除由多次离焦反射诱导产生的无益背景。每个像素可以充当偏移水平的单独输入，或另选地每个偏移可通过对多个附近像素求平均来设置。
[0095]
实施方案：具有部分反射器的系统的多次和变化的持续时间曝光
[0096]
还公开了一种通过进行多次曝光并使用低曝光来校正较高曝光的离焦分量来重建聚焦图像而不损失像素深度的方法。本技术公开了对于具有部分反射器的系统，采用多次曝光来获得图像和背景的估计。对于具有部分反射器的示例性系统，不同的光路将访问这些部分反射器不同的次数。本技术公开了将传感器的动态范围与传输的选择相匹配，例如将传感器动态范围与期望数量k的往返部分反射相匹配。
[0097]
本技术公开了对具有部分反射的系统使用hdr(高动态范围)方法。在示例性设置中，本技术公开了拍摄场景的一个图像，然后拍摄相同场景的另一个图像，但是具有两倍的曝光，并且然后拍摄具有四倍的曝光的场景的第三个图像。第一图像将很好地捕获由离焦图像生成的背景水平，而更高的曝光将从聚焦图像中逐渐捕获更多细节。然后，此信息可用于从所有曝光中重建聚焦图像。然后可将这些图像拼接在一起，以创建一个具有高动态范围的合成图像，该合成图像可捕获场景中昏暗且明亮的照明部分(最大化对比度)。光学器件、图像处理和摄影领域的技术人员将认识到，此类方法存在许多变化，例如包括多于3个图像、不同的曝光时间等并且这些变化包括在本公开中。具体实施方案可用不同的计算机处理器、存储器配置和数据结构来操作和执行。
[0098]
本文所描述的本发明的实施方案可被实现为一个或多个计算处理系统中的逻辑步骤。实施方式是选择的问题，取决于实现本发明的处理系统的性能要求。因此，构成本文描述的本发明的实施方案的逻辑操作被不同地称为操作、步骤、物体或模块。此外，应当理解，逻辑操作可以任何顺序执行，除非另有明确声明，或除非权利要求语言固有地需要特定的顺序。
[0099]
已经出于说明和描述的目的呈现了本发明的实施方案的前述描述。这并不旨在穷
举或将本发明限制于所公开的精确形式，并且鉴于上述教导，修改和变化是可能的，或可以从本发明的实践中获取。为了解释本发明的原理及其实际应用，选择和描述了该实施方案，以使本领域技术人员能够在各个实施方案中以及以适合于所设想的特定用途的各种修改来利用本发明。

技术特征：
1.一种成像系统，所述成像系统包括：第一透镜；第一部分反射器；第二部分反射器；传感器；其中所述系统具有总焦距；所述第一透镜和所述传感器之间的距离小于所述总焦距；并且至少一个透镜或部分反射器被成形或弯曲以减少图像像差。2.根据权利要求1所述的成像系统，其中至少一个透镜已被成形(弯曲)为非球面形状，以减少图像像差。3.根据权利要求1所述的成像系统，其中至少一个部分反射器已被成形(弯曲)为非球面形状，以减少图像像差。4.根据权利要求1所述的成像系统，所述成像系统还包括棱镜或角镜。5.一种成像系统，所述成像系统包括：两个或更多个透镜；第一部分反射器；第二部分反射器；传感器；其中所述系统具有总焦距；所述第一透镜和所述传感器之间的距离小于所述总焦距；并且透镜序列已经用于减少图像像差。6.根据权利要求5所述的成像系统，其中至少一个透镜已被成形(弯曲)为非球面形状，以减少图像像差。7.根据权利要求5所述的成像系统，其中在所述传感器上形成图像的聚焦分量之前，光的部分反射不止一次穿过成形(弯曲)的透镜。8.根据权利要求5所述的成像系统，其中所述至少一个透镜的焦距长于所述光在所述传感器上形成所述图像的聚焦分量所行进的总路径长度。9.根据权利要求5所述的成像系统，所述成像系统还包括棱镜或角镜。10.一种产生物体图像的方法，所述方法包括：在传感器上获取包含来自至少两次部分反射的光的总和的图像，其中所述光入射到透镜和两个或更多个部分反射器上，并且所述光在所述两个或更多个部分反射器之间经历一次或多次往返部分反射并进入传感器；并且所述图像被所述传感器捕获；以及处理来自所述传感器的所述光以导出所述物体的聚焦图像。11.根据权利要求10所述的方法，其中软件和硬件处理输入，所述输入是聚焦物体或场景与所述物体或场景的若干离焦拷贝的总和，并且在其输出处产生所述物体或场景的聚焦图像。12.根据权利要求10所述的方法，其中所述软件处理包括去卷积。13.根据权利要求10所述的方法，其中所述软件处理包括使用模糊掩模。14.根据权利要求10所述的方法，其中所述软件处理包括高通滤波。

技术总结
本文描述了用于利用部分反射器减少高放大摄影中的图像像差的系统和方法。具体地，通过内置或包括在移动电话、智能电话、平板电脑、膝上型电脑或任何其他移动设备中的成像设备或照相机。这些系统和方法包括穿过透镜的光，然后该光的一部分在两个部分反射器之间经历多次部分反射，并且然后该光的一部分到达成像传感器。这些部分反射使得更长的光路能够到达该成像传感器，从而使得能够使用更长的焦距，这使得能够实现更高的放大。描述了用以选择具有部分反射器的系统中的光学元件的物理参数的方法和实施方案，以便创建具有减小的图像像差的图像。差的图像。差的图像。


技术研发人员：埃多
受保护的技术使用者：卢梅尼蒂有限公司
技术研发日：2021.12.17
技术公布日：2023/9/7