一种用于光学图像稳定的计算机实现的方法与流程

一种用于光学图像稳定的计算机实现的方法
1.领域
2.本发明涉及用于提供光学图像稳定的计算机实现的方法和用于提供光学图像稳定的光学图像稳定组件。
3.背景
4.光学图像稳定(ois)通常用于补偿相机抖动。即，相机装置的振动或倾斜通常由用户手部移动引起，这降低了由图像传感器捕获的图像质量。通过处理捕获的图像进行ois原则上是可能的，但是需要显著的处理能力。
5.已经开发了各种机械ois技术，其可能涉及通过传感器检测振动，以及调整相机装置来补偿感测到的振动。
6.采用机械ois技术的许多致动器布置是已知的，并且相对成功地应用于相对较大的相机装置，诸如数码相机，但是难以小型化。相机在广泛的便携式电子设备(例如，移动电话和平板电脑)中变得非常普遍，并且在许多此类应用中，相机的小型化是重要的。当试图将机械ois组件包括到相机布置中时出现了困难。
7.此外，现有的ois方法不能在整个图像上提供有效的ois；最佳ois通常位于图像的一个区域，在图像的其余部分提供次优ois。
8.概述
9.本发明由现在应该参考的独立权利要求限定。在从属权利要求中阐述了可选特征。
10.透镜移位(lens shift)或图像传感器移位可用于抑制相机抖动对图像的影响。然而，在现有技术系统中，不可能同时在图像的边缘和图像的中心两个地方有效地或完全地消除抖动对图像的影响。这是因为补偿相机抖动以在图像的不同部分提供ois需要透镜或传感器的不同运动，诸如不同的移动距离。本发明的发明人已经意识到，可以调整实现最佳ois的图像部分的位置或定位。
11.本文描述的本发明的布置提供了一种用于光学图像稳定的方法和装置，其能够在图像的不同部分提供有效的ois，并且最终在整个图像上提供有效的ois，从而提供质量更好的图像。
12.根据本发明的一个方面，提供了一种用于提供光学图像稳定的计算机实现的方法，该计算机实现的方法包括：接收指示光学图像稳定组件的倾斜度变化的数据，该光学图像稳定组件包括图像传感器和被布置成将图像聚焦在图像传感器上的透镜元件；生成数据，以用于使透镜元件相对于图像传感器移动至少部分地取决于该倾斜度变化的距离，以便稳定图像的图像部分来提供稳定的图像；以及调整距离与倾斜度变化的比例(scaling)。调整距离与倾斜度变化的比例(或陀螺仪增益)。特别地，可以在提供光学图像稳定的同时，调整距离与倾斜度变化的比例(或陀螺仪增益)。例如，可以基于比例的第一值来执行ois，并且随后可以基于不同于比例的第一值的比例的第二值来执行ois。比例或陀螺仪增益可以是响应于要抑制的所确定的抖动，透镜元件相对于图像传感器移动的距离。指示倾斜度变化的数据可以从被配置成确定ois组件的倾斜度变化的确定器接收。该计算机实现的方
法可包括控制确定器以确定倾斜度变化。生成用于使透镜元件移动的数据可以包括控制透镜元件的移动。替代地或附加地，控制确定器和/或透镜元件相对于图像传感器的移动的步骤可以由控制器控制。例如，集成电路可以包括控制器。
13.通过透镜元件相对于图像传感器的(例如，垂直于光轴的)移动以便补偿倾斜度变化，来稳定图像的图像部分。该图像部分的稳定可以是最佳稳定。换句话说，透镜元件相对于图像传感器的移动将在整个图像上提供某种程度的ois，但是在该图像部分处提供最佳或最有效的ois。发明人已经认识到通过调整距离与倾斜度变化的比例来调整图像上最佳ois的位置的可能性。图像部分在图像上的位置可以取决于透镜元件相对于图像传感器的移动距离。可以调整距离与倾斜度变化的比例，以与不调整距离与倾斜度变化的比例的情况相比，为该图像部分提供改进的光学图像稳定。
14.根据比例，可以在图像的不同部分实现相机抖动的最佳抑制。例如，可以调整比例以调整距图像中心的径向距离，其中在该图像中心处要实现对图像抖动的最有效抑制。也就是说，调整距离与倾斜度变化的比例可以至少部分地取决于该图像部分距图像中心的径向距离。例如，随着图像部分距图像中心的径向距离增大，距离与倾斜度变化的比例也增大。这有利地允许在图像的不同部分处提供ois，并且最终可以在整个图像上提供有效的ois。可选地，比例可以由用户调整。因此，用户可以调整图像部分在图像上的位置。换句话说，用户可以选择他们希望向图像的哪个部分提供最佳ois。替代地，可以自动调整比例，以便在不同的图像部分中提供有效的ois。
15.调整距离与倾斜度变化的比例可以至少部分地取决于透镜元件到待成像物体的物距。例如，随着透镜元件到待成像物体的物距减小，相对于倾斜度变化的距离增大。当相机相对靠近物体时，这可能特别适用，因为透镜元件与图像传感器之间的距离相对于从物体到透镜元件的距离是不可忽略的。该计算机实现的方法还可以包括确定从透镜元件到被成像物体的距离的步骤。确定从透镜元件到被成像物体的距离可以包括使用飞行时间传感器，该飞行时间传感器被配置成确定从透镜元件到被成像物体的距离。飞行时间传感器系统使用飞行时间来求解传感器和物体之间的距离。例如，通过测量人造光信号或脉冲到物体然后从物体反射的往返时间来测量飞行时间。因此，到被摄体(subject)的距离是光速(3
×
108ms-1
)与所测量的往返物体的飞行时间的乘积的一半。
16.在一些实施例中，特别是在适于使用薄透镜方程的实施例中，距离与倾斜度变化的比例可以近似等于以下项：
[0017][0018]
其中，f是透镜元件的有效焦距，d是透镜元件到待成像物体的物距，α是倾斜度变化，以及θ是图像部分和图像中心之间在该透镜元件处的角度。是图像部分距图像中心的径向距离，特别是在倾斜度变化之前的径向距离。距离与倾斜度变化的比例可以在一定程度上近似等于该项，例如，该比例在上述项的10％以内，优选地在5％以内或1％以内。应当理解，为了提供有利的技术效果，对于本发明，该比例不需要完全等于上述
项。
[0019]
在一些实施例中，不需要考虑物距。距离与倾斜度变化的比例可以近似等于以下项：
[0020][0021]
其中，v是透镜元件与图像传感器之间的距离，α是倾斜度变化，以及θ是图像部分和图像中心之间在透镜元件处的角度。v tan(θ)是图像部分距图像中心的径向距离，特别是在倾斜度变化之前的径向距离。
[0022]
在一些实施例中，不需要考虑图像部分距图像中心的径向距离。距离与倾斜度变化的比例可以近似等于以下项：
[0023][0024]
其中，f是透镜元件的有效焦距，d是透镜元件到待成像物体的物距，以及α是倾斜度变化。
[0025]
应当理解，本技术的教导超出了近似的上述方程。特别地，本发明可以用于薄透镜方程不成立的透镜元件。例如，本发明可以用于具有相对较大视场的透镜，诸如鱼眼透镜。
[0026]
该计算机实现的方法还可以包括以下步骤：控制图像传感器以获得多个图像，该多个图像中的每个图像包括图像部分，该多个图像中的每个图像的该图像部分被定位在距其相应图像的中心不同的径向距离处；以及控制透镜元件相对于图像传感器移动，以稳定多个图像中的每个图像的该图像部分，从而提供多个稳定的图像部分。该方法还可以包括组合多个稳定的图像部分以提供稳定的合成图像的步骤。
[0027]
在一些场景中，诸如在弱光条件下，可以捕获多个曝光或图像，然后可以组合来自不同图像的数据以创建单个高质量图像。在本发明的布置中，陀螺仪增益可以在这些图像的采集期间被调整，使得ois针对不同的曝光在图像的不同区域中提供良好的抑制。通常，多次曝光可以专门针对改善ois的目的来捕获，因此与由弱光条件或其他此类场景引起的任何多次曝光无关。然后可以从不同的图像组合具有高ois的图像部分，以提供在整个图像上具有改进的ois的合成图像。由此，这减少了创建高质量图像所需的曝光次数，或者通过确保图像的所有部分在抖动被最佳地或更有效地抑制的情况下具有一些曝光来提高所创建的图像的质量。
[0028]
该计算机实现的方法还可以包括控制第二透镜元件的步骤，该第二透镜元件被布置成将第二图像聚焦在第二图像传感器上，以相对于第二图像传感器移动至少部分地取决于倾斜度变化的距离，以便稳定第二图像的图像部分，其中第一图像的该图像部分是中心部分并且稳定该图像提供了稳定的中心部分，并且第二图像的该图像部分是外部部分并且稳定第二图像提供了稳定的外部部分。该方法还可以包括组合稳定的中心部分和稳定的外部部分以提供稳定的组合图像的步骤。
[0029]
可以在具有多个相机的系统中提供这样的实施例。在这种多相机系统(诸如具有多个相机的移动电话)中，可以调整比例，使得不同相机上的ois被调节以消除相机抖动在不同图像部分处的影响，诸如在距离图像中心的不同径向距离处的影响。然后可以组合这
些图像以创建图像，该图像在ois被调节以抑制良好的区域中使用来自不同图像传感器的信息。因此，可以在整个合成图像上提供有效的ois。
[0030]
示例实施例可以包括两个相机，每个相机具有不同的视场。即，每个相机的图像传感器可以具有不同的视场。例如，第一相机可以比具有较窄视场的第二相机具有更宽的视场。具有宽视场的相机的比例可以被调整，使得ois被调节来在窄视场相机的视场之外的区域或边缘区域中抑制相机抖动的影响。也就是说，比例可以被调整，使得对于广角相机，在具有窄视场的相机的视场之外的部分处，图像抑制被优化或更有效。然后可以调整比例，使得对于窄视场相机，ois在基本上中心区域处是优化的或更有效的。然后，来自每个图像的具有有效ois的图像部分可以被组合以提供在其整体上具有有效ois的图像。
[0031]
透镜元件相对于图像传感器的移动可以通过透镜元件的移动或图像传感器的移动来提供。当图像传感器移动时，透镜元件可以是静止的。当透镜元件移动时，图像传感器可以是静止的。图像传感器的移动可能更方便，因为图像传感器是比透镜组件更小的部件。这可促进相机组件的进一步小型化。
[0032]
图像部分的总面积可以是图像总面积的一部分(fraction)。这样，在图像的特定部分处提供最佳ois。图像部分在图像中的位置可以被配置成被选择。图像部分可以至少部分地位于图像的边缘。在一些实施例中，图像部分可以基本上位于图像的边缘附近。
[0033]
确定器可以被配置成通过确定光学图像稳定组件的角速度来确定指示倾斜度变化的数据，并且对光学图像稳定组件的所确定的角速度进行转换以确定倾斜角度或倾斜度变化。确定指示光学图像稳定组件的倾斜度变化的数据可以包括使用振动传感器，诸如陀螺仪。
[0034]
透镜元件可以包括透镜架(lens carrier)，一个或更多个透镜支撑在该透镜架上。透镜的直径可以相对较小。例如，一个或更多个透镜的直径最多可以是10mm。透镜元件相对于图像传感器的移动可以在垂直于图像传感器的光轴的平面内。
[0035]
该方法可包括通过控制致动器机构来驱动透镜元件相对于图像传感器的移动，从而控制透镜元件相对于图像传感器移动。致动器机构可以包括至少一根形状记忆合金(sma)线，并且控制致动器机构来驱动透镜元件相对于图像传感器的移动可以包括控制至少一根sma线收缩。
[0036]
致动器机构可包括多根sma线。例如，在一些实施例中，致动器机构可以包括四根sma线。该方法还可以包括控制电路输出诸如控制信号的信号以控制致动器机构的致动。
[0037]
根据本发明的另一方面，提供了一种用于提供光学图像稳定的光学图像稳定组件，该光学图像稳定组件包括：被配置成获得图像的图像传感器；透镜元件，该透镜元件被布置成将图像聚焦在图像传感器上；以及确定器，该确定器用于确定光学图像稳定组件的倾斜度变化；以及控制器，该控制器被配置成使透镜元件相对于图像传感器移动至少部分地取决于倾斜度变化的距离，以便稳定图像的图像部分来提供稳定的图像，其中控制器被配置成调整距离与倾斜度变化的比例。
[0038]
ois组件还可包括支撑结构。图像传感器可以由支撑结构支撑。透镜元件也可以由支撑结构支撑，例如以允许相对于图像传感器移动的方式支撑。
[0039]
通过透镜元件相对于图像传感器的移动来稳定图像的图像部分，以便补偿倾斜度变化。图像部分的稳定可以是最佳的或有效的稳定。换句话说，透镜元件相对于图像传感器
的移动将在整个图像上提供某种程度的ois，但是在该图像部分提供最佳或更有效的ois。该图像部分中的ois可能比图像的除该图像部分之外的部分中的ois更有效。图像部分的总面积可以是图像总面积的一部分。例如，不同的图像部分可以包括中心圆和同心环。发明人已经认识到通过调整距离与倾斜度变化的比例来调整图像上最佳ois的位置的可能性。图像部分在图像上的位置可以取决于透镜元件相对于图像传感器的移动距离。
[0040]
根据比例，可以在图像的不同部分实现相机抖动的最佳抑制。例如，可以调整比例以调整距图像中心的径向距离，其中在该图像中心处要实现对图像抖动的最有效抑制。也就是说，调整距离与倾斜度变化的比例可以至少部分地取决于图像部分距图像中心的径向距离。这有利地允许在图像的不同部分处提供ois，并且最终可以在整个图像上提供有效的ois。可选地，比例可以由用户调整。因此，用户可以调整图像部分在图像上的位置。换句话说，用户可以选择他们希望向图像的哪个部分提供最佳ois。替代地，可以自动调整比例，以便在不同的图像部分中提供有效的ois。
[0041]
调整距离与倾斜度变化的比例可以至少部分地取决于透镜元件到被成像物体的物距。因此，ois组件可以被配置成确定从透镜元件到被成像物体的距离。ois组件可以包括飞行时间传感器，该飞行时间传感器被配置成确定从透镜元件到被成像物体的距离。
[0042]
确定器可以包括振动传感器，诸如陀螺仪。确定器确定倾斜度变化可以包括确定器确定ois组件的角速度，并将所确定的ois组件的角速度转换为确定的倾斜度变化，该确定的倾斜度变化可以是确定的倾斜角度。
[0043]
图像传感器可以被配置成获得多个图像，多个图像中的每个图像包括图像部分，多个图像中的每个图像的该图像部分被定位在它们各自图像上的不同径向距离处；并且透镜元件可以被配置成相对于图像传感器移动，以便稳定多个图像中的每个图像的图像部分，以提供多个稳定的图像部分。相机组件可以被配置成组合多个稳定的图像部分以提供稳定的合成图像。可以捕获多个曝光或图像，并且可以通过调整每个图像捕获的比例使得图像部分在每个图像上位于不同的位置来优化ois。因此，来自不同图像的稳定图像部分可被组合以提供基本上在整个图像上具有最佳或更有效的ois的图像。多个曝光可以由一个或更多个相机捕获。合成的复合图像的稳定程度可以比多个图像中的任何单个图像更好。
[0044]
ois组件还可以包括：被配置成获得第二图像的第二图像传感器；以及第二透镜元件，该第二透镜元件被布置成：将第二图像聚焦在第二图像传感器上；以及相对于第二图像传感器移动取决于所确定的倾斜度的第二距离，以便稳定第二图像的图像部分，其中第一图像的该图像部分是中心部分并且稳定该图像提供了稳定的中心部分，并且第二图像的该图像部分是外部部分并且稳定第二图像提供了稳定的外部部分。稳定的中心部分和稳定的外部部分可以被配置成进行组合以提供稳定的组合图像。在多相机系统中，可以调整每个相机的比例，使得图像部分在由每个相机捕获的每个图像中位于不同的位置，导致在每个图像的不同区域处提供最佳ois。因此，所得到的稳定图像部分可被组合以提供基本上在整个图像上具有最佳或更有效ois的图像。
[0045]
支撑结构可以是第一支撑结构，并且ois组件还可以包括第二支撑结构。第二图像传感器和第二透镜元件中的一个或两者可以由第二支撑结构支撑。第二图像传感器和/或透镜元件可替代地由第一支撑结构支撑。
[0046]
控制器可以是第一控制器，并且ois还可以包括第二控制器，该第二控制器被配置
成控制第二透镜元件相对于第二图像传感器的移动。替代地，控制第二透镜元件相对于第二图像传感器的移动可以由第一控制器执行。
[0047]
透镜元件相对于图像传感器的移动可以由透镜元件的移动或图像传感器的移动来提供。透镜元件相对于图像传感器的移动可以在垂直于图像传感器的光轴的平面内。
[0048]
光学成像器稳定组件还可以包括致动器机构，该致动器机构被配置成驱动透镜元件相对于图像传感器的移动。
[0049]
致动器机构可以包括至少一根形状记忆合金(sma)线，并且透镜元件相对于图像传感器的移动可以通过使至少一根sma线收缩来驱动。
[0050]
致动器机构可以包括多根sma线。例如，在一些实施例中，致动器机构可以包括四根sma线。ois组件还可以包括控制电路，该控制电路被配置成输出诸如控制信号的信号以控制致动器机构的致动。控制器可以包括控制电路，或者控制电路可以与控制器分离。
[0051]
根据本公开的另一方面，提供了一种用于执行上文阐述的方法的计算机程序。
[0052]
根据本公开的另一个方面，提供了一种包括用于执行上文阐述的方法的指令的非暂时性计算机可读介质。非暂时性计算机可读介质可以是例如固态存储器、微处理器、cd或dvd-rom、诸如非易失性存储器(诸如闪存)或只读存储器(固件)的编程存储器，或者在诸如光或电信号载体的数据载体上。
[0053]
附图简述
[0054]
现在将参考附图仅通过示例的方式描述本发明的要求保护的某些实施例，在附图中：
[0055]
图1是体现本发明一方面的光学图像稳定组件的示意图；
[0056]
图2是描述体现本发明一方面的计算机实现的方法的流程图；
[0057]
图3是在使用中体现本发明一方面的光学图像稳定组件的示意图；以及
[0058]
图4是体现本发明一方面的光学图像稳定组件的部件的示意图。
[0059]
相似的特征通过相似的参考数字来表示。
[0060]
详细描述
[0061]
将参考图1描述示例光学稳定组件。
[0062]
图1示出了光学图像稳定组件100的横截面图，该横截面是沿着ois组件100的光轴o截取的，并且具体地示出了ois组件100的图像传感器101的横截面图。
[0063]
在该示例中，ois组件100结合在便携式电子设备中，该便携式电子设备在该示例中是移动电话。然而，应当理解，ois组件100可以结合到任何合适的设备中。
[0064]
ois组件100包括支撑结构103。支撑结构103连接并支撑透镜元件102和图像传感器101。透镜元件102和图像传感器101沿着光轴o布置，使得透镜元件102将图像聚焦到图像传感器101上。图像传感器101捕获图像，并且可以是任何合适的类型。例如，图像传感器101可以是电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)器件。在该示例中，透镜元件102包括直径为10mm的透镜。
[0065]
ois组件100还包括sma线(未示出)，并且在该示例中包括四根sma线，每根sma线连接到支撑结构103和透镜元件102。四根sma线被布置成使得在一根或更多根sma线收缩时，透镜元件102在垂直于光轴o的平面内相对于图像传感器101移动。例如，四根sma线可以被布置成基本上包围透镜元件102，使得一根或更多根sma线的选择性收缩使透镜元件102能
够在平面内的所有方向上移动。ois组件100可以例如包括wo 2013/175197 a1的sma致动装置，以实现透镜元件102相对于支撑结构103的移动，wo 2013/175197 a1通过引用并入本文。一般而言，ois组件可以包括能够使透镜元件102相对于支撑结构103移动以用于提供ois的任何致动器装置。
[0066]
ois组件100还包括确定器104。确定器104被配置成确定指示ois组件100的倾斜度变化的数据。例如，倾斜度变化可以由用户赋予。确定器104包括振动传感器(在这种情况下是陀螺仪)，该振动传感器确定相机抖动期间ois组件的角速度。然后，确定器104将角速度转换成倾斜度变化。
[0067]
如下面将更详细地描述的，控制器105然后控制透镜元件102在垂直于光轴o的平面内相对于图像传感器101移动，以便向被捕获的图像提供ois。具体地，控制器105控制致动器机构的四根sma线的致动。
[0068]
在该示例和下面解释的示例中，通过使透镜元件102移动，同时使图像传感器101保持相对静止来提供相对移动。然而，应当理解，通过使图像传感器101在与光轴o正交的平面内移动，同时透镜元件102保持相对静止，可以等同地提供相对移动。在这样的实施例中，ois组件100可以例如包括wo 2017/072525a1的相机组件，该wo 2017/072525a1通过引用并入本文。
[0069]
将参考图2至图4描述用于光学图像稳定的示例方法。
[0070]
图2示出了用于提供光学图像稳定的计算机实现的方法的一部分的流程图。特别地，描述了从确定倾斜度变化到调整透镜元件102相对于图像传感器101的移动以补偿倾斜度变化的步骤。
[0071]
在步骤201之前，准备好要使用的ois组件100。例如，用户准备使用包括ois组件100的相机来捕获物体的图像。在图像的捕获期间(在图像传感器101的曝光期间)，相机抖动被赋予到相机上。这里，相机抖动作为由用户引起的相机旋转被赋予。如果不对相机抖动进行补偿，则所述相机抖动将不利地影响图像，因此ois组件100被布置成向被捕获的图像提供ois。
[0072]
在步骤201，确定指示倾斜度变化的数据，该数据是ois组件100的旋转角速度的形式。在该示例中，角速度由确定器104确定，特别是由陀螺仪确定。为了考虑到所确定的角速度和ois组件100的倾斜度变化，将需要补偿角度来向图像提供ois。在步骤203，所确定的角速度被转换成指示倾斜度变化的数据，并且特别地被转换成角度形式的倾斜度变化。
[0073]
为了将有效ois应用到正被捕获的图像的图像部分，透镜元件102必须相对于图像传感器101移动一段距离。透镜元件102移动的距离取决于距离与倾斜度变化的比例。该比例决定图像部分在图像上所处的位置。比例的确定被如下详细阐述。
[0074]
透镜元件102相对于图像传感器101移动的距离决定了ois被最佳地或更有效地应用到图像的哪个部分；即，ois最有效或更有效的图像部分。因此，图像中ois最有效或更有效的图像部分的位置取决于该比例。可以调整该比例或陀螺仪增益，以便调整图像部分在图像上的位置。换句话说，可以调整该比例或陀螺仪增益，以便调整ois被最有效地或更有效地应用的图像部分。这可以是，例如，在图像的边缘或在图像的中心。
[0075]
在步骤205中，调整距离与倾斜度变化的比例，例如自动调整，以便在不同图像部分处提供ois。应当理解，这些步骤不一定需要按照该示例实施例的顺序来执行，特别是，比
例的调整不一定需要在与该示例相同的阶段来执行。例如，它可以在捕获图像之前被调整。
[0076]
在步骤207，应用距离与倾斜度变化的比例以确定透镜元件102相对于图像传感器101必须移动的距离，以便提供ois。
[0077]
一旦确定了距离，在步骤209，致动器机构被控制以提供透镜元件102的移动。在该示例中，控制电路向致动器机构提供控制信号。控制信号包括控制致动器机构的必要的一根或多根sma线收缩的信号。因此，透镜元件102移动一段距离，以便最佳地或更有效地稳定正被捕获的图像的图像部分。
[0078]
现在将参考图3和图4描述比例确定的一个示例。
[0079]
图3示出了被成像物体301的示意图。物体301的图像正被包括ois组件的相机捕获。图3特别示出了透镜元件102和图像传感器101相对于待成像物体301的定位。
[0080]
图4示出了透镜元件102和图像传感器101的示意图，以及透镜元件102相对于图像传感器101的移动。
[0081]
ois组件100包括具有有效焦距f的透镜元件102以及视场为θ的图像传感器101。待成像物体301在距透镜元件102的一定距离d处。从透镜元件102到图像传感器101的距离是距离v。在图像捕获或曝光期间，光学图像稳定组件100经历相机抖动。也就是说，ois组件旋转或倾斜，因此经历角度为α的倾斜度变化。倾斜度变化的确定如上所述。
[0082]
然后可以通过应用薄透镜方程来计算比例以及因此补偿倾斜度变化所需的透镜元件102的移动距离。应用于此，求解距离v的方程如下所示。
[0083]
方程1：
[0084]
比例可以取决于距离d。该比例可以根据图像部分在图像上的位置而不同。例如，当图像部分处于图像的边缘时，该比例可以与当该图像部分基本上处于图像中心时不同。
[0085]
在θ》》α且d》》f(或者当d可以被认为相对于f是无穷远的距离)的情况下，距离v可以被认为等于f。因此，对于基本上位于图像中心的图像部分(即，抖动的影响将在图像中心处被最佳地抑制)，透镜元件102可以在图像捕获期间相对于图像传感器101移动一段距离f.tan(α)，以便补偿图像抖动并向该图像部分提供ois。因此，在图像部分基本上位于图像中心的情况下，透镜元件102相对于图像传感器101移动的距离与倾斜度变化的比例将是
[0086]
在d并不比f大很多的情况下，透镜元件102与图像传感器101之间的距离v由方程1给出。在这种情况下，对于基本上位于图像中心的图像部分，透镜元件102可以在图像捕获期间相对于图像传感器101移动一段距离以补偿图像抖动并向该图像部分提供ois。因此，在这种情况下，透镜元件102相对于图像传感器101移动的距离与倾斜度变化的比例将是
[0087]
因此，可以根据距离d来调整比例，以便与不考虑距离d的情况相比，在图像的中心
处提供更有效的ois。
[0088]
可替代地，图像部分可以基本上位于图像的边缘。假设d》》f，距离v可以被认为等于f。因此，在图像部分基本上位于图像边缘的情况下(即，抖动的影响将在图像边缘处被最佳地抑制)，透镜元件102可以在图像捕获期间相对于图像传感器101移动一段距离f(tan(θ+α)-tan(θ))。因此，透镜元件102相对于图像传感器101移动的距离与倾斜度变化的比例将是更一般地，对于不一定位于图像边缘但也不位于图像中心的图像部分，θ可以被认为对应于图像部分和图像中心之间在透镜元件处的角度。
[0089]
在一些实施例中，可以根据距离d和图像部分距图像中心的距离两者来调整比例。在这样的实施例中，透镜元件102相对于图像传感器101移动的距离与倾斜度变化的比例将是
[0090]
已经仅参考正被捕获的单个图像描述了这些示例。应当理解，多个图像可以由单个相机捕获，或者两个或更多个相机(例如，形成双相机装置的两个相机)可以各自捕获一个或更多个图像，如上所述。
[0091]
以后者为例，第一相机可以被布置成具有如上焦距为f的透镜元件102和视场为θ的图像传感器101，以对在相对于f被认为是无穷远的距离d处的物体301成像。第二相机也可以被布置成具有焦距为f的透镜元件和视场为2θ的图像传感器，以对在相对于f也被认为是无穷远的距离d处的物体301成像。在曝光期间，赋予了相机抖动α，并且期望在整个图像上减小相机抖动的影响。
[0092]
第一相机捕获具有第一图像部分的第一图像。第二相机捕获具有第二图像部分的第二图像。调整每个相机的比例以确定每个图像部分在其相应图像上的位置。在该示例中，第二相机包括广角镜头，并且具有两倍于第一相机的视场的视场。
[0093]
调整第二相机的比例(即，第二相机的透镜元件的移动距离与倾斜度变化的比例)，使得在图像边缘处最佳地执行ois。换句话说，第二图像的第二图像部分位于图像的边缘，特别是位于第一相机的视场之外的区域。
[0094]
第一相机的比例使得基本上在图像的中心处最佳地或更有效地执行ois。
[0095]
一旦每个相机捕获到图像，这些图像就被组合起来。特别地，每个图像的具有最佳ois的部分被组合，或者每个图像的图像部分被组合。这导致组合图像在其整体上具有优化的ois，这是由于两个相机中每个相机的比例变化使得最佳ois能够选择性地被定位在图像上。
[0096]
与上面类似，可以在d并不比f大很多，因此并不认为d相对于f是无穷大的情况下计算等效距离。
[0097]
已经描述了本发明的实施例。将理解，可以在本发明的范围内对所描述的实施例进行变化和修改。例如，比例的调整可以应用于要捕获多个图像的布置中。可以调整比例，使得每个图像的图像部分位于不同的位置，从而为图像的不同部分提供最佳或更有效的ois。然后可以组合被最佳地或更有效稳定的部分以形成组合图像，该组合图像基本上在其整体上具有最佳或更有效的ois。
[0098]
已经关于拍摄两个图像，并组合这两个图像的图像部分以形成合成的组合图像描述了上面的示例。然而，应当理解，本发明可以扩展到拍摄两个以上的图像，即3个或更多个图像，以便提供具有甚至更有效的ois的组合图像。

技术特征：
1.一种用于提供光学图像稳定的计算机实现的方法，所述计算机实现的方法包括：接收指示光学图像稳定组件的倾斜度变化的数据，所述光学图像稳定组件包括图像传感器和透镜元件，所述透镜元件被布置成将图像聚焦在所述图像传感器上；以及生成数据，以用于使所述透镜元件相对于所述图像传感器移动至少部分地取决于所述倾斜度变化的距离，以便稳定所述图像的图像部分来提供稳定的图像；以及调整所述距离与所述倾斜度变化的比例。2.根据权利要求1所述的计算机实现的方法，其中，调整所述距离与所述倾斜度变化的比例，以使得与不调整所述距离与所述倾斜度变化的比例的情况相比，为所述图像部分提供改进的光学图像稳定。3.根据权利要求1或2所述的计算机实现的方法，其中，调整所述距离与所述倾斜度变化的比例至少部分地取决于所述图像部分距所述图像的中心的径向距离。4.根据任一前述权利要求所述的计算机实现的方法，其中，随着所述图像部分距所述图像的中心的径向距离增大，所述距离与所述倾斜度变化的比例增大。5.根据任一前述权利要求所述的计算机实现的方法，其中，调整所述距离与所述倾斜度变化的比例至少部分地取决于所述透镜元件到待成像物体的物距。6.根据任一前述权利要求所述的计算机实现的方法，其中，随着所述透镜元件到待成像物体的物距减小，所述距离与所述倾斜度变化的比例增大。7.根据任一前述权利要求所述的计算机实现的方法，其中，所述距离与所述倾斜度变化的比例近似等于项其中f是所述透镜元件的有效焦距，d是所述透镜元件到待成像物体的物距，α是所述倾斜度变化，以及θ是所述图像部分与所述图像的中心之间在所述透镜元件处的角度。8.根据任一前述权利要求所述的计算机实现的方法，还包括以下步骤：控制所述图像传感器以获得多个图像，所述多个图像中的每个图像包括图像部分，所述多个图像中的每个图像的所述图像部分被定位在距它们各自图像的中心不同的径向距离处；以及控制所述透镜元件相对于所述图像传感器移动，以便稳定所述多个图像中的每个图像的所述图像部分，从而提供多个稳定的图像部分。9.根据权利要求8所述的计算机实现的方法，其中，在控制所述图像传感器以获得多个图像的同时，控制所述透镜元件相对于所述图像传感器的移动。10.根据权利要求8或9所述的计算机实现的方法，还包括组合所述多个稳定的图像部分以提供稳定的合成图像的步骤。11.根据任一前述权利要求所述的计算机实现的方法，还包括以下步骤：控制被布置成将第二图像聚焦在第二图像传感器上的第二透镜元件相对于所述第二图像传感器移动至少部分地取决于所述倾斜度变化的距离，以便稳定所述第二图像的图像部分，其中，所述第一图像的所述图像部分是中心部分，并且稳定所述图像提供了稳定的中心部分，并且所述第二图像的所述图像部分是外部部分，并且稳定所述第二图像提供了稳定的外部部分。
12.根据权利要求11所述的计算机实现的方法，还包括组合所述稳定的中心部分和所述稳定的外部部分以提供稳定的组合图像的步骤。13.根据任一前述权利要求所述的计算机实现的方法，其中，通过所述透镜元件的移动或所述图像传感器的移动提供所述透镜元件相对于所述图像传感器的移动。14.根据任一前述权利要求所述的计算机实现的方法，其中，所述图像部分的总面积是所述图像的总面积的一部分。15.根据任一前述权利要求所述的计算机实现的方法，包括使用陀螺仪确定指示所述光学图像稳定组件的倾斜度变化的所述数据。16.根据任一前述权利要求所述的计算机实现的方法，其中，所述透镜元件相对于所述图像传感器的移动在垂直于所述图像传感器的光轴的平面内。17.根据任一前述权利要求所述的计算机实现的方法，包括通过控制致动器机构来驱动所述透镜元件相对于所述图像传感器的移动，从而控制所述透镜元件相对于所述图像传感器移动。18.根据权利要求17所述的计算机实现的方法，其中，所述致动器机构包括至少一根形状记忆合金(sma)线，并且控制所述致动器机构来驱动所述透镜元件相对于所述图像传感器的移动包括控制所述sma线收缩。19.一种用于提供光学图像稳定的光学图像稳定组件，所述光学图像稳定组件包括：图像传感器，所述图像传感器被配置成获得图像；透镜元件，所述透镜元件被布置成将所述图像聚焦在所述图像传感器上；确定器，所述确定器用于确定所述光学图像稳定组件的倾斜度变化；以及控制器，所述控制器被配置成使所述透镜元件相对于所述图像传感器移动至少部分地取决于所述倾斜度变化的距离，以便稳定所述图像的图像部分来提供稳定的图像，其中，所述控制器被配置成调整所述距离与所述倾斜度变化的比例。20.根据权利要求19所述的光学图像稳定组件，其中，调整所述距离与所述倾斜度变化的比例至少部分地取决于所述图像部分距所述图像的中心的径向距离。21.根据权利要求19或20所述的光学图像稳定组件，其中，随着所述图像部分距所述图像的中心的径向距离增大，所述距离与所述倾斜度变化的比例增大。22.根据权利要求19至21中任一项所述的光学图像稳定组件，其中，调整所述距离与所述倾斜度变化的比例至少部分地取决于所述透镜元件到被成像物体的物距。23.根据权利要求19至22中任一项所述的光学图像稳定组件，其中，随着所述透镜元件到待成像物体的物距减小，所述距离与所述倾斜度变化的比例增大。24.根据权利要求19至23中任一项所述的光学图像稳定组件，其中，所述距离与所述倾斜度变化的比例近似等于项其中f是所述透镜元件的有效焦距，d是所述透镜元件到待成像物体的物距，α是所述倾斜度变化，以及θ是所述图像部分与所述图像的中心之间在所述透镜元件处的角度。25.根据权利要求18至24中任一项所述的光学图像稳定组件，其中：所述图像传感器被配置成获得多个图像，所述多个图像中的每个图像包括图像部分，
所述多个图像中的每个图像的所述图像部分被定位在它们各自图像上的不同径向距离处；以及所述透镜元件被配置成相对于所述图像传感器移动，以便稳定所述多个图像中的每个图像的所述图像部分，从而提供多个稳定的图像部分。26.根据权利要求25所述的计算机实现的方法，其中，所述透镜元件被配置成在由所述图像传感器获得多个图像的同时相对于所述图像传感器移动。27.根据权利要求26所述的光学图像稳定组件，其中，所述相机组件被配置成组合所述多个稳定的图像部分以提供稳定的合成图像。28.根据权利要求19至27中任一项所述的光学图像稳定组件，还包括：第二图像传感器，其被配置成获得第二图像；以及第二透镜元件，其被布置成：将所述第二图像聚焦在所述第二图像传感器上；以及相对于所述第二图像传感器移动取决于所确定的倾斜度的第二距离，以便稳定所述第二图像的图像部分，其中，所述第一图像的所述图像部分是中心部分并且稳定所述图像提供了稳定的中心部分，并且所述第二图像的所述图像部分是外部部分并且稳定所述第二图像提供了稳定的外部部分。29.根据权利要求28所述的光学图像稳定组件，其中，所述稳定的中心部分和所述稳定的外部部分被配置成进行组合以提供稳定的组合图像。30.根据权利要求19至29中任一项所述的光学图像稳定组件，其中，所述透镜元件相对于所述图像传感器的移动由所述透镜元件的移动或由所述图像传感器的移动提供。31.根据权利要求19至30中任一项所述的光学图像稳定组件，其中，所述图像部分的总面积是所述图像的总面积的一部分。32.根据权利要求19至31中任一项所述的光学图像稳定组件，其中，所述确定器包括陀螺仪。33.根据权利要求19至32中任一项所述的光学图像稳定组件，其中，所述透镜元件相对于所述图像传感器的移动在垂直于所述图像传感器的光轴的平面内。34.根据权利要求19至33中任一项所述的光学图像稳定组件，还包括致动器机构，所述致动器机构被配置成驱动所述透镜元件相对于所述图像传感器的移动。

技术总结
一种用于提供光学图像稳定的计算机实现的方法，该计算机实现的方法包括：接收指示光学图像稳定组件的倾斜度变化的数据，该光学图像稳定组件包括图像传感器和透镜元件，该透镜元件被布置成将图像聚焦在图像传感器上；以及生成数据，以用于使透镜元件相对于图像传感器移动至少部分地取决于倾斜度变化的距离，以便稳定图像的图像部分来提供稳定的图像；以及调整距离与倾斜度变化的比例。整距离与倾斜度变化的比例。整距离与倾斜度变化的比例。


技术研发人员：安德鲁
受保护的技术使用者：剑桥机电有限公司
技术研发日：2021.11.17
技术公布日：2023/8/5