飞行时间图像传感器电路和飞行时间图像传感器电路控制方法与流程

1.本公开总体上涉及飞行时间图像传感器电路和飞行时间图像传感器电路控制方法。


背景技术：

2.通常，用于测量场景深度的飞行时间(tof)设备是公知的。例如，它可以在间接tof(itof)、直接tof(dtof)、散斑tof(spot tof)等之间进行区分。
3.在dtof中，根据光从光源传播并反射回dtof设备的图像传感器的时间，直接测量已经从dtof设备发射的光的往返延迟。基于时间，考虑光速，可以估计深度。
4.在散斑tof中，散斑光图案可以从散斑光源发射。散斑tof的一个应用是测量光斑的位移和/或劣化，这可以指示场景的深度。在另一个应用中，散斑tof可以与itof结合使用(下面进一步解释)，即散斑光源(作为散斑tof组件)与capd(电流辅助光子解调器)传感器(itof组件)结合使用。
5.在itof中，可以基于发送到光源的调制信号来发射调制光，其中，相同或相似的调制信号可以施加到像素，使得可以基于反射的调制光来测量调制信号的相移。该相移可以指示距离。
6.然而，由于调制信号的循环性质和由于光速是固定值，可以存在最大测量距离(其通常被称为不模糊距离(unambiguous distance))，并且也可以测量不模糊(实际)距离的整数倍或分数。例如，对于100兆赫兹的调制频率，不模糊距离可以大致对应于1.5米，但是如果场景(或物体)在1米之外，则测量结果也可能是50厘米或2米。
7.尽管存在用于减少不模糊距离测量误差的技术，但通常期望提供飞行时间图像传感器电路和飞行时间图像传感器控制电路。


技术实现要素：

8.根据第一方面，本公开提供飞行时间图像传感器电路，包括：
9.成像单元，包括第一成像部和第二成像部，其中，该第一成像部和第二成像部基于预定义的读出相位偏移而被驱动，其中，电路进一步被配置成：
10.将低频解调模式应用于第一成像部和第二成像部，以生成粗深度数据；
11.将高频解调模式应用于第一成像部和第二成像部，以生成细深度数据，其中，细深度数据受到深度模糊的影响；以及
12.生成结果深度数据，在该结果深度数据中，细深度数据的模糊已基于粗深度数据而被去除。
13.根据第二方面，本公开提供一种飞行时间图像传感器电路控制方法，用于控制飞行时间图像传感器电路，该飞行时间图像传感器电路包括包含第一成像部和第二成像部的成像单元，其中，第一成像部和第二成像部基于预定义的读出相位偏移而被驱动，其中，该
方法进一步包括：
14.将低频解调模式应用于第一成像部和第二成像部，以生成粗深度数据；
15.将高频解调模式应用于第一成像部和第二成像部，以生成细深度数据，其中，细深度数据受到深度模糊的影响；以及
16.生成结果深度数据，在该结果深度数据中，细深度数据的模糊已基于粗深度数据而被去除。
17.在从属权利要求、以下描述和附图中阐述了进一步的方面。
附图说明
18.参照附图以示例的方式解释实施例，其中：
19.图1描绘了已知itof双频测量的框图；
20.图2描绘了经过深度模糊的相位测量的示例；
21.图3描绘了根据本公开的成像单元的实施例；
22.图4描绘了根据本公开的成像单元的另一个实施例；
23.图5描绘了根据本公开的成像单元的另一个实施例；
24.图6描绘了根据本公开的成像单元的另一个实施例；
25.图7描绘了根据本公开的成像单元的另一个实施例；
26.图8以框图的形式示出了根据本公开的两次拍摄测量的实施例；
27.图9以框图的形式示出了根据本公开的一次拍摄测量的实施例；
28.图10以框图的形式描绘了根据本公开的飞行时间图像传感器电路控制方法的实施例；
29.图11以框图的形式描绘了根据本公开的飞行时间图像传感器电路控制方法的另一实施例；
30.图12示出了根据本公开的索引展开的图示；
31.图13描绘了用于解释如何根据本公开将散斑tof与成像单元组合的示意图；
32.图14描绘了用于解释如何根据本公开将散斑tof与成像单元组合的另一示意图；
33.图15描绘了根据本公开的照明图案的实施例；
34.图16示出了tof成像装置的实施例；
35.图17以框图描绘了飞行时间图像传感器电路控制方法的另一实施例；
36.图18以框图描绘了飞行时间图像传感器电路控制方法的另一实施例；
37.图19以框图描绘了飞行时间图像传感器电路控制方法的另一实施例；
38.图20以框图描绘了飞行时间图像传感器电路控制方法的另一实施例；
39.图21是描绘车辆控制系统的示意性配置的示例的框图；以及
40.图22是用于说明车外信息检测部和成像部的安装位置的示例的辅助图。
具体实施方式
41.在给出图3的参考实施例的详细描述之前，进行一般解释。
42.正如开头提到的，间接tof相机是众所周知的。然而，这些已知的相机可能被限制在没有模糊的最大测量距离(也被称为“不模糊距离”，在此之后深度“卷绕(wrap)”回零)。
43.这种卷绕的原因可以是循环调制信号，该循环调制信号施加到像素(用于读出)并且施加到用于根据调制信号发射光(即，如通常所知，发射调制光)的光源。为了降低调制信号的噪声分量，可能希望增加调制频率。然而，通过增加频率，不模糊距离可能会减小。
44.因此，认识到可以设想双频方法(用于去混叠(dealiasing))。
45.通常，双频itof系统是已知的。例如，已知的itof可以使用双频itof方法1，如图1的框图所示。
46.在2处，以第一频率执行四次捕获。如通常已知的，可以将四个解调信号施加到itof像素，该四个解调信号相对于彼此相位偏移(phase-shift)。第一频率可以高于或低于第二频率。
47.在3处，基于2处的四次捕获，通过确定第一频率的四次捕获的相位差，来计算深度。
48.在4处，以第二频率执行四次捕获，并且在5处，计算第二频率处的深度。
49.换句话说，在双频捕获中，场景被依次成像，同时改变调制频率。例如，可以首先以40mhz的调制频率对场景成像，且然后以60mhz的频率对该场景成像。
50.基于所计算的第一频率和第二频率的深度，使用展开技术来计算展开深度，诸如索引对偶或混合对偶展开技术，例如组合展开(例如ncr(新中文余数)算法)、索引展开等。
51.在组合展开中，进行两次(或更多次)测量，其中每次具有(相对)高的频率，例如在60mhz和100mhz。可以同时展开和组合测量，使得加权平均可以是结果，使得可以实现最高可能噪声性能的最佳，同时可以获得增加的不模糊距离。
52.然而，已经认识到这种方法可能对测量误差(综合准确度和噪声)敏感。如果测量误差太高(在一次或两次测量中)，可能会导致展开误差，这可能会导致深度误差，其大于仅用噪声描述的深度误差。例如，当仅由于噪声而预期厘米时，误差的幅度可以在米的范围内。
53.在索引展开(indexing unwrapping)中，两个测量中的一个可以使用比另一个(低得多)的调制频率。例如，较高的频率可以至少是较低频率的两倍(例如20mhz和100mhz)。来自较低频率测量的结果可用于“索引”高频测量。换句话说，低频测量不一定是为了改善系统的整体噪声性能，而是为了展开高频测量。索引展开可能比组合展开具有更低的误差倾向(即“展开误差”的可能性更小)，然而，噪声性能降低。
54.通过使用展开技术，可以确定增加的不模糊距离，其中，也可以降低深度噪声。然而，已经认识到，在已知的tof设备中，可能需要额外的场景捕获来执行双频捕获，这可能导致功耗增加和运动模糊。
55.已经认识到，在已知的tof设备中，可能需要场景的至少三次连续捕获(在一些实施例中，可以指分量)(具有像素和/或照明上的调制信号的相位偏移(phase offset))，其中，希望减少用于对场景成像的捕获次数。
56.此外，在已知的设备中，对于每个调制频率可以执行四次捕获(例如具有0度、90度、180度和270度的顺序相位偏移)，导致对于两个不同的调制频率的八次捕获。
57.然而，在其他已知设备中，可以执行更少或更多的捕获(例如三个或五个)，这可能以置信度为代价，或者可能导致运动模糊，或者来自不同频率的一次捕获可能被交错。换句话说，例如三次捕获可能导致准确度降低和/或可能需要更复杂的计算来恢复深度。
58.此外，可以仅通过测量两个分量来获得深度，例如零度和九十度(相位偏移的其他组合也是可能的)。然而，这种测量可能导致低准确度，并且可能需要大量校准。
59.已经认识到，希望减少运动模糊和/或功耗。
60.例如，当tof用于机舱内监控(in-cabin monitoring，icm)时，可能会出现这种情况，其中可能必须以高帧速率检测(人的)手势。在已知设备中，在这种情况下可以仅使用单个频率，因为可能需要避免额外的捕获以便以高帧率操作，因为额外的捕获可能导致运动模糊。
61.此外，在已知的icm设备中，调制频率可以被限制在大约60mhz(以实现大约2.5米的不模糊范围，因此用于在没有深度展开的情况下可视化整个机舱)，使得深度噪声性能可以受到调制频率的限制。然而，已经认识到，增加icm的频率可能是可取的。
62.因此，一些实施例涉及飞行时间图像传感器电路，包括：包括第一成像部和第二成像部的成像单元，其中，该第一成像部和第二成像部基于预定义的读出相位偏移而被驱动，其中，电路进一步被配置成：将低频解调模式应用于第一成像部和第二成像部，以生成粗深度数据；将高频解调模式应用于第一成像部和第二成像部，以生成细深度数据，其中，细深度数据受到深度模糊的影响；以及生成结果深度数据，在该结果深度数据中，细深度数据的模糊已基于粗深度数据被去除。
63.飞行时间图像传感器电路可以包括成像单元(例如图像传感器)，诸如itof传感器，其可以包括多个电流辅助光子解调器(capd)等。此外，电路可以包括用于控制图像传感器的成像单元和每个成像元件(例如像素)的组件，例如处理器(例如中央处理单元(cpu))、微控制器、现场可编程门阵列(fpga)等、或者它们的组合。例如，成像单元可以按行控制，例如，使得每一行可以构成一个成像部。对于每个成像部，可以设想控制电路，其可以彼此同步(例如用同步电路)，使得每个成像部的每个成像元件可以例如同时、连续等被读出。
64.此外，可以通过相应的读出电路向每个成像部施加解调信号。如本领域技术人员通常已知的，解调信号可以包括重复信号(例如振荡)，其可以施加到成像元件的抽头(例如读出通道)，以便检测响应于光的检测而产生的电荷。
65.如itof中通常已知的，可以应用多个(例如四个)相移解调信号来获得关于深度的信息(例如从tof相机到场景(例如物体)的距离)。
66.因此，传感器电路还可以包括配置成施加这种解调信号的解调电路，这将在下面进一步讨论。
67.如已经讨论的，传感器电路可以包括成像单元。反过来，成像单元可以包括第一成像部和第二成像部。第一成像部和第二成像部可以包括相同类型的像素。可以自发地配置哪个精确像素属于哪个成像部。换句话说：成像部可以从功能上理解。
68.例如，第一成像部和第二成像部可以通过可以施加不同的调制信号而被区分。例如，通常调制信号可以是相同的，但是在第二成像部中调制信号可以相对于第一成像部的调制信号相移。例如，如果正弦函数被应用于读出第一成像部，则(相应的)共正弦函数可以被应用于第二成像部。
69.换句话说：基于预定义的读出相位偏移来驱动第一成像部和第二成像部。然而，各个解调信号不限于相同的(数学)函数类型。例如，类似正弦的信号可以被施加到第一成像部，且类似矩形的信号可以被施加到第二成像部(不将本公开限制为任何信号类型)，其中
这些信号可以被相移。
70.读出相位偏移可以是预定义的，因为它可以在每次读出时固定(例如90度、45度、180度等)，或者它可以配置为在每次读出之前定义，例如在第一次读出时，可以应用90度相移，并且在第二次读出时，可以应用45度相移。
71.由此，第一成像部和第二成像部可以在成像单元上构成预定义的成像部图案。例如，每个行/列可以是自己的成像部，所有奇数行/列可以构成第一成像部，且所有偶数行/列可以构成第二成像部。此外，棋盘图案可以由第一成像部和第二成像部限定，因为第一成像部的每个成像元件可以与第二成像部的每个成像元件交替布置，等。
72.在已知的itof传感器中，可以在每个像素处执行四个连续的读出，例如在0度、90度、180度和270度。
73.然而，根据本公开，可以应用解调模式。
74.例如，低频解调模式可以应用于第一成像部和第二成像部。在这样的实施例中，解调信号可以被应用到第一成像部和第二成像部的每个成像部，其中，如上所述，可以存在预定义的读出相位偏移，使得解调模式可以包括具有预定义读出相位偏移的第一解调信号和第二解调信号，其中第一和第二解调信号可以包括相同的信号类型(例如矩形信号)。
75.此外，第一和第二解调信号可以包括相同的频率(例如20mhz、10mhz等)，其可以对应于与高频解调模式的频率相比的低频，这将在下面进一步讨论。
76.基于低频解调模式，可以生成粗深度数据。众所周知，解调频率越低，深度测量范围可能越高。另一方面，频率越高，范围越短。这可能导致深度模糊，因为光的双往返(例如由于多径延迟)可能具有相同的解调结果，因此可能测量实际深度的(大致)整数倍。由于低频解调模式可以指示更高的深度，尽管也可能存在深度模糊，低频解调模式可以用于确定粗深度，其可能具有比来自高频解调的细深度更大的测量误差，但是可以用于去除高频测量的深度模糊(例如，它可以用于校准高频测量)。
77.图2描绘了经过深度模糊(也被称为相位卷绕)的相位测量的示例。
78.在图2中，以在纵坐标上具有测量相位(以rad为单位)且在横坐标上具有真实相位(以rad为单位)描绘了图10。众所周知，相位可以转换成距离，且相位越高，距离越高。然而，在测量中，可能无法区分2π和4π的相位，例如，这就是为什么纵坐标(即测量的相位)仅超过2π，但横坐标的最大值(真实相位)理论上可以被认为是无限的。然而，到对象的距离通常是唯一的，因此只有一个不模糊的距离。
79.因此，在一些实施例中，高频解调模式被应用于第一成像部和第二成像部。
80.高频解调模式可以包括与低频解调模式相同或不同的解调信号。然而，各个解调信号的频率可以高于低频解调信号。
81.此外，高频解调模式可以包括多个测量。例如，在第一测量中，第一成像部可以具有零度的相位，而第二成像部可以具有90度的相位，并且在第二测量中，第一成像部可以具有180度的相位，第二成像部可以具有270度的相位。因此，可以生成细深度数据，其可以指示比粗深度更精确的深度(即细深度，即具有更低的测量误差)。
82.通常，也在低频解调模式中，可以执行多个测量。然而，对于确定粗深度，这可能并不总是必要的，使得一次测量可能足以去除深度模糊。
83.因此，在一些实施例中，在低频解调模式下执行一次“拍摄”，且在高频解调模式下
执行两次拍摄。
84.如本文已经讨论的，粗深度数据可用于去除细深度数据的模糊。其中去除了模糊的深度数据在本文中可以被称为结果深度数据。
85.因此，在一些实施例中，生成结果深度数据，其中基于粗深度数据去除细深度数据的模糊。
86.根据本公开，由于积分时间可以相似，因此实现了与已知的四分量tof测量中相似的噪声性能。例如，在高频解调模式中，尽管每个像素上的光的总量可以是四分量测量中的一半，但是如本文所讨论的，可以执行两个连续的测量，这导致了相似的积分时间。
87.在低频解调模式下，如果执行一次拍摄(如本文所讨论的)，则总积分时间可能减半，使得该测量可能受到更高噪声误差的影响。
88.然而，积分时间可以增加到可以成功展开细深度数据的值，即可以在没有展开误差的情况下生成结果深度数据。因此，可以不需要在低频测量中加倍积分时间来补偿增加的噪声，总的来说，使得测量时间可能仍然小于已知的四分量tof测量中的时间。
89.通常，本公开不限于仅具有两个不同频率的两个解调模式，因为也可以应用更多的解调模式。例如，可以应用第一、第二和第三解调模式，每个具有不同的解调频率(和/或信号类型)，其中当设想多于两个(三个或甚至更多)解调模式时，可以相应地应用本公开用于确定深度的原理。
90.在一些实施例中，如本文所讨论的，第一成像部和第二成像部以预定义图案布置在成像单元上。
91.对于这样的成像单元，它可以被称为iq马赛克成像单元。在iq马赛克成像单元中，空间相位偏移图案可以应用于成像元件，如本文所讨论的。由此，代替在时间上改变相位偏移(即在顺序捕获中)，相位偏移可以在空间上排列。
92.在这样的实施例中，仅具有一个或两次捕获，可以实现与已知itof传感器的四次捕获类似的噪声性能。
93.在一些实施例中，低频解调模式包括一个相位解调，如本文所讨论的。
94.在一些实施例中，高频解调模式包括两个相位解调，如本文所讨论的。
95.在一些实施例中，飞行时间图像传感器电路还被配置成：使第一成像部和第二成像部的读出相位偏移，以便应用两个相位解调，如本文所讨论的。应当注意，读出相位的偏移不限于上述实施例。例如，在高频解调模式的第一拍摄中，第一成像部可以具有180度的相位，而第二成像部可以具有90度的相位，并且在第二拍摄中，第一成像部可以具有0度的相位，且第二成像部可以具有270度的相位。通常，当特定用例需要时，可以应用任何预定的相移模式(和高频解调模式)。
96.例如，可以设想在第一拍摄中具有45度相移，而在第二拍摄中具有90度相移。本公开也不限于在高频解调模式中具有两次拍摄，因为也可以设想更多的拍摄。
97.在一些实施例中，在高频解调模式中，可以仅执行一次拍摄。在这样的实施例中，成像单元可以具有第一成像部到第四成像部，其可以彼此具有预定义的相移，例如(第一成像部的)0度、(第二成像部的)90度、(第三成像部的)180度和(第四成像部的)270度等。
98.在一些实施例中，飞行时间图像传感器电路进一步被配置成：通过比较粗深度和细深度来去除模糊。
99.在这样的实施例中，可以基于相应的粗深度数据和细深度数据来确定粗深度和细深度，并且可以基于粗深度来校正细深度。
100.在一些实施例中，飞行时间图像传感器电路进一步被配置成：基于粗深度数据确定粗深度，该粗深度用于校准细深度数据以生成结果深度数据。
101.在这样的实施例中，可以仅确定粗深度，并且可以校正、标记、处理细深度数据等，使得细深度数据可以不再包括模糊。
102.在一些实施例中，高频解调模式的高频是低频解调模式的低频的倍数。
103.例如，低频可以是20mhz，且高频可以是100mhz，或者低频可以是10mhz，且高频可以是80mhz，在这方面不限制本公开。
104.当高频是低频的(整数)倍时，细深度数据点的发生(incidence)可以是粗深度数据点的发生的相同倍数，从而可以简化细深度数据的校准。
105.在一些实施例中，基于人工智能来生成结果深度数据，该人工智能被配置为基于粗深度数据确定如何去除细深度数据的模糊。
106.人工智能可以是任何类型的人工智能(强或弱)，例如神经网络、支持向量机、贝叶斯网络、遗传算法等。
107.人工智能可以采用机器学习算法，例如，包括监督学习、半监督学习、非监督学习、强化学习、特征学习、稀疏字典学习、异常检测学习、决策树学习、关联规则学习等。
108.机器学习算法还可以基于以下至少一种：特征提取技术、分类器技术或深度学习技术。特征提取可以基于以下至少一种：尺度不变特征转移(sift)、克雷水平共现矩阵(glcm)、gaboo特征、tubeness等。分类器可以基于以下至少一种：随机森林；支持向量机；神经网络、贝叶斯网络等。深度学习可以基于以下至少一种：自动编码器、生成式对抗网络、弱监督学习、引导绑定等，而在这方面不限制本公开。
109.在一些实施例中，飞行时间图像传感器电路还被配置成：基于对成像单元上散斑光图案的检测来确定结果深度数据。
110.例如，散斑光源可以与根据本公开的飞行时间图像传感器电路相结合。正如通常所知的散斑tof，散斑的恶化可以指示场景的深度。
111.通过使用根据本公开的成像单元，也可以用相移解调模式读出光散斑，这将在下面更详细地进一步讨论。
112.一些实施例涉及飞行时间图像传感器电路控制方法，该方法用于控制飞行时间图像传感器电路，该飞行时间图像传感器电路包括包含第一成像部和第二成像部的成像单元，其中，基于预定义的读出相位偏移来驱动第一成像部和第二成像部，其中，方法进一步包括：将低频解调模式应用于第一成像部和第二成像部，以生成粗深度数据；将高频解调模式应用于第一成像部和第二成像部，用于生成细深度数据，其中，细深度数据受到深度模糊的影响；以及生成结果深度数据，其中基于粗深度数据去除细深度数据的模糊。
113.例如，可以利用根据本公开的tof图像传感器电路或利用控制电路(例如处理器或任何外部设备)来执行该方法。
114.在一些实施例中，如本文所讨论的，第一成像部和第二成像部以预定义图案布置在成像单元上。在一些实施例中，如本文所讨论的，低频解调模式包括一个相位解调。在一些实施例中，高频解调模式包括如本文所讨论的两个相位解调。在一些实施例中，飞行时间
图像传感器电路控制方法进一步包括：使第一成像部和第二成像部的读出相位偏移，以应用本文所讨论的两个相位解调。在一些实施例中，飞行时间图像传感器电路控制方法进一步包括：如本文所讨论的，通过比较粗深度和细深度来去除模糊。在一些实施例中，飞行时间图像传感器电路控制方法进一步包括：基于粗深度数据确定粗深度，该粗深度校准细深度数据，以生成本文所讨论的结果深度数据。在一些实施例中，高频解调模式的高频是本文所讨论的低频解调模式的低频的倍数。在一些实施例中，基于人工智能生成结果深度数据，该人工智能被配置成基于本文讨论的粗深度数据确定如何去除细深度数据的模糊。在一些实施例中，飞行时间图像传感器电路控制方法进一步包括：如本文所讨论的，基于对成像单元上散斑光图案的检测来确定结果深度数据。
115.在一些实施例中，当在计算机和/或处理器上执行该方法时，本文描述的方法也被实现为使计算机和/或处理器执行该方法的计算机程序。在一些实施例中，还提供了一种非暂时性计算机可读记录介质，其存储有计算机程序产品，当该计算机程序产品由诸如上述处理器的处理器执行时导致执行本文描述的方法。
116.返回到图3，示出了根据本公开的成像单元20。成像单元20包括第一成像部21，其具有相位为θ的多个成像元件22。成像单元20进一步包括第二成像部23，其具有相位为θ+π/2的多个成像元件24。因此，第一成像部和第二成像部之间的预定义读出相位偏移是π/2。
117.例如，在第一相位测量中，θ是零度，π是180度。由于相位偏移为π/2，所以在第一相位测量中测量0度和90度。在第二相位测量中，θ可以是180度，并且π仍然是180度(但是仅仅增加了π/2)，使得四个相位0、90、180和270可以在两次拍摄中测量。如本文所讨论的，可以在高频下执行两次拍摄，并且可以在低频下执行例如具有θ作为0度和π/2作为90度而不改变θ的一次拍摄，并且一次拍摄测量可以用于展开两次拍摄测量，即用于去除两次拍摄测量的模糊。
118.可以对参考图3至图6中讨论的每个图像传感器执行这样的技术，使得在下面将省略重复的描述。
119.通常，通过使用根据图3至图6的这些实施例的成像单元，通过仅执行两次拍摄(即具有第一相位偏移的第一拍摄和具有第二相位偏移的第二拍摄)，可以采集四个相位，使得可以实现与使用四次采集的已知tof设备相当的噪声性能。
120.图4描绘了根据本公开的成像单元30。通常，成像单元30可以与在参考图3中讨论的成像单元20相同，但是读出相位被可以不同地定义。因此，不需要制造全新的成像单元，因为修改读出并以不同方式应用解调信号就足够了。该概念通常适用于本文所讨论的任何成像单元，例如参考图3至图7。
121.图4的成像单元30与图3的成像单元20的不同之处在于成像部是按行而不是按列排列的。
122.图5描绘了具有布置成两列的成像部的成像单元40，即第一成像部41的两列与第二成像部42的两列交替排列。
123.图6的成像单元50描绘了第一成像部的成像元件51与第二成像部的成像元件52交替布置，使得第一成像部和第二成像部在成像单元51上构成棋盘图案。
124.图7描绘了具有四个成像部的成像单元60，其具有交替布置且以彼此90度(π/2)的预定相位偏移而相位偏移的成像元件61至64。因此，第二成像部相对于第一成像部具有90
度的相移。第三成像部相对于第一成像部具有180度的相移。第四成像部相对于第一成像部具有270度的相移。
125.在该实施例中，可以在一次拍摄中执行整个四次相位测量。因此，根据本实施例，由于一次拍摄就足够了，所以没有必要在高频中执行两次拍摄测量。
126.在图8中，示出了具有在图3的参考文献中描述的成像单元20的两次拍摄测量70的实施例。
127.在第一捕获中，第一成像部21具有0度的相位，并且第二成像部23具有90度的相位。在第二捕获中，第一成像部21具有180度的相位，且第二成像部23具有270度的相位。使读出相减，在第一成像部21上得到i值，且在第二成像部23上得到q值。由此，获得马赛克的iq值。
128.换句话说：通过对两次捕获进行减法，获得所需的两个差分测量值(被称为i和q)，并可以组合起来形成相位图像。
129.因此，应用根据本公开的iq马赛克图案可以减少所需的捕获总数，如本文已经讨论的，并且此外，由于需要较低数量的传感器读取，可以降低功耗。此外，可以显著减少运动模糊。
130.通过这种方法导致的空间分辨率损失可以通过去马赛克算法来恢复，例如用于寻找“丢失的”i和q值。
131.认为基于本文讨论的方法可能引入的其他测量误差(例如增加的固定模式噪声(fpn))是小的，并且可以通过校准来校正。
132.在图9中，示出了用图3的成像单元20执行的一次拍摄80。
133.如所讨论的，在整个一次拍摄中，根据本公开仅执行一次相位测量。第一成像部21具有0度的相位，且第二成像部23具有90度的相位。一次拍摄测量80指示各个成像部上的马赛克iq值。具体地，第一成像部21的读出指示i值，而第二成像部23的读出指示q值。
134.换句话说：在图9的实施例中，一次捕获的列被直接用作i和q值，使得没有第二捕获，且也没有进行微分。
135.尽管这可以降低准确度(因为差分可以降低环境光的影响并且可以降低像素抽头失配的影响)，但是该测量可以用于降低图8的两次拍摄测量的深度模糊，使得该测量的所得深度可以仅用作粗深度，如本文所讨论的。
136.此外，可以用双重积分时间(这不是必需的)来补偿降低的噪声性能，并且由于可以去除读取时间和空闲时间，所以减少了运动模糊。此外，由于更少的读出(即一个)，功耗可以降低。
137.在一些实施例中，可以校准上述抽头失配。
138.一次拍摄测量80以20mhz的采样频率执行，且两次拍摄测量70以60mhz的采样频率执行，使得可以基于一次拍摄测量去除两次拍摄测量70的深度模糊。
139.在图10中，以框图示出了根据本公开的飞行时间传感器电路控制方法90。
140.在91处，以20mhz执行iq一次拍摄，以获得指示粗深度的粗深度数据。
141.在92处，基于iq一次拍摄计算粗深度。
142.在93处，以60mhz执行iq两次拍摄，以获得指示细深度的细深度数据。
143.在94处，基于iq两次拍摄计算细深度。
144.在95处，计算展开深度(即利用索引双展开技术(index dual unwrapping technique)去除细深度数据的深度模糊(这将在参考图12中讨论))。
145.在96处，输出结果深度数据，该结果深度数据指示高频测量的展开深度(unwrapped depth)。
146.图11描绘了根据本公开的飞行时间传感器电路控制方法100的框图。
147.飞行时间传感器电路控制方法100与方法90的不同之处在于，在95之后，在101处，应用软件处理层，该软件处理层被配置为确定第一频率是否/如何可以与第二频率组合，或者换句话说，低频是否/如何可以与高频测量组合，即在该方法100中使用混合双展开技术。
148.软件处理层包括人工智能，该人工智能利用基于监督训练来训练的机器学习算法来确定如何从细深度数据中去除深度模糊，即如何输出结果深度数据。
149.此外，在软件处理层中，检测低频测量中具有高准确度的像素，使得将它与高频测量组合起来并不有害(即，对于这些像素，可能不需要展开，因为它们在预定阈值内已经是正确的)。可以基于信号的幅度和/或由于人工智能(在该实施例中包括神经网络)的智能滤波来检测这些像素。
150.因此，在102，输出结果深度数据。换句话说，输出高频的组合展开深度和作为正确深度的低频的软件处理深度。
151.如上所述，图12示出了索引展开原理110的图示。
152.在20mhz的低频测量中，确定粗深度111，其受到粗深度测量误差112的影响。此外，描绘了最大测量误差113，针对该最大测量误差，可以成功地去除高频测量的深度模糊。
153.此外，在60mhz的高频测量中，确定细深度114，其受制于深度模糊，即实际上在该实施例中确定三了个细深度值114。细深度114受到细深度测量误差115的影响，然而其小于粗深度测量误差112。
154.在该实施例中，测量误差认为是高斯误差，但是本公开不限于这种误差类型，并且误差类型可以取决于特定的用例。
155.在该实施例中，深度噪声定义为：
[0156][0157]
其中π是180度弧度，c是光速，f
mod
是(解)调制频率，以及σ
φ
是相域的噪声，其被定义为解调频率之间的常数。然而，相域的噪声可能随着调制频率的增加而增加，例如由于调制对比度。然而，这种影响可以忽略，因为与由于调制频率f
mod
引起的深度噪声变化相比，它们可能足够小。换句话说：深度噪声随着调制频率的降低而增加。
[0158]
返回图12，基于粗深度与细深度的比较确定所得深度116。确定细深度值中的一个位于粗深度111的测量误差范围内。因此，粗深度值111和细深度值114不必准确地对齐，因为当细深度值114位于粗深度值111的预定义误差范围113内时就足够了。
[0159]
然后，该细深度值114被认为是真实深度，并且相应地被输出为结果深度116。
[0160]
注意，图11的实施例也可以应用于如图12所示的测量，即双展开方法也可以通过添加软件处理层来应用，如在参考图11中所讨论的。
[0161]
根据本公开，为了展开第二捕获(即没有展开误差)，第一捕获(即粗深度)的测量
误差(准确度和/或噪声)应该(大致)小于第二捕获(即细深度)的不模糊范围的一半。
[0162]
例如，在图12的实施例中，最大测量误差113大致延伸到60mhz测量的不模糊范围的一半。然而，误差线113的最左边的测量值可能导致展开误差。误差线113最右边的测量值可以更接近60mhz测量的下一个仓(因为相位是循环的)。
[0163]
因此，在一些实施例中，测量误差应该“小于不模糊范围的一半”的上述陈述应该被认为是经验法则，并且可以取决于特定的用例，特别是因为高频测量也可能受到其自身的组合准确度和/或噪声误差的影响，使得可能具有小于一半波长准确度和噪声值的展开误差。
[0164]
因此，应该注意，图12的误差线仅用于说明目的，不应该被认为是有约束力的，因为如通常所知，测量误差可能取决于测量环境。
[0165]
然而，如上所述，最大组合准确度加噪声值可以被认为相当高(当高频仍然低于预定阈值时)，使得对于图12的展开实施例，iq一次拍摄可以被用作低频测量，因为它可以在用于展开的组合准确度和噪声的要求范围内。
[0166]
例如，当高频是100mhz(而不是上面讨论的60mhz)时，不模糊距离大约是1.5米，使得组合准确度加上噪声只需要小于大约75厘米，这可以被认为是在可用范围内。
[0167]
因此，尽管iq一次拍摄可能导致准确度降低(例如基于抽头失配和环境光影响)，但是iq一次拍摄的准确度加噪声可以位于正确展开高频测量的要求内(其可以具有更高的准确度(例如iq两次拍摄))。
[0168]
然而，应当注意，本公开不限于iq一次拍摄和iq两次拍摄的组合，因为也可以设想iq一次拍摄和标准四分量tof的组合，如上面已经讨论的。
[0169]
在图13中，示出了示意性说明120，用于说明如何根据本公开将散斑tof与成像单元组合。当执行长范围室外测量时，例如当应当测量的物体太远使得低频测量也将具有深度模糊时，可以设想该实施例。当功耗很重要时，可以附加地或替代地为移动平台(例如智能手机)设想该实施例。
[0170]
示例性地，示出了图3的成像单元20，但是本公开不限于将该特定实施例用于与散斑tof的组合。
[0171]
在成像单元20上，描绘了表示来自光系统的反射光散斑的光散斑121。基于散斑的位置并利用根据本公开的tof传感器电路控制方法，可以进一步降低功耗(即通过减少发射光的量)。
[0172]
此外，光散斑的形状可以被修改为适合成像单元的图案的形状，如图14的图示130所示。在该实施例中，椭圆形散斑131被描绘在成像单元20上，使得只有散斑所在的成像元件必须被读出。
[0173]
图15描绘了根据本公开的照明图案135的实施例。如通常已知的，itof系统的照明可以大致对应于解调信号。这可以通过将照明信号延迟到成像元件上以用于读出来实现。
[0174]
首先，对于iq一次拍摄，发射低频。其次，在读出iq一次拍摄的时间之后，以高频率执行iq两次拍摄，如本文所讨论的。
[0175]
参考图16，示出了飞行时间(tof)成像装置140的实施例，其可用于深度感测或提供距离测量，特别是用于本文所讨论的技术，其中tof成像装置140配置为itof相机。tof成像装置140具有飞行时间图像传感器电路147，其配置为执行本文所讨论的方法并且形成对
tof成像装置140的控制(并且其包括(未示出)相应的处理器、存储器和存储设备，如本领域技术人员通常已知的)。
[0176]
tof成像装置140具有调制光源141，并且该调制光源141包括发光元件(基于激光二极管)，其中在本实施例中，发光元件是窄带激光元件。
[0177]
如本文所讨论的，光源141向场景142(感兴趣区域或物体)发射光，即调制光，场景142反射光。反射光由光学叠层143聚焦到光检测器144。
[0178]
如本文所讨论的，光检测器144具有飞行时间成像部，其基于形成在像素阵列中的多个capd和微透镜阵列146来实现，其将从场景142反射的光聚焦到飞行时间成像部145(到图像传感器65的每个像素)。
[0179]
当检测到从场景142反射的光时，发光时间和调制信息被馈送到包括飞行时间测量单元148的飞行时间图像传感器电路或控制器147，其也从飞行时间成像部145接收相应的信息。基于从光源141接收的调制光，飞行时间测量单元148计算从光源141发射并被场景142反射的接收的调制光的相移，并基于此计算图像传感器145和场景142之间的距离d(深度信息)。
[0180]
深度信息从飞行时间测量单元148馈送到飞行时间图像传感器电路147的3d图像重建单元149，其基于深度数据重建(生成)场景142的3d图像。此外，如本文所讨论的，执行对象roi检测、图像标记、应用形态学操作和移动电话识别。
[0181]
图17描绘了根据本公开的飞行时间图像传感器电路控制方法150的另一实施例的框图。
[0182]
在151处，应用低频解调模式，即执行20mhz的一次拍摄测量，如本文所讨论的。
[0183]
在152处，应用高频解调模式，即执行60mhz的两次拍摄测量，如本文所讨论的。
[0184]
在153处，如本文所讨论的，产生结果深度数据。
[0185]
在图18中，以框图描述了飞行时间图像传感器电路控制方法160的另一实施例。
[0186]
方法160与方法150的不同之处在于，在152之后，在161处，读出相位被偏移以执行两次拍摄测量。
[0187]
在162处，通过比较深度，即通过使用如在图12的参考中所讨论的技术，生成结果深度数据。
[0188]
图19以框图的形式描绘了根据本公开的飞行时间图像传感器电路控制方法170的另一实施例。
[0189]
方法170与方法160的不同之处在于，在163之后，在171处，通过基于粗深度校准两次拍摄测量来生成结果深度数据，如本文所讨论的。
[0190]
在图20中，根据本公开的飞行时间图像传感器电路控制方法180的另一实施例以框图描述。
[0191]
如参考图13或图14所述，方法180与方法150的不同之处在于，在152之后，在181处，基于散斑光图案生成结果深度数据。
[0192]
根据本公开实施例的技术适用于各种产品。例如，根据本公开的实施例的技术可以被实现为包括在移动体中的设备，移动体是各种汽车、电动汽车、混合动力汽车、摩托车、自行车、个人移动车辆、飞机、无人机、船舶、机器人、工程机械、农业机械(拖拉机)等中的任何一种。
[0193]
图21是示出车辆控制系统7000(作为可以应用根据本公开的实施例的技术的移动体控制系统的示例)的示意性配置示例的框图。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图21所示的示例中，车辆控制系统7000包括驾驶系统控制单元7100，车身系统控制单元7200，电池控制单元7300，车外信息检测单元7400，车内信息检测单元7500和集成控制单元7600。例如，将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，例如控制器局域网(can)、本地互连网络(lin)、局域网(lan)、flexray(注册商标)等。
[0194]
每个控制单元包括：微型计算机，其根据各种程序执行算术处理；以及存储器部，其存储由微计算机执行的程序，用于各种操作的参数等；以及驱动各种控制目标设备的驱动电路。每个控制单元进一步包括：网络接口(i/f)，用于经由通信网络7010与其他控制单元进行通信；以及通信接口，用于通过有线通信或无线电通信与车辆内外的设备，传感器等进行通信。图21所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信接口7620、专用通信接口7630，定位部7640、信标接收部7650、车载设备接口7660、声音/图像输出部7670、车载网络接口7680和存储器部7690。类似地，其他控制单元包括微型计算机、通信接口、存储器部等。
[0195]
驾驶系统控制单元7100根据各种程序来控制与车辆的驱动系统有关的设备的运行。例如，驾驶系统控制单元7100用作驱动力产生设备的控制设备，该驱动力产生设备用于产生车辆的驱动力(例如内燃机、驱动电机等)，用于将驱动力传递至车轮的驱动力传递机构，用于调节车辆的转向角的转向机构，用于产生车辆的制动力的制动设备等。驾驶系统控制单元7100可以具有作为防抱死制动系统(abs)，电子稳定性控制(esc)等的控制设备的功能。
[0196]
驾驶系统控制单元7100与车辆状态检测单元7110连接。车辆状态检测单元7110例如包括检测车身的轴向旋转的角速度的陀螺传感器，检测车辆的加速度的加速度传感器，以及用于检测油门踏板的操作量，制动踏板的操作量，方向盘的转向角，发动机速度或车轮的旋转速度等的传感器。驾驶系统控制单元7100使用从车辆状态检测单元7110输入的信号执行算术处理，并且控制内燃机，驱动电机，电动助力转向设备，制动设备等。
[0197]
车身系统控制单元7200根据各种程序控制设置在车身上的各种设备的操作。例如，车身系统控制单元7200用作用于无钥匙进入系统、智能钥匙系统、电动车窗设备或诸如前照灯、倒车灯、制动灯、转向灯、雾灯等的各种灯的控制设备。在这种情况下，可以将代替按键的从移动设备发送的无线电波或各种开关的信号输入到车身系统控制单元7200。车身系统控制单元7200接收这些输入的无线电波或信号，并控制车辆的门锁设备、电动窗设备、灯等。
[0198]
电池控制单元7300根据各种程序控制作为驱动电机的电源的二次电池7310。例如，从包括二次电池7310的电池设备向电池控制单元7300提供关于电池温度，电池输出电压，电池中剩余的电荷量等的信息。电池控制单元7300使用这些信号执行算术处理，并且执行用于调节二次电池7310的温度的控制或控制设置到电池设备等的冷却设备。
[0199]
车外信息检测单元7400检测包括车辆控制系统7000的关于车辆外部的信息。例如，车外信息检测单元7400与成像部7410和车外信息检测部7420中的至少一个连接。成像部7410包括飞行时间(tof)相机，立体相机，单眼相机，红外相机和其他相机中的至少一个。
车外信息检测部7420例如包括以下的至少一个：用于检测当前大气状况或天气状况的环境传感器以及用于检测包括车辆控制系统7000的车辆周围的另一车辆，障碍物，行人等的周边信息检测传感器。
[0200]
环境传感器例如可以是检测雨的雨滴传感器，检测雾的雾传感器，检测日照程度的阳光传感器和检测降雪的雪传感器中的至少一种。外围信息检测传感器可以是超声传感器，雷达设备和lidar设备(光检测和测距设备，或激光成像检测和测距设备)中的至少一个。成像部7410和车外信息检测部7420中的每一个可以被提供为独立的传感器或设备，或者可以被提供为其中集成有多个传感器或设备的设备。
[0201]
图22示出了成像部7410和车外信息检测部7420的安装位置的示例。成像部7910、7912、7914、7916和7918例如布置在车辆的前鼻梁，侧视镜，后保险杠和后门上的位置7900中的至少一个以及在车辆内部的挡风玻璃的上部中的位置中的至少一个。设置在车辆内部的前鼻的成像部7910和设置在挡风玻璃的上部的成像部7918主要获取车辆7900的前部的图像。设置到侧视镜的成像部7912和7914主要获取车辆7900的侧面的图像。设置在后保险杠或后门上的成像部7916主要获取车辆7900的后方的图像。设置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测在前车辆，行人，障碍物，信号，交通标志，车道等。
[0202]
顺便提及，图22示出了各个成像部7910、7912、7914和7916的成像范围的示例。成像范围a表示设置到前鼻的成像部7910的成像范围。成像范围b和c分别表示设置到侧视镜的成像部7912和7914的成像范围。成像范围d表示设置在后保险杠或后门上的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据，可以获取从上方观看的车辆7900的鸟瞰图像。
[0203]
设置在车辆7900的前、后、侧面和角落以及车辆内部的挡风玻璃的上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是例如超声波传感器或雷达设备。设置在车辆7900的前鼻、车辆的后保险杠、车辆7900的后门、以及在车辆内部的挡风玻璃的上部的车外信息检测部7920、7926和7930可以是例如雷达设备。这些车外信息检测部7920至7930主要用于检测前方的车辆、行人、障碍物等。
[0204]
回到图21，将继续描述。车外信息检测单元7400使成像部7410对车辆外部的图像成像，并接收成像的图像数据。另外，车外信息检测单元7400从与车外信息检测单元7400连接的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声波传感器，雷达设备或lidar设备的情况下，车外信息检测单元7400发送超声波、电磁波等，并接收接收到的反射波的信息。基于接收到的信息，车外信息检测单元7400可以执行检测诸如人、车辆、障碍物、标志、道路上的字符等的对象的处理，或者检测到其距离的处理。车外信息检测单元7400可以基于接收到的信息执行识别降雨，雾，路面状况等的环境识别处理。车外信息检测单元7400可以基于所接收的信息来计算到车辆外部的物体的距离。
[0205]
另外，基于接收到的图像数据，车外信息检测单元7400可以执行识别人、车辆、障碍物、标志、道路上的字符等的图像识别处理，或者检测到其距离的处理。车外信息检测单元7400可以对接收到的图像数据进行诸如失真校正，对准等的处理，并且组合由多个不同的成像部7410成像的图像数据，以生成鸟瞰图像或全景图像。车外信息检测单元7400可以使用由包括不同成像部的成像部7410成像的图像数据执行视点转换处理。
[0206]
车内信息检测单元7500检测关于车辆内部的信息。车内信息检测单元7500例如与
检测驾驶员的状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可以包括对驾驶员进行成像的相机，检测驾驶员的生物信息的生物传感器，在车辆内部收集声音的麦克风等。生物传感器例如布置在座椅表面，方向盘等中，并且检测坐在座椅中的乘员或保持方向盘的驾驶员的生物信息。车内信息检测单元7500基于从驾驶员状态检测部7510输入的检测信息，可以计算出驾驶员的疲劳度或驾驶员的集中度，或者可以确定驾驶员是否在打瞌睡。车内信息检测单元7500可以对通过声音的收集获取的音频信号进行诸如噪声去除处理等的处理。
[0207]
此外，如本文所讨论的，车载信息检测单元可以包括根据本公开的用于执行icm的飞行时间图像传感器电路。
[0208]
集成控制单元7600根据各种程序控制车辆控制系统7000内的一般操作。集成控制单元7600与输入部分7800连接。输入部分7800由能够由乘员进行输入操作的设备来实现，例如触摸面板，按钮，麦克风，开关，操纵杆等。集成控制单元7600可以被提供有通过对通过麦克风输入的语音进行语音识别而获取的数据。输入部分7800可以是例如使用红外线或其他无线电波的远程控制设备，或者是支持车辆控制系统7000的操作的外部连接设备，例如移动电话，个人数字助理(pda)等。输入部分7800可以是例如相机。在这种情况下，乘员可以通过手势输入信息。或者，可以输入通过检测乘员穿戴的可穿戴设备的运动而获取的数据。另外，输入部分7800例如可以包括输入控制电路等，其使用上述输入部分7800，根据乘员等输入的信息生成输入信号，并将生成的输入信号输出至集成控制单元7600。乘员等通过操作输入部分7800，向车辆控制系统7000输入各种数据或对处理进行指示。
[0209]
存储器部7690可以包括：只读存储器(rom)，其存储由微计算机执行的各种程序，以及随机存取存储器(ram)，其存储各种参数、操作结果、传感器值等。另外，存储器部7690可以由诸如硬盘驱动器(hdd)等的磁存储设备、半导体存储设备、光学存储设备、磁光存储设备等来实现。
[0210]
通用通信接口(i/f)7620是被广泛使用的通信接口，该通信接口介导与外部环境7750中存在的各种设备的通信。通用通信接口7620可以实现蜂窝通信协议，例如全球移动通信系统(gsm)(注册商标)、全球微波访问互操作性(wimax(注册商标))、长期演进(lte(注册商标))、高级lte(lte-a)等、或其他无线通信协议(例如无线lan(也称为无线保真(wifi)(注册商标)，蓝牙(注册商标)等))。通用通信接口7620可以例如经由基站或接入点连接到存在于外部网络(例如，互联网，云网络或公司特定的网络)上的设备(例如，应用服务器或控制服务器)。另外，例如，通用通信接口7620可以使用点对点(p2p)技术连接到存在于车辆附近的终端(例如，该终端是驾驶员，行人或商店的终端，或机器类型通信(mtc)终端)。
[0211]
专用通信接口(i/f)7630是支持为车辆开发的通信协议的通信接口。专用通信接口7630可以实现标准协议，例如车辆环境中的无线访问(wave)，它是电气和电子工程师协会(ieee)802.11p作为较低层，而ieee1609作为较高层，是专用短程通信(dsrc)或蜂窝通信协议的组合。专用通信接口7630通常执行v2x通信，其概念包括车辆与车辆之间的通信(车辆到车辆)、道路与车辆之间的通信(车辆到基础设施)、车辆与房屋之间的通信(车辆到房屋)、以及行人和车辆之间的通信(车辆到行人)中的一项或多项。
[0212]
定位部7640例如通过接收来自全球导航卫星系统(gnss)卫星的gnss信号(例如，来自全球定位系统(gps)卫星的gps信号)来执行定位，并生成包括车辆的纬度，经度和高度
的位置信息。顺便提及，定位部7640可以通过与无线接入点交换信号来识别当前位置，或者可以从诸如移动电话、个人手持电话系统(phs)或具有定位功能的智能电话的终端获取位置信息。
[0213]
信标接收部7650例如接收从安装在道路等上的无线电台发送的无线电波或电磁波，并从而获取关于当前位置，拥堵，封闭道路，必要时间等的信息。顺便提及，信标接收部7650的功能可以包括在上述专用通信接口7630中。
[0214]
车载设备接口(i/f)7660是调节微型计算机7610与车辆内存在的各种车载设备7760之间的连接的通信接口。车载设备接口7660可以使用诸如无线lan、蓝牙(注册商标)、近场通信(nfc)或无线通用串行总线(wusb)的无线通信协议来建立无线连接。另外，车载设备接口7660可以经由图中未示出的连接端子(如有必要，还可以使用电缆)，通过通用串行总线(usb)，高清多媒体接口(hdmi)(注册商标)，移动高清链接(mhl)等来建立有线连接。车载设备7760可以例如包括乘员拥有的移动设备和可穿戴设备以及车辆中携带或附接的信息设备中的至少一个。车载设备7760还可以包括导航设备，该导航设备搜索到任意目的地的路径。车载设备接口7660与这些车载设备7760交换控制信号或数据信号。
[0215]
车载网络接口(i/f)7680是调节微型计算机7610与通信网络7010之间的通信的接口。车载网络接口7680根据通信网络7010所支持的预定协议来发送和接收信号等。
[0216]
集成控制单元7600的微型计算机7610基于经由通用通信接口7620，专用通信接口7630、定位部7640、信标接收部7650、车载设备接口7660以及车载网络接口7680中的至少一个获取的信息，根据各种程序来控制车辆控制系统7000。例如微型计算机7610可以基于所获取的关于车辆内部和外部的信息来计算驱动力产生设备、转向机构或制动设备的控制目标值，并且将控制命令输出至驾驶系统控制单元7100。例如，微型计算机7610可以执行旨在实现高级驾驶员辅助系统(adas)功能的协作控制，该功能包括为车辆避免碰撞或减轻冲击、基于跟随距离的驾驶、保持车速的驾驶、车辆碰撞的警告、车辆偏离车道的警告等。另外，微计算机7610可以基于所获取的关于车辆周围环境的信息、通过控制驱动力产生设备、转向机构、制动设备等来执行旨在用于自动驾驶的协同控制，该协同控制使车辆不依赖于驾驶员的操作而自主地行驶。
[0217]
微计算机7610可以基于经由通用通信接口7620、专用通信接口7630、定位部7640、信标接收部7650、车载设备接口7660和车载网络接口7680中的至少一个获取的信息，生成车辆与诸如周围结构、人等的物体之间的三维距离信息，并生成包括关于车辆当前位置的周围环境的信息的本地地图信息。此外，微计算机7610可以基于所获取的信息来预测诸如车辆碰撞、行人等接近、进入封闭道路等危险，并生成警告信号。警告信号可以是例如用于产生警告声音或点亮警告灯的信号。
[0218]
声音/图像输出部7670将声音和图像中的至少一个的输出信号发送到能够以视觉或听觉方式将信息通知给车辆的乘员或车辆的外部的输出设备。在图21的示例中，音频扬声器7710、显示部7720和仪表板7730被示出为输出设备。显示部7720可以例如包括车载显示器和平视显示器中的至少一个。显示部7720可以具有增强现实(ar)显示功能。输出设备可以是这些设备以外的设备，并且可以是其他设备，例如耳机，可穿戴设备(例如由乘员等佩戴的眼镜型显示器)，投影仪，灯等。在输出设备是显示设备的情况下，显示设备以文本、图像、表格、图表等的各种形式可视地显示通过微计算机7610执行的各种处理获取的结果
或从另一控制单元接收的信息。另外，在输出设备是音频输出设备的情况下，音频输出设备将由再现的音频数据或声音数据等构成的音频信号转换为模拟信号，并在听觉上输出该模拟信号。
[0219]
顺便提及，在图21所示的示例中，经由通信网络7010彼此连接的至少两个控制单元可以被集成到一个控制单元中。可替代地，每个单独的控制单元可以包括多个控制单元。此外，车辆控制系统7000可以包括图中未示出的另一个控制单元。另外，可以将上述描述中的一个控制单元执行的部分或全部功能分配给另一个控制单元。即，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定的算术处理。类似地，连接到一个控制单元的传感器或设备可以连接到另一控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。
[0220]
顺便提及，用于实现根据本公开的飞行时间传感器电路控制方法中的至少一个的计算机程序可以在控制单元等中的一个中实现。另外，还可以提供存储这种计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。另外，上述计算机程序可以例如在不使用记录介质的情况下经由网络分发。
[0221]
在上述车辆控制系统7000中，根据本公开的任何飞行时间图像传感器电路都可以应用于图21中描绘的应用示例中的集成控制单元7600。
[0222]
另外地或替代地，根据本公开的任何飞行时间传感器电路的至少一部分可以在用于图21中描绘的集成控制单元7600的模块(例如，用单个管芯形成的集成电路模块)中实现。可替换地，飞行时间传感器电路可以由图21所示的车辆控制系统7000的多个控制单元来实现。
[0223]
应当认识到，实施例描述了具有方法步骤的示例性排序的方法。然而，方法步骤的具体顺序仅用于说明目的，不应被解释为具有约束力。例如，图17的实施例中151和152的顺序可以互换。此外，图10或11的实施例中92和93的顺序可以互换。此外，在图19的实施例中，152(和161)和171的顺序也可以交换。方法步骤顺序的其他变化对于本领域技术人员来说可能是显而易见的。
[0224]
请注意，将控制器147划分为单元148和149仅用于说明的目的，并且本公开不限于特定单元中的任何特定功能划分。例如，控制器147可以由相应的编程处理器、现场可编程门阵列(fpga)等来实现。
[0225]
当在计算机和/或处理器上执行该方法时，该方法还可以被实现为使计算机和/或处理器(诸如上面讨论的处理器147)执行该方法的计算机程序。在一些实施例中，还提供了一种非暂时性计算机可读记录介质，其在其中存储计算机程序产品，当由诸如上述处理器的处理器执行时，该计算机程序产品执行所描述的方法。
[0226]
如果没有另外说明，本说明书中描述的和在所附权利要求中要求保护的所有单元和实体都可以实现为集成电路逻辑，例如在芯片上，并且如果没有另外说明，由这些单元和实体提供的功能可以通过软件实现。
[0227]
就至少部分地使用软件控制的数据处理设备来实现上述公开的实施例而言，应当理解，提供这种软件控制的计算机程序以及提供这种计算机程序的传输、存储或其他介质被设想为本公开的各方面。
[0228]
注意，本技术也可以如下所述进行配置。
[0229]
(1)一种飞行时间图像传感器电路，包括：
[0230]
成像单元，包括第一成像部和第二成像部，其中，所述第一成像部和所述第二成像部基于预定义的读出相位偏移而被驱动，其中，所述电路进一步被配置成：
[0231]
将低频解调模式应用于所述第一成像部和所述第二成像部，以生成粗深度数据；
[0232]
将高频解调模式应用于所述第一成像部和所述第二成像部，以生成细深度数据，其中，所述细深度数据受到深度模糊的影响；以及
[0233]
生成结果深度数据，在所述结果深度数据中，所述细深度数据的所述模糊已基于所述粗深度数据而去除。
[0234]
(2)根据(1)的飞行时间图像传感器电路，其中，第一成像部和第二成像部以预定义的图案布置在成像单元上。
[0235]
(3)根据(1)或(2)中任一项的飞行时间图像传感器电路，其中，低频解调模式包括一个相位解调。
[0236]
(4)根据(1)至(3)中任一项的飞行时间图像传感器电路，其中，高频解调模式包括两个相位解调。
[0237]
(5)根据(4)的飞行时间图像传感器电路，还被配置成：使所述第一成像部和所述第二成像部的读出相位偏移，以便应用所述两个相位解调。
[0238]
(6)根据(1)至(5)中任一项的飞行时间图像传感器电路，还被配置成：通过比较粗深度与细深度来去除模糊。
[0239]
(7)根据(1)至(6)中任一项的飞行时间图像传感器电路，还被配置成：基于所述粗深度数据确定粗深度，所述粗深度用于校准所述细深度数据以生成所述结果深度数据。
[0240]
(8)根据(1)至(7)中任一项的飞行时间图像传感器电路，其中，高频解调模式的高频是低频解调模式的低频的倍数。
[0241]
(9)根据(1)至(8)中任一项的飞行时间图像传感器电路，其中，所述结果深度数据是基于人工智能生成的，所述人工智能被配置成基于所述粗深度数据确定如何去除所述细深度数据的所述模糊。
[0242]
(10)根据(1)至(9)中任一项的飞行时间图像传感器电路，还被配置成：基于对成像单元上的散斑光图案的检测来确定结果深度数据。
[0243]
(11)一种飞行时间图像传感器电路控制方法，用于控制飞行时间图像传感器电路，所述飞行时间图像传感器电路包括成像单元，所述成像单元包括第一成像部和第二成像部，其中，所述第一成像部和所述第二成像部基于预定义的读出相位偏移而被驱动，其中，所述方法进一步包括：
[0244]
将低频解调模式应用于所述第一成像部和所述第二成像部，以生成粗深度数据；
[0245]
将高频解调模式应用于所述第一成像部和所述第二成像部，以生成细深度数据，其中，所述细深度数据受到深度模糊的影响；以及
[0246]
生成结果深度数据，在所述结果深度数据中，所述细深度数据的所述模糊已基于所述粗深度数据而去除。
[0247]
(12)根据(11)的飞行时间图像传感器电路控制方法，其中，第一成像部和第二成像部以预定义的图案布置在成像单元上。
[0248]
(13)根据(11)或(12)中任一项的飞行时间图像传感器电路控制方法，其中，低频
解调模式包括一个相位解调。
[0249]
(14)根据(11)至(13)中任一项的飞行时间图像传感器电路控制方法，其中，高频解调模式包括两个相位解调。
[0250]
(15)根据(14)的飞行时间图像传感器电路控制方法，进一步包括：使所述第一成像部和所述第二成像部的读出相位偏移，以便应用所述两个相位解调。
[0251]
(16)根据(11)至(15)中任一项的飞行时间图像传感器电路控制方法，进一步包括：通过比较粗深度和细深度来去除模糊。
[0252]
(17)根据(11)至(16)中任一项的飞行时间图像传感器电路控制方法，进一步包括：基于所述粗深度数据确定粗深度，所述粗深度用于校准所述细深度数据以生成所述结果深度数据。
[0253]
(18)根据(11)至(17)中任一项的飞行时间图像传感器电路控制方法，其中，高频解调模式的高频是低频解调模式的低频的倍数。
[0254]
(19)根据(11)至(18)中任一项的飞行时间图像传感器电路控制方法，其中，所述结果深度数据是基于人工智能生成的，所述人工智能被配置成基于所述粗深度数据确定如何去除所述细深度数据的所述模糊。
[0255]
(20)根据(11)至(19)中任一项的飞行时间图像传感器电路控制方法，进一步包括：基于对成像单元上的散斑光图案的检测来确定结果深度数据。
[0256]
(21)一种计算机程序，包括程序代码，该程序代码在计算机上执行时，使计算机执行根据(11)至(20)中任一项的方法。
[0257]
(22)一种非暂时性计算机可读记录介质，其中存储有计算机程序产品，该计算机程序产品在由处理器执行时，导致根据(11)至(20)中任一项的方法被执行。

技术特征：
1.飞行时间图像传感器电路，包括：成像单元，包括第一成像部和第二成像部，其中，所述第一成像部和所述第二成像部基于预定义的读出相位偏移而被驱动，其中，所述电路进一步被配置成：将低频解调模式应用于所述第一成像部和所述第二成像部，以生成粗深度数据；将高频解调模式应用于所述第一成像部和所述第二成像部，以生成细深度数据，其中，所述细深度数据受到深度模糊的影响；以及生成结果深度数据，在所述结果深度数据中，所述细深度数据的所述模糊基于所述粗深度数据而被去除。2.根据权利要求1所述的飞行时间图像传感器电路，其中，所述第一成像部和所述第二成像部以预定义的图案布置在所述成像单元上。3.根据权利要求1所述的飞行时间图像传感器电路，其中，所述低频解调模式包括一个相位解调。4.根据权利要求1所述的飞行时间图像传感器电路，其中，所述高频解调模式包括两个相位解调。5.根据权利要求4所述的飞行时间图像传感器电路，还被配置成：使所述第一成像部和所述第二成像部的读出相位偏移，以便应用所述两个相位解调。6.根据权利要求1所述的飞行时间图像传感器电路，还被配置成：通过比较粗深度与细深度来去除所述模糊。7.根据权利要求1所述的飞行时间图像传感器电路，还被配置成：基于所述粗深度数据确定粗深度，所述粗深度用于校准所述细深度数据以生成所述结果深度数据。8.根据权利要求1所述的飞行时间图像传感器电路，其中，所述高频解调模式的高频是所述低频解调模式的低频的倍数。9.根据权利要求1所述的飞行时间图像传感器电路，其中，所述结果深度数据是基于人工智能生成的，所述人工智能被配置成基于所述粗深度数据确定如何去除所述细深度数据的所述模糊。10.根据权利要求1所述的飞行时间图像传感器电路，还被配置成：基于对所述成像单元上的散斑光图案的检测来确定所述结果深度数据。11.一种飞行时间图像传感器电路控制方法，用于控制飞行时间图像传感器电路，所述飞行时间图像传感器电路包括成像单元，所述成像单元包括第一成像部和第二成像部，其中，所述第一成像部和所述第二成像部基于预定义的读出相位偏移而被驱动，其中，所述方法进一步包括：将低频解调模式应用于所述第一成像部和所述第二成像部，以生成粗深度数据；将高频解调模式应用于所述第一成像部和所述第二成像部，以生成细深度数据，其中，所述细深度数据受到深度模糊的影响；以及生成结果深度数据，在所述结果深度数据中，所述细深度数据的所述模糊基于所述粗深度数据而被去除。12.根据权利要求11所述的飞行时间图像传感器电路控制方法，其中，所述第一成像部和所述第二成像部以预定义的图案布置在所述成像单元上。13.根据权利要求11所述的飞行时间图像传感器电路控制方法，其中，所述低频解调模
式包括一个相位解调。14.根据权利要求11所述的飞行时间图像传感器电路控制方法，其中，所述高频解调模式包括两个相位解调。15.根据权利要求14所述的飞行时间图像传感器电路控制方法，进一步包括：使所述第一成像部和所述第二成像部的读出相位偏移，以便应用所述两个相位解调。16.根据权利要求11所述的飞行时间图像传感器电路控制方法，进一步包括：通过比较粗深度和细深度来去除所述模糊。17.根据权利要求11所述的飞行时间图像传感器电路控制方法，进一步包括：基于所述粗深度数据确定粗深度，所述粗深度用于校准所述细深度数据以生成所述结果深度数据。18.根据权利要求11所述的飞行时间图像传感器电路控制方法，其中，所述高频解调模式的高频是所述低频解调模式的低频的倍数。19.根据权利要求11所述的飞行时间图像传感器电路控制方法，其中，所述结果深度数据是基于人工智能生成的，所述人工智能被配置成基于所述粗深度数据确定如何去除所述细深度数据的所述模糊。20.根据权利要求11所述的飞行时间图像传感器电路控制方法，进一步包括：基于对所述成像单元上的散斑光图案的检测来确定所述结果深度数据。

技术总结
飞行时间图像传感器电路包括：包括第一成像部和第二成像部的成像单元，其中，第一成像部和第二成像部基于预定义的读出相位偏移而被驱动，其中，该电路进一步被配置成：将低频解调模式应用于第一成像部和第二成像部，以生成粗深度数据；将高频解调模式应用于第一成像部和第二成像部，以生成细深度数据，其中，细深度数据受到深度模糊的影响；以及生成结果深度数据，在该结果深度数据中，细深度数据的模糊基于粗深度数据而被去除。于粗深度数据而被去除。于粗深度数据而被去除。


技术研发人员：肖恩
受保护的技术使用者：索尼半导体解决方案公司
技术研发日：2021.12.14
技术公布日：2023/8/24