深度计算方法、TOF深度相机和计算机可读存储介质与流程

深度计算方法、tof深度相机和计算机可读存储介质
技术领域
1.本技术实施例涉及图像处理领域，尤其涉及一种深度计算方法、tof深度相机和计算机可读存储介质。


背景技术：

2.在深度相机实际应用环境中，深度相机除了接收待测物直接反射回的反射脉冲光之外，还有一些其他非直接反射光，而这些非直接反射光被部分像素接收后，会引起内散射现象导致这些像素的深度误差。


技术实现要素：

3.本技术实施例提供一种深度计算方法、tof深度相机和计算机可读存储介质，能够缓解深度误差。
4.第一方面，提供了一种深度计算方法，获取tof深度相机采集的包括目标区域的原始相位图像和预先存储的tof深度相机对应的psf模型；利用原始相位图像和psf模型得到散射干扰图，散射干扰图包括了用于指示原始相位图像中的至少部分像素的能量对周围其他像素的能量的干扰程度的散射干扰量；基于原始相位图像中至少部分像素的能量对散射干扰图进行调整，得到散射补偿图；利用散射补偿图对原始相位图像进行补偿得到理想相位图像；基于飞行时间原理对理想相位图像进行处理得到目标区域的深度信息。
5.第二方面，提供了一种tof深度相机，包括发射端、接收端和处理器，发射端用于向目标区域投射周期性调制的发射光信号，接收端用于采集经目标区域发射回的接收光信号生成原始相位图像，处理器用于利用如第一方面及其第一方面中任一种可能的实现方式中的深度计算方法对原始相位图像进行处理得到目标区域的深度信息。
6.第三方面，提供了一种计算机可读存储介质，用于存储计算机程序，计算机程序使得计算机执行如第一方面及其第一方面中任一种可能的实现方式中的深度计算方法。
7.第四方面，提供了一种芯片，包括处理器，用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如第一方面及其第一方面中任一种可能的实现方式中的深度计算方法。
8.第五方面，提供了一种计算机程序，计算机程序使得计算机执行如第一方面及其第一方面中任一种可能的实现方式中的深度计算方法。
9.第六方面，提供了一种程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当计算机可读代码在电子设备中运行时，电子设备中的处理器执行如第一方面及其第一方面中任一种可能的实现方式中的深度计算方法。
10.基于以上技术方案，先获取tof深度相机采集的包括目标区域的原始相位图像和预先存储的tof深度相机对应的psf模型，其次，再利用原始相位图像和psf模型得到散射干扰图，并基于原始相位图像中至少部分像素的能量对散射干扰图进行调整，得到散射补偿图，最后再散射补偿图对原始相位图像进行补偿得到理想相位图像，并基于飞行时间原理
对理想相位图像进行处理得到目标区域的深度信息，通过散射补偿图对原始相位图像进行补偿得到的理想相位图像，相比于直接对理想相位图像*psf模型＝原始相位图像进行反卷积获得的理想相位图像，能够降低计算量，并且还能够较为准确地获取理想情况下的原始相位图像，达到缓解深度误差的目的。
附图说明
11.图1示出了itof深度相机的一种结构示意图。
12.图2示出了本技术实施例的itof深度相机的一种应用示意图。
13.图3示出了本技术实施例的深度计算方法的一种示意性框图。
14.图4示出了本技术实施例的原始相位图像和散射干扰图的像素分布图。
15.图5示出了本技术实施例的深度计算方法的另一种示意性框图。
16.图6示出了本技术实施例的散射补偿图的像素分布图。
17.图7示出了本技术实施例的原始相位图像对应的振幅图的像素分布图。
18.图8示出了本技术实施例的理想相位图像的像素分布图。
19.图9示出了本技术实施例的获取tof深度相机的psf模型的方法的示意性框图。
20.图10和图11示出了分别采用传统方案和本技术实施例提供的技术方案的深度误差的效果对比图。
21.图12示出了本技术实施例的深度计算装置的示意性框图。
22.图13示出了本技术实施例的深度计算装置的另一示意性框图。
23.图14示出了本技术实施例的获取tof深度相机的psf模型的装置的示意性框图。
24.图15示出了本技术实施例的tof深度相机的示意性框图。
具体实施方式
25.下面将结合附图，对本技术实施例中的技术方案进行描述。
26.飞行时间(time-of-flight)深度相机，简称tof深度相机，其基本原理是通过给目标物体连续发送光脉冲，然后用传感器接收从目标物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。tof深度相机通常包括直接飞行时间(direct-time-of-flight，dtof)深度相机和间接飞行时间(indirect-time-of-flight)深度相机。其中，itof深度相机的基本原理是通过测量发射光信号与接收光信号之间的相位差的方法计算出飞行时间。具体地，如图1所示，itof深度相机100包括发射端101、接收端102及处理器103，其中，发射端101发射一束时间序列上周期性调制的发射光信号到目标区域的待测物表面，接收端102采集经待测物表面反射回的接收光信号，经待测物表面反射回的接收光信号在时序上产生一个相对于发射光信号的时间延迟，表现为周期性调制的发射光信号上附加相位延迟；处理器103用于读出相位延迟并根据相位延迟得到光信号往返于itof深度相机100和待测物之间的飞行时间。进而待测物与itof深度相机之间的距离可表示为：其中，d为待测物与itof深度相机的深度，即为发射光信号与反射光信号之间的相位延迟，f为发射光信号的频率，c为光速。
27.在一个实施例中，发射端101包括光源、透镜和/或图案化光学元件，其中，光源包
括单颗垂直腔面发射激光器(vertical-cavity surface-emitting laser，vcsel)或vcsel阵列，用于发射光束至透镜；透镜包括单个透镜或透镜组，用于准直光束；图案化光学元件包括衍射光学元件(diffractive optical elements，doe)、微透镜阵列(mla)、掩膜(mask)中的任意一种，用于对光束进行调制，以使经过图案化光学元件的光束以散斑或泛光等形态中任一种向目标区域投射，此处不作限制。
28.在一个实施例中，接收端102包括tof图像传感器，tof图像传感器接收反射回光束并生成原始相位(rawphase)图像。优选地，tof图像传感器包括多个像素，每个像素包括至少一个抽头(tap)，用于存储电荷，每个抽头用于积累对应像素在预设的曝光时间内采集待测物反射回的光信号产生的电荷量，输出包含待测物深度信息的原始相位图像，其中，原始相位图像为tof图像传感器将采集到的光信号转化为数字信号的原始数据。进一步地，接收端102还包括透镜，设于tof图像传感器的入光侧，用于聚焦反射回的光束于tof图像传感器对应的像素上。
29.在一个实施例中，tof图像传感器中的每个像素包含3个或3个以上的抽头，用于在相应电极的控制下存储并读取或者排出由反射光脉冲产生的电荷信号，当每个像素包括多个抽头时，在单个帧周期t(或单次曝光时间内)内以一定的次序依次切换抽头以采集像素接收经目标物反射回的光信号产生的电子从而形成电荷信号。
30.在一个实施例中，处理器103可以是独立的专用电路，比如包含中央处理器(central processing unit，cpu)、存储器、总线等组成的专用系统级芯片(system on chip，soc)芯片、现场可编程逻辑门阵列(field programmable gate array，fpga)芯片、专用集成电路(application specific integrated circuit，asic)芯片等等，也可以包含通用处理电路，比如当该深度相机被集成到如手机、电视、电脑等智能终端中去，终端中的处理电路可以作为该处理器103的至少一部分。在一些实施例中，处理器103用于提供发射端101发射光信号时所需的调制信号(发射信号)，发射端101在调制信号的控制下向待测物发射光束；此外处理器103还提供接收端102中图像传感器各像素中抽头的解调信号(采集信号)，抽头在解调信号的控制下采集由包含待测物反射回的反射脉冲光束的光束所产生的电荷信号；处理器103还可以提供辅助的监测信号，如温度传感、过电流、过压保护、脱落保护等；处理器103还可以用于将图像传感器中各个抽头采集到的原始数据保存并作相应处理，得到待测物的具体位置信息。
31.在一些实施例中，itof深度相机还可以包括驱动电路、电源、彩色相机、红外相机、惯性传感器(inertial measurement unit，imu)等器件，上述在图中并未示出，但与这些器件的组合可以实现更加丰富的功能，比如3d纹理建模、红外人脸识别、即时定位与地图构建(simultaneous localization and mapping，slam)等功能。itof深度相机可以被嵌入到手机、平板电脑、计算机等电子产品中。
32.在itof深度相机实际应用环境中，itof深度相机除了接收待测物直接反射回的反射脉冲光束之外，还有一些其他非直接反射光，而这些非直接反射光被部分像素接收后，会引起内散射现象导致这些像素的深度错误。举例来说，如图2所示，当itof深度相机100被搭载在扫地机器人200进行避障应用时，其只需要判断正前方一定距离范围内的地面上是否存在障碍物300，其对横纵方向需要较大得到视场角，而搭载在扫地机器人200的itof深度相机100由于比较靠近地面400，地面400为高反射率区域，itof深度相机100中发射端101发
射出的光束容易被地面400反射回进入接收端102，引起接收端102发生内散射现象，也即经高反射区域反射回的光束会在接收的透镜和图像传感器的像素平面之间来回反射，其会有一部分光束被其他像素接收到，从而产生深度误差。
33.有鉴于此，本技术实施例提供了一种深度计算方法，能够缓解深度误差。
34.图3示出了本技术实施例的深度计算方法500的示意性框图。可选地，该深度计算方法500可以应用于tof深度相机中，例如，该深度计算方法500可以应用于如图1所示的itof深度相机100，该深度计算方法500可以由itof深度相机100中的处理器103执行。具体地，如图3所示，该深度计算方法500可以包括以下部分或全部内容。
35.s510，获取tof深度相机采集的包括目标区域的原始相位图像和预先存储的tof深度相机对应的psf模型。
36.s520，利用原始相位图像和psf模型得到散射干扰图，散射干扰图包括了用于指示原始相位图像中的至少部分像素的能量对周围其他像素的能量的干扰程度的散射干扰量。
37.s530，基于原始相位图像中至少部分像素的能量对散射干扰图进行调整，得到散射补偿图。
38.s540，利用散射补偿图对原始相位图像进行补偿得到理想相位图像。
39.s550，基于飞行时间原理对理想相位图像进行处理得到目标区域的深度信息。
40.通常，当tof深度相机与目标区域之间存在干扰物体时，在理想情况下，发射端向目标区域及干扰物体发射光束并被接收端接收，经干扰物体反射的光束与经目标区域反射回的光束之间不会发生干扰，也即不会影响接收端采集经目标区域反射回来的光束，从而使得tof深度相机采集的原始相位图像为不具有深度误差的原始相位图像。而若在tof深度相机与目标区域之间存在干扰物体为高反射物体时，由于高反射物体反射能量强且位于深度相机与目标区域之间，使得高反射物体表面反射的光束会扩散并通过衍射、反射等途径被接收端接收并进入图像传感器的像素中，从而影响接收端接收经目标区域反射回的能量较弱光束，使得接收端接收经目标区域反射回的能量较弱的光束时，也一并接收到经高反射物体表面反射的光束，从而使得图像传感器中接收该部分光束的对应像素产生深度误差。此时tof深度相机采集的原始相位图像为具有深度误差的原始相位图像。通常，tof深度相机都具备最远探测范围和最近探测范围，目标区域为位于最近探测范围和最远探测范围之间需要获取深度信息的区域。
41.应理解，本技术实施例中的原始相位图像是指由tof深度相机采集的未经任何计算处理得到的图像，原始相位图像中像素的值即为能量信息，能量信息可表示为深度相机tof图像传感器中像素上各抽头采集的电荷量。
42.需要说明的是，原始相位图像中的像素位置与散射干扰图中的像素位置是对应的。也就是说，原始相位图像与散射干扰图包括了相同数量的像素数据。例如，如图4所示，原始相位图像和散射干扰图中的像素分布均为4*4，其中，原始相位图像中像素分别为a1，a2，a3，a4，a5，a6，a7，a8，a9，a10，a11，a12，a13，a14，a15，a16。散射干扰图中像素分别为b1，b2，b3，b4，b5，b6，b7，b8，b9，b10，b11，b12，b13，b14，b15，b16。a1与b1对应于同一像素，a2与b2对应于同一像素，
……
，a16与b16对应于同一像素等。
43.类似地，散射补偿图、原始相位图像以及散射干扰图中的像素位置也是对应的，而散射补偿图、原始相位图像与理想相位图像中的像素位置也是对应的。以下将结合附图详
细介绍。
44.通常，一物面点光源通过光学系统所成的像的三维光强分布，称为点扩散函数(point spread function，psf)。在本技术实施例中，psf模型可以包括能量数据，其表示了单个像素的振幅对周围其他像素的振幅的影响。通常，tof深度相机对应的psf模型是指在tof深度相机出厂之前采用光纤等方式获得的初始psf模型，并存储在tof深度相机内部以便于后续使用。在一些其他实施例中，在tof深度相机出厂之前还可以包括对获得的初始psf模型作进一步处理。例如，对初始psf模型进行归一化处理或者非归一化处理。并且进一步地可以将处理之后得到的psf模型存储在tof深度相机内部以便于后续使用。也就是说，在s510中，获取的预先存储的tof深度相机对应的psf模型可以是tof深度相机出厂之前获得的初始psf模型，也可以是对初始psf模型处理之后获得的psf模型。或者换句话说，在s520中，可以利用原始相位图像和预存的深度相机的初始psf模型得到散射干扰图，也可以利用原始相位图像和预存的深度相机的经过处理之后得到的psf模型得到散射干扰图。
45.从理论上来说，通过对理想相位图像*psf模型＝原始相位图像进行反卷积，就能得到理想相位图像，但是因为图像中存在多个像素，每个像素对应的psf模型可能存在不相同的情况，也即反卷积计算过程可能需要多个psf模型，导致计算量过大，而在本技术实施例中，先获取tof深度相机采集的包括目标区域的原始相位图像和预先存储的tof深度相机对应的psf模型，其次，再利用原始相位图像和psf模型得到散射干扰图，并基于原始相位图像中至少部分像素的能量对散射干扰图进行调整，得到散射补偿图，最后再散射补偿图对原始相位图像进行补偿得到理想相位图像，并基于飞行时间原理对理想相位图像进行处理得到目标区域的深度信息，通过散射补偿图对原始相位图像进行补偿得到的理想相位图像，相比于直接对理想相位图像*psf模型＝原始相位图像进行反卷积获得的理想相位图像，能够降低计算量，并且还能够较为准确地获取理想情况下的原始相位图像，达到缓解深度误差的目的。
46.在一些实施例中，如图5所示，s530，即基于原始相位图像中至少部分像素的能量对散射干扰图进行调整，得到散射补偿图，可以包括以下部分或全部内容。
47.s531，判断原始相位图像中像素的能量与预设第一阈值的大小关系。
48.s532，若原始相位图像中某一像素的能量小于第一阈值，则将散射干扰图中对应像素对周围像素产生的散射干扰量设置为0，以得到散射补偿图。
49.可选地，在一种实施例中，散射干扰图可以包括原始相位图像中全部像素对应的散射干扰量。在其他实施例中，散射干扰图也可以包括原始相位图像中部分像素对应的散射干扰量。每个像素的散射干扰量可以是基于原始相位图像中每个像素的能量和深度相机对应的psf模型中对应像素的psf模型确定的。例如，原始相位图像中的像素a1的值为a1，而深度相机对应的psf模型为非归一化psf模型，并且从该非归一化psf模型中能够获取到像素a1对应的矩阵为x1，即可以获取像素a1对周围像素的散射干扰量为a1*x1，依次类推，可以获取到原始相位图像中的每个像素对周围像素的散射干扰量。
50.在获取到散射干扰图之后，进一步地可以根据原始相位图像中像素的能量与第一阈值的大小关系，获取散射补偿图。例如，假设原始相位图像中左半边像素位置的值小于预设第一阈值，说明当前像素对周围像素产生的干扰较小，可以忽略，即可以将散射干扰图中左半边像素位置的值设置为0，从而得到如图6所示的散射补偿图。
51.在该实施例中，在获取到散射干扰图之后，还可以进一步判断原始相位图像中像素的能量与预设第一阈值的大小关系，在原始相位图像中的某一像素的能量小于第一阈值，则将散射干扰图中对应像素的散射干扰量设置为0，从而得到散射补偿图，由于原始相位图像中某一像素的能量较弱的话不会影响其他像素的深度效果，从而可以在不影响深度误差修正的同时还可以降低计算复杂度。
52.可选地，该第一阈值可以是根据经验设置的预设值。例如，该第一阈值可以是根据应用场景和曝光时间等因素选取的阈值。
53.在另一些实施例中，如图6所示，s530，即基于原始相位图像中至少部分像素的能量对散射干扰图进行调整，得到散射补偿图，可以包括以下部分或全部内容。
54.s533，对原始相位图像中至少部分像素的能量进行处理得到原始相位图像对应的振幅图。本技术实施例中基于原始相位图像计算得到的图像则是指包括振幅信息的图像。
55.s534，判断原始相位图对应的振幅图中至少部分像素的振幅值与预设第二阈值的大小关系；
56.s535，若原始相位图对应的振幅图中至少部分像素的振幅值大于预设第二阈值，则将散射干扰图中对应像素受到的散射干扰量设置为0，以得到散射补偿图。
57.可选地，在对图4中的原始相位图像中的至少部分像素的能量进行处理之后，可以得到如图7所示的原始相位图像对应的振幅图。同样地，原始相位图像与振幅图之间的对应关系可以是指像素位置之间的对应关系。对原始相位图像中至少部分像素的能量进行处理得到振幅图具体包括将原始相位图像中若干像素进行累加并减去环境噪声得到振幅图上一像素对应的像素值得到振幅图上一像素对应的像素值。例如，图7中的振幅图的像素分布也为4*4，该振幅图中像素分别为c1、c2、c3、c4、c5、c6、c7、c8、c9、c10、c11、c12、c13、c14、c15、c16，将像素a1在采样时间内得到的值相加并减去环境噪声可得到振幅图中像素c1的值，振幅图中其余像素依次类推。
58.可选地，在psf模型为非归一化psf模型的情况下，s520，即利用原始相位图像和psf模型得到散射干扰图：将原始相位图像与psf模型进行相乘，得到散射干扰图。
59.例如，可以通过以下公式获取散射干扰图：
60.原始相位图像
×
非归一化psf模型＝散射干扰图。
61.在该实施例中，采用非归一化psf模型乘以原始相位图像，可以得到散射干扰图，并进一步地可以基于散射干扰图得到的散射补偿图和原始相位图像得到理想相位图像，其结果近似于对原始相位图像和初始psf模型进行反卷积的结果，并且还能够极大地降低计算量。
62.在一些实施例中，s540，即利用散射补偿图对原始相位图像进行补偿得到理想相位图像，包括：将原始相位图像与散射补偿图进行相减，获取理想相位图像。
63.例如，将图4中的原始相位图像和图6中的散射补偿图对应像素位置的值相减，可获得理想相位图像。该理想相位图像可以如图8所示。即该理想相位图像包括的像素的值分别为a1，a2，a3-b3，a4-b4，a5，a6，a7-b7，a8-b8，a9，a10，a11-b11，a12-b12，a13，a14，a15-b15，a16-b16。其中，
……
，a3与a3-b3对应于同一像素，a4与a4-b4对应于同一像素，
……
，a7与a7-b7对应于同一像素，a8与a8-b8对应于同一像素，
……
，a15与a15-b15对应于同一像素，a16与a16-b16对应于同一像素。
64.可选地，在本技术实施例中，深度计算方法500还可以包括：根据原始相位图像中的像素位置，通过查表的方式从预先存储的tof深度相机的psf模型中获取原始相位图像的对应像素的psf模型。
65.在一些实施例中，可以在深度相机出厂前，通过光纤等方式构建tof深度相机的psf模型，并存储在深度相机内部，在tof深度相机出厂之后，并且在实际使用过程中，可以根据原始相位图像中的像素位置，通过查表调用存储在tof深度相机内部的psf模型即可。例如，可以根据原始相位图像中的全部像素，通过查表获取该全部像素对应的psf模型。再例如，可以根据原始相位图像中的部分像素，通过查表获取该部分像素对应的psf模型。
66.上文提到，tof深度相机的psf模型是预存在tof深度相机内部，但是在出厂之前，可以预先获取该tof深度相机的psf模型。本技术实施例还提供了一种获取tof深度相机的psf模型的方法。
67.具体地，可以参见图9，该获取tof深度相机的psf模型的方法600可以包括以下部分或全部内容。
68.s610，控制tof深度相机采用第一曝光时间获取第一psf振幅图；
69.s620，控制tof深度相机采用第二曝光时间获取第二psf振幅图，第二曝光时间小于第二曝光时间。
70.s630，整合第一psf振幅图和第二psf振幅图，获取整合振幅图。
71.s640，根据整合振幅图，获取tof深度相机的psf模型。
72.可选地，在一个实施例中，可以采用光纤的方式获取tof深度相机的psf模型。可选地，光纤的一端连接深度相机的发射端，另一端对准接收端，由于光纤的出口非常窄，可保证其50％的能量集中在单个像素上。可以采用高低曝光的形式构建tof深度相机的初始psf模型。高低曝光是指tof深度相机的积分时间。例如，高曝光的积分时间长，也可以称为是曝光时间长；低曝光的积分时间短，也可以称为是曝光时间短。初始psf模型就是利用一个长曝光时间模型和一个短曝光时间模型，通过缩放比例关系整合得到的模型。应理解，该初始psf模型就是本技术实施例中的整合振幅图。
73.需要说明的是，每个像素都需要采用上述高低曝光的形式获取对应的psf模型，在获取到每个像素对应的psf模型之后，初始psf模型即可形成。
74.在另一个实施例中，采集一个高曝光(即长曝光时间)的psf振幅图和采集一个低曝光(即短曝光时间)的psf振幅图。通常曝光时间和振幅是成近似线性的关系，想要获取单个像素振幅对周围其他像素的影响，即psf振幅图，需要很高的能量，这个可以通过长曝光时间来实现。但是高曝光会带来一个问题，能量中心的像素区域会过曝，这是会需要一个短曝光时间的psf振幅图。把这两个psf振幅图进行整合，例如，可以用低曝光的局部psf振幅图代替高曝光的psf振幅图中的过曝部分，整合两个psf振幅图得到整合振幅图。
75.在该实施例中，采用高低曝光的形式构建深度相机的初始psf模型，相比于采用单一曝光时间获取的初始psf模型，能够更加准确地表示出单个像素的振幅对周围其他像素的振幅的影响，从而能够提高修正深度误差的准确性。
76.在一些实施例中，可以直接将得到的整合振幅图(即初始psf模型)存储在深度相机内部，在实际使用时，可以根据原始相位图像中的像素位置，通过查表调用该深度相机的初始psf模型，并且可以对原始相位图像和查表获得的原始相位图像的初始psf模型作进一
步处理，得到理想相位图像。例如，可以对以下公式进行反卷积过程：
77.理想相位图像
★
初始psf模型＝原始相位图像。
78.其中，(
★
)表示卷积。
79.可选地，s630，即整合第一psf振幅图和第二psf振幅图，获取整合振幅图，包括：根据第一曝光时间和第二曝光时间的比例关系，将第一psf振幅图中的部分像素区域的振幅替换为第二psf振幅图中的部分像素区域的振幅，以获得整合振幅图。
80.进一步地，可选地，可以根据第一曝光时间和第二曝光时间的比例关系，将第一psf振幅图中的部分像素区域的振幅替换为第二函数psf振幅图中的部分像素区域的振幅，以获得整合振幅图，可以包括：将第一psf振幅图中的部分像素区域的振幅替换为第二psf振幅图中的部分像素区域的振幅与比例关系的乘积。可选地，第一psf振幅图的部分像素区域可以为第一psf振幅图的中心像素区域，第二psf振幅图的部分像素区域也可以为第二psf振幅图的中心像素区域。
81.例如，长曝光时间可以是1000微秒，短曝光时间可以是10微秒，长曝光时间是短曝光时间的100倍，可以将短曝光时间的psf振幅图的中心像素区域的振幅乘以100倍取代长曝光时间的psf振幅图中的过曝区域。
82.应理解，根据第一psf振幅图和第二psf振幅图，获取整合振幅图也可以不依赖于长曝光时间和短曝光时间的比例关系。例如，可以将短曝光时间的psf振幅图的中心像素区域的振幅乘以预设值取代长曝光时间的psf振幅图中的过曝区域。还应理解，所替换的像素区域也可以不一定是第一psf振幅图和/或第二psf振幅图中的中心像素区域。也就是说，第一psf振幅图的部分像素区域取决于该第一psf振幅图的过曝区域，若该第一psf振幅图的过曝区域在左半边像素区域，则该第一psf振幅图的左半边像素区域的振幅由第二psf振幅图的部分像素区域的振幅代替。该第二psf振幅图的部分像素区域也可以不位于第二psf振幅图的中心像素区域。例如，可以利用第二psf振幅图的右半边像素区域的振幅代替第一psf振幅图的过曝区域的振幅。本技术实施例对此不作限定。
83.可选地，在一些实施例中，点扩散函数psf模型为非归一化点扩散函数psf模型，s640，即根据整合振幅图，获取深度相机对应的psf模型，包括：将整合振幅图中的每个像素的振幅除以整合振幅图中的所有像素的振幅之和，以获取深度相机的非归一化psf模型。
84.上文提到，psf模型可以包括采用光纤等方式获得的初始psf模型，在另一种实施例中，该psf模型还可以包括对获得的初始psf模型作进一步处理得到的psf模型。在一种实施例中，可以对整合振幅图进行非归一化处理，例如，可以将整合振幅图中的每个像素的振幅分别除以整合振幅图中的所有像素的振幅之和，使得最后每个像素上对应的值均位于0到小于1的值之间。由于每个原始相位图像存在多个像素，每个像素对应的初始psf模型可能存在不相同的情况，反卷积计算过程中可能需要多个初始psf模型，从而导致计算量过大，而采用基于原始相位图像和原始相位图像对应非归一化psf模型获得的散射干扰图，再基于原始相位图像和由散射干扰图获得的散射补偿图的方案，有利于极大地降低计算量。
85.在另一种实施例中，还可以对整合振幅图进行归一化处理，例如，可以将整合振幅图中的每个像素的振幅分别除以整合振幅图中的最大振幅，使得最后每个像素上对应的值均位于0到1之间。
86.可选地，在本技术实施例中，在深度相机出厂前可以获取初始psf模型，并存储在
深度相机内部；和/或，在深度相机出厂前获取到非归一化psf模型，并存储在深度相机内部。在深度相机出厂之后，可以根据需求从存储在深度相机内部的初始psf模型和/或非归一化psf模型来获取原始相位图像的psf模型。
87.通常，因为光学系统的原因，每个像素对应的非归一化psf模型是有差异的，为了弥补这种差异，可以在不同像素位置均匀构建不同的非归一化psf模型，如在图像240*320像素的不同位置(如20*20像素对应一个位置)均匀取不同的非归一化psf模型。具体地，在扫地机应用领域中，因为扫地机来自地面的散射比较严重，它是分布在图像像素240*320的下面80行像素，也就是80*320，基于此，以20*20像素为图像中一个位置，则可以构建图像底部4*16个psf模型。需要说明的是，非归一化psf模型是基于图像构建的，其数量的排布取决于应用场景。
88.在一个实施例中，非归一化psf模型为预先构建的，构建完成后与像素位置关系进行关联存储(即将像素位置与非归一化psf模型进行关联)并在实际使用过程中根据当前像素的位置关系通过查表法获取。具体地，可以采用单个像素对应的非归一化psf模型的存储方式，如将原始相位图像和psf模型同时进行5*5的下采样，经过处理得到散射干扰图，再对原始相位图像进行5*5的上采样来减少计算量。也可以采用多个像素对应的非归一化psf模型存储，例如，基于非归一化psf模型求5*5个像素对其他周围像素的影响，并构建查找表。在实际应用中基于5*5像素的值的平均值来调用查找表。这样一次可以查找出25个像素而不是一个像素的影响，从而减少运算量。
89.在一些实施例中，s550，即基于飞行时间原理对理想相位图像进行处理得到目标区域的深度信息，包括：根据理想相位图像，获取tof深度相机中的tof图像传感器中每个像素的各抽头采集的电荷量；根据每个像素的各抽头采集的电荷量，确定每个像素的深度值。根据每个像素的深度值，获取目标区域的深度信息。
90.具体地，可以根据飞机时间原理对理想相位图像进行深度计算。例如，以tof图像传感器中每个像素包含3个抽头依次采集3次光信号为例说明，基于理想相位图像得到各抽头采集的电荷量为c1、c2及c3，各抽头的脉冲采集信号的脉冲宽度th，由此单个像素的飞行时间可以采用以下公式计算：
[0091][0092]
进而可根据d＝c*t/2得到单个像素的深度值，其中，c表示光速。遍历所有像素得到各像素的深度值，从而得到目标区域的深度信息。
[0093]
图10和图11示出了采用传统技术方案与本技术实施例提供的技术方案的效果对比图。从图中可以明显看出，图10中由于地面内散射深度发生误差，整个墙面出现断层不完整的现象。而在图11中，其墙面明显清晰可见。
[0094]
上文中详细描述了根据本技术实施例的深度计算方法，下面将结合图12至图13，描述根据本技术实施例的深度计算装置，方法实施例所描述的技术特征适用于以下装置实施例。
[0095]
图12示出了本技术实施例的深度计算装置700的示意性框图。如图12所示，该深度计算装置700可以包括以下部分或全部内容。
[0096]
第一获取单元710，用于获取tof深度相机采集的包括目标区域的原始相位图像和
预先存储的tof深度相机对应的psf模型。
[0097]
第二获取单元720，用于利用原始相位图像和psf模型得到散射干扰图，散射干扰图包括用于指示原始相位图像中的至少部分像素的能量对周围其他像素的振幅的干扰程度的散射干扰量。
[0098]
第三获取单元730，用于基于原始相位图像中至少部分像素的能量对散射干扰图进行调整，得到散射补偿图；
[0099]
第四获取单元740，用于利用散射补偿图对原始相位图像进行补偿得到理想相位图像。
[0100]
第五获取单元750，用于基于飞行时间原理对理想相位图像进行处理得到目标区域的深度信息。
[0101]
可选地，在本技术实施例中，第三获取单元730具体用于：判断原始相位图像中像素的能量与预设第一阈值的大小关系；若原始相位图像中某一像素的能量小于第一阈值，则将散射干扰图中对应像素对周围像素产生的散射干扰量设置为0，以得到散射补偿图。
[0102]
可选地，在本技术实施例中，第三获取单元730具体用于：对原始相位图像中至少部分像素的能量进行处理得到原始相位图像对应的振幅图；判断原始相位图对应的振幅图中至少部分像素的振幅值与预设第二阈值的大小关系；若原始相位图对应的振幅图中至少部分像素的振幅值大于预设第二阈值，则将散射干扰图中对应的像素受到的散射干扰量设置为0，以得到散射补偿图。
[0103]
可选地，在本技术实施例中，第二获取单元720具体用于：将原始相位图像与psf模型进行相乘，得到散射干扰图。
[0104]
可选地，在本技术实施例中，第四获取单元740具体用于：将原始相位图像与散射补偿图进行相减，获取理想相位图像。
[0105]
可选地，如图13所示，深度计算装置700还包括：第六获取单元760，用于根据原始相位图像中的像素位置，通过查表的方式从预先存储的tof深度相机的psf模型中获取原始相位图像对应像素的psf模型。
[0106]
可选地，本技术实施例还提供了一种获取tof深度相机对应的psf模型的装置800，在该实施例中，tof深度相机对应的psf模型是预先获取的，如图14所示，该装置800包括：控制单元810，用于控制tof深度相机采用第一曝光时间获取第一psf振幅图，以及控制tof深度相机采用第二曝光时间获取第二psf振幅图，第二曝光时间小于第二曝光时间；整合单元820，用于整合第一psf振幅图和第二psf振幅图，获取整合振幅图；获取单元830，用于根据整合振幅图，获取tof深度相机对应的psf模型。
[0107]
可选地，在本技术实施例中，整合单元820具体用于：将第一psf振幅图中的部分像素区域的振幅替换为第二psf振幅图中的部分像素区域的振幅与第一曝光时间和第二曝光时间的比例关系的乘积，以获得整合振幅图。
[0108]
可选地，在本技术实施例中，第一psf振幅图的部分像素区域为第一psf振幅图的中心像素区域，第二psf振幅图的部分像素区域为第二psf振幅图的中心像素区域。
[0109]
可选地，在本技术实施例中，psf模型为非归一psf模型，获取单元830具体用于：将整合振幅图中的每个像素的振幅除以整合振幅图中的所有像素的振幅之和，以获取深度相机的非归一psf模型。
[0110]
应理解，根据本技术实施例的深度计算装置700可对应于本技术实施例的深度计算方法500的实施例中的执行主体，根据本技术实施例的获取tof深度相机对应的psf模型的装置800可对应于本技术实施例的获取tof深度相机对应的psf模型的方法600的实施例中的执行主体，并且深度计算装置700中的各个单元的上述和其它操作和/或功能分别为了实现图1至图8各方法中的相应流程以及装置800中的各个单元的上述和其他操作和/或功能分别为了实现图9所示的方法中的相应流程，为了简洁，在此不再赘述。
[0111]
可选地，如图15所示，本技术实施例还提供了一种tof深度相机900。如图15所示，该tof深度相机900可以包括发射端910、接收端920和处理器930，其中，发射端910用于向目标区域投射周期性调制的发射光信号，接收端920用于采集经目标区域发射回的接收光信号生成原始相位图像，处理器930用于从存储器中调用并运行程序，以实现本技术实施例提供的深度计算方法。例如，该处理器930可以控制tof接收端920采集原始相位图像，该处理器930还可以从存储器内获取预先存储的tof深度相机对应的psf模型，该处理器930还用于利用原始相位图像和psf模型得到散射干扰图。该处理器930还可以基于原始相位图像中至少部分像素的能量对散射干扰图进行调整，得到散射补偿图。该处理器930还可以利用散射补偿图对原始相位图像进行补偿得到理想相位图像。该处理器930还可以基于飞行时间原理对理想相位图像进行处理得到目标区域的深度信息。可选地，该处理器930可以对应于图12和图13所示的深度计算装置700。
[0112]
可选地，如图15所示，tof深度相机900还可以包括存储器940。其中，处理器930可以从存储器940中调用并运行深度计算程序，以实现本技术实施例中的方法。
[0113]
其中，存储器940可以是独立于处理器930的一个单独的器件，也可以集成在处理器930中。
[0114]
可选地，在本技术实施例中，该tof深度相机900为itof深度相机。
[0115]
可选地，本技术实施例还提供了一种芯片，包括处理器，处理器可以从存储器中调用并运行计算机程序，以实现本技术实施例中的方法。
[0116]
可选地，本技术实施例还提供了一种计算机可读存储介质，用于存储计算机程序，计算机程序使得计算机执行本技术实施例中的方法。
[0117]
可选地，本技术实施例还提供了一种计算机程序产品，包括计算机程序指令，计算机程序指令使得计算机执行本技术实施例中的方法。
[0118]
可选地，本技术实施例还提供了一种计算机程序。计算机程序使得计算机执行本技术实施例中的方法。
[0119]
可以理解，本技术实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接
动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0120]
虽然已经参考优选实施例对本技术进行了描述，但在不脱离本技术的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本技术并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。

技术特征：
1.一种深度计算方法，应用于tof深度相机，其特征在于，包括：获取所述tof深度相机采集的包括目标区域的原始相位图像和预先存储的所述tof深度相机对应的psf模型；利用所述原始相位图像和所述psf模型得到散射干扰图，所述散射干扰图包括用于指示所述原始相位图像中的至少部分像素的能量对周围其他像素的散射干扰量；基于所述原始相位图像中至少部分像素的能量对所述散射干扰图进行调整，得到散射补偿图；利用所述散射补偿图对所述原始相位图像进行补偿得到理想相位图像；基于飞行时间原理对所述理想相位图像进行处理得到所述目标区域的深度信息。2.根据权利要求1所述的深度计算方法，其特征在于，所述基于所述原始相位图像中至少部分像素的能量对所述散射干扰图进行调整，得到散射补偿图，包括：判断所述原始相位图像中像素的能量与预设第一阈值的大小关系；若所述原始相位图像中某一像素的能量小于所述第一阈值，则将所述散射干扰图中对应像素对周围像素产生的散射干扰量设置为0，以得到所述散射补偿图。3.根据权利要求1所述的深度计算方法，其特征在于，所述基于所述原始相位图像中至少部分像素的能量对所述散射干扰图进行调整，得到散射补偿图，包括：对所述原始相位图像中至少部分像素的能量进行处理得到所述原始相位图像对应的振幅图；判断所述原始相位图像对应的振幅图中至少部分像素的振幅值与预设第二阈值的大小关系；若所述原始相位图像对应的振幅图中至少部分像素的振幅值大于所述预设第二阈值，则将所述散射干扰图中对应像素受到的散射干扰量设置为0，以得到所述散射补偿图。4.根据权利要求1所述的深度计算方法，其特征在于，所述利用所述原始相位图像和所述psf模型得到散射干扰图，包括：将所述原始相位图像与所述psf模型进行相乘，得到所述散射干扰图。5.根据权利要求1所述的深度计算方法，其特征在于，所述利用所述散射补偿图对所述原始相位图像进行补偿得到理想相位图像，包括：将所述原始相位图像与所述散射补偿图进行相减，获取所述理想相位图像。6.根据权利要求1所述的深度计算方法，其特征在于，所述深度计算方法还包括：根据所述原始相位图像中的像素位置，通过查表的方式从预先存储的所述tof深度相机的psf模型中获取所述原始相位图像对应像素的psf模型。7.根据权利要求6所述的深度计算方法，其特征在于，所述tof深度相机的psf模型为预先获取的，所述获取所述深度相机的psf模型，包括：控制所述tof深度相机采用第一曝光时间获取第一psf振幅图；控制所述tof深度相机采用第二曝光时间获取第二psf振幅图，所述第二曝光时间小于所述第二曝光时间；整合所述第一psf振幅图和所述第二psf振幅图，获取整合振幅图；根据所述整合振幅图，获取所述tof深度相机的psf模型。8.根据权利要求7所述的深度计算方法，其特征在于，所述整合所述第一psf振幅图和
所述第二psf振幅图，获取整合振幅图，包括：将所述第一psf振幅图中的部分像素区域的振幅替换为所述第二psf振幅图中的部分像素区域的振幅与所述第一曝光时间和所述第二曝光时间的比例关系的乘积，以获得所述整合振幅图。9.根据权利要求8所述的深度计算方法，其特征在于，所述第一psf振幅图的部分像素区域为所述第一psf振幅图的中心像素区域，所述第二psf振幅图的部分像素区域为所述第二psf振幅图的中心像素区域。10.根据权利要求7所述的深度计算方法，其特征在于，所述psf模型为非归一化psf模型，所述根据所述整合振幅图，获取所述深度相机的psf模型，包括：将所述整合振幅图中的每个像素的振幅除以所述整合振幅图中的所有像素的振幅之和，以获取所述深度相机的非归一化psf模型。11.一种tof深度相机，其特征在于，包括发射端、接收端和处理器，所述发射端用于向目标区域投射周期性调制的发射光信号，所述接收端用于采集经所述目标区域发射回的接收光信号生成原始相位图像，所述处理器用于利用如权利要求1至10中任一项所述的深度计算方法对所述原始相位图像进行处理得到所述目标区域的深度信息。12.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至10中任一项所述的深度计算方法。

技术总结
本申请实施例提供了一种深度计算方法、TOF深度相机和计算机可读存储介质。该深度计算方法应用于TOF深度相机，并且包括：获取TOF深度相机采集的包括目标区域的原始相位图像和预先存储的TOF深度相机对应的PSF模型；利用原始相位图像和PSF模型得到散射干扰图；基于原始相位图像中至少部分像素的能量对散射干扰图进行调整，得到散射补偿图；利用散射补偿图对原始相位图像进行补偿得到理想相位图像；基于飞行时间原理对理想相位图像进行处理得到目标区域的深度信息。本申请实施例的深度计算方法、TOF深度相机和计算机可读存储介质，能够缓解深度误差。够缓解深度误差。够缓解深度误差。


技术研发人员：宋强 俞涛 师少光 朱亮
受保护的技术使用者：深圳奥芯微视科技有限公司
技术研发日：2023.05.23
技术公布日：2023/7/7