物体信息生成系统、物体信息生成方法以及物体信息生成程序与流程

1.本公开涉及一种物体信息生成系统，该物体信息生成系统根据多个区分图像生成存在于目标区间中的物体的距离信息，所述多个区分图像是按每个距离对目标空间进行分割而得到的。


背景技术：

2.在专利文献1中，公开了能够提升测量距离的分辨率的距离测量装置。在该距离测量装置中，距离测量部根据从送波部开始发送测量波到收波部接收测量波为止的时间计算到对象物的距离。在对象物存在于对可测量距离进行分割而得到的多个距离区间中的、连续的前段距离区间和后段距离区间之间的情况下，距离测量部基于与前段距离区间相对应的期间中的收波量和与后级距离区间相对应的期间中的收波量，来计算到对象物的距离。
3.专利文献1：国际公开第2019/181518号

技术实现要素：

[0004]-发明要解决的技术问题-[0005]
在专利文献1中，针对每个像素，用与相邻的距离区间相对应的受光信号量之比来提升到对象物的距离值的计算精度。然而，在实际利用专利文献1的方法的情况下，为了去除杂音，需要对同一个像素进行多次测量。因此，存在为了计算距离值而需要花费时间这样的问题。
[0006]
本公开正是为解决上述技术问题而完成的，其目的在于：在物体信息生成系统中，能够在短时间内生成物体的距离信息。
[0007]-用以解决技术问题的技术方案-[0008]
本公开的一方面所涉及的物体信息生成系统包括摄像部和信号处理部，该摄像部拍摄多个区分图像，该多个区分图像分别与对目标空间进行分割而得到的多个距离区分相对应，所述信号处理部对所述多个区分图像进行处理以生成与存在于所述目标空间中的物体相关的信息，所述信号处理部包括图像合成部，所述物体区域提取部从所述多个区分图像中提取物体区域，该物体区域是包括物体的像的像素区域，所述物体信息生成部对所述物体区域决定出用于切出作为计算对象的像素的窗口，用所述多个区分图像中的两个以上的区分图像中的、所述窗口内的多个像素的信息进行计算，来生成物体的距离信息。
[0009]-发明的效果-[0010]
根据本公开，在物体信息生成系统中，能够在短时间内生成物体的高精度的距离信息。
附图说明
[0011]
图1表示实施方式所涉及的物体信息生成系统的构成；
[0012]
图2表示由摄像部生成区分图像的大致情况；
[0013]
图3(a)是表示目标空间中存在人的场景和被人反射的反射光的到来图案，图3(b)
表示所拍摄的区分图像的例子；
[0014]
图4是表示显示人的像的像素中的各距离区分的信号电平的例子；
[0015]
图5(a)表示在目标空间中存在人的场景，图5(b)是表示窗口设定的例子；
[0016]
图6表示实施方式所涉及的物体信息生成方法的例子；
[0017]
图7(a)表示物体区域提取步骤，图7(b)表示物体信息生成步骤；
[0018]
图8(a)表示在目标空间中存在多个物体的场景，图8(b)表示窗口设定的例子。
具体实施方式
[0019]
(概要)
[0020]
本公开的一方面所涉及的物体信息生成系统包括摄像部和信号处理部，该摄像部拍摄多个区分图像，该多个区分图像分别与对目标空间进行分割而得到的多个距离区分相对应，所述信号处理部对所述多个区分图像进行处理以生成与存在于所述目标空间中的物体相关的信息，所述信号处理部包括图像合成部，所述物体区域提取部从所述多个区分图像中提取物体区域，该物体区域是包括物体的像的像素区域，所述物体信息生成部对所述物体区域决定出用于切出作为计算对象的像素的窗口，用所述多个区分图像中的两个以上的区分图像中的、所述窗口内的多个像素的信息进行计算，来生成物体的距离信息。
[0021]
这样一来，在物体信息生成系统中，由摄像部拍摄多个区分图像，该多个区分图像分别与对目标空间进行分割而得到的多个距离区分相对应。在信号处理部中，由物体区域提取部从多个区分图像中提取物体区域，该物体区域是包括物体的像的像素区域。然后，由物体信息生成部对物体区域决定出用于切出作为计算对象的像素的窗口，用两个以上的区分图像中的、窗口内的多个像素的信息进行计算，来生成物体的距离信息。因此，利用多个像素的信息能够去除杂音，不需要为了去除杂音而对同一个像素进行多次测量。由于计算对象为对物体区域决定出的窗口内的像素，所以与将全部像素作为计算对象的方法相比，计算量显著降低。因此，能够在短时间内进行距离信息的生成。
[0022]
也可以是这样的：所述物体信息生成部对所述物体区域设定不同的多个所述窗口，用所述各窗口分别生成物体的距离信息。
[0023]
这样一来，能够容易地针对物体生成多个位置的距离信息。
[0024]
此外，也可以是这样的：所述物体信息生成部利用使用所述各窗口分别生成的物体的距离信息，来生成与物体的形状有关的信息。
[0025]
这样一来，能够根据物体的多个位置的距离信息生成与物体的形状相关的信息。
[0026]
或者，也可以是这样的：所述物体信息生成部用物体的距离信息判断物体区域的分离可否，所述物体的距离信息是用所述各个窗口分别生成的。
[0027]
这样一来，能够根据物体区域中的多个位置的距离信息判断物体区域的分离可否。
[0028]
也可以是这样的：所述物体信息生成部根据与成为计算对象的区分图像相对应的距离区分的距离，来决定用于计算的像素的个数。
[0029]
这样一来，能够抑制因物体的距离而在计算量及计算精度上产生的偏差。
[0030]
也可以是这样的：所述信号处理部包括图像合成部，所述图像合成部用所述多个区分图像生成对每个像素都赋予了距离值的距离图像，所述物体区域提取部在所述距离图
像中提取所述物体区域。
[0031]
这样一来，能够利用距离图像进行物体区域的提取。
[0032]
也可以是这样的：所述信号处理部包括图像合成部，所述图像合成部用所述多个区分图像生成对每个像素都赋予了距离值的距离图像，所述物体信息生成部用所述距离图像生成物体的距离信息。
[0033]
这样一来，能够利用距离图像生成物体的距离信息。
[0034]
本公开的一方面所涉及的物体信息生成方法对多个区分图像进行处理，以生成与存在于所述目标空间中的物体相关的信息，所述多个区分图像分别与对目标空间进行分割而得到的多个距离区分相对应，所述物体信息生成方法包括以下步骤：从所述多个区分图像中提取物体区域的步骤，所述物体区域是包括物体的像的像素区域；对所述物体区域决定出用于切出作为计算对象的像素的窗口的步骤；以及用所述多个区分图像中的两个以上的区分图像中的、所述窗口内的多个像素的信息进行计算，来生成物体的距离信息的步骤。
[0035]
这样一来，在物体信息生成方法中，从多个区分图像提取包括物体的像的像素区域即物体区域，所述区分图像分别与对目标空间进行分割而得到的多个距离区分相对应。然后，对物体区域决定用于切出作为计算对象的像素的窗口，用两个以上的区分图像中的、窗口内的多个像素的信息进行计算，来生成物体的距离信息。因此，利用多个像素的信息能够去除杂音，不需要为了去除杂音而对同一个像素进行多次测量。由于计算对象为对物体区域决定出的窗口内的像素，所以与将全部像素作为计算对象的方法相比，计算量显著降低。因此，能够在短时间内进行距离信息的生成。
[0036]
本公开的一方面所涉及的程序使包括一个以上的处理器的计算机系统执行所述方面的物体信息生成方法。
[0037]
以下，参照附图对实施方式进行详细的说明。不过，有时会省略过度详细的说明。例如，有时省略对已公知事项的详细说明或对实质上相同的结构的重复说明。这是为了避免以下说明变得过于冗长，以方便本领域技术人员理解。
[0038]
需要说明的是，附图及以下说明是为了使本领域技术人员能够充分地理解本公开而提供的，没有意图限制权利要求的范围所要求保护的主题。
[0039]
[1.概要]
[0040]
图1是表示实施方式所涉及的物体信息生成系统的构成的方框图。如图1所示，物体信息生成系统1包括摄像部10、信号处理部20以及输出部30。物体信息生成系统1是利用tof法(tof：time of flight；飞行时间)获得到物体的距离的信息，并对所生成的图像进行处理的系统。物体信息生成系统1例如能够用于检测物体(人)的监控摄像机、对工场或商业设施内的人的移动路线进行追踪而进行劳动生产率的提升或顾客购买行为的分析的系统、安装在车辆上而检测障碍物的系统等。
[0041]
摄像部10包括发光部11、受光部12以及控制部13。摄像部10构成为：从发光部11向目标空间发出测量光，由受光部12拍摄存在于目标空间内的物体所反射的反射光，利用tof法测量到物体的距离，并能够生成图像。发光部11构成为：将测量光投向目标空间。受光部12构成为：接收存在于目标空间中的物体所反射的反射光，生成图像。控制部13构成为进行发光部11的发光控制和受光部12的受光控制。控制部13控制发光部11和受光部12，以使受光部12生成多个区分图像，该多个区分图像分别与对目标空间进行分割而得到的多个距离
区分相对应。
[0042]
信号处理部20构成为：对己由摄像部10生成的多个区分图像进行处理，生成与存在于目标空间中的物体相关的信息。信号处理部20包括物体区域提取部21和物体信息生成部22。物体区域提取部21构成为：从已由摄像部10生成的区分图像中提取物体区域，该物体区域为包括物体的像的像素区域。物体信息生成部22构成为：生成与已由物体区域提取部21提取的物体区域中所包括的物体相关的信息。
[0043]
输出部30构成为：将已由信号处理部20生成的物体信息输出给外部装置2。
[0044]
在本实施方式的物体信息生成系统1中，利用多个区分图像的多个像素对存在于目标空间中的各个物体生成包括距离值或形状的信息。因此，在本实施方式的物体信息生成系统1中，能够在深度方向上对存在于目标空间中的各个物体进行分离。还能够高速地执行在深度方向上对物体进行分离的处理。
[0045]
[2.构成]
[0046]
[2-1.摄像部]
[0047]
如上所述，摄像部10包括发光部11、受光部12以及控制部13。摄像部10构成为：从发光部11向目标空间发出测量光，由受光部12拍摄存在于目标空间内的物体所反射的反射光，利用tof法测量到物体的距离，并能够生成图像。
[0048]
[2-1-1.发光部]
[0049]
发光部11构成为：将测量光投向目标空间。发光部11包括用于将测量光投向目标空间的光源111。测量光为脉冲状的光。优选的是，测量光具有单一波长，脉冲宽度比较短，峰值强度比较高。
[0050]
此外，考虑到在目标空间中存在人的市区等使用，测量光的波长优选在近红外带的波长范围内，人对近红外带的能见度低且近红外带不易受到来自太阳光的外部干扰光的影响。在本实施方式中，光源111例如由激光二极管构成，光源111输出脉冲激光。由光源输出的脉冲激光的强度满足激光制品的安全标准(jis c 6802)的等级1或等级2的基准。需要说明的是，光源111不限于上述构成，也可以是发光二极管(led：light emitting diode)、垂直腔表面发射激光器(vcsel：vertical cavity surface emitting laser)、卤素灯等。测量光也可以具有与近红外带不同的波长范围。发光部11还可以包括透镜等将测量光投射到目标空间的投光光学系统112。
[0051]
[2-1-2.受光部]
[0052]
受光部12构成为：接收由存在于目标空间中的物体反射的反射光，生成图像。受光部12包括含有多个像素的摄像元件121，接收由存在于目标空间中的物体反射的反射光，生成区分图像。在各像素中布置有雪崩光电二极管。也可以给各像素布置其他的光检测元件。各像素构成为：能够在接受反射光的曝光状态与不接受反射光的非曝光状态之间进行切换。受光部12在曝光状态下，输出基于各像素所接受的反射光的像素信号。像素信号的信号电平相当于像素已接收的光的脉冲数。像素信号的信号电平也可以与光的其他特性如反射光强度等相关。
[0053]
受光部12还可以包括透镜等使反射光会聚在摄像元件的受光面的受光光学系统122。受光部12也可以还包括将特定频率的光阻断或让特定频率的光透过的滤光器。在该情况下，能够获得与光的频率相关的信息。
[0054]
图2为表示由受光部12生成图像的大致情况的图。针对将目标空间区分为一个以上的各距离区分中的每一个，在物体存在于距离区分内的情况下，受光部12在各像素生成基于来自物体的反射光的检测信号，生成并输出区分图像1ml～5。到目标空间的最深部的距离根据从发光部11开始射出测量光到摄像元件121最后进行曝光动作为止的时间来决定。到目标空间的最深部的距离并没有特别限定，作为一例，为数十cm～数十m。在物体信息生成系统1中，到目标空间的最深部的距离可以是固定的，也可以设定得可变。在此，假设被设定得可变。
[0055]
[2-1-3.控制部]
[0056]
控制部13构成为：进行发光部11的发光控制和受光部12的受光控制。控制部13例如由具有处理器和存储器的微型计算机构成。通过由处理器执行适当的程序而作为控制部13发挥功能。程序可以预先存储在存储器中，也可以通过互联网等电气线路、或从存储卡等非暂时性的存储介质来提供该程序。也可以具有键盘等设定接受部，接受来自操作者的设定而能够改变控制方法。
[0057]
控制部13在对发光部11进行发光控制的过程中，控制使光从光源111输出的时刻、从光源111输出的光的脉冲宽度等。控制部13在对受光部12进行受光控制的过程中，在多个像素的每一个中，通过对像素内的晶体管的工作时刻等进行控制，来控制曝光的时刻(曝光时刻)、曝光宽度(曝光时间)等。曝光时刻和曝光时间可以所有的像素都相同，也可以根据像素而不同。
[0058]
具体而言，控制部13在与一次距离测量相对应的期间内，使光源111多次输出测量光。一个测量周期中的测量光的输出次数与物体信息生成系统1将目标空间分割成的多个距离区分的数量相同。一个测量周期包括多个测量期间。一个测量周期中的测量期间的数量与多个距离区分的数量相同。一个测量期间与多个距离区分一对一地对应。各分割期间的时间长度例如为10ns。
[0059]
控制部13使光源111在各测量期间中的最初的分割期间发光。一次发光的发光期间可以是与分割期间相同的时间长度，也可以是与分割期间不同的时间长度。
[0060]
控制部13使受光部12在各测量期间中的多个分割期间的任意一个分割期间中曝光。具体而言，控制部13在每个测量期间都将使受光部12曝光的时刻从第一分割期间开始到第n分割期间为止一个一个地依次错开。亦即，在一个测量周期中，受光部12在多个分割期间都进行曝光。一次曝光的曝光期间可以是与分割期间相同的时间长度，也可以是与分割期间不同的时间长度。使受光部12曝光的时刻也可以不是从第一分割期间开始到第n分割期间为止依次错开，而是按其他顺序错开。
[0061]
亦即，在各测量期间中，发光和曝光各进行一次，在每个测量期间中发光时刻与曝光时刻的时间差不同。因此，在设多个距离区分的数量为n的情况下，在一个测量周期内的发光次数和曝光次数为n。若将每1秒内的测量周期数设为f，则1秒钟内的发光次数及曝光次数为f
×
n。
[0062]
受光部12能够仅在进行曝光的期间中接受由物体反射的反射光。从发光部11开始发光到受光部12接受反射光为止的时间根据从物体信息生成系统1到物体的距离而变化。若设从物体信息生成系统1到物体的距离为d、光的速度为c，从发光部11开始发光算起，在时间t＝2d/c后，反射光到达受光部12。因此，能够根据从发光部11开始发光到受光部12接
收到反射光为止的时间计算到物体的距离。可测量距离基于分割期间的时间长度ts而成为n
×
ts
×
c/2。
[0063]
控制部13按照如下所述控制受光部12：使测量周期重复p次，在各像素中，对在各测量周期中生成的像素信号中的、在同一个分割期间曝光而生成的信号进行累计，并作为与各分割期间相对应的区分图像的像素输出。p为1以上的整数。在本实施方式中，在一次测量周期中，各分割期间中的发光次数和曝光次数为1，因此若考虑到各像素信号的信号电平相当于受光的脉冲数，则各像素信号的最大值为1。亦即，使测量周期重复p次，累计像素信号时的与各像素对应的信号电平最大等于p。在本实施方式中，图像内的所有像素的像素信号的信号电平最大为p。需要说明的是，也可以在包括不进行在一个以上的分割期间中的曝光的测量周期的状态下生成图像，以便使信号电平的最大值在每个分割期间都发生变化。
[0064]
[2-2.信号处理部]
[0065]
信号处理部20构成为：根据已由摄像部10生成的多个区分图像生成与物体相关的信息。信号处理部20包括物体区域提取部21和物体信息生成部22。
[0066]
[2-2-1.物体区域提取部]
[0067]
物体区域提取部21构成为：从已由摄像部10生成的区分图像中提取物体区域，该物体区域为包括物体的像的像素区域。
[0068]
物体区域提取部21例如由具有处理器和存储器的计算机系统来实现。物体区域提取部21通过由处理器执行适当的程序而发挥功能。程序可以预先存储在存储器中，也可以通过互联网等电气通信线路、或从存储卡等非暂时性的存储介质来提供该程序。
[0069]
更详细而言，例如，由处理器对已从受光部12输出的图像进行处理，存储器保存图像和已由处理器处理后的结果(已被提取的物体区域的信息)。保存在存储器中的信息在规定的时刻输出给物体信息生成部22。保存在存储器中的物体区域的信息可以是图像的形式，也可以变换为游程长度编码(run length code)或链码(chain code)那样的形式，还可以是其他形式。
[0070]
物体区域提取部21例如在多个区分图像的每一个中，提取以高密度存在有信号电平高的像素的区域作为物体区域。不过，物体区域提取处理的方法不限于此，例如，也可以通过针对所有的区分图像将同一个像素的信号电平相加来生成亮度图像，在亮度图像中提取高密度存在有信号电平高的像素的区域作为物体区域。
[0071]
图3(a)表示在目标空间中存在有人的场景和被人反射的反射光的到来图案，图3(b)表示拍摄的区分图像的例子。在图3(a)的场景中，人跨越第k距离区分和第k+1距离区分而存在。此处，例如，如图3(b)所示，在水平方向的坐标为u、垂直方向的坐标为v的图像区域中，对像素(u’，v’)设定窗口wd，该窗口wd将作为计算对象的像素切出来。窗口wd的尺寸为宽度2δu，高度2δv。将像素(u，v)中的第k距离区分的信号电平设为sk，像下式(1)那样设定函数den(u，v，t)。
[0072]
[式1]
[0073][0074]
准备0≤th＜1的阈值th，将den(u，v，t)＞th的像素(u，v)判断为显示有物体的像的候补区域。然后，将在相邻8个方向中的任一方向上相互连接的候补区域作为一个物体区
域提取。
[0075]
需要说明的是，在进行den(u，v，t)的计算的前后阶段，为了限制物体区域或提升物体区域提取处理的灵敏度，也可以插入处理。例如，也可以这样，在测量前，生成显示有背景的各区分图像并作为参照区分图像存储起来，在计算den(u，v，t)之前，插入以下处理：选择与已生成的区分图像相对应的参照区分图像，并按每个像素从该区分图像的信号电平减去该参照区分图像的信号电平。按每个像素从区分图像的信号电平减去参照区分图像的信号电平的处理相当于从成为物体区域提取的对象的区分图像中去除背景的像的处理。
[0076]
例如，也可以在计算den(u，v，t)并提取候补区域之后，采用形态学运算(morphological operation)等的过滤方法，将起因于杂音的候补区域排除，或者使更容易将彼此靠近的候补区域相互连接起来。物体区域提取的前后处理的内容不限于以上所述，也可以采用其他方法。
[0077]
区分图像中的候补区域的提取方法不一定限于式(1)，也可以采用其他计算方法。
[0078]
[2-2-2.物体信息生成部]
[0079]
物体信息生成部22构成为：生成与已由物体区域提取部21提取的物体区域所包括的物体相关的信息。
[0080]
物体信息生成部22例如由具有处理器和存储器的计算机系统来实现。物体信息生成部22通过由处理器执行适当的程序而发挥功能。程序可以预先存储在存储器中，也可以通过互联网等电气通信线路、或从存储卡等非暂时性的存储介质来提供该程序。
[0081]
更详细而言，例如处理器执行物体信息生成处理，存储器保存已生成的物体信息。在规定的时刻将已保存在存储器中的物体信息输出给输出部30。此时，保存在存储器中的物体信息可以是图像，也可以是矢量或字符串等其他形式。
[0082]
物体信息生成部22例如针对物体区域中包括的每一个物体，生成与中心的三维位置坐标、面积、三维形状有关的信息，并作为维度与上述信息的数量相等的物体信息矢量输出。需要说明的是，在本实施方式中，为了简化说明，判断为一个物体区域相当于一个物体的像。不过，并非一定需要判断为一个物体区域相当于一个物体的像，也可以如后述的变形例所记载的那样，判断为在一个物体区域中存在多个物体。或者，也可以判断为多个物体区域相当于一个物体。
[0083]
物体信息生成部22并非一定要生成上述物体信息，也可以生成其他特征。例如，也可以通过进行多个测量周期之间的处理，生成物体在三维空间中的移动方向和速度。或者，也可以生成物体的像的力矩(moment)、物体的像的外接矩形的纵横比等二维特征。在判断为在目标空间中存在多个物体的情况下，也可以生成与其他物体的相对位置等的关系。物体信息生成部22也可以不将已生成的物体信息作为每个物体的矢量输出，而以其他形式输出。也可以不必在所有的测量周期中输出相同种类的物体信息。
[0084]
在本实施方式中，物体信息生成部22利用多个区分图像的多个像素来生成物体的中心的三维位置坐标。
[0085]
图4是表示图3(a)所示的显示有人的像的像素中的第一个到第n个距离区分的信号电平的一例的图。在图3(a)的例子中，人跨越第k距离区分和第k+1距离区分而存在。因此，如图4所示，相当于人的像的像素的信号电平在第k距离区分中最大，接着在第k+1距离区分中表现为较大的值。利用该信号电平的比率，能够以比距离区分的大小更细的单位来
获取人的距离。然而，实际上，各距离区分中的信号电平的大小关系会由于杂音或物体表面的凹凸图案等局部特征等而颠倒，信号电平的比率会由于杂音或物体表面的凹凸图案等局部特征等而变化。因此，利用与单一像素相关的信号电平的比率的方法，作为物体的代表信息有时并不充分。
[0086]
物体信息生成部22以物体的中心存在的合理的距离区分为中心，利用前后三距离区分的信号电平来生成距离。物体的中心存在的合理的距离区分k例如用下式(2)来计算。
[0087]
[式2]
[0088][0089]
需要说明的是，距离区分k的计算方法不限于式(2)，也可以通过其他计算方法来实现。
[0090]
接着，利用第k距离区分及其前后的距离区分即第k-1距离区分及第k+1距离区分的信号电平，用下式(3)来生成物体的中心距离。
[0091]
[式3]
[0092][0093]
不过，将到第k距离区分的中央的距离设为dk。通过上述计算能够以比距离区分的尺寸小的单位生成距离值，能够在深度方向上对存在于同一个区分图像内的物体进行分离。需要说明的是，在式(2)、式(3)中，为了切出作为计算对象的像素而使用图3(b)所示的矩形窗口wd。与专利文献1所记载的技术相比，通过式(3)的计算，能够以相同次数的测量周期并以1/4δuδv倍左右的距离单位来进行测量。
[0094]
需要说明的是，在计算物体的中心距离时，也并非一定要使用式(3)。例如，也可以不使用与以第k距离区分为中心的前后三个距离区分相对应的区分图像，而使用更多的区分图像。或者，也可以用仅与人跨越存在的第k距离区分和第k+1距离区分这两个距离区分相对应的两个区分图像进行计算。
[0095]
在上述式(1)～(3)中，为了切出作为计算对象的像素而使用了矩形的窗口wd。不过，用于切出作为计算对象的像素的窗口也可以是例如接近圆形的形状、画框那样的形状等其他形状。
[0096]
也可以不将窗口内的所有像素都用于计算，而将窗口内的像素进行间除(thinning)后再作为计算对象。通过对窗口内的像素进行间除后再作为计算对象，能够在不失去物体区域的整体范围信息的情况下减少计算量。
[0097]
也可以根据与成为计算对象的区分图像相对应的距离区分的距离dk决定用于计算的像素的个数。例如，也可以间除窗口内的像素，以使计算对象的像素数与dk^2成正比例。这样一来，在对大小程度相同的物体进行距离计算的过程中，能够抑制因物体的距离而在计算量及计算精度上产生的偏差。
[0098]
进而，不是针对所有的物体区域都使用外接矩形等固定形状的窗口，而以与物体的像相同的形状、或切出物体的像的一部分的形状等形成窗口也是可以的。
[0099]
物体信息生成部22能够用上述式(3)等对物体的中心以外的部位计算距离。在计
算物体的中心以外的部位的距离的情况下，例如，不是在物体的中心附近的坐标处使用窗口进行剪切，而是在作为计算对象的部位的中心附近的坐标的周围使用窗口进行剪切，并计算距离即可。
[0100]
物体信息生成部22生成与物体的三维形状相关的信息。在本实施方式中，作为与物体的三维形状相关的信息，判断物体在深度方向上是凹状还是凸状、或者是平面。物体信息生成部22对物体区域设定多个窗口，根据使用各窗口求出的物体的距离信息生成与物体的形状相关的信息。
[0101]
图5是表示在目标空间中存在人的场景和拍摄的区分图像的一例的图。在图5(a)中，人相对于物体信息生成系统1侧伸站立，并伸开双臂。如图5(b)所示，物体信息生成部22使用两个不同的窗口wd1、wd2并用式(3)来计算距离。例如，第一窗口wd1被设定为与物体的像的外接矩形相同(宽度2δu1、高度2δv1)，第二窗口wd2被设定为比物体的像小且剪切物体的像的中心附近(宽度2δu2、高度2δv2)。第一窗口wd1是包括整个物体区域的窗口的一例，第二窗口wd2是由物体区域的一部分构成的窗口的一例。
[0102]
在物体(在此为人)相对于物体信息生成系统1为凸状的情况下，与第二窗口wd2相比，在第一窗口wd1中包括很多距离值大的像素。因此，用第一窗口wd1计算出的距离d1会比用第二窗口wd2计算出的距离d2远。物体信息生成部22设定规定的正的阈值th
cv
，将th
cv
＜d1-d2的物体判断为凸状。同样地，设定规定的正的阈值th
cc
，将th
cc
＜d2-d1的物体判断为凹状。在与凸状和凹状均不符合的情况下，将其判断为平面。
[0103]
不过，除了上述三种形状判断之外，例如可以生成(d1-d2)的值或d1和d2的值作为物体信息。
[0104]
[3.输出部]
[0105]
输出部30构成为：将已由物体信息生成部22生成的物体信息输出给外部装置2。外部装置2例如是液晶显示器、有机el显示器(el：electro luminescence)等显示装置。输出部30使外部装置2显示已由物体信息生成部22生成的物体信息。
[0106]
或者，外部装置2可以是具有处理器和存储器的计算机系统，输出部30可以向外部装置2输出已在物体信息生成部22生成的物体信息，外部装置2可以进一步利用物体信息对出现在目标空间的物体的形状、位置或运动情况进行分析。
[0107]
外部装置2不限于上述显示装置或计算机系统，也可以是其他装置。
[0108]
如上所述，根据本实施方式，在物体信息生成系统1中，由摄像部10拍摄多个区分图像，该多个区分图像分别与对目标空间进行分割而得到的多个距离区分相对应。在信号处理部20中，由物体区域提取部21从多个区分图像中提取包括物体的像的像素区域即物体区域。然后，由物体信息生成部22对物体区域决定出用于切出作为计算对象的像素的窗口，用两个以上的区分图像中的窗口内的多个像素的信息进行计算，来生成物体的距离信息。因此，通过利用多个像素的信息便能够去除杂音，不需要为了去除杂音而对同一个像素进行多次测量。由于计算对象为对物体区域决定出的窗口内的像素，所以与将全部像素作为计算对象的方法相比，计算量显著降低。因此，能够在短时间内进行距离信息的生成。
[0109]
也可以对物体区域设定不同的多个窗口，用各窗口分别生成物体的距离信息。这样一来，能够容易地得到物体的多个位置的距离信息。此外，也可以利用使用各窗口分别生成的物体的距离信息，来生成与物体的形状有关的信息。
[0110]
对于物体区域，也可以改变条件来进行多次距离计算。例如，可以在窗口内改变用于计算的像素数，并进行多次距离计算。或者，也可以改变窗口的形状，进行多次距离计算。
[0111]
[4.物体信息生成方法]
[0112]
与物体信息生成系统相同的功能可以在物体信息生成方法中具体化。物体信息生成方法是一种利用tof法(tof：time of flight；飞行时间)获取到物体的距离的信息并对已生成的图像进行处理的方法。
[0113]
图6和图7是表示物体信息生成方法的例子的流程图。在摄像步骤s10中，针对在深度方向上将目标空间分割为多个距离区分的每个距离区分，生成多个区分图像。如图7(a)所示，在物体区域提取步骤s21中，在各个区分图像中，提取有可能是物体的像的候补区域(s211)，并提取连结起来的候补区域作为物体区域(s212)。在物体信息生成步骤s22中，如图7(b)所示，对在物体区域提取步骤s21中提取出的物体区域决定出关注点(s221)，决定包括其周围的窗口(s222)，用窗口内的像素计算距离值(s223)。然后，生成已计算出的距离值本身、或者生成与使用了距离值的物体的特征相关的信息(s224)作为物体信息。对每个物体区域执行上述处理，当对所有物体区域的处理结束时，物体信息生成步骤s22结束(s225)。已生成的物体信息输出给外部装置(s30)。
[0114]
物体信息生成方法可以通过计算机程序或者存储有程序的非暂时性的存储介质等来实现。程序使计算机系统执行物体信息生成方法。
[0115]
物体信息生成系统在物体信息生成部等中包括计算机系统。计算机系统主要由作为硬件的处理器和存储器构成。通过由处理器执行存储在计算机系统的存储器中的程序，实现物体信息生成部等的功能。程序可以预先存储在计算机系统的存储器中，也可以通过电气通信线路提供，还可以存储在计算机系统能够读取的存储卡、光盘、硬盘驱动器等非暂时性存储介质中来提供。计算机系统的处理器由包括半导体集成电路(ic)或大规模集成电路(lsi)的一个或多个电子电路构成。多个电子电路可以集中在一个芯片上，也可以分散着设置在多个芯片上。多个芯片可以集中在一个装置中，也可以分散着设置在多个装置中。此外，作为物体信息生成系统的功能，也可以通过云端(云端计算)来实现。
[0116]
[5.变形例]
[0117]
[5-1.第1变形例]
[0118]
在上述实施方式中，设一个物体区域相当于一个物体的像来生成物体信息，但也可以考虑在一个物体区域中包括多个物体的像的可能性来进行物体区域的分离可否判断。
[0119]
图8(a)是表示在目标空间中存在多个物体的场景的图，图8(b)是表示己拍摄下物体的区分图像的图。在图8(a)中，两个物体ob1、ob2相对于物体信息生成系统1沿水平方向排列，被拍摄为同一个区分图像。在图8(b)中，显示有两个物体ob1和ob2的像的范围内的像素被作为候补区域提取，并根据它们彼此间的连结性被作为一个物体区域提取。在这种情况下，在本变形例中，物体信息生成系统1判断能否对物体区域进行分离，即能否对物体ob1、ob2的物体区域进行分离。
[0120]
在本变形例中，物体信息生成部22对每个物体区域执行两次判断物体区域分离可否的分离可否判断处理。也就是说，在水平方向上进行一次物体区域的分离可否判断，在垂直方向上进行一次物体区域的分离可否判断。
[0121]
在分离可否判断处理中，首先，在水平方向上对物体区域进行分离可否判断。以成
为物体区域的外接矩形的中心的(u
″
，v
″
)为中心，设定包括外接矩形的窗口wd3(宽度2δu3，高度2δv3)。用式(3)，作为(u’，v1)＝(u”，v”)、(δu，δv)＝(δu3，δv3)计算距离dc。
[0122]
接着，以(u”+δu3/2，v”)为中心，设定包括外接矩形内的区域的右半部分的窗口wd4(宽度δu3，高度2δv3)。用式(3)，作为(u’，v’)＝(u”+δu3/2，v”)，(δu，δv)＝(δu3/2，δv3)计算距离dr。
[0123]
进而，以(u
”‑
δu3/2，v”)为中心，设定包括外接矩形内的区域的左半部分的窗口wd5(宽度δu3，高度2δv3)。用式(3)，作为(u’，v’)＝(u
”‑
δu3/2，v”)，(δu，δv)＝(δu3/2，δv3)计算距离dl。
[0124]
在图8的例子中，由于画面右侧的物体ob2较远，左侧的物体ob1较近，因此计算出的距离dc、dr、dl的关系为：dl＜dc＜dr。
[0125]
在分离可否判断处理中，在(dr-dc)(dc-d1)＞0且相对于规定阈值ths为|dr-dl|＞ths的情况下，判断为在u＝u”能够在水平方向上对物体区域进行分离。物体信息生成部22生成并输出分别针对左右物体ob1、ob2的物体信息。
[0126]
通过在垂直方向上应用与上述处理相同的处理，能够在垂直方向上进行分离可否判断。
[0127]
需要说明的是，物体信息生成部22也可以不是相对于在分离可否判断处理中被判断为能够分离的物体区域，对各个物体生成物体信息，而是相对于物体区域生成一个物体信息，作为物体信息之一生成并输出分离可否的信息。也可以输出可分离的坐标。
[0128]
需要说明的是，判断分离可否的次数不限于两次，判断分离可否的次数也可以是一次或三次以上。例如，如上所述，在判断了在u＝u”水平方向上的分离可否以后，作为(u’，v’)＝(u”+δu3/4，v”)、(δu，δv)＝(δu3/4，δv3)，在切出外接矩形的右半部分的区域的、进而左半部分的区域的窗口，计算距离drl。同样地，在切出外接矩形的左半部分的区域的、进而右半部分的区域的窗口，计算距离dlr。然后，也可以利用距离drl、dc、dlr来进一步判断分离可否。通过重复该处理，例如，能够判断物体是在水平方向上具有较缓的倾斜，还是在中心附近在深度方向上具有台阶(多个物体重叠)。
[0129]
此外，例如，在满足(dr-dc)(dc-dl)＞0和dr-dl＞ths却不满足(drl-dc)(dc-dlr)＞0或drl-dlr＞ths的情况等下，存在可分离的坐标不是u＝u”的可能性。因此，也可以在中心附近任意地对窗口进行变形，执行详细地搜索可分离点的处理。判断分离可否的方向并不限于水平方向或垂直方向。
[0130]
在分离可否判断处理中，窗口的形状和大小并不限于上述形状和大小。
[0131]
[5-2.第2变形例]
[0132]
在上述例子中，受光部12构成为：输出多个区分图像，物体区域提取部21和物体信息生成部22构成为：利用区分图像进行物体区域的提取和物体信息的生成。不限于该构成，也可以构成为：物体信息生成系统1包括图像合成部，该图像合成部利用受光部12已输出的多个区分图像，对每个像素生成已存储有与距离相关的信息的距离图像；物体区域提取部21及物体信息生成部22利用距离图像进行物体区域的提取和物体信息的生成。
[0133]
在本变形例的图像合成部中，针对各像素计算与信号电平最高的距离区分相对应的距离，并作为距离图像中的该像素的像素值进行存储。或者，例如，也可以进行如下处理：对于各像素，仅在多个距离区分中的最高信号电平大于阈值thb的情况下，将与该距离区分
相对应的距离作为距离图像中的该像素的像素值进行存储；在多个距离区分中的最高信号电平在thb以下的情况下，存储表示测量无效的值。
[0134]
不过，距离图像的像素值的生成方法不限于上述方法，例如，也可以针对各像素，以信号电平最高的距离区分为中心，根据其前后的距离区分的信号电平之比，以比距离区分的尺寸小的单位计算距离，并作为距离图像的像素值进行存储。
[0135]
本变形例中的图像合成部将上述处理应用到所有像素中，将距离图像输出给物体区域提取部21。
[0136]
物体区域提取部21，当在距离图像中，具有同一距离值的像素彼此在相邻的八个方向的任意一个方向上连结起来的情况下，将该连结起来的像素组作为一个物体区域提取。需要说明的是，连结性判断并不限于此，例如，在被关注的像素的上下左右四个方向中的任一方向上连结起来的情况下，也可以视为连结。或者，也可以这样做，在进行连结性判断之前，制作在具有相同距离值的像素的坐标中存储了1、在除此以外的像素的坐标中存储了0的二值图像，使用形态学运算或中值滤波器等对该二值图像进行了前处理之后，再对该二值图像进行连结性判断。
[0137]
物体信息生成部22用已在图像合成部生成的距离图像的像素值进一步计算物体区域的距离值，以便用于与物体的三维位置坐标、物体的三维形状相关的信息的生成或者分离可否判断等。
[0138]
例如，物体信息生成部22，在关注的物体区域在第k距离区分被提取以后，将窗口的中心坐标设为(u’，v’)，将窗口内表示与dk相等的距离的像素的数量设为ck，用下式(4)来计算距离。
[0139]
[式4]
[0140][0141]
物体信息生成部22用d(u’，v’)生成与物体的三维位置坐标或三维形状有关的信息或者生成分离可否判断等。
[0142]-产业实用性-[0143]
本发明所涉及的物体信息生成系统能够在短时间内进行物体的距离信息的生成，因此在将物体信息生成系统应用到例如监控摄像机、分析人的行动的系统、检测障碍物的系统等中时，很有用。
[0144]-符号说明-[0145]
1 物体信息生成系统
[0146]
10 摄像部
[0147]
20 信号处理部
[0148]
21 物体区域提取部
[0149]
22 物体信息生成部。

技术特征：
1.一种物体信息生成系统，其特征在于：包括摄像部和信号处理部，所述摄像部拍摄多个区分图像，该多个区分图像分别与对目标空间进行分割而得到的多个距离区分相对应，所述信号处理部对所述多个区分图像进行处理以生成与存在于所述目标空间中的物体相关的信息，所述信号处理部包括物体区域提取部和物体信息生成部，所述物体区域提取部从所述多个区分图像中提取物体区域，该物体区域是包括物体的像的像素区域，所述物体信息生成部对所述物体区域决定出用于切出作为计算对象的像素的窗口，用所述多个区分图像中的两个以上的区分图像中的、所述窗口内的多个像素的信息进行计算，来生成物体的距离信息。2.根据权利要求1所述的物体信息生成系统，其特征在于：所述物体信息生成部对所述对象区域设定多个不同的窗口，使用所述各窗口分别生成物体的距离信息。3.根据权利要求2所述的物体信息生成系统，其特征在于：所述物体信息生成部用物体的距离信息生成与对象的形状相关的信息，所述物体的距离信息是使用所述各个窗口分别生成的。4.根据权利要求2所述的物体信息生成系统，其特征在于：所述物体信息生成部用物体的距离信息判断物体区域的分离可否，所述物体的距离信息是使用所述各个窗口分别生成的。5.根据权利要求1所述的物体信息生成系统，其特征在于：所述物体信息生成部根据与成为计算对象的区分图像相对应的距离区分的距离决定用于计算的像素的个数。6.根据权利要求1所述的物体信息生成系统，其特征在于：所述信号处理部包括图像合成部，所述图像合成部用所述多个区分图像生成对每个像素都赋予了距离值的距离图像，所述物体区域提取部在所述距离图像中提取所述物体区域。7.根据权利要求1所述的物体信息生成系统，其特征在于：所述信号处理部包括图像合成部，所述图像合成部用所述多个区分图像生成对每个像素都赋予了距离值的距离图像，所述物体信息生成部用所述距离图像生成物体的距离信息。8.一种物体信息生成方法，其对多个区分图像进行处理，生成与存在于目标空间中的对象相关的信息，所述多个区分图像分别与对所述目标空间进行分割而得到的多个距离区分相对应，其特征在于：所述物体信息生成方法包括以下步骤：从所述多个区分图像中提取物体区域的步骤，所述物体区域是包括物体的像的像素区域；对所述物体区域决定出用于切出作为计算对象的像素的窗口的步骤；以及用所述多个区分图像中的两个以上的区分图像中的、所述窗口内的多个像素的信息进行计算，来生成物体的距离信息的步骤。
9.一种程序，其特征在于：使包括一个以上的处理器的计算机系统执行权利要求8所述的物体信息生成方法。

技术总结
在物体信息生成系统中，能够在短时间内生成距离信息。在物体信息生成系统(1)中，摄像部(10)拍摄多个区分图像，该多个区分图像分别与对目标空间进行分割而得到的多个距离区分相对应。在信号处理部(20)中，物体区域提取部(21)从多个区分图像中提取物体区域，该物体区域是包括物体的像的像素区域。物体信息生成部(22)对物体区域决定出用于切出作为计算对象的像素的窗口，用两个以上的区分图像中的窗口内的多个像素的信息进行计算来生成物体的距离信息。离信息。离信息。


技术研发人员：汤浅佑亮 斋藤繁 能势悠吾 山田翔太 香山信三 泽田昌幸 广濑裕 小田川明弘
受保护的技术使用者：松下知识产权经营株式会社
技术研发日：2022.01.20
技术公布日：2023/10/6