信息处理装置、信息处理方法、信息处理程序与流程

1.本技术涉及信息处理装置、信息处理方法、信息处理程序。


背景技术：

2.对于根据通过对对象物成像而得到的图像、深度图等提取确定的区域的各种技术进行了提案。例如，通过使用能够成像rgb(red,green,blue：红、绿、蓝)图像的所谓的rgb相机能够提取颜色不同的区域。
3.另外，为了提取区域也能够使用被称为tof(time of flight：飞行时间)的技术。存在被称为tof的通过按照每个像素测量向对象物照射的脉冲光的反射时间来获取距离信息(深度信息)的技术。
4.关于tof，为了更准确地获取距离信息(深度信息)，提案了使用利用两个图像按照立体方式计算的立体距离和tof进行对象物的准确的距离信息的生成的技术(专利文献1)。
5.现有技术文献
6.专利文献
7.专利文献1：wo2017/159312号公报。


技术实现要素：

8.发明所要解决的技术问题
9.但是，存在即便使用rgb相机，也无法从对象物的图像、深度图等准确地提取是不同的区域但是颜色相同或颜色近似的区域的技术问题。另外，即便提高通过tof生成距离信息的精度，仍然存在同样的技术问题。
10.本技术是鉴于这样的点而提出的，并以提供能够提取对象物的图像、深度图中的颜色相同或颜色近似的区域的信息处理装置、信息处理方法、信息处理程序为目的。
11.用于解决技术问题的方案
12.为了解决上述技术问题，第一技术是一种信息处理装置，具备：差分图生成部，根据通过tof传感器获取的针对对象物的第一深度图和针对对象物的第二深度图生成差分图；以及区域提取部，基于差分图提取第一深度图上的区域。
13.另外，第二技术是一种信息处理方法，根据通过tof传感器获取的针对对象物的第一深度图和针对对象物的第二深度图生成差分图；以及基于差分图提取第一深度图上的区域。
14.并且，第三技术是一种信息处理程序，使计算机执行信息处理方法，在所述信息处理方法中，根据通过tof传感器获取的针对对象物的第一深度图和针对对象物的第二深度图生成差分图；以及基于差分图提取第一深度图上的区域。
附图说明
15.图1为示出第一实施方式中的信息处理系统10的构成的框图。
16.图2为示出第一实施方式中的信息处理装置100的构成的框图。
17.图3为示出第一实施方式中的信息处理装置100的功能块的构成的框图。
18.图4为示出第一实施方式中的信息处理装置100的处理的流程图。
19.图5为检测直方图中的峰值的说明图。
20.图6为示出第一实施方式中的显示用图像的例子的图。
21.图7为示出第二实施方式中的信息处理装置200的功能块的构成的框图。
22.图8为示出种类确定用的表的例子的图。
23.图9为示出第二实施方式中的信息处理装置200的处理的流程图。
24.图10为示出直方图的例子的图。
25.图11为示出第二实施方式中的显示用图像的例子的图。
26.图12为示出第三实施方式中的信息处理系统30的构成的框图。
27.图13为示出第三实施方式中的信息处理装置300的功能块的构成的框图。
28.图14为三维形状数据的说明图。
29.图15为示出第三实施方式中的信息处理装置300的处理的流程图。
30.图16为第三实施方式的效果的说明图。
具体实施方式
31.下面参照附图对本技术的实施方式进行说明。需要说明的是，按照下面的顺序进行说明。
32.＜1.第一实施方式＞
33.[1-1.信息处理系统10的构成]
[0034]
[1-2.信息处理装置100的构成]
[0035]
[1-3.信息处理装置100的处理]
[0036]
＜2.第二实施方式＞
[0037]
[2-1.信息处理装置200的构成]
[0038]
[2-1.信息处理装置200的处理]
[0039]
＜3.第三实施方式＞
[0040]
[3-1.信息处理系统30的构成]
[0041]
[3-2.信息处理装置300的构成]
[0042]
[3-3.信息处理装置300的处理]
[0043]
＜4.变形例＞
[0044]
＜1.第一实施方式＞
[0045]
[1-1.信息处理系统10的构成]
[0046]
参照图1对本技术的第一实施方式中的信息处理系统10的构成进行说明。信息处理系统10由信息处理装置100、tof传感器500、测距传感器600构成。
[0047]
信息处理装置100是基于tof传感器500所生成的针对对象物的深度图和测距传感器600所生成的针对对象物的图像、深度图进行区域提取处理的装置。
[0048]
对象物指的是成为信息处理装置100的区域提取处理的对象的物品，是能够区别的两个以上的物品和/或虽然作为物品是一个但在其表面中存在多个由不同的材质、原料、
memory：随机存取存储器)和rom(read only memory：只读存储器)等构成。cpu通过按照存储于rom的程序执行各种处理并发布命令来进行整个信息处理装置100和各部的控制。
[0061]
存储部160例如是硬盘、闪存等大容量存储介质。存储部160保存有信息处理装置100中的处理中所使用的程序、校准用数据、表等。
[0062]
接口170是进行与tof传感器500和测距传感器600之间的通信的接口。接口170可以包括有线或无线的通信接口。另外，更具体地说，有线或无线的通信接口可以包括3tte等蜂窝式通信、wi-fi、蓝牙(bluetooth(注册商标))、nfc(near field communication：近场通信)、以太网(注册商标)、hdmi(注册商标)(high-definition multimedia interface：高清多媒体接口)、usb(universal serial bus：通用串行总线)等。另外，在信息处理装置100与tof传感器500和测距传感器600硬件式地连接的情况下，接口170可以包括装置间的连接端子、装置内的总线等。另外，在信息处理装置100分散于多个装置来实现的情况下，接口170可以包括用于各个装置的不同种类的接口。例如，接口170也可以包括通信接口和装置内的接口两方。
[0063]
显示部180例如是由lcd(liquid crystal display：液晶显示器)、pdp(plasma display panel：等离子体显示面板)、有机el(electro luminescence：电致发光)面板等构成的显示用设备。
[0064]
如图3所示，信息处理装置100构成为具备深度图生成部101、差分图生成部102、区域提取部103、图像处理部104这些功能块。这些中的各部是通过控制部150来实现的功能。另外，各部与tof传感器500和测距传感器600之间的数据、信息的收发使用接口170来进行。
[0065]
深度图生成部101通过使用利用构成测距传感器600的第一rgb相机610成像的第一rgb图像和利用第二rgb相机620成像的第二rgb图像进行基于图案匹配等的三角测量来生成第二深度图。
[0066]
差分图生成部102使用通过tof传感器500生成的第一深度图和通过深度图生成部101生成的第二深度图生成差分图。
[0067]
区域提取部103使用第一深度图和差分图提取第一深度图上的区域。
[0068]
图像处理部104生成用于示出区域提取部103的提取结果的显示用图像。
[0069]
信息处理装置100以上文所述的方式构成。需要说明的是，信息处理装置100中的功能块既可以通过执行程序来实现，也可以设为通过执行该程序而使个人计算机、平板终端、智能手机、服务器装置等作为信息处理装置100而具备功能。该程序既可以预先安装于个人计算机等装置，也可以设为通过下载、存储介质等发行，并由用户自行安装。
[0070]
[1-3.信息处理装置100的处理]
[0071]
接下来，参照图4的流程图对信息处理装置100的处理进行说明。
[0072]
首先，在步骤s101中，信息处理装置100从tof传感器500获取针对对象物的第一深度图。
[0073]
另外，在步骤s102中，信息处理装置100从测距传感器600获取第一rgb图像和第二rgb图像。需要说明的是，步骤s101和步骤s102不需要一定按照该顺序进行，既可以按照相反的顺序进行，也可以几乎同时进行。
[0074]
接下来，在步骤s103中，深度图生成部101通过使用第一校准用数据进行基于图案匹配等的三角测量来根据第一rgb图像和第二rgb图像生成第二深度图。
[0075]
第一校准用数据是示出第一rgb相机610与第二rgb相机620的相对位置关系的数据。由于第一rgb相机610和第二rgb相机620的视角不同，故而为了生成第二深度图，需要使用第一校准用数据来使其视角一致。
[0076]
另外，为了进行图案匹配，还需要考虑第一rgb相机610与第二rgb相机620的畸变像差(失真)。可以将该失真校正用数据也提前包括在第一校准用数据中。
[0077]
需要说明的是，第一校准用数据既可以预先存储在存储部160中，也可以由信息处理装置100提前保持。另外，也可以设为在外部的服务器等中提前保存第一校准用数据，信息处理装置100通过接口170访问该服务器以读取所述第一校准用数据。
[0078]
接下来，在步骤s104中，差分图生成部102基于第一深度图和第二深度图生成差分图。
[0079]
在生成差分图中，首先，使用第二校准用数据将第二深度图投影到第一深度图以生成差分图生成用图。
[0080]
第二校准用数据为示出tof传感器500与测距传感器600的相对位置关系的数据。由于tof传感器500和测距传感器600是不同个体且视角不同，故而利用第二校准用数据使其视角一致以将第二深度图投影到第一深度图。然后，通过按照构成第一深度图的每个像素计算与差分图生成用图之间的差来生成差分图。
[0081]
需要说明的是，第二校准用数据既可以预先存储于存储部160，也可以由信息处理装置100提前保持。另外，也可以设为在外部的服务器等中提前保存第二校准用数据，信息处理装置100通过接口170访问该服务器以读取所述第二校准用数据。
[0082]
接下来，在步骤s105中，区域提取部103生成差分图的直方图，并根据直方图检测峰值。例如如图5的a所示地检测直方图中的峰值。按照每个区域检测峰值。例如，在对象物是两个物品的情况下，检测两个峰值。在对象物虽然是一个物品但是在该物品的表面中有两个能够区别的区域的情况下，检测两个峰值。
[0083]
接下来，在步骤s106中，区域提取部103通过从构成第一深度图的全部的像素之中提取全部的根据直方图检测出的具有峰值的深度差的像素来提取区域。
[0084]
或者，如图5的b如所示，区域提取部103通过从第一深度图上提取全部的包括在以根据直方图检测出的峰值为中心的预定量的宽度中的具有深度差的像素来提取区域。
[0085]
以峰值为中心的预定量的宽度是根据因tof传感器500和测距传感器600的性能而产生的深度的差异、各对象物的深度的差异等设定的宽度，在在信息处理装置100中提前对其进行设定。通过提取全部的包括在预定量的宽度中的具有深度差的像素能够根据因tof传感器500和测距传感器600的性能而产生的深度的差异、各对象物的深度的差异等适当地提取区域。
[0086]
关于是基于峰值进行区域的提取还是基于以峰值为中心的预定量的宽度进行区域的提取，既可以设为用户能够选择，也可以设为信息处理装置100基于tof传感器500和测距传感器600的性能等设定提取方法。
[0087]
利用tof传感器500能够获取的深度通过上述多路径因对象物的材质等而偏离真值。所以，通过比较利用其他方法(在本实施方式中通过测距传感器600)获取到的针对相同对象物的深度和利用tof传感器500获取到的深度来把握该偏离，能够进行按照每个材质等进行的区域提取。
[0088]
接下来，在步骤s107中，图像处理部104生成描绘从第一深度图上提取到的区域的显示用图像。显示用图像的生成通过将提取到的区域描绘在第一深度图上来进行。需要说明的是，也可以通过描绘在第二深度图、第一rgb图像、第二rgb图像中的任一个中来进行显示用图像的生成。通过将生成的显示用图像显示于显示部180，用户能够确认提取到的区域。
[0089]
例如设为对象物是“拿汤匙的人的手”，汤匙是木制的，其颜色与人的手近似。在此，“颜色近似”指的是构成汤匙的颜色的要素、即色调、色饱和度、亮度的值与构成手(肌肤)的颜色的色调、色饱和度、亮度的值处于预定的近似的范围内的状态、表示汤匙的颜色的rgb的值与表示手(肌肤)的颜色的rgb的值处于预定的近似的范围内状态。
[0090]
设为对象物、即“汤匙和手”的灰色图像为图6的a所示的图像，对象物的第一深度图为图6的b示出的图像，汤匙和手分别由区域提取部103提取为不同的区域。在该情况下，显示用图像如图6的c所示地，通过用不同的颜色描绘分别被提取为区域的汤匙和手，而变为表现这些被提取为了不同的区域的图像。
[0091]
通过如此提取区域，既存在提取两个以上的物品的情况，也存在提取虽然作为物品是一个却是该物品的表面上的由不同的材质等构成的多个区域的情况。并且，还存在提取两个以上的物品并且提取在该物品的表面中两个以上的能够区别的区域的情况。
[0092]
以上文所述的方式进行第一实施方式的处理。根据第一实施方式，由于基于深度差提取区域，故而能够提取由于颜色相同或相似而无法仅利用rgb的图像来提取的区域。
[0093]
＜2.第二实施方式＞
[0094]
[2-1.信息处理装置200的构成]
[0095]
接下来，对本技术的第二实施方式进行说明。信息处理系统10的构成与第一实施方式相同。如图7所示，第二实施方式中的信息处理装置200构成为具备深度图生成部101、差分图生成部102、区域提取部103、种类确定部201、图像处理部104这些功能块。深度图生成部101、差分图生成部102、区域提取部103、图像处理部104由于与第一实施方式中的各部相同，故而省略其说明。
[0096]
种类确定部201通过参照将在利用tof传感器500获取的深度图与根据利用测距传感器600获取的图像生成的深度图中的深度差的峰值和对象物的种类预先对应关联的图8所示的那样的表来确定构成对象物的材质等的种类。需要说明的是，表既可以由种类确定部201具有，也可以设为预先保存于存储部160，种类确定部201读取存储部160的表。另外，也可以设为提前在外部的服务器等中保存表，信息处理装置200通过接口170访问该服务器以读取表。图8示出的表是为了便于说明而示出的，并不是说图8中记载的木材、食物、肌肤、布的深度差就是图8示出的值。
[0097]
种类指的是对性质、形态等按照某一基准是相同的物品进行分类并将各类进行汇总而得出的属性。种类中例如存在金属、植物、食物、生物、布、合成树脂、矿物、纸等各种物品。需要说明的是，种类也可以进一步地详细分类，例如，也可以将食物更详细地分类为蔬菜和肉类，将金属进一步分类为铁、铜、金等。
[0098]
[2-1.信息处理装置200的处理]
[0099]
接下来，参照图9的流程图对第二实施方式中的信息处理装置200的处理进行说明。
[0100]
由于从步骤s101到步骤s106与第一实施方式中的处理相同，故而省略说明。
[0101]
当区域提取部103在步骤s106中提取了第一深度图上的区域时，接下来，种类确定部201在步骤s201中确定区域提取部103提取的区域的种类。
[0102]
例如，设为在表为深度差和构成物品的材质等种类如图8所示地对应关联的表的情况下，区域提取部103所生成的对象物的直方图为图10示出的直方图。然后，比较表和对象物的直方图，在峰值的位置包括在表中的某一种类的范围内的情况下，确定为构成该区域的材质等的种类。
[0103]
在图8的表和图10的直方图中，由于图10的直方图的两个峰值分别包括在图8的表中的“木材”和“肌肤”中，故而能够将种类确定为提取的区域是木材的区域和肌肤的区域。
[0104]
接下来，在步骤s202中，图像处理部104生成描绘从第一深度图上提取的区域和该区域的种类的显示用图像。显示用图像的生成通过在第一深度图上描绘提取区域来进行。需要说明的是，也可以在第二深度图、第一rgb图像、第二rgb图像中的任一个中进行描绘来进行显示用图像的生成。
[0105]
设为对象物、即“汤匙和手(肌肤)”的灰色图像为图11的a示出的图像，对象物的第一深度图为图11的b示出的图像，汤匙和手(肌肤)分别被区域提取部103提取为不同的区域。在该情况下，显示用图像如图11的c所示地，通过利用不同的颜色描绘分别被提取为不同的区域的汤匙和手(肌肤)，而变为表现它们被提取为了不同的区域的图像。
[0106]
并且，在图11的c示出的显示用图像中，对应提取的各区域，通过文字示出了确定的各区域的种类。通过将该显示用图像在显示部180中进行显示，用户能够确认提取的区域和该区域的种类。需要说明的是，显示用图像中的区域的种类的示出方法可以是图11的d示出的那样的方法，只要用户能够知晓区域的种类，则可以是任何方法。需要说明的是，在图11的d中设为用蓝色表现汤匙、用红色表现手(肌肤)。
[0107]
以上文所述的方式进行第二实施方式中的处理。根据第二实施方式，除了能够进行对象物中的区域的检测之外，还能够确定构成该区域的材质等的种类。
[0108]
需要说明的是，为了进行详细的种类的确定(例如，在食品中确定肉类、蔬菜等种类、确定蔬菜中的萝卜、葱、胡萝卜等)，只要进行实验以获取深度差并准备表即可。
[0109]
＜3.第三实施方式＞
[0110]
[3-1.信息处理系统30的构成]
[0111]
接下来，参照图12对本技术的第三实施方式中的信息处理系统30的构成进行说明。信息处理系统30由信息处理装置300和tof传感器500构成。由于tof传感器500与第一实施方式相同，故而省略其说明。
[0112]
在第三实施方式中，将前提设为对象物在物品的表面中存在材质等与该物品不同且颜色相同或近似的区域。该区域既可以是原本就存在于物品的表面的区域，也可以是诸如用户等在物品的表面标记的由文字、图形等构成的标记的区域。“颜色近似”所指与在第一实施方式中所说明的内容相同。
[0113]
[3-2.信息处理装置300的构成]
[0114]
接下来，对第三实施方式中的信息处理装置300的构成进行说明。由于除了功能块以外的构成均与第一实施方式中的构成相同，故而省略其说明。
[0115]
如图13所示，第三实施方式中的信息处理装置300构成为具备状态推测部301、深
度图生成部101、差分图生成部102、区域提取部103、图像处理部104这些功能块。深度图生成部101、差分图生成部102、区域提取部103、图像处理部104由于与第一实施方式中的各部相同，故而省略其说明。
[0116]
状态推测部301使用三维形状数据推测对象物的状态。对象物的状态指的是对象物的形状、姿势和大小。需要说明的是，在对象物的形状为一类的情况下，对象物的状态可以仅是姿势。另外，大小不是必须的，对象物的状态也可以是姿势和形状的组合。
[0117]
三维形状数据例如为示出图14的a至图14的i所示的那样的球体、圆柱、圆锥、正方形、长方形、六棱柱、三棱锥、三棱柱、平板等多个三维的形状的数据。但是，三维形状数据不限于这些，可以是任意的三维的形状的信息。为了使得能够进行更多的各种形状的对象物的区域检测，预先准备更多的三维形状数据即可。
[0118]
三维形状数据既可以由状态推测部301具有，也可以预先保存在存储部160中，状态推测部301读取存储部160的三维形状数据。另外，也可以设为在外部的服务器等中提前保存表，信息处理装置300通过接口170访问该服务器以读取三维形状数据。
[0119]
信息处理装置300以上文那样的方式构成。
[0120]
[3-3.信息处理装置300的处理]
[0121]
接下来，参照图15的流程图对第三实施方式中的信息处理装置300的处理进行说明。需要说明的是，对于与第一实施方式相同的处理省略详细说明。
[0122]
在步骤s101中，在信息处理装置300从tof传感器500获取了针对对象物的第一深度图后，接下来，状态推测部301在步骤s301中推测对象物的状态。
[0123]
关于对象物的状态、即形状、姿势、大小的推测，首先，暂时针对一个三维形状数据决定其在三维空间中的某一视角下的姿势和大小，并求解针对从该视角观察到的三维形状的状态推测用深度图。比较该状态推测用深度图和针对对象物的第一深度图。然后，按照针对全部的三维形状数据中的各个数据能够取得的全部的图案的姿势和多个大小进行该比较处理，将深度差最小的推测为对象物的形状、姿势、大小。需要说明的是，关于大小，预先规定了范围，并在该范围内决定暂时的大小。
[0124]
届时，例如如果是球体的话，那么无论是什么姿势，深度图都是相同的，但是在该情况下，代表性地选择任一个即可。
[0125]
接下来，在步骤s302中，深度图生成部101针对在步骤s301中的处理中推测为对象物的状态的三维形状数据，结合推测出的对象物的大小，并基于推测出的对象物的姿势来生成tof传感器500视角下的第二深度图。
[0126]
接下来，在步骤s303中，差分图生成部102基于第一深度图和第二深度图生成差分图。差分图的生成与第一实施方式同样，通过在构成第一深度图的各像素中计算与第二深度图的深度差来进行。
[0127]
接下来，在步骤s304中，区域提取部103生成差分图的直方图，并根据直方图检测峰值。
[0128]
接下来，在步骤s305中，区域提取部103通过从构成第一深度图的全部像素之中提取所有的在直方图中检测出的具有峰值的深度差的像素来提取区域。
[0129]
或者，区域提取部103通过从第一深度图上提取包括在以在直方图中检测出的峰值为中心的预定量的宽度中的所有具有深度差的像素来提取区域。区域提取的方法与第一
实施方式相同。
[0130]
接下来，在步骤s306中，图像处理部104生成描绘从第一深度图上提取的提取区域的显示用图像。显示用图像的生成通过在第一深度图上描绘提取区域来进行。需要说明的是，也可以通过在第二深度图上、三维形状数据上进行描绘来进行显示用图像的生成。通过将生成的显示用图像在显示部180中进行显示，用户能够确认被提取的区域。
[0131]
如以上文所述的方式进行第三实施方式中的处理。
[0132]
根据第三实施方式，例如，在仅利用形状决定不了朝向且从上下左右任一方向观察看起来均是相同的形状的物品任一表面添加标记，在本技术中，通过提取该标记，能够容易地把握该物品地朝向、表面。
[0133]
具体地，如图16的a所示，在对象物、即箱子的前表面提前设置材质等与对象物不同的标记(在图16的a为“前”这一文字)来作为标志。然后，在本技术中将该标记提取为区域并进行识别，由此能够把握有标记的表面为该箱子的前表面。
[0134]
由于该标记即便其颜色与对象物相同或近似也能够提取，故而不会对对象物的外观造成妨碍，并且也能够使观察对象物的人不会认识到存在标记。
[0135]
另外，如图16的b所示，如果将秘密信息作为材质与对象物不同并且颜色相同或近似的区域记载到了对象物的表面中，那么通过仅使用本技术，就能够读取该秘密信息。由此能够不使他人知晓地进行秘密信息地交互。在图16的b中，在对象物、即纸中作为区域通过文字记载为了“秘密信息”。
[0136]
＜4.变形例＞
[0137]
上文中对本技术的实施方式进行了具体说明，但是本技术不限定于上述实施方式，能够进行各种基于本技术的技术思想的变形
[0138]
在实施方式中，将rgb立体相机用作了测距传感器600，但是测距传感器只要能够获取深度信息并生成深度图，则可以是任何的相机、传感器。例如，测距传感器600可以是由两个ir(红外线)相机构成的立体ir相机、基于一个ir相机和结构光(structured light)的三角测量等。
[0139]
在实施方式中，信息处理装置100从测距传感器600获取图像来生成深度图，但是也可以设为在测距传感器600、外部装置中生成深度图，并由信息处理装置100对其进行获取。
[0140]
另外，即便是在任一实施方式中，信息处理装置都可以在服务器、云中进行动作。在该情况下，信息处理装置通过网络接收tof传感器500生成的第一深度图、测距传感器600生成的图像等以进行处理。
[0141]
本技术也能够取得下面这样的构成。
[0142]
(1)一种信息处理装置，具备：
[0143]
差分图生成部，根据通过tof传感器获取的针对对象物的第一深度图和针对所述对象物的第二深度图生成差分图；以及
[0144]
区域提取部，基于所述差分图提取所述第一深度图上的区域。
[0145]
(2)根据(1)所述的信息处理装置，所述信息处理装置具备生成所述第二深度图的深度图生成部。
[0146]
(3)根据(2)所述的信息处理装置，所述深度图生成部基于通过构成作为测距传感
器的立体相机的第一摄像装置获取的第一图像和通过构成所述立体相机的第二摄像装置获取的第二图像生成所述第二深度图。
[0147]
(4)根据(1)至(3)中任一项所述的信息处理装置，所述差分图生成部通过计算构成所述第一深度图的各像素的、与所述第二深度图之间的深度差来生成所述差分图。
[0148]
(5)根据(1)至(4)中任一项所述的信息处理装置，所述区域提取部提取所述第一深度图上的与所述差分图的直方图中的峰值对应的具有深度差的区域。
[0149]
(6)根据(1)至(5)中任一项所述的信息处理装置，所述区域提取部提取所述第一深度图上的包括在以所述差分图的直方图中的峰值为中心的预定的宽度中的具有深度差的区域。
[0150]
(7)根据(1)至(6)中任一项所述的信息处理装置，所述信息处理装置具备生成示出所述区域提取部提取的区域的图像的图像处理部。
[0151]
(8)根据(1)至(7)中任一项所述的信息处理装置，所述信息处理装置具备通过参照将深度差和所述对象物的种类预先对应关联的表来确定所述对象物的种类的种类确定部。
[0152]
(9)根据(8)所述的信息处理装置，所述信息处理装置具备生成示出所述区域提取部提取的区域和所述种类确定部确定的所述对象物的种类的图像的图像处理部。
[0153]
(10)根据(1)至(9)中任一项所述的信息处理装置，所述信息处理装置具备基于所述第一深度图和根据三维形状数据生成的状态推测用深度图推测所述对象物的状态的状态推测部。
[0154]
(11)根据(10)所述的信息处理装置，所述对象物的状态是所述对象物的姿势。
[0155]
(12)根据(11)所述的信息处理装置，所述对象物的状态是所述对象物的形状。
[0156]
(13)根据(11)或(12)所述的信息处理装置，所述对象物的状态是所述对象物的大小。
[0157]
(14)根据(10)所述的信息处理装置，所述深度图生成部基于所述对象物的状态生成针对所述三维形状数据的以所述tof传感器的视角为基准的所述第二深度图，
[0158]
所述差分图生成部根据所述第一深度图和所述第二深度图生成所述差分图。
[0159]
(15)一种信息处理方法，在信息处理方法中，
[0160]
根据通过tof传感器获取的针对对象物的第一深度图和针对所述对象物的第二深度图生成差分图；以及
[0161]
基于所述差分图提取所述第一深度图上的区域。
[0162]
(16)一种信息处理程序，使计算机执行信息处理方法，在所述信息处理方法中，
[0163]
根据通过tof传感器获取的针对对象物的第一深度图和针对所述对象物的第二深度图生成差分图；以及
[0164]
基于所述差分图提取所述第一深度图上的区域。
[0165]
符号说明
[0166]
100、200、300、信息处理装置；101、深度图生成部；102、差分图生成部；103、区域提取部；104、图像处理部；201、种类确定部；301、状态推测部；500、tof传感器；600、立体相机。

技术特征：
1.一种信息处理装置，具备：差分图生成部，根据通过tof传感器获取的针对对象物的第一深度图和针对所述对象物的第二深度图生成差分图；以及区域提取部，基于所述差分图提取所述第一深度图上的区域。2.根据权利要求1所述的信息处理装置，其中，所述信息处理装置具备生成所述第二深度图的深度图生成部。3.根据权利要求2所述的信息处理装置，其中，所述深度图生成部基于通过构成作为测距传感器的立体相机的第一摄像装置获取的第一图像和通过构成所述立体相机的第二摄像装置获取的第二图像生成所述第二深度图。4.根据权利要求1所述的信息处理装置，其中，所述差分图生成部通过计算构成所述第一深度图的各像素的、与所述第二深度图之间的深度差来生成所述差分图。5.根据权利要求1所述的信息处理装置，其中，所述区域提取部提取所述第一深度图上的与所述差分图的直方图中的峰值对应的具有深度差的区域。6.根据权利要求1所述的信息处理装置，其中，所述区域提取部提取所述第一深度图上的包括在以所述差分图的直方图中的峰值为中心的预定的宽度中的具有深度差的区域。7.根据权利要求1所述的信息处理装置，其中，所述信息处理装置具备生成示出所述区域提取部提取的区域的图像的图像处理部。8.根据权利要求1所述的信息处理装置，其中，所述信息处理装置具备通过参照将深度差和所述对象物的种类预先对应关联的表来确定所述对象物的种类的种类确定部。9.根据权利要求8所述的信息处理装置，其中，所述信息处理装置具备生成示出所述区域提取部提取的区域和所述种类确定部确定的所述对象物的种类的图像的图像处理部。10.根据权利要求1所述的信息处理装置，其中，所述信息处理装置具备基于所述第一深度图和根据三维形状数据生成的状态推测用深度图推测所述对象物的状态的状态推测部。11.根据权利要求10所述的信息处理装置，其中，所述对象物的状态是所述对象物的姿势。12.根据权利要求11所述的信息处理装置，其中，所述对象物的状态是所述对象物的形状。13.根据权利要求11所述的信息处理装置，其中，所述对象物的状态是所述对象物的大小。14.根据权利要求10所述的信息处理装置，其中，所述深度图生成部基于所述对象物的状态生成针对所述三维形状数据的以所述tof传感器的视角为基准的所述第二深度图，所述差分图生成部根据所述第一深度图和所述第二深度图生成所述差分图。
15.一种信息处理方法，在所述信息处理方法中，根据通过tof传感器获取的针对对象物的第一深度图和针对所述对象物的第二深度图生成差分图；以及基于所述差分图提取所述第一深度图上的区域。16.一种信息处理程序，使计算机执行信息处理方法，在所述信息处理方法中，根据通过tof传感器获取的针对对象物的第一深度图和针对所述对象物的第二深度图生成差分图；以及基于所述差分图提取所述第一深度图上的区域。

技术总结
提供能够提取对象物的图像、深度图中的颜色相同或颜色近似的区域的信息处理装置、信息处理方法、信息处理程序。一种信息处理装置，具备：差分图生成部，根据通过ToF传感器获取的针对对象物的第一深度图和针对对象物的第二深度图生成差分图；以及区域提取部，基于差分图提取第一深度图上的区域。提取第一深度图上的区域。提取第一深度图上的区域。


技术研发人员：后藤健志
受保护的技术使用者：索尼集团公司
技术研发日：2021.10.20
技术公布日：2023/8/21