判定方法、判定程序、以及信息处理装置与流程

1.本发明涉及图像的判定的技术。


背景技术：

2.生物体认证技术是使用指纹、面部、静脉等生物体特征进行本人确认的技术。在生物体认证技术中，在需要确认的场景下通过将获取的生物体特征与预先登记的生物体特征进行比较(对照)，判定两者是否一致来进行本人确认。
3.作为生物体认证技术中的一个的面部认证技术作为能够非接触地进行本人确认的方法备受注目。能够在个人计算机(pc)或者智能手机等个人利用的终端的访问管理、出入室的管理、在机场的登机口的本人确认等各种用途中利用面部认证技术。
4.在该面部认证技术中作为生物体特征利用的面部图像的信息与在指纹认证或者手掌静脉认证等其它的生物体认证技术中作为生物体特征利用的信息不同，不使用特殊的传感器，通过一般的照相机的拍摄也能够获取。另外，面部图像通过社交网络服务(sns)等在因特网上公开的情况也较多。因此，有他人通过向照相机提示打印了公开的面部图像的照片、显示该面部图像的智能手机等的画面进行冒充本人的非法行为的担心。因此，提出几个用于判定通过照相机拍摄到的拍摄图像是拍摄人物的实物(实际位于拍摄位置的人物)的图像，还是拍摄人物的照片、映有人物的显示画面等人物的显示物的图像的技术。
5.乍一看难以区分拍摄了摄有本人的面部的照片或者映有本人的面部的显示画面的图像与作为认证信息预先登记的本人的面部图像。因此，提出了利用使用红外线照相机获取的红外线图像、或者使用深度照相机等获取的三维信息，捕捉拍摄对象物的特性的方法(例如，参照专利文献1～专利文献3)。
6.另外，在拍摄图像是拍摄了人物的显示物的图像的情况下，这样的显示物不能够当场进行对要求的响应。利用该情况，提出了使认证对象者输入规定的动作的技术、观察认证对象者对装置的显示的响应的技术、甚至通过自然人的动作(眨眼等)的检测判定人物是否为生物体的技术(例如，参照专利文献4～专利文献9)。
7.并且，提出了几个利用拍摄图像中的人物的图像区域的特征、人物的图像区域以外的图像区域(背景的图像区域)的特征，进行拍摄图像是否是拍摄人物的实物的图像的判定的技术。更详细而言，例如提出了在拍摄图像中的人物区域以外的区域亦即背景区域的特征量有规定值以上的变动的情况下将对象物辨别为非生物体这样的技术。另外，例如也提出了使用拍摄图像中的面部区域与背景区域各自的运动特征量的相似度判定拍摄对象是照片和人的哪一个这样的技术(例如，参照专利文献10～专利文献12)。
8.除此之外，提出了几个在图像的判定中利用的技术。
9.例如，提出了从拍摄图像检测物体的图像区域、人的面部的图像区域的技术(例如，参照非专利文献1～非专利文献4)。
10.另外，例如提出了利用根据构成时间序列的图像的各像素的亮度梯度的变化得到的光流，提取图像的运动的技术(例如，参照非专利文献5)。
11.专利文献1：国际公开第2009/107237号
12.专利文献2：日本特开2005－259049号公报
13.专利文献3：国际公开第2009/110323号
14.专利文献4：日本特开2016－152029号公报
15.专利文献5：国际公开第2019/151368号
16.专利文献6：日本特开2008－000464号公报
17.专利文献7：日本特开2001－126091号公报
18.专利文献8：日本特开2008－090452号公报
19.专利文献9：日本特开2006－330936号公报
20.专利文献10：日本特开2010－225118号公报
21.专利文献11：日本特开2006－099614号公报
22.专利文献12：日本特开2016－173813号公报
23.非专利文献1：hengshuang zhao et al.,“pyramid scene parsing network”,proceedings of the ieee conference on computer vision and pattern recognition(cvpr),2017,p.2881-2890
24.非专利文献2：wei liu et al.,“ssd:single shot multibox detector”,european conference on computer vision(eccv)2016,springer international publishing,2016,p.21-37
25.非专利文献3：joseph redmon et al.,"you only look once:unified,real-time object detection",2016ieee conference on computer vision and pattern recognition(cvpr),2016,p.779-788
26.非专利文献4：kaipeng zhang et al.,"joint face detection and alignment using multi-task cascaded convolutional networks",ieee signal processing letters(spl),volume 23,issue 10,oct.2016,p.1499-1503
27.非专利文献5：gunnar farneback,“two-frame motion estimation based on polynomial expansion”in proceedings of the 13th scandinavian conference on image analysis(scia 2003),2003,p.363-370
28.有在面部认证的实施时拍摄到的图像抖动的情况。例如，在电车等车内将笔记本pc放在膝盖上使用的情况、在照相机的固定不牢固所以照相机由于周围的振动而摇晃的情况下等产生这样的抖动。若在拍摄图像中存在这样的由于拍摄时的照相机抖动而产生的抖动，则有使该拍摄图像是否是拍摄了人物的显示物的图像的判定的精度降低的情况。
29.如上述那样，提出了在拍摄图像中的人物区域以外的区域亦即背景区域的特征量有规定值以上的变动的情况下将对象物辨别为非生物体这样的技术。该技术着眼于在拍摄图像是拍摄了人物的实物的图像的情况下背景区域的特征量几乎不变动，通过这样的变动的检测进行上述的辨别。然而，该技术也根据存在上述那样的抖动的拍摄图像检测背景区域的特征量的变动。因此，在拍摄图像存在抖动的情况下，有即使对象物为生物体该技术也误辨别为非生物体的可能性。
30.另外，如上述那样，也提出了使用拍摄图像中的面部区域与背景区域各自的运动特征量的相似度判定拍摄对象是照片和人的哪一个这样的技术。该技术着眼于在拍摄摄有
人物的照片得到的拍摄图像中面部区域与背景区域的运动联动，通过该联动的检测进行上述的判定。然而，在存在上述那样的抖动的拍摄图像中面部区域与背景区域的运动联动。因此，在拍摄图像存在抖动的情况下，有即使拍摄图像是拍摄了人物的实物的图像，该技术也误判定为拍摄了照片的图像的可能性。


技术实现要素：

31.在一个侧面，本发明的目的在于使拍摄图像是否是拍摄了人物的显示物的图像的判定的精度提高。
32.在一个方案中，计算机获取通过照相机拍摄到的包含人物的图像区域的拍摄图像。计算机从获取的拍摄图像确定人物的图像区域以外的图像区域。计算机根据确定出的图像区域所包含的多个位置的运动的分布状况，判定拍摄图像是否是拍摄了人物的显示物的图像。
33.根据一个侧面，拍摄图像是否是拍摄了人物的显示物的图像的判定的精度提高。
附图说明
34.图1是说明拍摄图像的各图像区域的图。
35.图2a是说明在拍摄时产生照相机抖动的情况下的拍摄图像的各图像区域的运动的同步/非同步的样子的图(其一)。
36.图2b是说明在拍摄时产生照相机抖动的情况下的拍摄图像的各图像区域的运动的同步/非同步的样子的图(其二)。
37.图3是表示例示的信息处理装置的构成的图。
38.图4是表示计算机的硬件构成例的图。
39.图5是表示拍摄图像判定处理的处理内容的流程图。
40.图6是表示图像区域确定处理的处理内容的流程图。
41.图7a是说明人物区域的确定的方法的例子的图(其一)。
42.图7b是说明人物区域的确定的方法的例子的图(其二)。
43.图8是说明背景区域的确定的方法的例子的图。
44.图9是表示运动提取处理的处理内容的流程图。
45.图10是表示判定处理的处理内容的流程图。
46.图11是说明使用多组拍摄图像对来获取图像的运动矢量的例子的图。
具体实施方式
47.以下，参照附图，对实施方式进行详细说明。
48.在本实施方式中，根据通过照相机拍摄到的拍摄图像中的人物的图像区域以外的图像区域所包含的多个位置的运动的分布状况，判定拍摄图像是否是拍摄了人物的显示物的图像。对该方法进行说明。
49.在本实施方式中，首先，从通过照相机拍摄到的拍摄图像检测各图像区域。
50.图1是说明拍摄图像10的各图像区域的图。在本实施方式中，从该拍摄图像10检测周边区域11、人物区域12、以及背景区域13的各图像区域。
51.周边区域11是拍摄图像10的外周部的区域，是将拍摄图像10的边缘作为外周的环状的区域。另外，人物区域12以及背景区域13均为被周边区域11的内周包围的区域。其中的人物区域12是示出人物的图像区域。另一方面，背景区域13是人物区域12以外的区域，是示出人物以外的物体的区域。
52.在拍摄图像10是拍摄了人物的实物的图像的情况下，该人物显示于人物区域12，拍摄图像10的拍摄时的该人物的实际的背景显示于背景区域13和周边区域11双方。其中，在周边区域11显示有显示于背景区域13的背景的周边的景象。
53.另一方面，在拍摄图像10是拍摄了人物的显示物的图像的情况下，在拍摄图像10的拍摄时显示于显示物的影像显示于人物区域12和背景区域13双方，拍摄图像10的拍摄时的显示物的周边的景象显示于周边区域11。其中，在人物区域12显示有在显示物上示出的人物的影像，在背景区域13显示有在该显示物中与人物一起示出的背景的影像。
54.在人物的实物的拍摄时产生了照相机抖动的情况下，在均显示该人物的实际的背景的周边区域11和背景区域13中图像的运动同步。另一方面，显示该人物的人物区域12与背景区域13的图像的运动不同步。与此相对，在人物的显示物的拍摄时产生了照相机抖动的情况下，在均显示该显示物的显示内容的人物区域12和背景区域13中图像的运动同步。另一方面，显示显示物的周边的景象的周边区域11与背景区域13的图像的运动不同步。使用图2a以及图2b对这样的产生了照相机抖动的情况下的拍摄图像10的各图像区域的运动的同步/非同步的样子进行说明。
55.在图2a以及图2b中，实线的图表表示拍摄人物的实物得到的拍摄图像10的差分矢量的大小的举动，虚线的图表表示拍摄显示物得到的拍摄图像10的差分矢量的大小的举动。
56.图2a以及图2b的图表各自中的横轴表示拍摄图像10的拍摄时刻。在图2a的图表中，在纵轴方向示出表示人物区域12的运动的运动矢量与表示背景区域13的运动的运动矢量的差分矢量的大小。另一方面，在图2b的图表中，在纵轴方向示出表示周边区域11的运动的运动矢量与表示背景区域13的运动的运动矢量的差分矢量的大小。
57.在拍摄图像10中的两个区域的运动同步的情况下，这两个区域的运动的差分矢量的大小变小，在两个区域的运动不同步的情况下，这两个区域的运动的差分矢量的大小变大。
58.在图2a的图表中，拍摄了显示物的拍摄图像10的差分矢量的大小较小，拍摄了人物的实物的拍摄图像10的差分矢量的大小较大。因此，可知拍摄了显示物的拍摄图像10的人物区域12与背景区域13的运动几乎同步，另一方面，拍摄了人物的实物的拍摄图像10的人物区域12与背景区域13的运动不同步。
59.与此相对，在图2b的图表中，拍摄了人物的实物的拍摄图像10的差分矢量的大小较小，拍摄了显示物的拍摄图像10的差分矢量的大小较大。因此，可知拍摄了人物的实物的拍摄图像10的周边区域11与背景区域13的运动几乎同步，另一方面，拍摄了显示物的拍摄图像10的周边区域11与背景区域13的运动不同步。
60.在本实施方式中，着眼于这样的有抖动的拍摄图像10中的各图像区域的运动的同步/非同步的关系，根据各图像区域所包含的各个位置的运动的分布状况，判定拍摄图像10是否是拍摄了显示物的图像。
61.接下来，对判定拍摄图像10是否是拍摄了人物的显示物的图像的装置的构成进行说明。图3示出例示的信息处理装置20的构成。
62.在信息处理装置20连接有照相机30。照相机30对拍摄对象进行拍摄并输出拍摄图像10。照相机30的本来的拍摄对象为人物，例如在进行面部认证的情况下，照相机30拍摄认证对象者的面部。此外，照相机30反复进行拍摄对象的拍摄并输出时间序列的拍摄图像10。为了进行拍摄图像10的各区域的运动的提取而使用时间序列的拍摄图像10。
63.信息处理装置20具备图像获取部21、区域确定部22、运动提取部23、以及判定部24，作为构成要素。
64.图像获取部21预先获取并积蓄通过照相机30拍摄到的拍摄图像10。
65.区域确定部22根据通过图像获取部21获取的拍摄图像10，确定使用图1进行说明的各图像区域，更具体而言，确定人物区域12和人物区域12以外的区域(周边区域11以及背景区域13)。
66.运动提取部23从拍摄图像10提取通过区域确定部22确定出的各图像区域的运动，获取各图像区域所包含的各个位置的运动的分布状况。
67.判定部24根据运动提取部23获取的各图像区域所包含的各个位置的运动的分布状况，判定拍摄图像10是否是拍摄了人物的显示物的图像。
68.此外，也可以通过计算机与软件的组合构成图3的信息处理装置20。
69.图4示出计算机40的硬件构成例。
70.计算机40例如具备处理器41、存储器42、存储装置43、读取装置44、通信接口46、以及输入输出接口47的各硬件作为构成要素。这些构成要素经由总线48连接，在构成要素间能够相互进行数据的授受。
71.处理器41例如既可以是单处理器，也可以是多处理器以及多核处理器。处理器41利用存储器42，例如执行记述了后述的拍摄图像判定处理的顺序的拍摄图像判定处理程序。
72.存储器42例如是半导体存储器，可以包含ram区域以及rom区域。存储装置43例如是硬盘，闪存等半导体存储器、或者外部存储装置。此外，ram是random access memory：随机存取存储器的简称。另外，rom是read only memory只读存储器的简称。
73.读取装置44根据处理器41的指示访问可拆装存储介质45。例如，能够通过半导体器件(usb存储器等)、通过磁作用输入输出信息的介质(磁盘等)、通过光学作用输入输出信息的介质(cd－rom、dvd等)等实现可拆装存储介质45。此外，usb是universal serial bus：通用串行总线的简称。cd是compact disc：光盘的简称。dvd是digital versatile disk：数字多用盘的简称。
74.通信接口46例如根据处理器41的指示经由通信网络(未图示)发送接收数据。
75.输入输出接口47获取从照相机30送来的拍摄图像10的图像数据等各种数据。另外，输入输出接口47输出从处理器41输出的后述的拍摄图像判定处理的结果。
76.例如，能够通过下述的方式提供通过该计算机40的处理器41执行的程序。
77.(1)预先安装于存储装置43。
78.(2)通过可拆装存储介质45提供。
79.(3)从程序服务器等服务器经由通信网络提供给通信接口46。
80.此外，计算机40的硬件构成为例示，实施方式并不限定于此。例如，上述的功能部的一部分或者全部的功能也可以作为基于fpga以及soc等的硬件安装。此外，fpga是field programmable gate array：现场可编程门阵列的简称。soc是system－on－a－chip：系统级芯片的简称。
81.接下来，对拍摄图像判定处理进行说明。图5是表示该拍摄图像判定处理的处理内容的流程图。在通过图4的计算机40与软件的组合构成图3的信息处理装置20的情况下，使处理器41执行记述了该拍摄图像判定处理的拍摄图像判定程序。
82.在图5中，首先，在s101中，进行拍摄图像获取处理。在该处理中，进行经由输入输出接口47获取从照相机30送来的通过照相机30拍摄到的时间序列的拍摄图像10并积蓄于存储器42的处理。此外，在本实施方式中，假设拍摄图像10的外周为横长的矩形。在以下的说明中，将该矩形的长边的方向设为拍摄图像10的横向。另外，将该矩形的短边的方向(与拍摄图像10的横向正交的方向)设为拍摄图像10的上下方向，将在拍摄图像10中示出的人物的头部的方向设为拍摄图像10的上方向，并将该人物的躯干的方向设为拍摄图像10的下方向。
83.处理器41通过执行该s101的处理，提供图3的图像获取部21的功能。
84.接下来，在s102中进行图像区域确定处理。该处理是从通过s101的处理获取的拍摄图像10，确定人物区域12和人物区域12以外的区域(周边区域11以及背景区域13)的处理。后述该处理的详细。
85.接下来，在s103中进行运动提取处理。该处理是从拍摄图像10提取通过s102的处理确定出的各图像区域的运动，并获取各图像区域所包含的各个位置的运动的分布状况的处理。后述该处理的详细。
86.接下来，在s104中进行判定处理。该处理是从拍摄图像10提取通过s102的处理确定出的各图像区域的运动，并获取各图像区域所包含的各个位置的运动的分布状况的处理。后述该处理的详细。
87.若结束s104的处理，则该拍摄图像判定处理结束。
88.接下来，对图5的s102的处理亦即图像区域确定处理的详细进行说明。图6是表示图像区域确定处理的处理内容的流程图。处理器41通过执行该图像区域确定处理，提供图3的区域确定部22的功能。
89.在图6中，首先，在s201中，进行在积蓄于存储器42的时间序列的拍摄图像10的各个中确定周边区域11的处理。在该处理中，将拍摄图像10中的外周部的区域，且为将矩形的拍摄图像10的边缘作为外周，且具有作为矩形的内周的环状的区域确定为周边区域11。
90.此外，若作为周边区域11的环的宽度过宽则有其它的区域变窄而拍摄图像10的判定的精度反而降低的情况。因此，优选预先通过实验求出能够充分地得到需要的判定精度的值并设定该宽度。此外，在本实施方式中，将该宽度的值设定为拍摄图像10的横向宽度的长度的百分之五。
91.接下来，在s202中，进行在积蓄于存储器42的时间序列的拍摄图像10的各个中确定人物区域12的处理。作为从图像确定人物的区域的技术公知有许多的技术，作为s202的处理，可以使用这些公知的技术的任何一个。
92.例如，已知有在图像内提取相当于人物的像素的语义分割这样的技术。作为实现
语义分割的方法，例如已知有使用convolutional neural network(cnn，卷积神经网络)的方法。在上述的非专利文献1中提出的“pyramid scene parsing network：金字塔场景解析网络”(pspnet)是使用cnn实现语义分割的方法的一个例子。作为s202的处理，也可以使用该pspnet，从拍摄图像10中被周边区域11的内周包围的区域确定人物区域12。
93.另外，例如已知有从图像检测示出物体的矩形区域(也称为边界框(bounding box))的技术。作为实现该矩形区域的检测的方法，也已知有使用cnn的方法。例如，在上述的非专利文献2中提出的“single shot multibox detector：单发多框检测”(ssd)、在上述的非专利文献3中提出的“you only look once：你只需看一次”(yolo)是使用cnn，检测这样的矩形区域的方法的一个例子。另外，在上述的非专利文献4中提出的“multi-task cascaded convolutional networks：多任务卷积神经网络”(mtcnn)也是检测这样的矩形区域的方法的一个例子，但该mtcnn是专用于面部的区域的检测的方法。作为s202的处理，也可以使用这些检测矩形区域的技术的任意一个，从拍摄图像10中被周边区域11的内周包围的区域确定人物区域12。
94.此外，在使用pspnet等语义分割进行确定的情况下，如图7a所示确定被周边区域11的内周包围的区域中的、示出包含头部和躯干的人物的身体部分的区域作为人物区域12。另一方面，在通过ssd、yolo、mtcnn等方法进行矩形区域的检测的情况下，检测被周边区域11的内周包围的区域中的包含人物的头部的矩形区域作为面部区域14。该情况下，如图7b所示，也可以将使面部区域14的矩形向拍摄图像10中的下方向伸长至与周边区域11的内周相接的位置为止的矩形所包含的区域确定为人物区域12，使人物的身体部分的一部分也包含于人物区域12。
95.继续图6的流程图的说明。在接着s202的处理的s203中，进行在积蓄于存储器42的时间序列的拍摄图像10的各个中确定背景区域13的处理。在该处理中，将拍摄图像10中的除了通过s201的处理确定出的周边区域11、和通过s202的处理确定出的人物区域12之外的剩余的区域确定为背景区域13。
96.此外，在s202的处理中，使面部区域14的矩形向拍摄图像10的下方向伸长来确定人物区域12的情况下，若如上述那样将剩余的区域全部确定为背景区域13，则有人物的身体的一部分(肩部等)包含于背景区域13的情况。因此，该情况下，如图8所示，可以将拍摄图像10中的在横向上与周边区域11的内周和人物区域12的矩形相接的矩形的区域确定为背景区域13。而且，可以使该背景区域13中的、拍摄图像10中的下方向的端部与面部区域14的矩形中的该下方向侧的边的该下方向的位置相等。若像这样确定背景区域13，则背景区域13所包含的人物的身体的区域减少。
97.若结束s203的处理，则图像区域确定处理结束，处理器41使处理返回到图5的拍摄图像判定处理。
98.以上为止的处理是图像区域确定处理。
99.接下来，对图5的s103的处理亦即运动提取处理的详细进行说明。图9是表示运动提取处理的处理内容的流程图。处理器41通过执行该运动提取处理，来提供图3的运动提取部23的功能。
100.在图9中，首先，在s301中，进行获取构成拍摄图像10的各像素中的图像的运动矢量的处理。在该处理中，进行基于通过图5的s101的处理积蓄于存储器42的时间序列的拍摄
图像10中的两个拍摄图像的亮度梯度的变化的运动矢量的提取。
101.作为提取图像的运动矢量的技术公知有许多的技术，作为s301的处理，可以使用这些公知的技术的任何一个。例如，作为这样的技术之一，使用光流的技术广为人知。作为光流的计算方法，已知有基于相关(块匹配法)的对应关系建立、基于梯度法的对应关系建立、利用了特征点追踪的对应关系建立等各种方法。在上述的非专利文献5中提出的方法也是光流的计算方法的一个例子。作为s301的处理，也可以使用利用在该非专利文献5中提出的方法计算出的光流，对每个像素获取拍摄图像10的二维的运动矢量。
102.接下来，在s302中，进行计算周边区域11的平均矢量的处理。在该处理中，进行计算通过s301的处理对周边区域11所包含的拍摄图像10的各像素获取的运动矢量的所有像素的平均的处理。通过该处理计算出的平均矢量vp是表示周边区域11所包含的位置的运动的运动矢量的一个例子。
103.拍摄图像10的周边区域11的平均矢量vp为二维的矢量。在本实施方式中，通过进行下述的[数1]式的计算分别计算拍摄图像10中的横向(x方向)的平均矢量vp的成分vpx以及上下方向(y方向)的成分vpy。
[0104]
[数1]
[0105][0106][0107]
此外，在[数1]式中，vx(i，j)以及vy(i，j)分别是在拍摄图像10的由x方向和y方向定义的二维坐标上的位置(i，j)确定出的像素(周边区域11所包含的像素)的运动矢量的x成分以及y成分的值。另外，np是周边区域11所包含的像素的像素数。换句话说，[数1]式表示分别通过分别将周边区域11所包含的各像素的运动矢量的x成分以及y成分的每个成分的合计除以周边区域11的像素数，来计算平均矢量vp的成分vpx以及vpy。
[0108]
接下来，在s303中，进行计算人物区域12的平均矢量的处理。在该处理中，进行计算通过s301的处理对人物区域12所包含的拍摄图像10的各像素获取的运动矢量的所有像素的平均的处理。通过该处理计算出的平均矢量vf是表示人物区域12所包含的位置的运动的运动矢量的一个例子。此外，人物区域12的平均矢量vf的计算的方法可以与关于s302的处理进行了说明的周边区域11的平均矢量vp的计算的方法相同。
[0109]
接下来，在s304中，进行计算背景区域13的平均矢量的处理。在该处理中，进行计算通过s301的处理对背景区域13所包含的拍摄图像10的各像素获取的运动矢量的所有像素的平均的处理。通过该处理计算出的平均矢量vb是表示背景区域13所包含的位置的运动的运动矢量的一个例子。此外，背景区域13的平均矢量vb的计算的方法也可以与关于s302的处理进行了说明的周边区域11的平均矢量vp的计算的方法相同。
[0110]
若结束s304的处理，则运动提取处理结束，处理器41使处理返回到图5的拍摄图像判定处理。
[0111]
以上为止的处理是运动提取处理。
[0112]
此外，在图9的s302、s303、以及s304的各处理中的平均矢量的计算中，有在成为平均矢量的计算的对象的区域包含仅检测到微量运动(运动矢量的大小接近零)的像素的情况。例如，具有一样的亮度的区域内的像素与自身的周边的像素的亮度之差较少所以亮度梯度看不到变化，因此有尽管正确而言较大地运动但仅检测到微小的运动的情况。有使用这样的像素的运动矢量计算出的平均矢量作为表示计算对象的区域的运动的矢量的精度降低的情况。因此，也可以从平均矢量的计算所使用的像素中除去在s301的处理中获取的运动矢量的大小比规定值小的像素。
[0113]
另外，在图9的流程图中，通过s301的处理获取构成拍摄图像10的各像素中的图像的运动矢量，并通过其后的s302、s303、s304的处理对每个区域进行各区域所包含的像素的平均矢量的计算。也可以代替该情况，而将拍摄图像10分割为各区域，其后，获取分割后的拍摄图像10所包含的各像素中的图像的运动矢量之后对各区域计算平均矢量。
[0114]
接下来，对图5的s104的处理亦即判定处理的详细进行说明。图10是表示判定处理的处理内容的流程图。处理器41通过执行该判定处理，来提供图3的判定部24的功能。
[0115]
在图10中，首先，在s401中进行计算第一差分矢量的处理。第一差分矢量vdiff1是表示人物区域12所包含的位置的运动的运动矢量与表示背景区域13所包含的位置的运动的运动矢量之差，在本实施方式中分别通过进行下述的[数2]式的计算来进行计算。
[0116]
[数2]
[0117]
vdiff1＝vf-vb＝(vfx-vbx，vfy-vby)
[0118]
此外，在[数2]式中，vf以及vb是人物区域12以及背景区域13各自的平均矢量。另外，vfx以及vfy是人物区域12的平均矢量vf的x成分以及y成分各自的值，vbx以及vby是背景区域13的平均矢量vb的x成分以及y成分各自的值。
[0119]
这样计算出的第一差分矢量vdiff1是表示背景区域13所包含的位置的运动与人物区域12所包含的位置的运动的差异的指标的一个例子，是表示这两个位置的运动的分布状况的信息的一个例子。
[0120]
接下来，在s402中进行计算第二差分矢量的处理。第二差分矢量vdiff2是表示背景区域13所包含的位置的运动的运动矢量与表示周边区域11所包含的位置的运动的运动矢量之差，在本实施方式中分别通过进行下述的[数3]式的计算来进行计算。
[0121]
[数3]
[0122]
vdiff2＝vb-vp＝(vbx-vpx，vby-vpy)
[0123]
此外，在[数3]式中，vb以及vp是背景区域13及周边区域11各自的平均矢量。另外，vbx以及vby是背景区域13的平均矢量vb的x成分以及y成分各自的值，vpx以及vpy是周边区域11的平均矢量vp的x成分以及y成分各自的值。
[0124]
这样计算出的第二差分矢量vdiff2是表示背景区域13所包含的位置的运动与周边区域11所包含的位置的运动的差异的指标的一个例子，是表示这两个位置的运动的分布状况的信息的一个例子。
[0125]
接下来，在s403中，进行判定通过s401的处理计算出的第一差分矢量vdiff1的大小是否在第一阈值以上的处理。
[0126]
通过计算第一差分矢量vdiff1的x成分的值与y成分的值的平方和的平方根来计
算第一差分矢量vdiff1的大小。
[0127]
第一阈值是预先设定的值。例如，预先通过多次的实验估计在使照相机30摇晃的同时拍摄到的、包含人物的显示物的抖动的拍摄图像10中的背景区域13的平均矢量vb的大小，并将得到的估计值的1/2左右的值设定为第一阈值。
[0128]
在该s403的处理中，判定为第一差分矢量vdiff1的大小在第一阈值以上时(判定结果为是时)，视为背景区域13的运动与人物区域12的运动非同步，而处理进入s404。
[0129]
在s404中，进行作为图10的判定处理的结果，做出拍摄图像10是拍摄了人物的实物的图像的判定的处理。
[0130]
另一方面，在s403的处理中，判定为第一差分矢量vdiff1的大小比第一阈值小时(判定结果为否时)使处理进入s405。
[0131]
在s405中，进行判定通过s402的处理计算出的第二差分矢量vdiff2的大小是否在第二阈值以上的处理。
[0132]
通过计算第二差分矢量vdiff2的x成分的值与y成分的值的平方和的平方根来计算第二差分矢量vdiff2的大小。
[0133]
第二阈值是预先设定的值。例如，预先通过多次的实验估计在使照相机30摇晃的同时拍摄到的、包含人物的显示物的抖动的拍摄图像10中的背景区域13的平均矢量vb的大小，并将得到的估计值的1/2左右的值设定为第二阈值。
[0134]
在该s405的处理中，判定为第二差分矢量vdiff2的大小在第二阈值以上时(判定结果为是时)，视为背景区域13的运动与周边区域11的运动非同步，而处理进入s406。
[0135]
在s406中，进行作为图10的判定处理的结果，做出拍摄图像10是拍摄了人物的显示物的图像的判定的处理。
[0136]
另一方面，在s405的处理中，判定为第二差分矢量vdiff2的大小比第二阈值小时(判定结果为否时)，视为背景区域13的运动与周边区域11的运动同步，而处理进入s404。因此，在s404中，进行作为图10的判定处理的结果，做出拍摄图像10是拍摄了人物的实物的图像的判定的处理。
[0137]
若结束s404的处理或者s406的处理则处理进入s407。在s407中，进行将通过s404的处理或者s406的处理做出的判定的结果作为图5的拍摄图像判定处理的处理结果，并使其从输入输出接口47输出的处理。
[0138]
若结束s407的处理，则判定处理结束，处理器41使处理返回到图5的拍摄图像判定处理。
[0139]
以上为止的处理是判定处理。
[0140]
通过由处理器41执行以上的拍摄图像判定处理，图4的计算机40作为图3的信息处理装置20进行动作，能够精度良好地进行拍摄图像10是否是拍摄了人物的显示物的图像的判定。
[0141]
以上，对公开的实施方式及其优点进行了详细的说明，但本领域技术人员当然能够不从权利要求书所明确地记载的本发明的范围脱离地进行各种变更、追加、省略。
[0142]
例如，在图9的运动检测处理中的s301的处理中，使用时间序列的拍摄图像10中的两个获取构成拍摄图像10的各像素中的图像的运动矢量。也可以代替该情况，而如图11所例示的那样，使用多组由时间序列的拍摄图像10中的两个构成的拍摄图像10对，对每一对
获取各像素的运动矢量，并将得到的多个运动矢量的平均作为各像素的运动矢量。此外，图11示出对四组拍摄图像10的每一对获取各像素的运动矢量，并对各像素计算得到的四个运动矢量的平均的运动矢量，获取构成拍摄图像10的各像素中的图像的运动矢量的例子。这样一来，获取的图像的运动矢量的精度提高。
[0143]
另外，在作为各像素的图像的运动矢量，如上述那样，计算对时间序列的拍摄图像10的每一对求出的运动矢量的平均的情况下，也可以计算移动平均。
[0144]
并且，在计算对时间序列的拍摄图像10的每一对求出的运动矢量的平均的情况下，由于在拍摄图像10的每一帧各区域的面积不同，所以也可以计算与各区域的面积对应的加权平均。
[0145]
另外，在图11的例子中，将在时间序列上连续的五个帧的拍摄图像10中的邻接的两个帧作为一组图像对而构成四组图像对。也可以代替该情况，例如不使构成一组图像对的两个帧为邻接的两个帧，而使其为在中间隔着几个帧的两个帧。这样一来，构成一组图像对的两个帧间的图像的差异增大，所以例如即使照相机30以非常高的帧速率进行拍摄，也有检测到的图像的运动稳定的情况。
[0146]
此外，在上述的实施方式中，假定使用一般的照相机，作为与图3的信息处理装置20连接的照相机30。但是，即使拍摄图像10是灰度图像也能够获取图像的运动矢量。因此，也可以使用能够输出灰度图像的红外线照相机、深度照相机作为照相机30。
[0147]
附图标记说明
[0148]
10
…
拍摄图像，11
…
周边区域，12
…
人物区域，13
…
背景区域，14
…
面部区域，20
…
信息处理装置，21
…
图像获取部，22
…
区域确定部，23
…
运动提取部，24
…
判定部，30
…
照相机，40
…
计算机，41
…
处理器，42
…
存储器，43
…
存储装置，44
…
读取装置，45
…
可拆装存储介质，46
…
通信接口，47
…
输入输出接口，48
…
总线。

技术特征：
1.一种判定方法，其特征在于，计算机执行：获取通过照相机拍摄到的包含人物的图像区域的拍摄图像；从获取的上述拍摄图像确定上述人物的图像区域以外的图像区域；以及根据确定出的上述图像区域所包含的多个位置的运动的分布状况，判定上述拍摄图像是否是拍摄了上述人物的显示物的图像。2.根据权利要求1所述的判定方法，其特征在于，上述人物的图像区域以外的图像区域包含周边区域和背景区域，上述周边区域是将上述拍摄图像的边缘作为外周的环状的区域，上述背景区域是被上述周边区域的内周包围的区域中的除了上述人物的图像区域以外的区域，根据上述背景区域所包含的第一位置和上述周边区域所包含的第二位置的运动的分布状况进行上述判定。3.根据权利要求2所述的判定方法，其特征在于，基于上述第一位置的运动与上述第二位置的运动的差异进行上述判定。4.根据权利要求3所述的判定方法，其特征在于，上述计算机还进行：计算上述背景区域所包含的上述拍摄图像的各像素的运动矢量的平均，作为第一运动矢量；以及计算上述周边区域所包含的上述拍摄图像的各像素的运动矢量的平均，作为第二运动矢量，上述判定基于上述第一运动矢量与上述第二运动矢量的差分矢量的大小进行。5.根据权利要求4所述的判定方法，其特征在于，在上述判定中，在上述差分矢量的大小比规定的阈值大的情况下，判定为上述拍摄图像是拍摄了上述人物的显示物的图像。6.根据权利要求2所述的判定方法，其特征在于，上述计算机还进行第一判定，在上述第一判定中，根据上述第一位置与上述人物的图像区域所包含的第三位置的运动的分布状况，判定上述拍摄图像是否是拍摄了上述人物的实物的图像，在上述第一判定中判定为上述拍摄图像不是拍摄了上述人物的实物的图像的情况下，进行上述拍摄图像是否是拍摄了上述人物的显示物的图像的判定作为第二判定。7.根据权利要求6所述的判定方法，其特征在于，上述第一判定基于上述第一位置的运动与上述第三位置的运动的差异进行。8.根据权利要求7所述的判定方法，其特征在于，上述计算机还进行：计算上述背景区域所包含的上述拍摄图像的各像素的运动矢量的平均，作为第一运动矢量；以及计算上述人物的图像区域所包含的上述拍摄图像的各像素的运动矢量的平均，作为第三运动矢量，上述第一判定基于上述第一运动矢量与上述第三运动矢量的差分矢量的大小进行。9.根据权利要求8所述的判定方法，其特征在于，在上述第一判定中，在上述差分矢量的大小比规定的阈值大的情况下，判定为上述拍摄图像是拍摄了上述人物的实物的图像。
10.根据权利要求2～9中任意一项所述的判定方法，其特征在于，上述周边区域的内周为矩形，上述人物的图像区域是使包含上述人物的面部的区域的矩形向下方向伸长至与上述周边区域的内周相接的位置为止得到的矩形的区域，上述下方向是从上述人物的头部朝向上述人物的躯干的方向。11.根据权利要求10所述的判定方法，其特征在于，上述背景区域是在与上述下方向正交的横向上与上述周边区域的内周和上述伸长后的矩形相接的矩形的区域，上述背景区域中的上述下方向的端与上述伸长前的包含上述人物的面部的区域的矩形中的上述下方向的一侧的边的上述下方向的位置相等。12.一种判定程序，其特征在于，用于使计算机执行以下处理：获取通过照相机拍摄到的包含人物的图像区域的拍摄图像；从获取的上述拍摄图像确定上述人物的图像区域以外的图像区域；以及根据确定出的上述图像区域所包含的多个位置的运动的分布状况，判定上述拍摄图像是否是拍摄了上述人物的显示物的图像。13.一种信息处理装置，其特征在于，具备：图像获取部，获取通过照相机拍摄到的包含人物的图像区域的拍摄图像；区域确定部，从获取的上述拍摄图像确定上述人物的图像区域以外的图像区域；以及判定部，根据确定出的上述图像区域所包含的多个位置的运动的分布状况，判定上述拍摄图像是否是拍摄了上述人物的显示物的图像。

技术总结
计算机获取通过照相机拍摄到的包含人物的图像区域的拍摄图像。计算机从获取的拍摄图像确定人物的图像区域以外的图像区域。计算机根据确定出的图像区域所包含的多个位置的运动的分布状况，判定拍摄图像是否是拍摄了人物的显示物的图像。的显示物的图像。的显示物的图像。


技术研发人员：浜壮一
受保护的技术使用者：富士通株式会社
技术研发日：2021.02.15
技术公布日：2023/9/16