人检测系统的图像处理装置的制作方法

1.本公开涉及人检测系统的图像处理装置。


背景技术：

2.在车辆等移动体搭载有用于检测障碍物的障碍物检测装置。专利文献1公开的障碍物检测装置具备照相机和图像处理装置。图像处理装置从照相机取得图像数据。图像处理装置根据从照相机得到的图像数据来检测在图像数据中呈现有障碍物的区域。图像处理装置对呈现有障碍物的区域进行人物检测处理。人物检测处理例如使用hog(histogram of oriented gradients：方向梯度直方图)特征量来进行。
3.现有技术文献
4.专利文献
5.专利文献1：特开2020-135616号公报


技术实现要素：

6.发明要解决的问题
7.根据图像处理装置从图像数据检测到的区域和该区域所包含的人物的位置，人物的检测精度有可能降低。
8.用于解决问题的方案
9.解决上述问题的人检测系统的图像处理装置是安装于移动体的人检测系统的图像处理装置，所述图像处理装置根据从照相机取得的图像数据来检测在该图像数据中呈现有障碍物的区域，推定在所述图像数据中所述区域所包含的所述障碍物的重心位置，进行根据所述重心位置来调整所述图像数据中的所述区域的宽度的重心区域宽度调整处理，通过将进行所述重心区域宽度调整处理后的调整后区域与辞典数据进行比较来判定呈现于所述区域的所述障碍物是否为人物。
10.若图像数据中的区域的宽度方向的中心位置与障碍物的重心位置的偏差大，则人物的检测精度降低。通过将进行重心区域宽度调整处理后的调整后区域与辞典数据进行比较，能够抑制人物的检测精度降低。
11.对于上述人检测系统的图像处理装置，也可以是，所述辞典数据包含上半身比较数据和全身比较数据，所述图像处理装置按每个所述区域判定所述障碍物在从所述照相机起的预定范围内从地面游离的上半身检测处理条件是否成立，对于所述上半身检测处理条件成立的所述区域，进行通过将对所述图像数据中的所述区域进行所述重心区域宽度调整处理后的所述调整后区域与所述上半身比较数据进行比较来判定呈现于所述区域的所述障碍物是否为人物的上半身检测处理，对于所述上半身检测处理条件不成立的所述区域，进行通过将所述图像数据中的所述区域与所述全身比较数据进行比较来判定呈现于所述区域的所述障碍物是否为人物的全身检测处理。
12.对于上述人检测系统的图像处理装置，也可以是，所述重心区域宽度调整处理是
将使所述图像数据中的所述区域的从所述重心位置到在宽度方向上离所述重心位置近的一端的距离变为2倍后的长度加上基于所述重心位置与所述区域的宽度方向的中心位置之差的值得到的长度设为所述调整后区域的宽度的处理。
13.对于上述人检测系统的图像处理装置，也可以是，所述图像处理装置对所述调整后区域进行宽度调整处理，所述宽度调整处理是进行在所述调整后区域的所述宽度为预先决定的下限值以下的情况下增大所述图像数据中的所述调整后区域的宽度的处理和在所述调整后区域的所述宽度为预先决定的上限值以上的情况下减小所述图像数据中的所述调整后区域的宽度的处理中的至少一方的处理。
14.对于上述人检测系统的图像处理装置，也可以是，所述图像处理装置检测所述区域的上端的离所述地面的高度，所述上半身检测处理包含根据所述区域的上端的离所述地面的高度来校正所述图像数据中的所述调整后区域的高度方向的尺寸的处理。
15.发明效果
16.根据本发明，能够抑制人物的检测精度降低。
附图说明
17.图1是叉车的侧视图。
18.图2是叉车和人检测系统的概略构成图。
19.图3是示出图像处理装置进行的障碍物检测处理的流程图。
20.图4是示出第1图像数据的一个例子的图。
21.图5是示出图像处理装置进行的人物检测处理的流程图。
22.图6是用于说明全身检测处理的图。
23.图7是示出图像处理装置进行的上半身检测处理的流程图。
24.图8是示出矩形区域的图。
25.图9是示出世界坐标系中的矩形区域的宽度与第1校正率的对应关系的图。
26.图10是示出调整后区域的图。
27.图11是示出世界坐标系中的调整后区域的宽度与第2校正率的对应关系的图。
28.图12是示出世界坐标系中的调整后区域的宽度为上限值以上的调整后区域的图。
29.图13是示出世界坐标系中的调整后区域的宽度为下限值以下的调整后区域的图。
30.图14是示出矩形区域的上端的高度与校正量的对应关系的图。
31.图15是用于说明上半身检测处理的图。
32.图16是示出变更例的人物检测处理的流程图。
33.附图标记说明
34.b1、b2
…
作为区域的矩形区域，b21
…
调整后区域，c1
…
中心位置，d1
…
作为辞典数据的全身辞典数据，d2
…
作为辞典数据的上半身辞典数据，g1
…
重心位置，im1
…
作为图像数据的第1图像数据，ll2
…
下限值，ul2
…
上限值，10
…
作为移动体的叉车，30
…
人检测系统，31
…
作为照相机的立体照相机，41
…
图像处理装置。
具体实施方式
35.对人检测系统的图像处理装置的一实施方式进行说明。
36.＜叉车＞
37.如图1所示，作为移动体的叉车10具备车体11、驱动轮12、操舵轮13以及货物装卸装置17。车体11具备护顶14和配重15。护顶14设置在驾驶席的上部。配重15设置在车体11的后部。配重15是用于与装载于货物装卸装置17的货物取得平衡的构件。叉车10可以是通过搭乘者的操作而动作的叉车，也可以是自动地动作的叉车，还可以是能切换手动的动作和自动的动作的叉车。叉车10是工业车辆的一个例子。
38.如图2所示，叉车10具备控制装置20、行驶用马达m11、对行驶用马达m1进行控制的行驶控制装置23、以及转速传感器24。控制装置20进行与行驶动作和货物装卸动作相关的控制。控制装置20具备处理器21和存储部22。作为处理器21，例如使用中央处理单元(cpu：central processing unit)、图形处理单元(gpu：graphics processing unit)、数字信号处理器(dsp：digital signal processor)。存储部22包含随机存取存储器(ram：random access memory)和只读存储器(rom：read only memory)。在存储部22存储有用于使叉车10动作的程序。可以说存储部22保存有构成为使处理器21执行处理的程序代码或指令。存储部22、即计算机可读介质包含能够以通用或专用的计算机访问的所有能利用的介质。控制装置20也可以由专用集成电路(asic：application specific integrated circuit)、现场可编程门阵列(fpga：field programmable gate array)等硬件电路构成。作为处理电路的控制装置20能包含按照计算机程序进行动作的1个以上的处理器、asic或fpga等1个以上的硬件电路、或者它们的组合。
39.控制装置20对行驶控制装置23提供行驶用马达m11的转速的指令，以使得叉车10的车速成为目标车速。本实施方式的行驶控制装置23是马达驱动器。转速传感器24将行驶用马达m11的转速输出到行驶控制装置23。行驶控制装置23基于来自控制装置20的指令对行驶用马达m11进行控制，以使得行驶用马达m11的转速与指令一致。
40.＜人检测系统＞
41.在叉车10安装有人检测系统30。人检测系统30具备作为照相机的立体照相机31、以及图像处理装置41。人检测系统30对在叉车10的周围存在的人物进行检测。人检测系统30也可以除了对人物进行检测以外，还对与人物不同的障碍物进行检测。图像处理装置41是人检测系统30的图像处理装置。
42.＜立体照相机＞
43.如图1所示，立体照相机31设置为能够从叉车10的上方俯瞰叉车10所行驶的地面。立体照相机31例如设置于护顶14。立体照相机31对叉车10的后方进行拍摄。因此，由人检测系统30检测的人物是叉车10的后方的人物。立体照相机31对由水平视角和垂直视角决定的拍摄范围进行拍摄。在垂直视角的范围内包含有配重15。因此，作为叉车10的一部分的配重15的一部分总是会进入由立体照相机31拍摄的图像。
44.如图2所示，立体照相机31具备第1照相机32和第2照相机33。作为第1照相机32和第2照相机33，例如可列举使用ccd图像传感器、cmos图像传感器的照相机。第1照相机32和第2照相机33配置为相互的光轴平行。将通过第1照相机32的拍摄得到的图像数据设为第1图像数据，将通过第2照相机33的拍摄得到的图像数据设为第2图像数据。
45.＜图像处理装置＞
46.图像处理装置41具备处理器42和存储部43。作为处理器42，例如使用cpu、gpu、
dsp。存储部43包含ram和rom。在存储部43存储有用于根据由立体照相机31拍摄到的图像来检测障碍物的各种程序。可以说存储部43保存有构成为使处理器42执行处理的程序代码或指令。存储部43、即计算机可读介质包含能够以通用或专用计算机访问的所有能利用的介质。图像处理装置41也可以由asic、fpga等硬件电路构成。作为处理电路的图像处理装置41能包含按照计算机程序进行动作的1个以上的处理器、asic或fpga等1个以上的硬件电路、或者它们的组合。
47.＜辞典数据＞
48.存储部43存储有全身辞典数据d1和上半身辞典数据d2。全身辞典数据d1是用于对人物进行检测的辞典数据。全身辞典数据d1例如是从呈现有人物的多个已知的图像数据分别提取出的特征量的数据。本实施方式的全身辞典数据d1是从呈现有人物的全身的图像数据得到的辞典数据。作为特征量，例如能够列举hog(histograms of oriented gradients：方向梯度直方图)特征量和cohog(co-occurrence hog：共现hog)特征量。在本实施方式中，使用hog特征量作为特征量。hog特征量是图像数据的单元格(cell)的像素值的每个梯度方向的梯度强度的直方图。单元格是预先决定的大小的局部区域。在算出hog特征量时，将图像数据分割为多个单元格。并且，按每个单元格算出像素值的梯度方向的直方图，在作为单元格的周围的预先决定的范围的块内进行标准化。由此，能够得到hog特征量。上半身辞典数据d2是从呈现有人物的上半身的图像数据提取特征量得到的辞典数据。上半身辞典数据d2能够通过对呈现有人物的上半身的图像数据进行与得到全身辞典数据d1的情况同样的处理来得到。在图像处理装置41具备辅助存储装置的情况下，也可以在辅助存储装置存储有全身辞典数据d1和上半身辞典数据d2中的至少一方。
49.＜障碍物检测处理＞
50.对由图像处理装置41进行的障碍物检测处理进行说明。通过处理器42执行存储部43中存储的程序来进行障碍物检测处理。障碍物检测处理以预定的控制周期反复进行。
51.如图3所示，在步骤s1中，图像处理装置41从由立体照相机31拍摄到的影像取得同一帧的第1图像数据和第2图像数据。
52.接下来，在步骤s2中，图像处理装置41通过进行立体处理来取得视差图像。视差图像是将视差[px]与像素对应起来的图像。视差可通过将第1图像数据和第2图像数据进行比较并针对各图像数据的同一特征点算出第1图像数据与第2图像数据的像素数之差来得到。特征点是指障碍物的边缘等能识别为分界的部分。特征点能够从亮度信息等进行检测。
[0053]
图像处理装置41使用暂时保存各图像数据的ram来进行从rgb向ycrcb的转换。图像处理装置41也可以进行失真校正、边缘强调处理等。图像处理装置41进行将第1图像数据的各像素与第2图像数据的各像素的类似度进行比较来算出视差的立体处理。此外，作为立体处理，可以使用按每个像素算出视差的方法，也可以使用将各图像数据分割为包含多个像素的块来算出每个块的视差的块匹配法。图像处理装置41以第1图像数据为基准图像并以第2图像数据为比较图像来取得视差图像。图像处理装置41按第1图像数据的每个像素提取最类似的第2图像数据的像素，将第1图像数据的像素与最类似于该像素的像素的横向的像素数之差算出为视差。由此，能够取得将视差与作为基准图像的第1图像数据的各像素对应起来的视差图像。视差图像不一定需要显示，而是表示将视差与视差图像中的各像素对应起来的数据。此外，图像处理装置41也可以进行从视差图像除去地面的视差的处理。
[0054]
接下来，在步骤s3中，图像处理装置41导出世界坐标系中的特征点的坐标。首先，图像处理装置41导出照相机坐标系中的特征点的坐标。照相机坐标系是以立体照相机31为原点的坐标系。照相机坐标系是以光轴为z轴并以与光轴正交的2个轴分别为x轴、y轴的3轴正交坐标系。照相机坐标系中的特征点的坐标能够用照相机坐标系中的z坐标zc、x坐标xc以及y坐标yc来表示。z坐标zc、x坐标xc以及y坐标yc能够分别使用以下的式(1)～式(3)来导出。
[0055]
【数学式1】
[0056][0057]
【数学式2】
[0058][0059]
【数学式3】
[0060][0061]
式(1)～式(3)中的b是基线长度[mm]，f是焦距[mm]，d是视差[px]。xp是视差图像中的任意的x坐标，x
′
是视差图像的中心坐标的x坐标。yp是视差图像中的任意的y坐标，y
′
是视差图像的中心坐标的y坐标。
[0062]
通过将xp设为视差图像中的特征点的x坐标，将yp设为视差图像中的特征点的y坐标，将d设为与特征点的坐标对应起来的视差，得以导出照相机坐标系中的特征点的坐标。
[0063]
在此，在叉车10位于水平面的状态下，将以水平方向中的在叉车10的车宽方向上延伸的轴为x轴、以水平方向中的在与x轴正交的方向上延伸的轴为y轴、以与x轴和y轴正交的轴为z轴的3轴正交坐标系设为作为实际空间上的坐标系的世界坐标系。世界坐标系的y轴也可以说是在作为叉车10的行进方向的叉车10的前后方向上延伸的轴。世界坐标系的z轴也可以说是在竖直方向上延伸的轴。世界坐标系中的特征点的坐标能够用世界坐标系中的x坐标xw、y坐标yw以及z坐标zw来表示。
[0064]
图像处理装置41使用以下的式(4)进行将照相机坐标转换为世界坐标的世界坐标转换。世界坐标是指世界坐标系中的坐标。
[0065]
【数学式4】
[0066][0067]
在此，式(4)中的h是世界坐标系中的立体照相机31的设置高度[mm]，θ是第1照相机32和第2照相机33的光轴与水平面所成的角+90
°
的角度。
[0068]
在本实施方式中，世界坐标系的原点是以x坐标xw和y坐标yw为立体照相机31的位置并以z坐标zw为地面的坐标。立体照相机31的位置例如是指第1照相机32的镜头与第2照相机33的镜头的中间位置。
[0069]
通过世界坐标转换得到的世界坐标中的x坐标xw表示相对于叉车10的车宽方向的
从原点到特征点的距离。y坐标yw表示相对于叉车10的行进方向的从原点到特征点的距离。z坐标zw表示从地面到特征点的高度。特征点是表示障碍物的一部分的点。在以下的说明中，y轴表示世界坐标系的y轴。图1的箭头y表示世界坐标系的y轴，箭头z表示世界坐标系的z轴。
[0070]
接下来，在步骤s4中，图像处理装置41提取存在于世界坐标系的障碍物。图像处理装置41将表示障碍物的一部分的多个特征点中的、设想为表示的是同一障碍物的特征点的集合作为1个点群，将该点群作为障碍物进行提取。例如，图像处理装置41根据在步骤s3中导出的特征点的世界坐标，进行将位于预定范围内的特征点视为1个点群的聚类(cluster)化。图像处理装置41将被进行了聚类化的点群视为1个障碍物。步骤s4中进行的特征点的聚类化能够用各种方法来进行。即，聚类化只要能够通过将多个特征点作为1个点群而将其视为障碍物即可，可以通过任何方法来进行。
[0071]
接下来，在步骤s5中，图像处理装置41导出在步骤s4中提取出的障碍物的位置。图像处理装置41能够根据构成被进行了聚类化的点群的特征点的世界坐标来识别障碍物的世界坐标。例如，可以将被进行了聚类化的点群中的位于端缘的多个特征点的x坐标xw、y坐标yw以及z坐标zw设为障碍物的x坐标xw、y坐标yw以及z坐标zw，也可以将成为点群的中心的特征点的x坐标xw、y坐标yw以及z坐标zw设为障碍物的x坐标xw、y坐标yw以及z坐标zw。即，世界坐标系的障碍物的坐标可以是表示障碍物整体，也可以表示障碍物的一点。
[0072]
接下来，在步骤s6中，图像处理装置41检测第1图像数据中的障碍物的位置。第1图像数据中的障碍物的位置能够从视差图像进行检测。第1图像数据中的障碍物的位置由示出第1图像数据中的范围的区域来表示。本实施方式的区域是矩形区域。矩形区域是包含第1图像数据中的障碍物的区域。第1图像数据是从立体照相机31取得的图像数据，并且是进行呈现有障碍物的区域的检测的图像数据。图像处理装置41进行矩形区域与在步骤s6中导出的障碍物的世界坐标的相互对应。例如，图像处理装置41通过将障碍物的世界坐标转换为照相机坐标，进而将照相机坐标转换为第1图像数据的坐标，能够将障碍物的世界坐标与矩形区域对应起来。即，图像处理装置41能够得到矩形区域的世界坐标。矩形区域的z坐标zw表示离地面的高度。可以说图像处理装置41检测的是矩形区域的离地面的高度。矩形区域的离地面的高度包含矩形区域的下端的离地面的高度和矩形区域的上端的离地面的高度。
[0073]
在以下的说明中，障碍物的位置表示障碍物在世界坐标系中的位置、即世界坐标。障碍物的位置也可以说是矩形区域的位置。第1图像数据中的障碍物的位置表示障碍物在图像坐标系中的位置。图像坐标系是表示第1图像数据的像素位置的坐标系，并且是以横向为x轴、以纵向为y轴的坐标系。第1图像数据中的障碍物的位置也可以说是矩形区域在第1图像数据中的位置。在以下的说明中，适当将图像坐标系的x坐标表示为x坐标xi，将图像坐标系的y坐标表示为y坐标yi。
[0074]
＜人物检测处理＞
[0075]
图像处理装置41进行人物检测处理。人物检测处理按每个矩形区域来进行。以下，作为一个例子，对通过障碍物检测处理如图4所示得到了矩形区域b1、b2的情况进行说明。如能够根据图4掌握的那样，在第1图像数据im1中，包含呈现有全身的人物m1和由配重15隐藏了下半身的人物m2。如能够根据图4掌握的那样，第1图像数据im1中的矩形区域b1、b2的
下端的y坐标yi表示第1图像数据im1中的障碍物的最下部。第1图像数据im1中的矩形区域b1、b2的上端的y坐标yi表示第1图像数据im1中的障碍物的最上部。
[0076]
如图5所示，在步骤s11中，图像处理装置41判定矩形区域b1、b2是否符合上半身检测处理条件。上半身检测处理条件用于判定呈现于第1图像数据im1的障碍物是否是在由配重15等遮蔽物遮挡的状态下呈现于第1图像数据im1。详细地说，上半身检测处理条件用于对有可能是上半身呈现于第1图像数据im1、下半身由遮蔽物隐藏的人物的障碍物与除此以外的障碍物进行分类。图像处理装置41在距离条件和游离条件这两个条件都成立的情况下，判断为矩形区域b1、b2符合上半身检测处理条件。
[0077]
距离条件
…
到障碍物的距离为离叉车10的后端预定距离以内。
[0078]
游离条件
…
障碍物从地面游离了预定高度以上。
[0079]
如图1所示，距离条件能够根据到障碍物的y轴方向的距离来判定。到障碍物的距离是指从叉车10的后端到矩形区域b1、b2的y轴方向的中心位置的距离。从立体照相机31到叉车10的后端的y轴方向的距离l1是已知的。通过将从立体照相机31到叉车10的后端的距离l1或叉车10的后端的y坐标yw预先存储于存储部43，图像处理装置41能够导出从叉车10的后端到矩形区域b1、b2的y轴方向的距离l2。并且，图像处理装置41在距离l2为预定距离以内的情况下，判定为距离条件成立。距离条件的预定距离例如基于立体照相机31的分辨率、辞典数据d1、d2来设定。立体照相机31的分辨率越高，能够取得越多的特征量，因此能够使预定距离越长。障碍物越远离立体照相机31，呈现于第1图像数据im1的障碍物的大小越小。因此，能够检测人物的距离根据在得到辞典数据d1、d2时使用的图像数据的像素数而变化。预定距离也可以根据该距离而变化。障碍物的y坐标yw是离立体照相机31的距离。因此，也可以说距离条件判定的是从立体照相机31到障碍物的距离是否在预定距离以内。
[0080]
游离条件能够根据矩形区域b1、b2的下端的z坐标zw来判定。z坐标zw的原点是地面。因此，可以说矩形区域b1、b2的下端的z坐标zw表示的是障碍物从地面游离的高度h1。如能够根据图1掌握的那样，在由配重15隐藏了障碍物的情况下，障碍物的下方成为立体照相机31的拍摄范围的死角。在由配重15隐藏了障碍物的下方的情况下，在第1图像数据im1的表观上，障碍物是从地面游离的。预定高度例如由立体照相机31的高度和配重15的位置决定。例如，在预定距离以内存在有障碍物的情况下，预定高度可以设为由配重15遮挡的范围的高度。另外，预定高度也可以是根据矩形区域b1、b2的y坐标yw而变化的值。在该情况下，可以是矩形区域b1、b2越远离叉车10，越降低预定高度。
[0081]
上半身检测处理条件可以说是障碍物在从立体照相机31起的预定范围内从地面游离的条件。在图4所示的例子中，矩形区域b1不符合上半身检测处理条件。矩形区域b2符合上半身检测处理条件。
[0082]
在步骤s11的判定结果为否定的情况下，即，在障碍物不符合上半身检测处理条件的情况下，图像处理装置41进行步骤s12的处理。以矩形区域b1为例，对步骤s12进行说明。
[0083]
在步骤s12中，图像处理装置41进行全身检测处理。如图6所示，全身检测处理通过比较与不符合上半身检测处理条件的障碍物对应的矩形区域b1和全身辞典数据d1来进行。图像处理装置41提取矩形区域b1的特征量。矩形区域b1的特征量的提取通过与得到全身辞典数据d1时进行的特征量提取相同的方法来进行。在本实施方式中，从矩形区域b1提取hog特征量。并且，通过进行基于从矩形区域b1提取出的hog特征量与全身辞典数据d1的模式匹
配、机器学习的人物检测，判定矩形区域b1的障碍物是否为人物。当结束步骤s12的判定时，图像处理装置41结束人物检测处理。全身辞典数据d1是全身比较数据。
[0084]
如图5所示，在步骤s11的判定结果为肯定的情况下，即在障碍物符合上半身检测处理条件的情况下，图像处理装置41进行上半身检测处理s20。以矩形区域b2为例对上半身检测处理s20进行说明。
[0085]
如图7所示，在步骤s21中，图像处理装置41调整第1图像数据im1中的矩形区域b2的宽度。
[0086]
如图8所示，图像处理装置41推定矩形区域b2所包含的障碍物的重心位置g1。障碍物的重心位置g1例如能够从视差图像推定。图像处理装置41能够从视差的分布推定重心位置g1。图像处理装置41将同样的视差相对于图像坐标系的y轴方向集中地分布的部位推定为障碍物的重心位置g1。在存在有障碍物的部位，会出现特征点。因此，通过使用视差的分布能够推定重心位置g1。在障碍物为人物的情况下，重心位置g1易于成为通过人物的头部的位置。
[0087]
图像处理装置41根据重心位置g1调整第1图像数据im1中的矩形区域b2的宽度w1。第1图像数据im1中的矩形区域b2的宽度w1是指图像坐标系的x轴方向的尺寸。在以下的说明中，有时将图像坐标系的x轴方向称为宽度方向，将图像坐标系的y轴方向称为高度方向。图像处理装置41将矩形区域b2的宽度w1变更为从以下的式(5)导出的宽度w11。
[0088]
宽度w11＝距离w2
×
2+差δg
×
第1校正率
…
(5)
[0089]
距离w2是矩形区域b2的从重心位置g1到在宽度方向上离重心位置g1近的一端的距离。在图8所示的例子中，从重心位置g1到矩形区域b2的右端的距离是距离w2。距离w2是重心位置g1的x坐标xi与矩形区域b2的右端的x坐标xi之差。差δg是矩形区域b2的宽度方向的中心位置c1与重心位置g1之间的距离。差δg是重心位置g1的x坐标xi与中心位置c1的x坐标xi之差。第1校正率由世界坐标系中的矩形区域b2的宽度决定。世界坐标系中的矩形区域b2的宽度越小，差δg越小。因此，为了补充差δg的校正效果，世界坐标系中的矩形区域b2的宽度越小，第1校正率为越大的值。
[0090]
如图9所示，世界坐标系中的矩形区域b2的宽度与第1校正率是对应起来的。在图9所示的例子中，对世界坐标系中的矩形区域b2的宽度设定了上限宽度ul1和下限宽度ll1。并且，将上限宽度ul1和下限宽度ll1各自与第1校正率的值对应起来。上限宽度ul1是950[mm]。将小于1的值作为第1校正率与上限宽度ul1对应起来。作为与上限宽度ul1对应起来的第1校正率，例如能够从0.1～0.5的范围任意地设定。在图9所示的例子中，是将0.2作为第1校正率与上限宽度ul1对应起来。下限宽度ll1是450[mm]。将大于1的值作为第1校正率与下限宽度ll1对应起来。作为与下限宽度ll1对应起来的第1校正率，例如能够从1.5～2.2的范围任意地设定。在图9所示的例子中，是将1.8作为第1校正率与下限宽度ll1对应起来。
[0091]
图像处理装置41根据世界坐标系中的矩形区域b2的宽度导出第1校正率。如果世界坐标系中的矩形区域b2的宽度为上限宽度ul1以上，则图像处理装置41导出与上限宽度ul1对应起来的值作为第1校正率。如果世界坐标系中的矩形区域b2的宽度为下限宽度ll1以下，则图像处理装置41导出与下限宽度ll1对应起来的值作为第1校正率。如果世界坐标系中的矩形区域b2的宽度为上限宽度ul1与下限宽度ll1之间的值，则图像处理装置41根据与上限宽度ul1对应起来的值以及与下限宽度ll1对应起来的值导出第1校正率。例如，只要
图像处理装置41根据由上限宽度ul1、下限宽度ll1、与上限宽度ul1对应起来的值、以及与下限宽度ll1对应起来的值表示的一次函数导出第1校正率即可。
[0092]
如图10所示，通过步骤s21的处理调整宽度，能够得到调整后区域b21。调整后区域b21是调整宽度后的矩形区域b2。调整后区域b21的宽度w11是从式(5)导出的宽度。图10所示的例子是第1校正率为1.0的情况下的调整后区域b21。调整后区域b21也可以说是从矩形区域b2的宽度方向的两端中的离重心位置g1近的一端朝向离重心位置g1远的一端抽出宽度w11的部分得到的区域。在本实施方式中，从矩形区域b2的右端朝向左端从矩形区域b2抽出宽度w11的部分得到的区域是调整后区域b21。步骤s21是将使在矩形区域b2中从重心位置g1到在宽度方向上离重心位置g1近的一端的距离w2变为2倍后的长度加上基于重心位置g1与矩形区域b2的宽度方向的中心位置c1之差δg的值得到的长度设为调整后区域b21的宽度w11的处理。在本实施方式中，基于差δg的值是指差δg乘以第1校正率得到的值。步骤s21中的矩形区域b2的宽度的调整是为了减小第1图像数据im1中的矩形区域b2的中心位置c1与呈现于矩形区域b2的障碍物的重心位置g1的偏差而进行的。步骤s21的处理是重心区域宽度调整处理。
[0093]
如图7所示，接下来，在步骤s22中，图像处理装置41调整第1图像数据im1中的调整后区域b21的宽度。第1图像数据im1中的调整后区域b21的宽度是指图像坐标系的x轴方向的尺寸。可以说步骤s22的宽度的调整是对进行重心区域宽度调整处理后的矩形区域b2来进行。步骤s22中的调整后区域b21的宽度的调整是以减小上半身辞典数据d2的宽度与调整后区域b21的宽度之差为目的而进行的。上半身辞典数据d2是从呈现有人物的上半身的图像数据得到的辞典数据。因此，上半身辞典数据d2的宽度与进行了特征量的提取的图像数据的宽度相同。相对于此，调整后区域b21的宽度能根据障碍物的大小、障碍物的状况、以及障碍物与立体照相机31的位置关系而变化。图像处理装置41在调整后区域b21的宽度过大或过小的情况下对调整后区域b21的宽度进行调整。由此，减小上半身辞典数据d2的宽度与调整后区域b21的宽度之差。图像处理装置41在世界坐标系中的调整后区域b21的宽度为预先决定的下限值以下的情况下，增大调整后区域b21的宽度。图像处理装置41在世界坐标系中的调整后区域b21的宽度为预先决定的上限值以上的情况下，减小调整后区域b21的宽度。
[0094]
如图11所示，世界坐标系中的调整后区域b21的宽度的上限值ul2和世界坐标系中的调整后区域b21的宽度的下限值ll2分别对应有第2校正率。上限值ul2是950[mm]。将小于1的值作为第2校正率与上限值ul2对应起来。作为与上限值ul2对应起来的第2校正率，例如，能够从0.6～0.9的范围任意地设定。在图11所示的例子中，是将0.8作为第2校正率与上限值ul2对应起来。下限值ll2是450[mm]。将大于1的值作为第2校正率与下限值ll2对应起来。作为与下限值ll2对应的第2校正率，例如，能够从1.1～1.3的范围任意地设定。在图11所示的例子中，是将1.2作为第2校正率与下限值ll2对应起来。是将1.0作为第2校正率与下限值ll2和上限值ul2之间的值对应起来。
[0095]
图像处理装置41根据世界坐标系中的调整后区域b21的宽度导出第2校正率。图像处理装置41在世界坐标系中的调整后区域b21的宽度为上限值ul2以上的情况下，导出与上限值ul2对应起来的值作为第2校正率。图像处理装置41在世界坐标系中的调整后区域b21的宽度为下限值ll2以下的情况下，导出与下限值ll2对应起来的值作为第2校正率。图像处
理装置41在世界坐标系中的调整后区域b21的宽度为上限值ul2与下限值ll2之间的情况下，导出1.0作为第2校正率。
[0096]
图像处理装置41将使调整后区域b21的宽度乘以第2校正率得到的值设为调整后区域b21的新的宽度。在第2校正率为1.0的情况下，可以说调整后区域b21的宽度不被调整。第2校正率可以乘以第1图像数据im1中的调整后区域b21的宽度。第2校正率也可以乘以世界坐标系中的调整后区域b21的宽度。在该情况下，根据世界坐标系中的调整后区域b21的宽度来调整第1图像数据im1中的调整后区域b21的宽度。即，只要能够调整第1图像数据im1中的调整后区域b21的宽度即可，可以通过任何处理来调整宽度。在图10所示的调整后区域b21的情况下，世界坐标系中的宽度是上限值ul2与下限值ll2之间的值。因此，第1图像数据im1中的调整后区域b21的宽度不被调整。步骤s22的处理是宽度调整处理。
[0097]
假设通过步骤s21的处理得到了图12所示的调整后区域b22。世界坐标系中的调整后区域b22的宽度为上限值ul2以上。作为世界坐标系中的调整后区域b22的宽度成为上限值ul2以上的情况，例如，可列举人物张开手臂的情况。图像处理装置41将第1图像数据im1中的调整后区域b22的宽度w21调整为使宽度w21乘以0.8得到的宽度w22。图像处理装置41以使得在调整后区域b22的宽度的调整前和调整后，调整后区域b22的宽度方向的中心位置c1不变化的方式进行调整。
[0098]
假设通过步骤s21的处理得到了图13所示的调整后区域b22。世界坐标系中的调整后区域b22的宽度为下限值ll2以下。作为世界坐标系中的调整后区域b22的宽度成为下限值ll2以下的情况，例如，可列举从侧方拍摄人物并且人物使躯体与手臂对齐的情况。图像处理装置41将第1图像数据im1中的调整后区域b22的宽度w21调整为使宽度w21乘以1.2得到的宽度w22。图像处理装置41以使得在调整后区域b22的宽度的调整前和调整后，调整后区域b22的宽度方向的中心位置c1不变化的方式进行调整。
[0099]
如图7所示，接下来，在步骤s23中，图像处理装置41对第1图像数据im1中的调整后区域b21的高度进行校正。详细地说，图像处理装置41对第1图像数据im1中的调整后区域b21的下端的位置进行校正，从而从调整后区域b21的上端朝向下端从调整后区域b21抽出预定长度的部分。图像处理装置41在呈现于调整后区域b21的障碍物为人物的情况下，对调整后区域b21进行校正，以使得第1图像数据im1中的调整后区域b21的下端成为与人物的胸相当的位置。在呈现于调整后区域b21的障碍物为人物的情况下，第1图像数据im1中的调整后区域b21的上端是与人物的头顶部相当的位置。可以说调整后区域b21的图像坐标系的y轴方向的尺寸、即第1图像数据im1中的调整后区域b21的纵向宽度被校正为与从人物的胸到头顶部相当的范围。
[0100]
从人物的胸到头顶部的范围根据人物的身高而不同。人物的身高越高，从人物的胸到头顶部的范围有变得越大的趋势。如果是身高为1850[mm]的人物，一般地，胸位于头顶部的下方600[mm]处。如果是身高为1700[mm]的人物，一般地，胸位于头顶部的下方540[mm]处。如果是身高为1500[mm]的人物，一般地，胸位于头顶部的下方430[mm]处。这样，根据身高能够掌握一般的胸的位置，因此能够根据头顶部的位置来校正调整后区域b21的高度。
[0101]
如图14所示，调整后区域b21的上端的高度与校正量是相互对应起来的。调整后区域b21的上端的z坐标zw是与矩形区域b2的上端的z坐标zw相同的值。因此，也可以说矩形区域b2的上端的高度与校正量是相互对应起来的。校正量示出以调整后区域b21的上端的高
度为基准的情况下的从基准向矩形区域b2的下方的矩形区域b2在世界坐标系中的范围。例如，在调整后区域b21的上端的高度相当于1850[mm]的情况下，校正量为600[mm]。在该情况下，从1850[mm]向下方600[mm]的1250[mm]成为调整后区域b21的下端的高度。并且，从1850[mm]至1250[mm]成为世界坐标系中的调整后区域b21的范围。在本实施方式中，对调整后区域b21的上端的高度设定3个规定点p1～p3，将该规定点p1～p3与校正量对应起来。3个规定点p1～p3包含第1规定点p1、第2规定点p2以及第3规定点p3。第1规定点p1是1850[mm]。第2规定点p2是1700[mm]。第3规定点p3是1500[mm]。将600[mm]作为校正量与第1规定点p1对应起来。将540[mm]作为校正量与第2规定点p2对应起来。将430[mm]作为校正量与第3规定点p3对应起来。
[0102]
图像处理装置41根据调整后区域b21的上端的z坐标zw导出校正量。如果调整后区域b21的上端的z坐标zw是相当于各规定点p1～p3的高度，则图像处理装置41导出与各规定点p1～p3对应起来的值作为校正量。如上所述，在调整后区域b21的上端的z坐标zw相当于1850[mm]的情况下，图像处理装置41导出600[mm]作为校正量。如果调整后区域b21的上端的z坐标zw是相当于各规定点p1～p3之间的高度，则图像处理装置41根据与各规定点p1～p3对应起来的值导出校正量。例如，在调整后区域b21的上端的z坐标zw相当于1600[mm]的情况下，图像处理装置41基于与第2规定点p2对应起来的值以及与第3规定点p3对应起来的值导出校正量。例如，图像处理装置41只要根据由第2规定点p2、第3规定点p3、与第2规定点p2对应起来的值、以及与第3规定点p3对应起来的值表示的一次函数导出对应于1600[mm]的校正量即可。在调整后区域b21的上端的z坐标zw相当于比第1规定点p1高的高度的情况下，图像处理装置41导出与第1规定点p1对应起来的值作为校正量。在调整后区域b21的上端的z坐标zw相当于比第3规定点p3低的高度的情况下，图像处理装置41导出与第3规定点p3对应起来的值作为校正量。
[0103]
图像处理装置41在导出了校正量时使用校正量来校正调整后区域b21的下端的高度。图像处理装置41将从调整后区域b21的上端的高度减去校正量后的位置设为调整后区域b21的下端的高度。如前所述，在调整后区域b21的上端的高度相当于1850[mm]的情况下，从1850[mm]减去600[mm]得到的1250[mm]成为调整后区域b21的下端的高度。
[0104]
图像处理装置41根据通过校正量求出的调整后区域b21的下端的高度导出第1图像数据im1中的调整后区域b21的下端的y坐标yi。图像处理装置41使用与通过校正量求出的调整后区域b21的下端的高度相当的z坐标zw，导出通过校正量求出的调整后区域b21的下端的照相机坐标。进而，通过将照相机坐标转换为第1图像数据im1的坐标，能够导出第1图像数据im1中的调整后区域b21的下端的y坐标yi。在图4所示的例子中，第1图像数据im1中的调整后区域b21的下端的y坐标yi被校正为单点划线的位置。将第1图像数据im1中的调整后区域b21的下端的位置被校正后的调整后区域b21称为校正后区域b23。校正后区域b23是调整后区域的一个例子。校正后区域b23的图像坐标系的y轴方向的尺寸l3比调整后区域b21的图像坐标系的y轴方向的尺寸l4短。第1图像数据im1中的校正后区域b23是从调整后区域b21的上端起抽出预定长度的部分得到的区域。预定长度是将校正量转换为图像坐标系的尺寸后的值。步骤s23可以说是根据矩形区域b2的上端的离地面的高度来校正第1图像数据im1中的调整后区域b21的高度方向的尺寸的处理。
[0105]
如图7所示，接下来，在步骤s24中，图像处理装置41进行校正后区域b23与上半身
辞典数据d2的比较。如图15所示，上半身辞典数据d2是表示与校正后区域b23同样的部位的特征量的数据。在本实施方式中，校正后区域b23是比相当于人物的胸的位置靠上方的区域。因此，上半身辞典数据d2也被设为比相当于人物的胸的位置靠上方的特征量的数据。详细地说，上半身辞典数据d2是从呈现有人物的比胸靠上方部分的图像数据得到的辞典数据。图像处理装置41提取校正后区域b23的特征量。校正后区域b23的特征量的提取通过与得到上半身辞典数据d2时进行的特征量提取相同的方法来进行。在本实施方式中，从校正后区域b23提取hog特征量。并且，通过进行基于从校正后区域b23提取出的hog特征量与上半身辞典数据d2的模式匹配、机器学习的人物检测，判定矩形区域b2的障碍物是否为人物。上半身辞典数据d2是上半身比较数据。当结束步骤s24的判定时，图像处理装置41结束上半身检测处理s20和人物检测处理。
[0106]
＜控制装置根据人物的位置进行的控制＞
[0107]
如上所述，通过人物检测处理对在叉车10的周围存在的人物的位置进行检测。人物的位置被输出到控制装置20。控制装置20可以根据人物的位置进行叉车10的控制。例如，控制装置20可以在从叉车10起的预定范围内存在有人物的情况下，进行车速限制。控制装置20也可以在从叉车10起的预定范围内存在有人物的情况下，通过警报装置进行警报。该警报可以是对叉车10的周围的人物的警报，也可以是对叉车10的搭乘者的警报。
[0108]
＜作用＞
[0109]
对本实施方式的作用进行说明。
[0110]
若矩形区域b2的宽度方向的中心位置c1与障碍物的重心位置g1的偏差大，则人物的检测精度会降低。图像处理装置41通过调整矩形区域b2的宽度来得到调整后区域b21。调整后区域b21的宽度方向的中心位置与障碍物的重心位置g1的偏差比矩形区域b2的宽度方向的中心位置c1与障碍物的重心位置g1的偏差小。
[0111]
＜效果＞
[0112]
对本实施方式的效果进行说明。
[0113]
(1)图像处理装置41通过调整矩形区域b2的宽度得到调整后区域b21。并且，图像处理装置41通过从调整后区域b21得到的校正后区域b23与上半身辞典数据d2的比较来判定呈现于矩形区域b2的障碍物是否为人物。在得到全身辞典数据d1、上半身辞典数据d2时，一般地，从人物位于图像数据的宽度方向的中心位置的图像数据得到特征量的情况较多。即，全身辞典数据d1、上半身辞典数据d2是表示人物的重心位置与图像数据的宽度方向的中心位置的偏差小的状态下的特征量的数据。因此，若矩形区域b2的宽度方向的中心位置c1与障碍物的重心位置g1的偏差大，则会由于矩形区域b2与上半身辞典数据d2的特征量之差变大而人物的检测精度降低。调整后区域b21的宽度方向的中心位置与障碍物的重心位置g1的偏差比矩形区域b2的宽度方向的中心位置c1与障碍物的重心位置g1的偏差小。因此，通过利用校正后区域b23与上半身辞典数据d2的比较来判定矩形区域b2的障碍物是否为人物，能够抑制人物的检测精度降低。
[0114]
(2)图像处理装置41对上半身检测处理条件成立的矩形区域b2进行上半身检测处理。当呈现于第1图像数据im1的人物的下半身由遮蔽物隐藏时，人物的上半身会呈现于第1图像数据im1。在第1图像数据im1中，下半身由遮蔽物隐藏的人物成为从地面游离的状态。在下半身由遮蔽物隐藏的人物被检测为障碍物的情况下，对于包含该障碍物的矩形区域
b2，上半身检测条件成立。在上半身检测处理中，进行校正后区域b23与上半身辞典数据d2的比较。假如对于上半身检测处理条件成立的矩形区域b2也进行校正后区域b23与全身辞典数据d1的比较，则图像处理装置41会将从校正后区域b23得到的上半身的特征量与从全身辞典数据d1得到的全身的特征量进行比较。在该情况下，由于比较特征量的位置不同，人物的检测精度降低。相对于此，在上半身检测处理中，是将从校正后区域b23得到的上半身的特征量与从上半身辞典数据d2得到的上半身的特征量进行比较。由于能够对同一位置彼此的特征量进行比较，因此能够抑制人物的检测精度降低。此外，在实施方式中，作为遮蔽物的一个例子举出配重15进行了说明，但是即使是配重15以外的障碍物也可能成为遮蔽物。在该情况下，通过进行与实施方式同样的控制，也能得到同样的效果。另外，即使在未由遮蔽物将人物的下半身隐藏的情况下，当人物的下半身位于比立体照相机31的拍摄范围靠下方的位置时，也是仅人物的上半身会呈现于第1图像数据im1。在该情况下，通过进行与实施方式同样的控制，也能得到同样的效果。
[0115]
(3)人检测系统30安装于叉车10。叉车10在周围存在人物的环境下使用的情况较多。对于安装于叉车10的人检测系统30，要求在大范围内进行人物的检测。因此，在安装于叉车10的人检测系统30中，使用广角的立体照相机作为立体照相机31的情况较多。在使用广角的立体照相机31的情况下，越靠近第1图像数据im1的端缘，失真越大。该失真成为矩形区域b2的宽度方向的中心位置c1与障碍物的重心位置g1的偏差变大的一个原因。对此，通过得到调整后区域b21，能够抑制由失真引起的人物的检测精度的降低。因此，即使在使用了广角的立体照相机31的情况下，也能够抑制人物的检测精度的降低。
[0116]
另外，对于安装于叉车10的人检测系统30，要求通过立体照相机31针对叉车10的附近来检测人物。另一方面，当试图由立体照相机31拍摄叉车10的附近时，配重15等遮蔽物易于包含于拍摄范围。因此，在安装于叉车10的人检测系统30中，人物的下半身易于由叉车10自身隐藏。通过使安装于叉车10的人检测系统30的图像处理装置41进行上半身检测处理，即使在人物的下半身由叉车10自身隐藏的情况下，人物的检测精度也不易降低。
[0117]
(4)调整后区域b21的宽度从式(5)导出。发明人反复进行了实验、模拟，结果发现通过由式(5)导出调整后区域b21的宽度，在调整后区域b21中易于包含人物的宽度方向的整体。例如，若使调整后区域b21的宽度比由式(5)导出的宽度短，则根据人物的呈现方式，有时人物的肩等人物的宽度方向的一部分会处于调整后区域b21的范围外。在该情况下，有时人物的检测精度会降低。通过将由式(5)导出的宽度设为调整后区域b21的宽度，在调整后区域b21中易于包含人物的宽度方向的整体。由此，能够抑制人物的检测精度的降低。
[0118]
(5)图像处理装置41在世界坐标系中的调整后区域b21的宽度为预先决定的下限值ll2以下的情况下，增大第1图像数据im1中的调整后区域b21的宽度。图像处理装置41在世界坐标系中的调整后区域b21的宽度为预先决定的上限值ul2以上的情况下，减小第1图像数据im1中的调整后区域b21的宽度。在调整后区域b21的宽度过大的情况下或者调整后区域b21的宽度过小的情况下，能够对调整后区域b21的宽度进行调整。能够减小上半身辞典数据d2的宽度与调整后区域b21的宽度之差。由此，能够抑制人物的检测精度的降低。
[0119]
(6)图像处理装置41根据矩形区域b2的上端的离地面的高度，对第1图像数据im1中的调整后区域b21的高度方向的长度进行校正。由此，能够得到对调整后区域b21的高度进行了校正的校正后区域b23。在实施方式中，校正后区域b23是比与人物的胸相当的位置
靠上方的区域。通过配合上半身辞典数据d2来校正调整后区域b21的高度，能够提高人物的检测精度。
[0120]
(7)为了抑制人物的检测精度降低，也可以考虑进行使用深层学习的人物检测处理。在该情况下，需要高性能的硬件。相对于此，在本实施方式中，使用全身辞典数据d1和上半身辞典数据d2进行人物检测处理。不需要使用高性能的硬件，能够抑制制造成本的增加。
[0121]
(8)为了提取由遮蔽物将障碍物的下方隐藏的矩形区域b2，也可以考虑算出在矩形区域b2中是否包含较多的视差不同的区域。例如，在由遮蔽物隐藏了人物的下半身的情况下，由遮蔽物产生的视差和由人物产生的视差混合存在于矩形区域b2。因此，会在矩形区域b2中包含较多的视差不同的区域。然而，在该情况下，有时仅在矩形区域b2存在2个障碍物，就被判定为在矩形区域b2中包含较多的视差不同的区域。即，即使在未由遮蔽物将障碍物的下方隐藏的情况下，有时障碍物的下方也被提取为由遮蔽物隐藏的矩形区域b2。对此，在实施方式中，根据障碍物是否从地面游离来提取由遮蔽物将障碍物的下方隐藏的矩形区域b2。由此，能够恰当地检测由遮蔽物将障碍物的下方隐藏的矩形区域b2。
[0122]
＜变更例＞
[0123]
实施方式能够如以下所示变更来实施。实施方式和以下的变更例能够在技术上不矛盾的范围内相互组合来实施。
[0124]
○
如图16所示，图像处理装置41在步骤s11的判定结果为否定的情况下，也可以进行步骤s31的处理。在步骤s31中，图像处理装置41判定矩形区域是否符合全身检测处理条件。在步骤s31中进行是否符合全身检测处理条件的判定的矩形区域是不符合上半身检测处理条件的矩形区域。在实施方式中，进行矩形区域b1是否符合全身检测处理条件的判定。将作为上半身检测处理条件的游离条件设定的预定高度设为第1预定高度。全身检测处理条件是，障碍物从地面游离的高度小于第2预定高度。第2预定高度是比第1预定高度低的高度。第2预定高度例如在200[mm]～400[mm]的范围内任意地设定。第1预定高度例如能够在600[mm]～1000[mm]的范围内任意地设定。在步骤s31的判定结果是肯定的情况下，即，在矩形区域符合全身检测处理条件的情况下，图像处理装置41进行步骤s12的处理。在步骤s31的判定结果是否定的情况下，即，在矩形区域不符合全身检测处理条件的情况下，图像处理装置41进行步骤s12的处理和上半身检测处理s20。即，对于呈现有从地面游离的高度小于第1预定高度并且从地面游离的高度为第2预定高度以上的障碍物的矩形区域，进行步骤s12的处理和上半身检测处理s20。在该情况下，在步骤s12的处理和上半身检测处理s20中的至少一个处理中判定为障碍物是人物的情况下，判定为呈现于矩形区域的障碍物是人物。
[0125]
○
存储于存储部43的辞典数据也可以仅是全身辞典数据d1。在该情况下，图像处理装置41在步骤s24中进行校正后区域b23与全身辞典数据d1的比较。校正后区域b23与全身辞典数据d1的比较使用全身辞典数据d1中的比相当于人物的胸的位置靠上方的区域来进行。即，使用从呈现有人物的全身的图像数据得到的全身辞典数据d1中的表示与校正后区域b23同样的部分的区域进行比较。例如，如图6所示，只要使用全身辞典数据d1的从上端到相当于人物的胸的位置的区域d11进行比较即可。区域d11是上半身比较数据。图像处理装置41提取校正后区域b23的特征量。并且，通过进行基于从校正后区域b23提取出的特征量与区域d11的模式匹配、机器学习的人物检测，判定矩形区域b2的障碍物是否为人物。
[0126]
另外，在使用全身辞典数据d1进行与校正后区域b23的比较的情况下，图像处理装置41在上半身检测处理s20的步骤s23中也可以代替调整后区域b21的高度的校正而进行检测区域比率的处理。区域比率是指调整后区域b21在障碍物的最上部的高度中所占的比例。障碍物的最上部的高度能够从调整后区域b21的上端的z坐标zw来掌握。区域比率可通过将调整后区域b21的上端的z坐标zw与调整后区域b21的下端的z坐标zw之间的尺寸除以调整后区域b21的上端的z坐标zw所相当的高度而得到。可以说图像处理装置41根据调整后区域b21的下端的离地面的高度和调整后区域b21的上端的离地面的高度来检测区域比率。图像处理装置41在上半身检测处理s20的步骤s24中，进行将对全身辞典数据d1应用区域比率而得到的区域与调整后区域b21进行比较的处理。区域比率向全身辞典数据d1的应用通过将全身辞典数据d1中的从上端朝向下端的方向的区域抽出区域比率的部分来进行。由此，如果呈现于调整后区域b21的障碍物是人物，则能够得到与该人物同样的部位的区域。将区域比率应用于全身辞典数据d1得到的区域是上半身比较数据。
[0127]
○
距离条件也可以设为到障碍物的距离是离立体照相机31预定距离以内。该情况下的预定距离只要设为使实施方式的预定距离加上距离l1得到的长度即可。
[0128]
○
在步骤s23中，图像处理装置41也可以对调整后区域b21进行校正，以使得第1图像数据im1中的调整后区域b21的下端相当于与人物的胸不同的位置。例如，图像处理装置41也可以对调整后区域b21进行校正，以使得第1图像数据im1中的调整后区域b21的下端成为相当于人物的颈部或腹部的位置。在该情况下，作为上半身辞典数据d2，优选使用呈现有比人物的颈部靠上方部分的图像数据或呈现有比人物的腹部靠上方部分的图像数据来生成。
[0129]
○
在步骤s22中，图像处理装置41在世界坐标系中的调整后区域b21的宽度为下限值ll2以下的情况下，也可以通过将第1图像数据im1中的调整后区域b21的宽度加上预定值来增大调整后区域b21的宽度。作为预定值，可以是固定值，也可以是世界坐标系中的调整后区域b21的宽度越小则变得越大的变动值。图像处理装置41在世界坐标系中的调整后区域b21的宽度为上限值ul2以上的情况下，也可以通过从第1图像数据im1中的调整后区域b21的宽度减去预定值来减小调整后区域b21的宽度。作为预定值，可以是固定值，也可以是世界坐标系中的调整后区域b21的宽度越大则变得越小的变动值。
[0130]
○
在步骤s22中，图像处理装置41也可以根据图像坐标系中的调整后区域b21的宽度来对调整后区域b21的宽度进行调整。
[0131]
○
步骤s23也可以在步骤s21之前进行。在该情况下，对矩形区域b2进行与离地面的高度相应的校正。步骤s21中的矩形区域b2的宽度的调整是对进行矩形区域b2的y轴方向的尺寸的校正后的矩形区域b2来进行。该情况下得到的调整后区域b21是进行矩形区域b2的y轴方向的尺寸的校正后的调整后区域b21。因此，即使在该情况下，也可以说第1图像数据im1中的调整后区域b21的高度方向的长度被校正。
[0132]
○
图像处理装置41也可以根据从式(5)省略了第1校正率得到的式子导出宽度w11。
[0133]
○
图像处理装置41只要能够使调整后区域b21的宽度方向的中心位置与障碍物的重心位置g1的偏差比矩形区域b2的宽度方向的中心位置c1与障碍物的重心位置g1的偏差小即可，可以是以任何方式调整矩形区域b2的宽度。
[0134]
○
图像处理装置41也可以不进行步骤s23的处理。
[0135]
○
图像处理装置41也可以不进行步骤s21的处理。
[0136]
○
在步骤s22中，图像处理装置41也可以进行在世界坐标系中的调整后区域b21的宽度为预先决定的下限值ll2以下的情况下增大调整后区域b21的宽度的处理和在世界坐标系中的调整后区域b21的宽度为预先决定的上限值ul2以上的情况下减小调整后区域b21的宽度的处理中的一方。在步骤s22中图像处理装置41仅进行在世界坐标系中的调整后区域b21的宽度为预先决定的下限值ll2以下的情况下增大调整后区域b21的宽度的处理的情况下，只要不设定上限值ul2即可。在该情况下，在世界坐标系中的调整后区域b21的宽度大于下限值ll2的情况下，只要导出1.0作为第2校正率即可。在步骤s22中仅进行在世界坐标系中的调整后区域b21的宽度为预先决定的上限值ul2以上的情况下减小调整后区域b21的宽度的处理的情况下，只要不设定下限值ll2即可。在该情况下，在世界坐标系中的调整后区域b21的宽度小于上限值ul2的情况下，只要导出1.0作为第2校正率即可。
[0137]
○
图像处理装置41在步骤s11的判定为否定的情况下，也可以进行步骤s21的处理。即，图像处理装置41对不符合上半身处理条件的矩形区域也可以进行使用重心位置g1的矩形区域的宽度的调整。在该情况下，图像处理装置41也可以对不符合上半身处理条件的矩形区域进行步骤s22的处理。可以说图像处理装置41可以进行被进行了宽度的调整的矩形区域与全身辞典数据d1的比较，也可以进行未被进行宽度的调整的矩形区域与全身辞典数据d1的比较。在任一情形中，可以说图像处理装置41都是对于上半身检测处理条件不成立的矩形区域，通过比较第1图像数据im1中的矩形区域与全身辞典数据d1来判定呈现于矩形区域的障碍物是否为人物。
[0138]
另外，在步骤s11的判定为否定时进行步骤s21的处理的情况下，在上半身检测处理中，也可以不进行步骤s21和步骤s22的处理。即，重心区域宽度调整处理只要对符合上半身检测处理条件的矩形区域和不符合上半身检测处理条件的矩形区域中的至少一方进行即可。
[0139]
○
图像处理装置41也可以不进行矩形区域是否符合上半身检测处理条件的判定。在该情况下，对全部的矩形区域进行步骤s21和步骤s22的处理。图像处理装置41通过对矩形区域进行了步骤s21和步骤s22的处理的调整后区域与全身辞典数据d1的比较，判定呈现于矩形区域的障碍物是否为人物。在该情况下，通过调整矩形区域的宽度，也能够抑制人物的检测精度的降低。
[0140]
○
立体照相机31也可以设置为使得配重15不进入拍摄范围。
[0141]
○
在第1图像数据im1中呈现有障碍物的区域也可以是圆形的区域等矩形形状以外的区域。
[0142]
○
人检测系统30也可以检测叉车10的前方的人物。在该情况下，立体照相机31设置为对叉车10的前方进行拍摄。另外，人检测系统30也可以检测叉车10的前方和后方这两侧的人物。在该情况下，立体照相机31设置对叉车10的前方进行拍摄的立体照相机和对叉车10的后方进行拍摄的立体照相机这两者。
[0143]
○
也可以通过表格数据进行从照相机坐标向世界坐标的转换。表格数据是使y坐标yc和z坐标zc的组合与y坐标yw对应起来的表格数据、以及使y坐标yc和z坐标zc的组合与z坐标zw对应起来的表格数据。通过将这些表格数据预先存储到图像处理装置41的存储部
43等，能够根据照相机坐标系中的y坐标yc和z坐标zc求出世界坐标系中的y坐标yw和z坐标zw。此外，在实施方式中，由于照相机坐标系中的x坐标xc与世界坐标系中的x坐标xw一致，因此，不存储用于求出x坐标xw的表格数据。
[0144]
○
世界坐标系不限于正交坐标系，也可以设为极坐标系。
[0145]
○
照相机只要能够从由该照相机得到的图像数据导出障碍物的世界坐标即可，可以使用任何照相机。例如，作为照相机，可以使用单眼照相机，也可以使用tof(time of flight：飞行时间)照相机。
[0146]
○
叉车10也可以是发动机式的叉车。
[0147]
○
立体照相机31也可以装配到货物装卸装置17等任何位置。
[0148]
○
移动体也可以是拖车等与叉车10不同的工业车辆。移动体也可以是乘用车、搬运车、建筑机械、飞行体等任何移动体。

技术特征：
1.一种人检测系统的图像处理装置，所述人检测系统安装于移动体，所述图像处理装置的特征在于，所述图像处理装置根据从照相机取得的图像数据来检测在该图像数据中呈现有障碍物的区域，推定在所述图像数据中所述区域所包含的所述障碍物的重心位置，进行根据所述重心位置来调整所述图像数据中的所述区域的宽度的重心区域宽度调整处理，通过将进行所述重心区域宽度调整处理后的调整后区域与辞典数据进行比较来判定呈现于所述区域的所述障碍物是否为人物。2.根据权利要求1所述的人检测系统的图像处理装置，其中，所述辞典数据包含上半身比较数据和全身比较数据，所述图像处理装置按每个所述区域判定所述障碍物在从所述照相机起的预定范围内从地面游离的上半身检测处理条件是否成立，对于所述上半身检测处理条件成立的所述区域，进行通过将对所述图像数据中的所述区域进行所述重心区域宽度调整处理后的所述调整后区域与所述上半身比较数据进行比较来判定呈现于所述区域的所述障碍物是否为人物的上半身检测处理，对于所述上半身检测处理条件不成立的所述区域，进行通过将所述图像数据中的所述区域与所述全身比较数据进行比较来判定呈现于所述区域的所述障碍物是否为人物的全身检测处理。3.根据权利要求1或权利要求2所述的人检测系统的图像处理装置，其中，所述重心区域宽度调整处理是将使所述图像数据中的所述区域的从所述重心位置到在宽度方向上离所述重心位置近的一端的距离变为2倍后的长度加上基于所述重心位置与所述区域的宽度方向的中心位置之差的值得到的长度设为所述调整后区域的宽度的处理。4.根据权利要求1至权利要求3中的任意一项所述的人检测系统的图像处理装置，其中，所述图像处理装置对所述调整后区域进行宽度调整处理，所述宽度调整处理是进行在所述调整后区域的所述宽度为预先决定的下限值以下的情况下增大所述图像数据中的所述调整后区域的宽度的处理和在所述调整后区域的所述宽度为预先决定的上限值以上的情况下减小所述图像数据中的所述调整后区域的宽度的处理中的至少一方的处理。5.根据权利要求2所述的人检测系统的图像处理装置，其中，所述图像处理装置检测所述区域的上端的离所述地面的高度，所述上半身检测处理包含根据所述区域的上端的离所述地面的高度来校正所述图像数据中的所述调整后区域的高度方向的尺寸的处理。

技术总结
一种人检测系统的图像处理装置，抑制人物的检测精度降低。人检测系统安装于叉车。人检测系统具备立体照相机和图像处理装置。图像处理装置从立体照相机取得第1图像数据和第2图像数据。图像处理装置从第1图像数据检测呈现有障碍物的矩形区域。图像处理装置推定在第1图像数据中矩形区域所包含的障碍物的重心位置，进行根据重心位置来调整矩形区域的宽度的重心区域宽度调整处理。图像处理装置通过将进行重心区域宽度调整处理后的调整后区域与辞典数据进行比较来判定呈现于矩形区域的障碍物是否为人物。辞典数据是从呈现有人物的图像数据提取的特征量的数据。数据提取的特征量的数据。数据提取的特征量的数据。


技术研发人员：石崎将崇 三步一卓人
受保护的技术使用者：株式会社丰田自动织机
技术研发日：2023.01.19
技术公布日：2023/7/26