电子仪器、可移动设备、距离计算方法和存储介质与流程

1.本发明涉及用于获取从可移动设备到对象的距离的电子仪器、可移动设备、距离计算方法和存储介质等。


背景技术：

2.存在如下的拍摄装置，该拍摄装置具有二维地布置具有光电转换功能的多个像素区域的传感器，并且能够获取各个像素区域中的图像信号和距离信息。在日本特开2007-281296中公开的固态摄像元件中，针对摄像元件中的一些或所有像素布置具有测距功能的像素，并且基于在摄像面上检测到的相位差来检测被摄体距离(摄像面相位差系统)。
3.也就是说，根据基于穿过了拍摄装置中所设置的摄像光学系统中的不同光瞳区域的光束所生成的图像的两个图像信号之间的相关性来计算位置偏差，并且基于该位置偏差来获取距离。使用诸如基于区域的匹配技术等的技术来评估两个图像信号之间的相关性，该基于区域的匹配技术通过从各个图像信号中切出预定对照区域中所包括的图像信号来评估相关性。
4.然而，由于被摄体或拍摄条件(诸如图像信号中所包括的被摄体的对比度的变化小的情况以及图像信号包括大量噪声的情况等)，可能发生相关性的错误评估。如果所包括的相关性的错误评估的发生达到或超过一定水平，则担心所计算出的两个图像信号之间的位置偏差量可能具有误差，并且所获取到的距离的准确度可能下降。


技术实现要素：

5.根据本发明的一方面的一种电子仪器，其包括：至少一个处理器或电路，其被配置为用作：第一距离信息获取单元，用于获取与图像信号中所包括的对象相对应的第一距离信息；第二距离信息获取单元和第三距离信息获取单元中的至少一个，所述第二距离信息获取单元用于基于所述图像信号中所包括的对象的端位置的信息的至少一个来获取第二距离信息，所述第三距离信息获取单元用于基于所述图像信号中所包括的对象的大小的信息来获取第三距离信息；以及距离信息整合单元，用于通过将所述第一距离信息、所述第二距离信息和所述第三距离信息中的至少两个进行组合并整合来生成整合距离信息。
6.通过以下参考附图对实施例的说明，本发明的更多特征将变得明显。
附图说明
7.图1是例示根据第一实施例的运载工具的构造的示例的示意图。
8.图2是示出根据第一实施例的运载工具的构造的示例的框图。
9.图3是示出根据第一实施例的路径生成装置的构造的示例的功能框图。
10.图4a和图4b是例示根据第一实施例的摄像元件的构造的示例的示意图。
11.图5a至图5d是摄像面相位差系统中的被摄体距离和入射光之间的关系的说明性示意图。
12.图6a和图6b是示出根据第一实施例的图像处理单元所执行的处理示例的流程图。
13.图7a和图7b是示出根据第一实施例的距离信息生成单元所执行的处理示例的流程图。
14.图8a至图8e是例示根据第一实施例的距离信息生成单元所执行的处理示例中的图像和信息的示例的示意图。
15.图9是示出根据第一实施例的路径生成单元所执行的路径生成处理的示例的流程图。
16.图10是示出根据变形例2的距离信息生成单元所进行的对象距离信息生成处理的示例的流程图。
17.图11是具有与第n个对象相同的识别编号的对象的对象距离信息的随时间变化的示例的说明性示意图。
18.图12是示出根据变形例3的距离信息生成单元所进行的对象距离信息生成处理的示例的流程图。
19.图13a至图13d是加权平均的说明性示意图。
20.图14是示出根据第二实施例的用于获取测距值(对象距离信息)的处理示例的流程图。
21.图15是示出输入根据第二实施例的按时间序列的多个连续输入数据的处理示例的一部分的流程图。
22.图16是示出图15所示的处理示例的其余部分的流程图。
23.图17a和图17b是根据第二实施例的绝对误差校正处理的示例的说明性示意图。
24.图18是示出根据第三实施例的测距系统的构造的示例的框图。
25.图19是例示根据第三实施例的对象检测单元所执行的分割线检测任务和对象辨识任务的输出结果的示例的示意图。
26.图20是根据第三实施例的照相机附接位置和路面之间的位置关系的示例的说明图。
27.图21是例示在道路上检测到具有已知对象大小的两个标志的场景的示例的示意图。
28.图22是示出缩放测距单元的变形例的构造的框图。
29.图23a至图23d是示意性例示根据第三实施例的通车车道分析单元所执行的通车车道宽度检测和通车车道中心检测的处理示例的示意图。
30.图24是表示拍摄图像中的通车车道宽度的位置之间的关于侧倾角的有无的比较的示意图。
31.图25是示出根据第三实施例的侧倾角估计单元所执行的侧倾角估计处理的示例的流程图。
32.图26a至图26c是根据第三实施例的侧倾角估计处理中的各处理示例的说明性示意图。
33.图27是示出根据第三实施例的接地位置估计单元所执行的通车车道宽度数据的坐标估计处理的示例的流程图。
34.图28是例示根据第三实施例的接地位置估计单元所设置的测距目标的接地位置
的坐标的示例的示意图。
35.图29是示出根据第三实施例的对象距离计算单元所执行的到测距目标的距离的估计处理的示例的流程图。
36.图30是示出根据第三实施例的各个通车车道宽度数据的示例的示意图。
具体实施方式
37.在下文，参考附图，将使用实施例来说明本发明的有利模式。在各图中，将相同的附图标记应用于相同的构件或元件，并且将省略或简化重复的说明。
38.《第一实施例》
39.在以下的说明中，将使用包括拍摄装置的路径生成装置(电子仪器)作为本发明的路径生成装置的示例来给出说明，但本发明的应用不限于此。
40.在参考附图的说明中，即使附图编号不同，基本上也将相同的附图标记应用于表示相同部位的部分，并且将尽可能避免重复说明。
41.图1是例示根据第一实施例的运载工具100的构造的示例的示意图。运载工具100是包括摄像装置110、雷达装置120、路径生成ecu 130、运载工具控制ecu 140和测量仪器组160的可移动设备的示例。运载工具100还包括用作用于驱动运载工具100的驱动控制单元的驱动单元170、存储器180和存储器190。
42.将使用图2来说明驱动单元170、存储器180和存储器190。在图2中包括摄像装置110、雷达装置120、路径生成ecu 130、运载工具控制ecu 140和测量仪器组160。
43.摄像装置110和路径生成ecu 130等构成路径生成装置150。驾驶员101可以搭乘运载工具100，并且驾驶员101在行驶时面向运载工具100的前方侧(行驶方向)的状态下搭乘运载工具100。驾驶员101可以通过操作运载工具100的诸如方向盘、加速踏板和制动踏板等的操作构件来控制运载工具的操作。运载工具100可以具有自动驾驶功能或者可能能够从外部远程控制。
44.摄像装置110被布置成拍摄运载工具100的前方侧(正常行驶方向)。如图1所示，摄像装置110例如布置在运载工具100中的挡风玻璃的上端附近，并且朝向运载工具100的前方侧拍摄预定角度范围(以下称为拍摄场角)的区域。
45.摄像装置110可以被布置成拍摄运载工具100的后方侧(与正常行驶方向相反，即后退行驶方向)，或者可以被布置成拍摄侧方侧。在运载工具100中可以布置有多个摄像装置110。
46.图2是示出根据第一实施例的运载工具100的构造的示例的框图。
47.摄像装置110拍摄包括运载工具100行驶的道路(行驶道路)的运载工具周围的环境(周围环境)，并且检测摄像装置110的拍摄场角的范围内所包括的对象。另外，摄像装置110获取检测到的对象的信息(外部信息)和与检测到的对象的距离有关的信息(对象距离信息)，并将这两个信息输出到路径生成ecu130。
48.对象距离信息仅需要是可以使用预定参考表或者预定转换系数和转换表达式转换成从运载工具100中的预定位置到对象的距离的信息。例如，距离可以被分配到预定的整数值，并被顺次输出到路径生成ecu 130。
49.摄像装置110具有二维地布置具有光电转换功能的多个像素区域的传感器，并且
可以通过摄像面相位差系统获取对象的距离。以下将说明通过摄像面相位差系统的对象的距离信息的获取。
50.雷达装置120是用于通过发射电磁波并接收其反射波来检测对象的检测装置。雷达装置120用作第四距离信息获取单元，其基于从发射电磁波起直到接收到反射波为止的时间以及反射波的接收强度来获取表示到电磁波的发送方向上的对象的距离的距离信息(第四距离信息)。
51.雷达装置120将距离信息输出到路径生成ecu 130。假定雷达装置120是使用具有从毫米波段到亚毫米波段的所谓的波段范围内的波长的电磁波的毫米波雷达装置。
52.在本实施例中，多个雷达装置120附接到运载工具100。例如，雷达装置120附接到运载工具100的左前侧和右前侧以及左后侧和右后侧中的各侧。
53.另外，各个雷达装置120在预定角度范围内发射电磁波，基于从发送电磁波起直到接收到反射波为止的时间以及反射波的接收强度来测量相对于各个雷达装置120的距离，并且生成关于对象的距离信息。距离信息除了包括与相对于雷达装置120的距离有关的信息之外，还可以包括与反射波的接收强度和对象的相对速度有关的信息。
54.例如，测量仪器组160包括行驶速度测量仪器161、转向角测量仪器162和角速度测量仪器163，通过这三个测量仪器，获取到与运载工具的驾驶状态(诸如行驶速度、转向角和角速度等)有关的运载工具信息。行驶速度测量仪器161是用于检测运载工具100的行驶速度的测量仪器。
55.转向角测量仪器162是用于检测运载工具100的转向角的测量仪器。角速度测量仪器163是用于检测运载工具100在转弯方向上的角速度的测量仪器。各个测量仪表将测量到的与参数相对应的测量信号作为运载工具信息输出到路径生成ecu 130。
56.路径生成ecu 130使用逻辑电路等构成，并且基于测量信号、外部信息、对象距离信息和距离信息等来生成运载工具100的行驶轨迹和与行驶轨迹有关的路径信息。路径生成ecu 130将行驶轨迹和路径信息输出到运载工具控制ecu 140。路径生成ecu 130所处理和执行的数据和程序被保存在存储器180中。
57.这里，行驶轨迹是表示运载工具100通过的轨迹(路径)的信息。另外，路径信息是运载工具100通过由行驶轨迹表示的路径所用的信息(包括道路信息等)。
58.运载工具控制ecu 140使用逻辑电路等构成，并且控制驱动单元170，使得运载工具100基于路径信息和从测量仪器组160获取到的运载工具信息来通过与路径信息相对应的路径。运载工具控制ecu 140所处理和执行的数据和程序由存储器190保存。
59.驱动单元170是用于驱动运载工具的驱动构件，并且例如包括生成用于使轮胎转动的能量的诸如发动机和马达等的动力单元(未示出)、以及用于控制运载工具的行驶方向的转向单元。另外，驱动单元170包括用于使用动力单元所生成的能量来使轮胎转动的齿轮箱、用于控制齿轮箱内的构造的齿轮控制单元、以及用于进行制动操作的制动单元等。
60.运载工具控制ecu 140通过控制驱动单元170来调整运载工具100的驱动量、制动量和转向量等，使得运载工具通过与路径信息相对应的路径。具体地，运载工具控制ecu 140通过控制制动、转向和齿轮构造等来使得运载工具100进行操作。
61.路径生成ecu 130和运载工具控制ecu 140可以由共同的中央处理单元(cpu)和保存有计算处理程序的存储器构成。hmi 240是用于向驾驶员101提供信息的人机界面。
62.hmi 240包括在驾驶员101位于驾驶位置时可以从视觉上辨识的显示器、以及生成要在显示器中显示的信息的显示控制装置。另外，hmi 240包括用于输出音频的装置(扬声器系统)和用于生成音频数据的音频控制装置。
63.hmi 240内的显示控制装置使得显示器基于路径生成ecu 130所生成的路径信息来显示导航信息。另外，hmi 240内的音频控制装置基于路径信息来生成用于向驾驶员101通知路径信息的音频数据，并从扬声器系统输出该音频数据。例如，音频数据是用于通知要转弯的十字路口正在接近的数据等。
64.图3是示出根据第一实施例的路径生成装置150的构造的示例的功能框图。路径生成装置150包括摄像装置110和路径生成ecu 130。通过使得路径生成装置150中所包括的计算机执行用作存储介质的存储器中所存储的计算机程序来实现图3所示的功能块的一部分。
65.然而，这些功能块的一部分或全部可以通过硬件来实现。可以使用专用电路(asic)或处理器(可重构处理器、dsp)等作为硬件。
66.另外，图3所示的功能框图可以不内置到同一壳体中，并且可以由经由信号线彼此连接的单独装置构成。与图3有关的上述说明也以类似的方式适用于针对图18和图22的说明。
67.摄像装置110具有摄像光学系统301、摄像元件302、图像处理单元310和对象信息生成单元320。在本实施例中，摄像光学系统301、摄像元件302、图像处理单元310和对象信息生成单元320布置在摄像装置110的壳体(未示出)内。
68.摄像光学系统301包括摄像装置110的拍摄透镜，并且具有在摄像元件302上形成被摄体的图像(光学图像)的功能。摄像光学系统301由多个透镜组构成。摄像光学系统301在离摄像元件302预定距离远的位置处具有出射光瞳。
69.摄像元件302是由互补金属氧化物半导体(cmos)或电荷耦合器件(ccd)构成、并且具有通过摄像面相位差测距方法进行的测距功能的摄像元件。在摄像元件302中，二维地布置具有光电转换功能的多个像素区域。
70.例如，各个像素区域具有沿行方向分开地布置的两个光电转换单元(第一光电转换单元和第二光电转换单元)。例如，在各个像素区域的两个光电转换单元的前方布置有r、g和b的任一个滤色器以及微透镜。
71.摄像元件302对经由摄像光学系统301在摄像元件302上形成的被摄体图像进行光电转换，基于被摄体图像生成图像信号，并将该图像信号输出到图像处理单元310。图像信号是针对各个像素区域的各光电转换单元具有输出值的信号。
72.摄像元件302分别输出基于从第一光电转换单元输出的信号的第一图像信号和基于从第二光电转换单元输出的信号的第二图像信号。可替代地，将对第一图像信号和第二图像信号进行相加的相加信号以及第一图像信号分别输出到图像处理单元310。
73.图像处理单元310基于从摄像元件302供给的图像信号来生成具有针对各像素的各个颜色(红色、绿色和蓝色)的亮度信息的图像数据和表示针对各像素的距离信息的距离图像数据。图像处理单元310具有：显像单元311，其基于从摄像元件302供给的图像信号来生成图像数据；以及距离图像生成单元312，其基于从摄像元件302供给的图像信号来生成距离图像数据。
74.以下将说明这些单元所执行的处理。图像处理单元310将来自显像单元311的图像数据和来自距离图像生成单元312的距离图像数据输出到对象信息生成单元320。
75.对象信息生成单元320具有辨识处理单元321，该辨识处理单元321检测所获取到的图像中所包括的对象，并且基于来自显像单元311的图像数据来生成表示与对象有关的信息的外部信息。外部信息是表示所检测到对象的图像内的位置、诸如宽度或高度等的大小、以及区域等的信息。另外，外部信息包括与所检测到的对象的属性和识别编号有关的信息等。
76.对象信息生成单元320具有距离信息生成单元322，该距离信息生成单元322基于来自辨识处理单元321的外部信息和来自距离图像生成单元312的距离图像数据来生成表示到所获取到的图像中所包括的对象的距离(第一距离信息)的对象距离信息。这里，距离信息生成单元322用作获取与图像信号中所包括的对象相对应的第一距离信息的第一距离信息获取单元。
77.此外，对象距离信息链接到与外部信息中所包括的对象的识别编号有关的信息。对象信息生成单元320将来自辨识处理单元321的外部信息和来自距离信息生成单元322的对象距离信息输出到路径生成ecu 130。
78.图像处理单元310和对象信息生成单元320可以由摄像装置110中所设置的一个或多于一个处理器构成。可以通过使得一个或多于一个处理器执行从存储器340读取的程序来实现图像处理单元310和对象信息生成单元320的功能。
79.路径生成ecu 130包括路径生成单元330。路径生成单元330基于外部信息和对象距离信息以及从雷达装置120获取到的距离信息来生成路径信息。
80.接着，将详细说明路径生成装置150中的各块的结构和控制。
81.图4a和图4b是例示根据第一实施例的摄像元件302的构造的示例的示意图。图4a是在光的入射方向上观看到的摄像元件302的顶视图。摄像元件302通过以矩阵形状排列多个像素组410(2行
×
2列)而构成。
82.各个像素组410具有用于检测绿色光的绿色像素g1和绿色像素g2、用于检测红色光的红色像素r以及用于检测蓝色光的蓝色像素b。在像素组410中，绿色像素g1和绿色像素g2对角地布置。另外，各像素具有第一光电转换单元411和第二光电转换单元412。
83.图4b是沿着图4a中的像素组410的i-i’截面的截面图。各像素由微透镜413、导光层414和受光层415构成。导光层414具有用于将入射到像素上的光束高效地引导到受光层415的微透镜413、用于使得具有与各像素所检测到的光的颜色相对应的波长带的光穿过的滤色器、以及图像读取所用的布线和像素驱动所用的布线。
84.受光层415是对经由导光层414入射的光进行光电转换并将该光作为电信号输出的光电转换单元。受光层415具有第一光电转换单元411和第二光电转换单元412。
85.图5a至图5d是摄像面相位差系统中的被摄体距离和入射光之间的关系的说明性示意图。图5a是例示摄像光学系统301的出射光瞳501、摄像元件302的绿色像素g1和入射到绿色像素g1的各光电转换单元上的光的示意图。摄像元件302具有多个像素。然而，为了简单，将说明一个绿色像素g1。
86.绿色像素g1的微透镜413被布置成使得出射光瞳501和受光层415光学地具有共轭关系。结果，穿过了作为出射光瞳501中所涉及的部分光瞳区域的第一光瞳区域510的光束
入射到第一光电转换单元411。类似地，穿过了作为部分光瞳区域的第二光瞳区域520的光束入射到第二光电转换单元412上。
87.各像素的第一光电转换单元411对接收到的光束进行光电转换并输出信号。根据从摄像元件302中所包括的多个第一光电转换单元411输出的信号来生成第一图像信号。第一图像信号表示由主要穿过了第一光瞳区域510的光束在摄像元件302上形成的图像(将被称为图像a)的强度分布。
88.各像素的第二光电转换单元412对接收到的光束进行光电转换并输出信号。根据从摄像元件302中所包括的多个第二光电转换单元412输出的信号来生成第二图像信号。第二图像信号表示由主要穿过了第二光瞳区域520的光束在摄像元件302上形成的图像(将被称为图像b)的强度分布。
89.与图像a相对应的第一图像信号和与图像b相对应的第二图像信号之间的相对位置偏差的量(以下称为视差量)是与散焦量相对应的量。将使用图5b、图5c和图5d来说明视差量和散焦量之间的关系。
90.图5b、图5c和图5d是例示摄像元件302和摄像光学系统301的示意图。在图中，附图标记511表示穿过第一光瞳区域510的第一光束，并且附图标记521表示穿过第二光瞳区域520的光束。
91.图5b例示聚焦时的状态，并且第一光束511和第二光束521会聚在摄像元件302上。此时，与由第一光束511形成的图像a相对应的第一图像信号和与由第二光束521形成的图像b相对应的第二图像信号之间的视差量(位置偏差)变为零。
92.图5c例示在像侧在z轴的负方向上散焦的状态。此时，由第一光束511形成的第一图像信号和由第二光束521形成的第二图像信号之间的视差量没有变为零并且具有负值。
93.图5d例示在像侧在z轴的正方向上散焦的状态。此时，由第一光束511形成的第一图像信号和由第二光束521形成的第二图像信号之间的视差量没有变为零并且具有正值。
94.根据图5c和图5d的比较，确认为发生视差的方向根据散焦量的正号或负号而在这两者之间切换。另外，根据几何关系，确认为发生根据散焦量的视差量。
95.因此，如以下所述，可以通过基于区域的匹配技术来检测第一图像信号和第二图像信号之间的视差量，并且可以经由预定转换系数将视差量转换成散焦量。此外，可以使用摄像光学系统301的成像公式将像侧的散焦量转换成到对象的距离。
96.如上所述，摄像元件302可以将第一图像信号和第二图像信号的相加信号(合成信号)以及第一图像信号分别输出到图像处理单元310。在这种情况下，图像处理单元310可以通过相加信号(合成信号)和第一图像信号之间的差来生成第二图像信号，使得可以单独获取到第一图像信号和第二图像信号。
97.接着，将说明图像处理单元310所进行的处理。图6a和图6b是示出根据第一实施例的图像处理单元310所执行的处理示例的流程图。通过使得路径生成装置150中所包括的计算机执行存储器中所存储的计算机程序来进行图6a和图6b中的流程图的各步骤的操作。
98.图6a是示出图像处理单元310的显像单元311根据图像信号(第一图像信号和第二图像信号)来生成图像数据的显像处理的操作的流程图。在从摄像元件302接收到图像信号时执行显像处理。
99.在步骤s601中，显像单元311执行用于生成合成图像信号的处理，该合成图像信号
是通过将从摄像元件302输入的第一图像信号和第二图像信号合成所实现的。可以通过将第一图像信号和第二图像信号合成来获得基于由穿过了出射光瞳501的整个区域的光束所形成的图像的图像信号。
100.当摄像元件302在水平方向上的像素坐标为x并且其在垂直方向上的像素坐标为y时，可以使用第一图像信号im1(x,y)和第二图像信号im2(x,y)通过以下的表达式1来表示像素(x,y)的合成图像信号im(x,y)。
101.im(x，y)＝im1(x，y)+im2(x，y)....(表达式1)
102.在步骤s602中，显像单元311对合成图像信号的缺陷像素执行校正处理。缺陷像素是摄像元件302中不能输出正常信号的像素。缺陷像素的坐标预先存储在存储器中。显像单元311从存储器获取表示摄像元件302中的缺陷像素的坐标的信息。
103.显像单元311使用用缺陷像素周围的像素的合成图像信号的中值替换缺陷像素的合成图像信号的中值滤波器来进行校正。关于用于对缺陷像素的合成图像信号进行校正的方法，可以借助于预先准备的缺陷像素的坐标信息使用缺陷像素周围的像素的信号值通过插值来生成缺陷像素的信号值。
104.在步骤s603中，显像单元311对合成图像信号应用用于校正由摄像光学系统301引起的场角周围的光量减少的光量校正处理。由摄像光学系统301引起的场角周围的光量减少的特性(相对光量比)预先存储在存储器中。
105.关于用于校正光量的方法，可以通过从存储器读取预先存储的场角之间的相对光量比并将合成图像信号乘以该光量比变得恒定的增益来校正光量。例如，显像单元311通过将各像素的合成图像信号乘以具有从摄像元件302中的中央像素朝向周围像素增加的特性的增益来进行光量校正。
106.在步骤s604中，显像单元311对合成图像信号进行噪声降低处理。可以使用利用高斯滤波器的噪声降低作为用于降低噪声的方法。
107.在步骤s605中，显像单元311针对合成图像信号进行去马赛克处理，针对各像素获取红色(r)、绿色(g)和蓝色(b)的颜色信号，并且使用该颜色信号来生成具有各像素的亮度信息的图像数据。关于去马赛克方法，可以使用针对各颜色通道使用线性插值来对各像素的颜色信息进行插值的技术。
108.在步骤s606中，显像单元311使用预定伽马值来进行灰度校正(伽马校正处理)。使用灰度校正之前的像素(x,y)的图像数据id(x,y)以及伽马值γ通过以下的表达式2来表示灰度校正之后的像素(x,y)的图像数据idc(x,y)。
109.idc(x，y)＝id(x，y)
γ
....(表达式2)
110.可以使用预先准备的值作为伽马值γ。可以根据像素的位置确定伽马值γ。例如，伽马值γ可以针对通过将摄像元件302的有效区域按预定分割数分割所获得的各区域而改变。
111.在步骤s607中，显像单元311执行用于将图像数据的颜色空间从rgb颜色空间转换成yuv颜色空间的颜色空间转换处理。显像单元311使用预定系数和颜色空间的转换表达式(数学表达式3)，将与各个颜色(红色、绿色和蓝色)的亮度相对应的图像数据转换成亮度值和色差值，并且将图像数据的颜色空间从rgb颜色空间转换成yuv颜色空间。
112.在数学表达式3中，因子idcr(x,y)表示灰度校正之后的像素(x,y)的红色的图像
数据值。因子idcg(x,y)表示灰度校正之后的像素(x,y)的绿色的图像数据值。因子idcb(x,y)表示灰度校正之后的像素(x,y)的蓝色的图像数据值。因子y(x，y)表示通过颜色空间转换所获得的像素(x，y)的亮度值。因子u(x，y)表示通过颜色空间转换所获得的像素(x，y)的亮度值与蓝色分量之间的差(色差值)。
113.因子v(x，y)表示通过颜色空间转换所获得的像素(x，y)的亮度值与红色分量之间的差(色差值)。系数(ry、gy和by)是用于获得y(x，y)的系数，并且系数(ru、gu和bu)和(rv、gv和bv)各自是用于计算色差值的系数。
114.y(x，y)＝ry
×
idcr(x，y)+gy
×
idcg(x，y)+by
×
idcb(x，y)
115.u(x，y)＝ru
×
idcr(x，y)+gu
×
idcg(x，y)+bu
×
idcb(x，y）
116.v(x，y)＝rv
×
idcr(x，y)+gv
×
idcg(x，y)+bv
×
idcb(x，y)....(表达式3)
117.在步骤s608中，显像单元311针对上述转换之后的图像数据执行用于抑制由摄像光学系统301的光学特性引起的畸变像差的影响的校正(畸变校正)。通过进行图像数据的几何变形使得校正摄像光学系统301的畸变率来进行畸变像差校正处理。
118.使用用于根据无畸变像差的正确像素位置生成校正之前的像素位置的多项式表达式来进行几何变形。如果校正之前的像素位置由小数表示，则可以在四舍五入之后使用最近的像素，或者也可以使用线性插值。
119.在步骤s609中，显像单元311将应用了畸变像差校正处理的图像数据输出到对象信息生成单元320。这样，显像单元311所执行的显像处理结束。然而，定期地重复图6a中的流程，直到用户发出结束的指示(未示出)为止。
120.如果辨识处理单元321可以基于从摄像元件302获得的各种校正处理之前的图像数据通过外部辨识处理生成外部信息，则显像单元311可能无法执行图6a中的所有处理。例如，如果辨识处理单元321可以基于没有应用步骤s608的畸变像差校正处理的图像数据来检测拍摄场角度范围内的对象，则可以将步骤s608的处理从图6a中的显像处理省略。
121.图6b是示出距离图像生成单元312所进行的距离图像数据生成处理的操作的流程图。这里，距离图像数据是与从摄像装置110到被摄体的距离相对应的距离信息同各像素相关联的数据。距离信息可以是距离值d，或者可以是用于计算距离值的散焦量δl或视差量d。在本实施例中，距离图像数据将被描述为将距离值d映射到各像素的数据。
122.在步骤s611中，距离图像生成单元312根据输入图像信号生成第一亮度图像信号和第二亮度图像信号。也就是说，距离图像生成单元312使用与图像a相对应的第一亮度图像信号来生成第一图像信号，并且使用与图像b相对应的第二图像信号来生成第二亮度图像信号。
123.假定距离图像生成单元312使用系数将各个像素组410中的红色像素、绿色像素和蓝色像素的图像信号的值合成，并且生成亮度图像信号。距离图像生成单元312可以在使用线性插值进行去马赛克处理之后，通过将红色、绿色和蓝色的各通道乘以预定系数来通过合成生成亮度图像信号。
124.在步骤s612中，距离图像生成单元312进行第一亮度图像信号和第二亮度图像信号之间的光量平衡的校正。通过将第一亮度图像信号和第二亮度图像信号中的至少一个乘以校正系数来进行光量平衡的校正。
125.假定预先计算校正系数，使得在摄像光学系统301和摄像元件302的位置调整之后
应用均匀照明，并且所获得的第一亮度图像信号和第二亮度图像信号之间的亮度比变得恒定，并且将该校正系数保存在存储器340中。
126.距离图像生成单元312通过将第一亮度图像信号和第二亮度图像信号中的至少一个乘以从存储器读取的校正系数来生成经受了光量平衡校正的应用的第一图像信号和第二图像信号。
127.在步骤s613中，距离图像生成单元312针对经受了光量平衡校正的应用的第一亮度图像信号和第二亮度图像信号进行用于降低噪声的处理。距离图像生成单元312通过对各亮度图像信号应用用于降低高空间频率带的低通滤波器来执行噪声降低处理。
128.距离图像生成单元312还可以使用允许预定空间频率带透过的带通滤波器。在这种情况下，可以实现减少步骤s612中进行的光量平衡校正中的校正误差的影响的效果。
129.在步骤s614中，距离图像生成单元312计算作为第一亮度图像信号和第二亮度图像信号之间的相对位置偏差的量的视差量。距离图像生成单元312设置与第一亮度图像信号相对应的第一亮度图像内的焦点，并且设置以该焦点为中心的对照区域。接着，距离图像生成单元312设置与第二亮度图像信号相对应的第二亮度图像内的参考点，并且设置以该参考点为中心的参考区域。
130.距离图像生成单元312在使参考点渐进地移动的同时计算包括在对照区域内的第一亮度图像和包括在参考区域内的第二亮度图像之间的相关度，并且采用具有最高相关性的参考点作为对应点。距离图像生成单元312采用焦点和对应点之间的相对位置偏差的量作为焦点处的视差量。
131.距离图像生成单元312可以通过在使焦点渐进地移动的同时计算视差量来计算多个像素位置的视差量。距离图像生成单元312如上所述针对各像素识别表示视差值的值，并且生成作为表示视差分布的数据的视差图像数据。
132.作为用于利用距离图像生成单元312计算用于获得视差量的相关度的方法，可以使用已知的技术。例如，距离图像生成单元312可以使用用于评估亮度图像之间的归一化互相关(ncc)的所谓的归一化互相关技术。
133.另外，距离图像生成单元312还可以使用用于将相异度作为相关度进行评估的技术。例如，距离图像生成单元312可以使用用于评估亮度图像之间的差的绝对值和的绝对差和(sad)或者用于评估该差的平方和的平方差和(ssd)。
134.在步骤s615中，距离图像生成单元312通过将视差图像数据中的各像素的视差量转换成散焦量来获取各像素的散焦量。距离图像生成单元312基于视差图像数据中的各像素的视差量来生成表示各像素中的散焦量的散焦图像数据。
135.距离图像生成单元312使用视差图像数据中的像素(x,y)的视差量d(x,y)以及转换系数k根据以下的表达式4来计算像素(x,y)的散焦量δl(x,y)。在摄像光学系统301中，通过渐晕在周围场角中切出第一光束511和第二光束521的一部分。由于该原因，转换系数k变为取决于场角(像素的位置)的值。
136.δl(x，y)＝k(x，y)
×
d(x，y)....(表达式4)
137.如果摄像光学系统301具有包括焦点位置在中心场角和周围场角之间变化的像面曲率的特性，则当像面曲率量为cf时，可以使用以下的表达式5将视差量d(x，y)转换成散焦量δl(x，y)。可以通过在摄像光学系统301和摄像元件302的位置对准之后、通过图表拍摄
获取视差量与相对于对象的距离值之间的关系，来获取转换系数k和像面曲率量cf。此时，像面曲率量cf取决于场角并且作为像素位置的函数给出。
138.δl(x，y)＝k(x，y)
×
d(x，y)
×
cf(x，y)....(表达式5)
139.在步骤s616中，距离图像生成单元312通过将像素(x，y)的散焦量δl(x，y)转换成相对于像素(x，y)中的对象的距离值d(x，y)来生成距离图像数据。可以通过使用摄像光学系统301的成像关系对散焦量δl进行转换来计算相对于对象的距离值d。
140.当摄像光学系统301的焦距为f并且从像侧主点到摄像元件302的距离为ipp时，可以使用以下的表达式6的成像公式将散焦量δl(x，y)转换成相对于对象的距离值d(x，y)。
[0141][0142]
焦距f和从像侧主点到摄像元件302的距离ipp与场角无关地具有恒定值，但这两者不限于此。如果摄像光学系统301的成像倍率针对各场角显著变化，则焦距f和从像侧主点到摄像元件302的距离ipp中的至少一个可以具有针对各场角显著变化的值。
[0143]
在步骤s617中，距离图像生成单元312将如上所述生成的距离图像数据输出到对象信息生成单元320。这样，距离图像生成单元312所执行的距离图像数据生成处理结束。
[0144]
然而，定期地重复图6b中的流程，直到用户发出结束指示(未示出)为止。针对各像素的视差量d、散焦量δl和摄像光学系统301相对于主点的距离值d是可以使用上述的系数和转换表达式进行转换的值。
[0145]
因此，可以提供表示各像素的视差量d或散焦量δl的信息作为距离图像生成单元312所生成的距离图像数据。考虑到对象信息生成单元320计算对象区域内所包括的距离值d的代表值，期望基于频数分布变得对称的散焦量来生成距离图像数据。
[0146]
如上所述，在步骤s614中计算视差量的处理中，使用第一亮度图像和第二亮度图像之间的相关性来搜索对应点。然而，如果第一图像信号包括大量噪声(例如，由光学散粒噪声引起的噪声)、或者如果对照区域内所包括的亮度图像信号的信号值的变化小，则可能无法正确地评估相关度。
[0147]
在这种情况下，可以计算相对于正确的视差量具有大的误差的视差量。如果视差量具有大的误差，则步骤s616中生成的距离值d的误差也变大。
[0148]
因此，距离图像生成单元312所进行的距离图像数据生成处理可以包括用于计算视差量的可靠度(视差可靠度)的可靠度计算处理。视差可靠度是表示在所计算出的视差量中包括多少误差的指标。例如，可以将标准偏差相对于对照区域中所包括的信号值的平均值的比作为视差可靠度进行评估。
[0149]
如果对照区域内的信号值的变化(所谓的对比度)显著，则标准偏差变大。如果大量光入射到像素上，则平均值变大。如果大量光入射到像素上，则存在大量光学散粒噪声。也就是说，平均值相对于噪声量呈正相关。
[0150]
平均值与标准偏差的比(标准偏差/平均值)与对比度量和噪声量之间的比相对应。如果对比度相对于噪声量充分大，则可以估计出视差量的计算中的误差小。也就是说，可以说视差可靠度越大，所计算出的视差量中的误差越小并且视差量越准确。
[0151]
于是，在步骤s614中，可以通过在各焦点处计算视差可靠度，来生成表示针对构成
距离图像数据的各像素的距离值的准确度的可靠度数据。距离图像生成单元312可以将可靠度数据输出到对象信息生成单元320。
[0152]
接着，将说明对象信息生成单元320基于图像数据和距离图像数据来生成外部信息和对象距离信息的处理。
[0153]
图7a和图7b是示出根据第一实施例的对象信息生成单元320所执行的处理示例的流程图，并且图8a至图8e是例示根据第一实施例的对象信息生成单元320所进行的处理示例中的图像和信息的示例的示意图。
[0154]
通过使得路径生成装置150中所包括的计算机执行存储器中所存储的计算机程序来进行图7a和图7b中的流程图的各步骤的操作。
[0155]
辨识处理单元321生成表示基于图像数据的图像中所包括的对象的图像中的位置、大小(诸如宽度或高度等)和区域的区域信息、以及表示对象的种类(属性)和识别编号(id编号)的外部信息。识别编号是用于识别检测到的对象的识别信息，并且不限于编号。
[0156]
辨识处理单元321检测摄像装置110的拍摄场角内存在的对象的种类以及图像中的对象的位置和大小，判断该对象是否已被登记，并向该对象指派识别编号。
[0157]
图8a例示由摄像装置110获取到并且基于输入到对象信息生成单元320的图像数据的图像810。图像810包括人801、运载工具802、标志803、道路804和通车车道805。
[0158]
辨识处理单元321从图像810检测对象并且生成表示各对象的种类、识别编号和区域信息的外部信息。图8b是在xy坐标平面中在图像810中的各位置处表示从图像810检测到的各对象的外部信息的示意图。
[0159]
例如，外部信息例如作为表1所示的表而生成。在外部信息中，假定对象的区域被定义为包围对象的矩形框(对象框)。在外部信息中，对象的区域信息将矩形对象框的形状表示为左上侧的坐标(x0,y0)和右下侧的坐标(x1,y1)。
[0160]
[表1]
[0161][0162]
图7a是示出辨识处理单元321生成外部信息的处理示例的流程图。辨识处理单元321例如根据获取到图像数据而开始生成外部信息的处理。
[0163]
在步骤s701中，辨识处理单元321根据图像数据生成对象检测处理所使用的图像数据。也就是说，辨识处理单元321进行用于将从图像处理单元310输入的图像数据的大小增大和减小到根据对象检测处理中的检测性能和处理时间所确定的大小的处理。
[0164]
在步骤s702中，辨识处理单元321执行用于检测基于图像数据的图像中所包括的对象的处理，并且检测与图像中的对象相对应的区域以及对象的种类。辨识处理单元321可以从一个图像检测到多个对象。在这种情况下，辨识处理单元321针对检测到的多个对象识别种类和区域。
[0165]
辨识处理单元321生成检测到对象的图像的区域的位置和大小(水平宽度和垂直高度)以及对象的种类作为外部信息。例如，假定可以由辨识处理单元321检测的对象的种类包括运载工具(乘用车、公共汽车或卡车)、人、动物、两轮运载工具和标志等。
[0166]
辨识处理单元321通过预先将与对象的种类相关联的预定外部形状图案与图像中的对象的外部形状进行比较来检测对象并识别所检测到的对象的种类。可以由辨识处理单元321检测的对象的种类不限于上述那些种类。然而，从处理速度的观点来看，期望缩小根据运载工具100的行驶环境进行检测的对象的种类的数量。
[0167]
在步骤s703中，辨识处理单元321进行识别编号已被登记的对象的跟踪。辨识处理单元321识别步骤s702中检测的对象中的识别编号已被登记的对象。例如，识别编号已被登记的对象是在先前的对象检测处理中检测到并且被分配了识别编号的对象。
[0168]
如果检测到识别编号已被登记的对象，则辨识处理单元321将步骤s702中获取到的对象的种类和与区域有关的信息映射到与识别编号相对应的外部信息(更新外部信息)。
[0169]
如果判断为识别编号已被登记的对象不存在于图像信息中，则判断为与该识别编号相关联的对象已移动到摄像装置110的拍摄场角之外(丢失)，并且跟踪中止。
[0170]
在步骤s704中，辨识处理单元321判断步骤s702中检测到的各对象是否是识别编号未被登记的新对象。此外，将新识别编号分配给表示被判断为新对象的对象的种类和区域的外部信息，并登记在外部信息中。
[0171]
在步骤s705中，辨识处理单元321将所生成的外部信息连同表示时刻的信息一起输出到路径生成装置150。这样，辨识处理单元321所执行的外部信息生成处理结束。然而，定期地重复图7a中的流程，直到用户发出结束指示(未示出)为止。
[0172]
图7b是示出距离信息生成单元322所进行的用于针对各对象生成距离信息的处理的示例的流程图。距离信息生成单元322基于外部信息和距离图像数据来生成表示所检测到的各对象的距离值的对象距离信息。
[0173]
图8c是例示通过将距离图像数据映射到图8a中的基于图像数据的图像810所生成的距离图像820的示例的图。在图8c的距离图像820中，距离信息由颜色浓淡表示，其中颜色越深表示距离越近并且颜色越浅表示距离越远。
[0174]
在步骤s711中，距离信息生成单元322对辨识处理单元321所检测到的对象的数量n进行计数，并且计算作为所检测到的对象的总数的检测对象数量nmax。
[0175]
在步骤s712中，距离信息生成单元322将n设置为1(初始化处理)。针对在外部信息中表示的各对象顺次执行步骤s713的处理和后续处理。假定从外部信息中的具有较小识别编号的对象起顺次执行从步骤s713到步骤s716的处理。
[0176]
在步骤s713中，距离信息生成单元322识别外部信息中所包括的第n个对象在与图像810中的区域(对象框)相对应的距离图像820中的矩形区域。距离信息生成单元322设置表示距离图像820中的相应区域的外部形状的框(对象框)。
[0177]
图8d是相对于从图像810检测到的各对象叠加表示距离图像820中所设置的区域的外部形状的框的示意图。如图8d所示，距离信息生成单元322在距离图像820中设置与人801相对应的对象框821、与运载工具802相对应的对象框822和与标志803相对应的对象框823各自。
[0178]
在步骤s714中，距离信息生成单元322生成与第n个对象相对应的距离图像820的
矩形区域中所包括的像素的距离信息的频数分布。如果映射到距离图像数据的各像素的信息是距离值d，则关于频数分布的区间，对区间进行设置使得距离的倒数按等间隔。
[0179]
如果将散焦量或视差量映射到距离图像数据的各像素，则期望按等间隔分割频数分布的区间。在步骤s715中，距离信息生成单元322采用频数分布中最频繁出现的距离信息作为表示第n个对象的距离的对象距离信息。
[0180]
可以计算出区域内所包括的距离值的平均值作为对象距离信息。在计算平均值时，可以使用利用可靠度数据的加权平均。通过在距离值具有更高的可靠度时针对各像素设置更大的权重，可以更准确地计算出对象的距离值。
[0181]
期望对象距离信息是表示从运载工具100中的预定位置到对象的距离的信息，以便于以下将说明的路径生成处理中的路径的生成。如果使用距离值d作为距离信息，则由于距离值d表示从摄像元件302到对象的距离，因此最频繁出现的值可以偏移预定量，并且可以被设置为表示从运载工具100中的预定位置(例如，前端部)到对象的距离的信息。
[0182]
如果使用散焦量δl作为距离信息，则在使用数学表达式6进行向相对于摄像元件302的距离的转换之后，将散焦量δl偏移预定量并且设置为表示从运载工具100中的预定位置到对象的距离的信息。
[0183]
在步骤s716中，距离信息生成单元322判断n+1是否大于检测对象数量nmax。如果n+1小于检测对象数量nmax(在步骤s716中为“否”的情况下)，则在步骤s717中距离信息生成单元322将n设置为n+1，并且处理返回到步骤s713。
[0184]
也就是说，对下一对象(第n+1个对象)进行对象距离信息的提取。在步骤s716中，如果n+1大于检测对象数量nmax(在步骤s716中为“是”的情况下)，则处理进入步骤s718。
[0185]
在步骤s718中，距离信息生成单元322将针对nmax个对象中的各对象的对象距离信息连同与时刻有关的信息一起输出到路径生成单元330，并且处理结束。该信息存储在存储器180中。另外，相对于雷达装置120的距离的信息也连同时刻信息一起存储在存储器180中。定期地重复图7b中的流程，直到用户发出结束指示(未示出)为止。
[0186]
通过对象距离信息生成处理，针对外部信息中所包括的各对象生成了对象距离信息。特别地，通过根据与在图像810内检测到的对象相对应的距离图像820的区域中所包括的距离信息从统计上确定对象的距离信息，可以抑制由噪声或计算准确度等引起的针对各像素的距离信息的不均匀性。
[0187]
因此，可以以更高的准确度获取到表示对象的距离的信息。如上所述，用于从统计上确定距离信息的方法是用于获得距离信息的分布中的最频繁出现的距离信息、平均值或中值等的方法，并且可以采用各种方法。
[0188]
接着，将说明路径生成ecu 130的路径生成单元330所执行的生成路径信息的处理(路径生成处理)。路径信息是包括运载工具的行驶方向和速度的信息。路径信息也可以被称为运行计划信息。路径生成单元330将路径信息输出到运载工具控制ecu 140。运载工具控制ecu 140基于路径信息通过控制驱动单元170来控制运载工具的行驶方向或速度。
[0189]
在本实施例中，如果在运载工具100的行驶方向上存在不同的运载工具(前方运载工具)，则路径生成单元330生成前方运载工具的跟随行驶所用的路径信息。另外，假定路径生成单元330生成采取避开行为使得运载工具100不与对象碰撞的路径信息。
[0190]
图9是示出根据第一实施例的路径生成单元330所执行的路径生成处理的示例的
流程图。通过使得路径生成装置150中所包括的计算机执行存储器中所存储的计算机程序来进行图9中的流程图的各步骤的操作。
[0191]
例如，如果通过用户的指示发出开始路径生成处理的指示，则路径生成单元330开始图9中的流程，并且基于外部信息、对象距离信息和雷达装置120所生成的距离信息来生成运载工具100的路径信息。路径生成ecu 130通过例如从路径生成装置150中所包括的存储器180读取各时刻的外部信息、对象距离信息和雷达装置120所生成的距离信息来进行处理。
[0192]
在步骤s901中，路径生成单元330根据外部信息和对象距离信息检测运载工具100的预计行驶路径上的对象。路径生成单元330通过将运载工具100在行驶方向上的预计方位和外部信息中所包括的对象的位置和种类进行比较来判断行驶路径上的对象。
[0193]
假定基于从运载工具控制ecu 140获取到的与运载工具100的控制有关的信息(转向的转向角、以及速度等)来识别运载工具100的预计行驶方向。如果在行驶路径上没有检测到对象，则路径生成单元330判断为“不存在对象”。
[0194]
例如，假定摄像装置110获取到图8a所示的图像810。如果路径生成单元330根据从运载工具控制ecu 140获取到的与运载工具100的控制有关的信息判断为运载工具100在沿着通车车道805的方向上前进行驶，则路径生成单元330检测到运载工具802作为行驶路径上的对象。
[0195]
在步骤s902和s903中，路径生成单元330基于运载工具100和行驶路径上的对象之间的距离以及运载工具100的速度vc来判断是生成跟随行驶所用的路径信息还是生成避开行为所用的路径信息。
[0196]
在步骤s902中，路径生成单元330判断运载工具100与行驶路径上的对象之间的距离是否短于阈值dth。阈值dth由运载工具100的行驶速度vc的函数表示。行驶速度越高，阈值dth越大。
[0197]
如果路径生成单元330判断为运载工具100与行驶路径上的对象之间的距离短于阈值dth(步骤s902中为“是”)，则处理进入步骤s903。如果路径生成单元330判断为运载工具100与行驶路径上的对象之间的距离等于或长于阈值dth(步骤s902中为“否”)，则处理进入步骤s908。
[0198]
在步骤s903中，路径生成单元330判断运载工具100与行驶路径上的对象之间的相对速度是否具有正值。路径生成单元330从外部信息获取行驶路径上的对象的识别编号，并且从在从当前时间起直到预定时间为止的时间段期间所获取到的外部信息中获取各时刻的行驶路径上的对象的对象距离信息。
[0199]
路径生成单元330根据所获取到的直到预定时间为止的时间段期间的行驶路径上的对象的对象距离信息来计算运载工具100与行驶路径上的对象之间的相对速度。如果相对速度(运载工具100的速度-行驶路径上的对象的速度)具有正值，则这表示运载工具100和行驶路径上的对象彼此接近。
[0200]
如果路径生成单元330判断为运载工具100与行驶路径上的对象之间的相对速度具有正值(在步骤s903中为“是”的情况下)，则处理进入步骤s904。如果路径生成单元330判断为运载工具100与行驶路径上的对象之间的相对速度不具有正值(步骤s903中为“否”)，则处理进入步骤s908。
[0201]
这里，如果处理进入步骤s904，则生成用于执行避开行为的路径信息。另外，如果处理进入步骤s908，则生成用于执行维持相对于前方运载工具的间隔的跟随行驶的路径信息。
[0202]
也就是说，如果运载工具100与行驶路径上的对象之间的距离短于阈值dth、并且运载工具100与行驶路径上的对象之间的相对速度具有正值，则路径生成单元330执行避开行为。另一方面，如果运载工具100与行驶路径上的对象之间的距离等于或长于阈值dth，则路径生成单元330判断为进行跟随行驶。
[0203]
可替代地，如果运载工具100与行驶路径上的对象之间的距离短于阈值dth、并且运载工具100与行驶路径上的对象之间的相对速度为零或具有负值(如果它们正彼此远离)，则路径生成单元330判断进行跟随行驶。
[0204]
如果运载工具100与行驶路径上的对象之间的距离短于根据运载工具100的速度获得的阈值dth、并且运载工具100与行驶路径上的对象之间的相对速度具有正值，则可想到运载工具100与行驶路径上的对象碰撞的可能性高。
[0205]
因此，路径生成单元330生成采取避开行为的路径信息。否则，路径生成单元330采取跟随行驶。上述判断可以包括行驶路径上的所检测到的对象的种类是否是可移动设备(汽车或摩托车等)的判断。
[0206]
在步骤s904中，路径生成单元330开始生成用于执行避开行为的路径信息的处理。
[0207]
在步骤s905中，路径生成单元330获取与避开空间有关的信息。路径生成单元330获取包括预测信息的距离信息，该预测信息包括从雷达装置120到运载工具100侧方侧或后方侧的对象的距离、或者到对象的距离。
[0208]
路径生成单元330基于从雷达装置120获取到的距离信息(第四距离信息)以及表示运载工具100的速度和运载工具100的大小的信息，来获取表示在运载工具100周围运载工具100可移动到的空间的方向和范围的信息。
[0209]
在本实施例中，将从雷达装置120获取到的距离信息(第四距离信息)用于避开空间，但该距离信息可以用于生成关于对象的整合距离信息。
[0210]
在步骤s906中，路径生成单元330基于表示运载工具100可以移动到的空间的方向和范围的信息、外部信息、以及对象距离信息来设置避开行为所用的路径信息。例如，避开行为所用的路径信息是用于在右侧存在运载工具100可以避开到的空间的情况下、例如在降低速度的同时将运载工具100路线改变到右侧的信息。
[0211]
在步骤s907中，路径生成单元330将路径信息输出到运载工具控制ecu140。运载工具控制ecu 140基于路径信息来确定用于控制驱动单元170的参数并且控制驱动单元170，使得运载工具100通过由所获取到的路径信息表示的路径。
[0212]
具体地，运载工具控制ecu 140基于路径信息来确定转向的转向角、加速器的控制值、制动器的控制值、用于连接档位的控制信号以及灯的点亮控制信号等。
[0213]
这里，步骤s907用作基于距离信息来生成路径信息的路径生成步骤(路径生成单元)。
[0214]
另一方面，在步骤s908中，路径生成单元330开始生成用于执行跟随操作的路径信息的处理。
[0215]
在步骤s909中，路径生成单元330生成运载工具100跟随行驶路径上的对象(前方
运载工具)所用的路径信息。具体地，路径生成单元330生成路径信息，使得运载工具100和前方运载工具之间的距离(运载工具到运载工具距离)维持在预定范围内。
[0216]
例如，如果运载工具100和前方运载工具之间的相对速度为零或具有负值、或者如果运载工具到运载工具距离等于或长于预定距离，则路径生成单元330生成路径信息，使得在运载工具100的行驶方向维持直线前进的同时通过加速和减速来维持预定的运载工具到运载工具距离。
[0217]
路径生成单元330生成路径信息，使得运载工具100的行驶速度不超过预定值(例如，运载工具100正在行驶的道路的法定速度或者基于来自驾驶员101的指示的设置行驶速度)。在步骤s909之后，处理进入步骤s907，并且运载工具控制ecu 140基于所生成的路径信息来控制驱动单元170。
[0218]
接着，在步骤s910中，判别是否从用户发出了结束路径生成处理的指示。在“是”的情况下，路径生成单元330生成路径信息的处理结束。在“否”的情况下，处理返回到步骤s901，并且重复地执行生成路径信息的处理。
[0219]
根据上述控制，通过在基于图像中的对象的位置和大小的框内进行的距离信息的统计处理，可以降低传感器噪声的影响或由来自被摄体的高亮度反射引起的局部距离误差的影响，并且可以以高准确度计算出相对于各对象的距离值。
[0220]
另外，由于可以使相对于各对象的距离值高度准确、并且可以准确地计算出路径生成ecu 130所计算出的运载工具100的路径，因此运载工具100可以更稳定地行驶。
[0221]
《变形例1》
[0222]
在上述处理中，将对象的区域表示为包括对象的矩形区域(对象框)，但对象的区域可以是具有图像内的对象的外周作为边界的具有对象的形状的区域。在这种情况下，在步骤s702中，辨识处理单元321将图像810中存在对象的区域作为对象的区域存储在外部信息中。例如，辨识处理单元321可以通过针对图像数据的各像素识别属性来针对各对象分割区域。
[0223]
图8e是例示辨识处理单元321针对各对象分割区域并且其结果叠加在图像810上的示例的示意图。区域831表示人801的区域，区域832表示运载工具802的区域，并且区域833表示标志803的区域。此外，区域834表示道路804的区域，并且区域835表示通车车道805的区域。
[0224]
在这种情况下，在步骤s713和s714中，距离信息生成单元322仅需要针对各对象，按图8e所示的各区域来计算该区域内所包括的距离值的例如频数分布。
[0225]
通过以这种方式定义对象的区域，除对象以外的背景等的距离信息不太可能包括在区域内。也就是说，在区域内的距离信息的分布中，可以进一步反映对象的距离信息。因此，由于可以降低诸如对象的背景或前景等的除对象以外的区域的影响，因此可以更准确地计算出对象的距离值。
[0226]
《变形例2》
[0227]
从本实施例的摄像装置110顺次输出图像信息和距离图像信息。此外，辨识处理单元321使用顺次接收到的图像信息来顺次生成外部信息。外部信息包括对象的识别编号，并且如果在某些时刻t0和t1中的各时刻检测到具有相同识别编号的对象，则可以判断出对象的距离信息或所检测的大小等的随时间变化。
[0228]
因此，在变形例2中，距离信息生成单元322计算在预定的时间范围内具有相同的识别编号的对象的距离值d的平均。因此，时间方向上的距离的不均匀性降低。
[0229]
图10是示出根据变形例2的距离信息生成单元322所进行的对象距离信息生成处理的示例的流程图。通过使得路径生成装置150中所包括的计算机执行存储器中所存储的计算机程序来进行图10中的流程图的各步骤的操作。关于该流程图中的处理的各处理，由于由与图7b所示的处理相同的编号表示的处理与关于图7b所述的处理相同，因此将省略其说明。
[0230]
在步骤s1000中，距离信息生成单元322采用步骤s714中生成的频数分布中最频繁出现的距离信息作为表示第n个对象的距离的对象距离信息。此外，距离信息生成单元322将对象距离信息连同识别编号和时刻一起保存(存储)在存储器340中。
[0231]
在步骤s1001中，距离信息生成单元322获取存储器340中所保存的对象距离信息中的、具有与第n个对象的识别编号相同的识别编号的对象距离信息的历史。距离信息生成单元322获取与从与最新对象距离信息相对应的时刻起直到预定时间前的时刻为止的时间段相对应的、具有相同识别编号的对象距离信息。
[0232]
图11是具有与第n个对象相同的识别编号的对象的对象距离信息的随时间变化的示例的说明性示意图。横轴表示时间，并且纵轴表示对象距离信息(距离值d)。时刻t0表示获取到最新距离值d的时间。
[0233]
在步骤s1002中，距离信息生成单元322根据所获取到的具有与第n个对象相同的识别编号的对象的对象距离信息的历史，来计算在从获取到最新对象距离信息的时刻起直到预定时间为止的时间范围中所包括的对象距离信息的平均值。例如，在图11中，距离信息生成单元322计算预定时间范围δt中所包括的四个点处的距离值的平均值。
[0234]
如上所述，通过使用外部信息中所包括的识别编号获取相同对象的对象距离信息(距离值)的历史并且求时间平均，可以抑制不均匀性。即使运载工具100行驶的道路改变(例如，弯道、坡路或崎岖陡峭的路径等)，也可以在跟踪同一对象的同时计算出时间方向上的平均值。
[0235]
因此，在降低行驶环境的变化的影响的同时，可以降低由于诸如图像信号中所包括的光学散粒噪声等的噪声而引起的距离值的不均匀性，并且可以更准确地计算出对象的距离值。在变形例2中，为了获得类似的效果，可以在获取到对象距离信息时经由低通滤波器获取进行了一定程度的时间平均的对象距离信息。
[0236]
《变形例3》
[0237]
在上述的变形例2中，通过进行具有相同识别编号的对象距离信息的时间平均来抑制不均匀性。当在预定时间范围内对对象距离信息的历史进行平均化时，可以通过采用长时间范围来增加平均化所使用的样本的数量。由于该原因，可以进一步降低对象相对于运载工具100的距离值的不均匀性。
[0238]
然而，如果在预定时间范围内从运载工具100到对象的距离已改变，则由于在包括距离的变化的同时进行平均化，因此存在将不能正确估计对象相对于运载工具100的距离值的可能性。在变形例3中，通过使用具有相同识别编号的对象的大小进行对象距离信息的加权平均，可以以更高的准确度获取到运载工具100和对象之间的距离。
[0239]
图12是示出根据变形例3的距离信息生成单元322所进行的对象距离信息生成处
理的示例的流程图。通过使得路径生成装置150中所包括的计算机执行存储器中所存储的计算机程序来进行图12中的流程图的各步骤的操作。关于该流程图中的处理的各处理，由于具有与图7b和图10所示的处理相同的编号的处理与上述处理相同，因此将省略其说明。
[0240]
在步骤s1000中，距离信息生成单元322采用频数分布中最频繁出现的距离信息作为表示第n个对象的距离的对象距离信息。此外，距离信息生成单元322将对象距离信息连同识别编号和时刻一起保存在存储器340中。
[0241]
在步骤s1201中，距离信息生成单元322从存储器340获取具有与第n个对象相同的识别编号的对象的对象距离信息的历史以及表示对象的大小的信息的历史。表示对象的大小的信息是从外部信息中所保存的表示对象框的信息获取到的。例如，采用根据左上侧的坐标(x0,y0)和右下侧的坐标(x1,y1)的宽度(x1-x0)作为表示对象的大小的信息。
[0242]
在步骤s1202中，距离信息生成单元322使用表示具有与第n个对象相同的识别编号的对象的大小的信息，来对与从与最新对象距离信息相对应的时刻起直到预定时间前的时刻为止的时间段相对应的具有相同识别编号的对象距离信息进行加权平均处理。各时刻的权重系数是使用对应时刻处的对象大小确定的。
[0243]
图13a至图13d是加权平均的说明性示意图。图13a是例示基于由摄像装置110在与最新对象距离信息相对应的时刻t0之前的时刻t1处获取到的图像数据的图像1300的示意图。图像1300包括运载工具1301。框1311表示根据图像1300确定的运载工具1301的对象框。
[0244]
图13b是例示基于由摄像装置110在时刻t0获取到的图像数据的图像1310的示意图。与图像1300类似，图像1310包括运载工具1301。另外，框1312表示图像1310中的与运载工具1301相对应的对象框。在时刻t0，图像1300内的运载工具1301的大小大于在时刻t1获取到的图像1310的大小。对象框1312大于对象框1311。
[0245]
由于图像内的对象的大小与摄像光学系统301的横向倍率成比例，因此对象和运载工具100之间的距离与图像信息上的对象大小的倒数具有比例关系。通过在不同时刻的图像信息上的对象大小之间进行比较，例如，如果大小增大，则可以判断为对象和运载工具100之间的距离缩短，并且相反，如果大小减小，则可以判断为对象和运载工具100之间的距离增加。另外，如果大小的变化小，则可以判断为对象和运载工具100之间的距离的变化短。
[0246]
在下文，作为示例，假定在以运载工具1301作为第n个对象时获取到距离信息。图13c是例示具有与运载工具1301(第n个对象)相同的识别编号的对象的对象距离信息的随时间变化的示意图。图13d是例示表示具有与运载工具1301(第n个对象)相同的识别编号的对象的大小(宽度)的信息的倒数的随时间变化的示意图。
[0247]
在步骤s1202中，距离信息生成单元322将从时刻t0起直到预定时间为止的时间段内的各时刻的对象的大小(宽度)的倒数与时刻t0处的对象的大小(宽度)的倒数进行比较。距离信息生成单元322确定权重系数，使得随着对象的大小(宽度)的倒数之间的差的绝对值增大，权重系数减小。
[0248]
对象的大小(宽度)的倒数与加权系数之间的关系不限于上述示例。例如，可以根据各时刻的对象的大小(宽度)的倒数与时刻t0处的对象的大小(宽度)的倒数的比来确定加权系数。
[0249]
在步骤s1202中，距离信息生成单元322使用加权系数来进行对象距离信息的加权平均，以获得时刻t0处的运载工具1301的对象距离信息。根据变形例3中的处理，通过使用
利用图像中的对象的大小已确定的权重系数来进行对象距离信息的加权平均，可以减小由从运载工具100到对象的相对距离的变化所引起的距离值的估计误差。
[0250]
《第二实施例》
[0251]
在第一实施例中，通过从统计上处理利用摄像面相位差系统针对对象所获取到的距离数据，以更高的准确度获取了到图像中所包括的对象的距离(对象距离信息)。
[0252]
在第二实施例中，通过将用于利用摄像面相位差系统计算距离的方法和用于利用图像辨识计算距离的方法组合，可以以更高的准确度获取到对象的距离。在下文，用于计算距离的方法和基于该方法计算距离的处理将被称为“测距”。
[0253]
在下文，将参考附图来详细说明本发明的第二实施例。以下处理可以由构成摄像装置110的图像处理单元310和对象信息生成单元320的处理器以及路径生成ecu 130的任何或者其组合来执行。
[0254]
在第二实施例中，路径生成装置150通过将摄像面相位差测距和利用图像辨识的测距组合来校正测距值。
[0255]
摄像面相位差测距是使用第一实施例中所述的摄像面相位差系统的测距。利用图像辨识的测距是根据基于对象辨识检测到的对象的宽度来计算距离的测距(对象宽度测距)、或者基于对象的接地位置的信息来计算距离的测距(接地位置测距)。
[0256]
在对象宽度测距中，利用在图像中的对象的宽度的像素数减少时对象在长距离处、并且在图像中的对象的宽度的像素数增加时对象在短距离处这一事实来计算到对象的距离。在距离的计算中，可以以类似的方式使用诸如高度或倾斜方向等的表示图像中的对象的大小的其他参数(例如，对象框的大小)。
[0257]
在接地位置测距中，假定对象与例如路面接地，并且基于图像中的对象的接地线(其在路面在下侧的图像的情况下将变为下端)和到图像中的消失点的距离来计算从运载工具100到对象的距离。接地线离消失点越近，对象到运载工具100的距离越长，并且接地线离消失点越远，对象到运载工具100的距离越短。
[0258]
将说明摄像面相位差测距、对象宽度测距和接地位置测距中的误差的特征。关于考虑共同误差的方式，按照如下定义相对误差和绝对误差。如果不存在相对距离的变化，则相对误差被定义为与相对于充足样本的标准偏差相对应的量。如果不存在相对距离的变化，则绝对误差被定义为与相对于充足样本的平均值和真值之间的差相对应的量。
[0259]
摄像面相位差测距中的相对误差的主要原因是由因传感器噪声而产生的像素值的不均匀性所引起的块匹配中的视差误差。由于相对误差不根据视差值而改变，因此在换算成距离的情况下，相对误差基本上与距离的平方成比例地劣化。
[0260]
关于绝对误差，由于光学系统中的像差、组装误差、以及因热或振动而产生的变化分量等而发生误差。还可以针对各原因进行校正，如果没有考虑到计算量等进行校正，则可能残留大的绝对误差。
[0261]
对象宽度测距的相对误差取决于对象的图像中的分辨率和辨识准确度。在对象宽度测距中，除非实际对象宽度(对象侧的对象的实际宽度，即以米等为单位表示的物理量)是已知的，否则不能将图像中的检测到的对象的宽度换算成距离。
[0262]
由于该原因，需要以任何形式确定实际对象宽度，使得绝对误差和相对误差这两者都取决于实际对象宽度。由于相对误差与距离成比例，因此在长距离的情况下，存在与摄
像面相位差测距相比、相对误差将变得更小的可能性。
[0263]
接地位置测距中的相对误差取决于图像中的对象的接地线的辨识准确度和图像的分辨率。由于图像的分辨率变为用于测量消失点和接地线之间的距离的分辨力，因此即使在长距离处也可以以高准确度测量具有更高分辨率的图像。另外，如果路面向下朝下部延伸，则光轴方向上的俯仰角的估计误差变为测距误差。
[0264]
如果在可移动设备中装配有用于获取图像的摄像装置，则由于移动加速度或路面状况而导致俯仰角针对各摄像帧而变化。在这种情况下，俯仰角的误差变为相对误差。由于安装状态或可移动设备自身的倾斜度，始终以恒定值产生的俯仰角的误差变为绝对误差。尽管以下将进行说明，但使用消失点的信息和移动信息等来估计俯仰角，使得可以减小误差。
[0265]
尽管相对误差与距离成比例并且等同于对象的宽度，但由于向相对误差添加了俯仰角的估计的影响，因此误差量大于对象的宽度。由于根据对象的接地位置的测距需要与地面接触，因此存在如果下端不与地面接触(诸如信号或标志等)则不能进行测距的问题。
[0266]
图14是示出根据第二实施例的用于获取测距值(对象距离信息)的处理示例的流程图。通过使得路径生成装置150中所包括的计算机执行存储器中所存储的计算机程序来进行图14中的流程图的各步骤的操作。
[0267]
数据d1401是输入到距离信息生成单元322的数据。如第一实施例中所述，将与通过图像辨识来获得由摄像元件302摄像得到的图像的对象有关的外部信息(对象的识别编号、对象的种类(属性)以及与对象相对应的区域的大小)输入到距离信息生成单元322。
[0268]
数据d1401可以包括通过其他图像辨识处理的结果，并且可以包括识别图像中的接地像素位置的信息，诸如识别所辨识出的图像的图像范围的图像坐标或者利用语义区域分割技术的相同对象区域的信息等。另外，在数据d1401可以包括图像辨识的结果的其他信息。
[0269]
另外，将表示通过摄像面相位差系统的计算所获得的结果(各像素的距离信息)的距离图像数据作为数据d1401输入到距离信息生成单元322。在本实施例中，除了这些数据之外，还将摄像光学系统301的焦距f、与运载工具100的移动速度有关的信息、以及与摄像装置110的安装位置有关的信息作为数据d1401输入到距离信息生成单元322。数据d1401是整合了这些信息的数据组。
[0270]
在以下的步骤中，可以针对数个对象同时进行辨识处理。然而，在保留并参考按时间序列的数据信息的同时进行处理的情况下，关于已被辨识为相同对象的对象进行处理。也就是说，具有相同的识别编号作为输入数据。
[0271]
在步骤s1401中，距离信息生成单元322通过接地位置测距获取测距值(距离值)d1并将其作为数据d1402输出。测距值d1表示通过接地位置测距所计算出的运载工具100(摄像装置110)和目标对象之间的距离。
[0272]
数据d1402是表示步骤s1401中通过接地位置测距所计算出的测距值d1(第二距离信息)的信息。这里，步骤s1401用作第二距离信息获取步骤(第二距离信息获取单元)，其基于图像信号中所包括的对象的端位置的信息来获取第二距离信息，其中该端位置包括接地位置或底端位置。
[0273]
距离信息生成单元322使用表示数据d1401中所包括的所辨识出的对象的图像范
围的图像坐标等来获取图像中的与地面接触的像素位置。将说明如下情况下的测距处理的概述：光轴被设置在与路面平行的高度h处，并且图像中的消失点与接地线彼此隔开了hs像素(也可以采用子像素单位)。
[0274]
当在焦距f处通过中心投影方法获得的图像(可以采用通过中心投影方法校正的图像)中的像素大小为ps时，可以使用以下的表达式7按照如下表示测距值(距离值)d1。
[0275][0276]
即使不在路面上，如果光轴不平行于接地面，如果不使用中心投影方法，或者如果具有明显的畸变像差，也可以进行测距计算本身，只要可以推定出消失点和接地线即可。
[0277]
在数学表达式7中，尽管假定光轴平行于路面，但如果如上所述在可移动设备的俯仰角中存在误差，则消失点位置变为与假定位置不同的位置。因此，在hs的值中出现误差，这导致距离误差。另外，在辨识准确度差的情况下，由于hs被辨识为不同于实际接地线的位置，因此发生类似的距离误差。
[0278]
在步骤s1402中，距离信息生成单元322通过摄像面相位差测距来获取测距值(距离值)d2并将其作为数据d1404输出。数据d1404是表示步骤s1402中通过摄像面相位差测距所计算出的测距值d2(第一距离信息)的信息。
[0279]
也就是说，第一距离信息是基于来自上述的第一光电转换单元和第二光电转换单元的信号通过相位差测距方法所获取到的距离信息。可替代地，第一距离信息是基于来自立体照相机的两个图像信号通过相位差测距方法所获取到的距离信息。这里，步骤s1402用作用于获取与图像信号中所包括的对象相对应的第一距离信息的第一距离信息获取步骤(第一距离信息获取单元)。
[0280]
如第一实施例中所述，距离信息生成单元322可以基于距离图像数据和外部信息来获取目标对象的距离信息(距离值)。例如，关于输入数据d1401，假定输入由散焦量表示各像素的距离信息的距离图像数据和由框表示对象的区域的外部信息。
[0281]
此时，距离信息生成单元322可以使用目标对象的对象框中所包括的散焦量的最频繁出现的值以及焦距f，根据成像表达式获取从运载工具100到目标对象的距离(对象距离信息)。所获得的距离被获取作为测距值d2。距离值自身可以被作为数据d1401输入，并且可以采用计算中途的其他数据。
[0282]
在步骤s1403中，距离信息生成单元322获取图像中的目标对象的宽度ws(对象宽度)。对象宽度ws由像素数表示。对象数量可以由子像素单位表示。距离信息生成单元322根据图像辨识的结果来进行对象宽度ws的测量。
[0283]
例如，如果包括了表示图像内的各对象的对象框的信息作为数据d1401中所包括的外部信息，则可以采用与目标对象相对应的对象框的宽度作为对象宽度ws。另外，不一定是对象的宽度，并且可以是高度。可以选择具有更大像素数的任何对象框，或者可以使用着两者来增强鲁棒性。
[0284]
如果对象的属性信息是已知的，则可以考虑到该属性信息来进行确定。另外，例如，如果对象是偏离场角的中央部的运载工具，则对象宽度也将包括运载工具的侧面的可能性高。在这种情况下，最好选择高度。
[0285]
如果观察到时间序列的变化，则考虑到高度和宽度之间的比的变化等，可以选择
比距离变化更稳定的信息。距离信息生成单元322采用表示对象宽度ws的信息作为数据d1403。
[0286]
在步骤s1404中，距离信息生成单元322使用数据d1403的对象宽度ws、以及通过数据d1402的接地位置测距所获得的测距值d1和通过数据d1404的摄像面相位差测距的测距值d2中的任一个或两个。此外，计算实际对象宽度w。实际对象宽度w是通过利用长度表示目标对象的宽度的单位制(米等)所表示的信息。
[0287]
如上所述，相对于对象宽度ws，可以使用测距值d1和测距值d2中的一个或两个来获得实际对象宽度w。然而，期望选择d1和d2之间的具有较小绝对误差的测距值。如果使用测距值d1，则可以使用以下的表达式8来按照如下表示实际对象宽度w。
[0288][0289]
另外，实际对象宽度w可以基于表示d1401的输入数据的外部信息中所包括的对象的种类的信息来进行确定。也就是说，也可以基于对象的种类生成整合距离信息。例如，如果目标对象的种类是乘用车，则实际对象宽度w也可以具有预先设置的值(例如，1.7m)。
[0290]
然而，如果根据对象的种类来确定实际对象宽度w，则由于实际对象宽度w严格针对各对象而不同，因此该差变为绝对误差。距离信息生成单元322输出表示实际对象宽度w的信息作为数据d1405。
[0291]
在步骤s1405中，距离信息生成单元322使用实际对象宽度w和对象宽度ws来获取距离值d3。数据d1406(第三距离信息)是表示利用步骤s1405中计算出的对象宽度的测距值d3的信息。
[0292]
这里，步骤s1405用作第三距离信息获取步骤(第三距离信息获取单元)，其基于图像信号中所包括的对象的大小(对象的宽度或高度)的信息来获取第三距离信息。步骤s1405中执行的处理变为步骤s1404中的处理的逆处理。可以使用以下的表达式9来按照如下表示测距值(距离值)d3。
[0293][0294]
这里，由于实际对象宽度w相同，因此d1＝d3成立。然而，由于使用以下将说明的按时间序列的信息来向步骤s1404添加处理，因此d1和d3变为彼此不同的距离值。
[0295]
由步骤s1403、步骤s1404和步骤s1405构成的步骤组c1101是对象宽度范围。在步骤s1406中，距离信息生成单元322将数据d1402的测距值d1、数据d1406的测距值d3和数据d1404的测距值d2整合，并将其作为相对于所辨识出的对象的距离值d。
[0296]
不需要将所有的第一距离信息至第三距离信息组合。可以生成将第一距离信息至第三距离信息中的至少两个组合并整合的整合距离信息。在本实施例中，提供了第二距离信息获取单元和第三距离信息获取单元这两者，但可以提供这两者中的至少一个。
[0297]
这里，步骤s1406用作距离信息整合步骤(距离信息整合单元)，其生成将第一距离信息到第三距离信息中的至少两个组合并整合的整合距离信息。
[0298]
例如，整合处理仅需要是选择测距值d1(第一距离信息)、测距值d2(第二距离信息)和测距值d3(第三距离信息)作为测距值d的处理。
[0299]
测距值d1、测距值d2和测距值d3各自具有根据所获取到的测距的种类而不同的相
对误差和绝对误差。距离信息生成单元322通过选择被认为具有较小的相对误差和绝对误差的测距值，可以在多个测距方法中根据场景采用具有较小误差的测距值。
[0300]
例如，关于通过接地位置测距或摄像面相位差测距所获得的测距值，较大的距离值具有较小的误差。因此，如果所获取到的测距值大于(长于)预定距离，则距离信息生成单元322可以选择测距值d1和测距值d2中的任一个，并且如果所获取到的测距值等于或小于(短于)预定距离，则可以选择测距值d3。
[0301]
可以通过进行第一距离信息至第三距离信息中的至少两个的加权相加来生成整合距离信息。
[0302]
另外，关于另一整合处理技术，通过考虑到绝对误差和相对误差中的每一个来计算存在概率相对于距离的分布，可以从概率分布的总和中进行选择使得存在概率变为最高。此外，可以基于数据d1401中所包括的相对于运载工具100的移动速度、加速器、制动器和转向的信息，相对于当前相对距离值来确定相对距离值的存在概率。
[0303]
例如，可以进行确定，使得在相对于先前时刻的加速度、具有相同加速度作为最大概率时，在加速度变化增大时概率减小，以防止加速度变化增大。据此，可以计算出相对距离的存在概率。
[0304]
另外，如果存在加速器信息，则可以在加速度增大的方向上确定最大概率，并且如果存在制动信息，则可以在加速度减小的方向上确定最大概率。此外，可以根据目标对象的种类来设置。如果目标对象的种类(类别)是汽车或自动两轮运载工具等，则由于存在所辨识出的对象侧将显著加速或减速的可能性，因此存在相对距离的变化将增大的可能性。
[0305]
另一方面，如果类别是不会突然加速或减速的行人等，则存在相对距离的变化将取决于自身的操作的可能性，因此可以以更高的准确度确定存在概率。在上文，说明了输入了某个时刻的一个输入数据的基本流程。随后，将说明按时间序列的连续输入数据。
[0306]
图15是示出输入根据第二实施例的按时间序列的多个连续输入数据的处理示例的一部分的流程图，并且图16是示出图15所示的处理示例的其余部分的流程图。
[0307]
通过使得路径生成装置150中所包括的计算机执行存储器中所存储的计算机程序来进行图15和图16中的流程图的各步骤的操作。将相同的附图标记应用于与上述使用图14所述的处理和数据相同的处理和数据，并且将省略其说明。
[0308]
如果输入按时间序列的连续输入数据，则针对被指派了相同识别编号的对象(也就是说，被辨识为相同对象的对象)，可以按时间序列顺次获取到d1402的测距值d1、d1403的对象宽度ws和d1404的测距值d2。
[0309]
如果输入了按时间序列的连续输入数据，则由于相对于目标对象的相对距离的随时间变化，各测距值在时间上改变。然而，如果假定对象是刚体，则可以说实际对象宽度w始终恒定。
[0310]
由于该原因，在步骤s1504中，即使相对距离值已按时间序列改变，距离信息生成单元322也通过在时间序列方向上对实际对象宽度w进行平滑化来获取平均实际对象宽度w’的数据d1505。因此，可以减小相对误差。
[0311]
此时，最好移除变为离群值的数据，使得不利用具有显著误差的数据。另外，当在所有数据中进行时间序列方向上的平滑化时，初始阶段中的误差的影响即使在经过了时间之后也可能残留。
[0312]
在这种情况下，可以通过求已在某个程度上确定的范围内的移动平均来改善。可以考虑到相对误差和绝对误差来确定移动平均所使用的数据点的数量。如果系统具有显著的相对误差，则最好采用移动平均所使用的大量数据点，并且如果绝对误差显著，则最好采用少量数据点。
[0313]
如果通过数学表达式8来推定w，则可以通过在时间序列方向上充分进行平滑化来充分减小包括接地位置测距值和对象宽度(像素数)的相对误差。然而，绝对误差残留了与接地位置测距值相对应的量。即使在使用摄像面相位差测距值计算实际对象宽度w’的情况下也可以类似地考虑。
[0314]
数据d1505变为具有小相对误差的对象宽度w’，并且由于步骤s1405中的距离转换处理，可以获得作为数据d1406的对象宽度测距值d3作为仅具有对象宽度ws中的相对误差和与接地位置测距值相对应的绝对误差的距离值。
[0315]
另一方面，在图16的步骤s1607中，距离信息生成单元322基于测距值d1和d3来计算摄像面相位差测距值d2中的绝对误差的校正量。在摄像面相位差测距值d2中的绝对误差中，不论距离如何，具有恒定值的误差都通过散焦换算而成为主要分量。由于该原因，距离信息生成单元322基于焦距和成像表达式将摄像面相位差测距值d2换算成散焦量。
[0316]
类似地，距离信息生成单元322通过相同的焦距和相同的成像表达式将对象宽度测距值d3换算成散焦量。此时，可以使用接地位置测距值d1或相对测距值d将对象宽度测距值d3换算成散焦量。
[0317]
距离信息生成单元322通过在从摄像面相位差测距值d2换算来的散焦量和从对象宽度测距值d3换算来的散焦量之间取相同时刻的数据之间的差来计算时间序列差数据的平均值。
[0318]
如果可以利用充足的数据计算平均值，则所获得的平均值表示摄像面相位差测距值d2和对象宽度测距值d3中的绝对值误差之间的差。如果在步骤s1609中选择该平均值，则采用数据d1608作为绝对误差校正值。
[0319]
如果使用接地位置测距值d1进行校正，则基于接地位置测距值d1中的绝对值误差来进行校正，并且如果在步骤s1504中使用接地位置测距值d1，则结果是相同的绝对值误差。在这种情况下，通过选择具有较小相对误差的值来降低相对误差的影响。
[0320]
步骤s1609是绝对误差校正值选择处理，并且距离信息生成单元322确定步骤s1607的处理结果和步骤s1608的处理结果中的哪个结果被选择作为绝对误差校正值。以下将说明其详情。
[0321]
在步骤s1402中，距离信息生成单元322通过摄像面相位差测距来计算测距值d2，并且使用d1608的绝对误差校正值来校正散焦量。由于绝对误差校正值表示散焦量偏移，因此通过从根据输入数据计算出的散焦量中减去偏移来校正d1404的测距值d2中的绝对误差。
[0322]
可以校正直接距离值。实际上，直接距离值具有被调整为在步骤s1607中用于差的数据中的绝对误差的形状。如果如上所述使用从对象宽度测距值d3换算来的散焦量，则变为对象宽度测距值d3中的绝对误差。
[0323]
对象宽度测距值d3取决于步骤s1504中所使用的测距值。因此，如果在步骤s1504中使用接地位置测距值d1计算实际对象宽度w，则所有的接地位置测距值d1、摄像面相位差
测距值d2和对象宽度测距值d3都具有接地位置测距值d1中的绝对误差。
[0324]
由于在三个测距值中绝对误差是一致的，因此当在步骤s1406的整合测距处理中确定概率分布时，可以仅考虑相对误差。因此，可以更简单和稳定地计算数据d1507的相对测距值d。
[0325]
通过如上所述输入对象的时间序列数据，可以根据接地位置测距值d1、摄像面相位差测距值d2和对象宽度测距值d3来按时间序列计算相对测距值d。可以根据相对测距值d的时间序列数据来计算相对于目标对象的相对速度、相对加速度和相对跃度。可以使用这些数据来计算上述的相对距离值的概率分布。
[0326]
例如，可以确定概率分布使得减小相对加速度的变化。另外，通过包括相对测距值的变化，还可以进行测距值d的计算的建模。在这种情况下，通过以下的表达式10来以线性耦合表示各距离值。
[0327]
d＝(1-k
1-k
2-k3)dm+k1d1+k2d2+k3d3....(表达式10)
[0328]
dm是根据上述的相对于目标对象的相对速度、相对加速度和相对跃度等所估计的来自动力学模型的测距值。k1、k2和k3表示d1、d2和d3的权重系数。即，如果可以根据各技术中的概率分布来估计k1、k2和k3，则可以获得似然测距值d。
[0329]
假定各个测距值dm、d1、d2和d3的概率分布可以被近似为高斯分布，则可以使用以下的表达式11来解析地求解该概率分布。具体地，通过取两侧的方差并且利用系数k进行偏微分，可以针对三个未知数获得三个表达式。
[0330][0331]
v表示相对于各距离值dx的概率分布的方差。x表示1、2或3。因此，可以针对在各帧中获得的测距值dm、d1、d2和d3来计算k1、k2和k3，并且可以获得测距值d。可以在各测距技术中预先设置各方差值，或者可以根据各个测距结果或状况来计算各方差值。例如，可以考虑到接地点的计算中的辨识准确度和摄像仪器的俯仰角估计误差来设置接地位置测距值d1。
[0332]
类似地，对象宽度测距值d3还取决于确定对象宽度的图像中的辨识准确度。关于摄像面相位差测距值d2，如果通过一般的块匹配来进行计算，则在所辨识出的图像中存在许多测距点，并且可以计算方差值作为其统计量。
[0333]
此时，由于还可能包括显著误差，因此最好去除块匹配结果的离群值。另外，由于可以获得方差值作为所辨识出的对象内的许多测距值的统计量，因此方差值取决于测距点的数量，但此时还需要考虑块匹配的块大小。
[0334]
这是因为，如果查看各测距点，则块匹配的块在相邻测距点处彼此重叠，因此作为噪声对传感器像素的影响，测距点不是独立的。如果所辨识出的对象内的平均相位差测距值d2的方差相对于各测距点的方差是独立的，则前者方差变为通过将各测距点的方差除以测距点的数量所获得的值。
[0335]
然而，由于如上所述针对各测距点不是独立的，因此需要通过考虑到这一点来将方差确定为劣化值。具体地，可以计算块内的像素数的乘积，或者该乘积可以是通过一些其他方法确定的值的乘积。
[0336]
另外，可以使用紧前帧的结果来更新vm。具体地，由于可以计算前述模型中的后验
概率，因此可以通过与后验概率的组合(主要是与推定方差相加的形式)来进行更新。另外，这次描述了针对三个测距值的数学表达式。然而，如果存在其他测距技术，vm也可以增大，并且即使在这种情况下，也可以利用展开表达式的类似概念来获得解析解。
[0337]
相反，不需要利用所有的d1、d2和d3。例如，可以根据状况而仅利用所选择的一个。特别地，如果速度和加速度变化等的计算时的变化量大，则推定为误差大。因此，在这种情况下，可想到不利用它的对策。
[0338]
例如，如果确认为前方对象是静止对象等，则可以从宿主运载工具的速度获得近似变化。另外，由于也可以通过数学表达式11来获得测距值d的方差(在以高斯分布假定时的概率分布)，因此在测距值d1、d2和d3显著偏离的情况下，在测距技术中存在误差的可能性高。在这种情况下，可以将系数k设置为零等以便不考虑。
[0339]
到目前为止，说明了时间序列数据，但并不总是需要连续获取。如果对象辨识失败并且不能针对该帧获得正确的输入数据，则不进行处理，或者在能够正确地辨识出对象时从此处开始重新计算。
[0340]
在这种情况下，可以原样利用实际对象宽度的平均值w’或绝对误差校正值，并由此获得稳定的相对测距值d。然而，在这种情况下，由于不能正确地获得使用根据相对测距值d计算出的相对速度、相对加速度和相对跃度的相对测距值的概率分布，因此希望设置为零。
[0341]
另外，还可以考虑不能正确地计算接地位置测距值d1、摄像面相位差测距值d2和对象宽度测距值d3中的任一个或两个的情况。其示例包括所辨识出的对象漂浮的情况、以及不同的对象进入运载工具和所辨识出的对象之间并且不能正确地测量对象宽度的情况。
[0342]
在这种情况下，变化将显著不同于先前值、显著不同于其他距离值、并且将不能正确地获得的可能性高。在这种情况下，关于其距离值，可以通过将零或非常小的值设置为存在概率分布来避免或降低对相对测距值d的计算的影响。
[0343]
在步骤s15108中，如果相对于目标对象的相对距离值d随着时间序列变化而充分变化，则距离信息生成单元322执行用于使用相对距离的变化和实际对象宽度w的变化来进行高度准确的绝对误差校正的校正处理。
[0344]
图17a和图17b是根据第二实施例的绝对误差校正处理的示例的示意图。针对横轴设置时间轴，在图17a中针对纵轴标绘距离值d，并且在图17b中针对纵轴标绘实际对象宽度w。在图17b中，代替平均后的实际对象宽度w’，采用基于各时刻的对象宽度所计算出的实际对象宽度w。为了便于说明，去除了相对误差。
[0345]
即使如图17a所示、相对距离值d改变，实际对象宽度w也应如由图17b中的虚线所示恒定。然而，如果包括绝对误差，则如实线所示，实际对象宽度w根据距离而改变。可以通过以下的表达式12，使用真距离值dt、真实际对象宽度wt和估计平均实际对象宽度we’来表示具有误差的估计距离值de。
[0346][0347]
如果不存在相对误差，则由于we和wt相互一致并且dt和de相互一致，因此可以正确估计出相对距离。如果we与wt不一致，即绝对误差仍存在，则以we和wt的比在相对距离中也发生误差。因此，如图17b所示，根据距离所估计的实际对象宽度we改变。
[0348]
因此，如果在相对距离中发生一定变化，则在步骤s11608中确定绝对距离校正分量，使得在各时刻的实际对象宽度中不发生变化。由于真距离值dt是未知的，因此考虑到接地位置测距值d1、摄像面相位差测距值d2和相对测距值d中的任一个或多个值，可以根据其变化分量和实际对象宽度w的变化来估计真距离值dt。
[0349]
具体地，例如，使用摄像面相位差测距值d2通过与步骤s1404中的技术等同的技术来计算实际对象宽度w，并且计算其按时间序列的变化。可以修正绝对误差校正值，使得减小实际对象宽度w的变化。关于计算方法，可以使用一般的优化技术来找到使实际对象宽度w的变化最小化的校正值。因此，同时估计出绝对误差校正值和实际对象宽度校正值。
[0350]
将说明具体的计算方法其中之一。如果可以假定包括误差并且距离值的量级相对于散焦的量级足够大，则通过以下的表达式13来重新排列作为摄像面相位差测距中的测距值与散焦的关系表达式的成像表达式、以及对象宽度测距值中的测距值与像面的关系表达式。
[0351][0352]
由于不论距离如何、实际运载工具宽度理想上都一致，因此确认为尽管不取决于距离值，但通过包括误差，实际运载工具宽度的倒数与距离值成比例。关于1/wt和d之间的关系，实际运载工具宽度的误差与距离成比例地增大，并且如果距离小，则实际运载工具宽度的误差减小。
[0353]
换句话说，如果相对距离值d近似为零，则wt中的误差近似为零。由于该原因，标绘出相对距离值d和实际运载工具宽度的倒数1/wt，其截距变为实际运载工具宽度的正解，并且可以由此计算出绝对误差校正值。
[0354]
实际上，由于除了绝对误差之外还包括相对误差，因此数据的标绘变化，但如果相对距离存在一定变化并且存在与一定时刻相对应的数据，则可以使用最小二乘法等来容易地求解。
[0355]
另外，经校正的摄像面相位差测距值d2、对象宽度测距值d3和接地位置测距值d1中的绝对误差应彼此一致，并且绝对误差之间的差也可以被计算为绝对误差校正量。步骤s1401中的接地位置测距处理中的绝对误差分量的主要原因包括上述的拍摄装置的俯仰角偏差。即，消失点在与推定位置不同的位置，并且其分量变为接地位置测距值中的绝对误差。
[0356]
在步骤s1608中，由于可以估计出绝对误差分量，因此可以估计出俯仰角偏差。可以采用校正量作为绝对误差校正量(数据d1610)。如果以这种方式在相对距离中发生变化，则可以利用该信息以更高的准确度校正各测距值中的绝对误差分量。
[0357]
如果包括时间序列的绝对误差分量的变化在可以忽略的范围内，则在步骤s1608中的整体绝对误差校正处理之后，处理可以转变到步骤s1504中的实际对象宽度获取处理。也就是说，基本上，不再需要实际对象宽度的平均值的计算和步骤s1607中的绝对误差校正处理。由于该原因，可以简化该处理中的各处理或者可以处理各处理以进行连续确认。
[0358]
在步骤s1609中，距离信息生成单元322选择将步骤s1607和步骤s1608中的哪个绝对误差校正值作为数据d1608输出。如上所述，如果在相对距离中发生一定变化，则进行步骤s1608。
[0359]
由于该原因，在步骤s1609中，距离信息生成单元322基本上选择步骤s1607中计算出的绝对误差校正值，并且如果进行s1608中的处理，则选择步骤s1608中计算出的绝对误差校正值。
[0360]
再次地，如果在绝对误差等中存在变化，则可以再次选择步骤s1607中计算出的绝对误差校正值。例如，如果在选择步骤s1608中计算出的绝对误差校正值之后、步骤s1607中计算出的绝对误差校正值变化，则可以再次选择步骤s1607中计算出的绝对误差校正值。
[0361]
之后，如果在相对距离中再次发生一定变化，则可以以进行步骤s1608并选择其绝对误差校正值的形式连续地选择更好的绝对误差校正值。
[0362]
如上所述，使用图15至图17b说明了使用接地位置测距、对象宽度测距和摄像面相位差测距来按时间序列校正相对误差和绝对误差的流程。在上述处理中，说明了摄像面相位差测距，但也可以类似地考虑立体测距。
[0363]
相对误差等同于传感器噪声的影响，并且绝对误差可以被认为是各立体拍摄装置的安装位置误差的影响。尽管绝对误差没有被换算为散焦值，但可以将校正量估计为安装位置误差。
[0364]
另外，也可以类似地考虑诸如lidar等的其他形态。例如，在lidar的情况下，由于在距离分辨力中类似地发生相对误差、并且还发生了绝对误差作为距离偏移，因此可以应用与本实施例的概念类似的概念。
[0365]
另外，这次说明了三个种类的测距技术的整合流，但可以采用针对各自提取两个种类的的整合流。另外，通过添加摄像面相位差测距、立体和lidar(其他模态)，可以通过四个或多于四个种类的测距技术的组合来类似地针对各自进行校正。
[0366]
由于这种整合测距技术，可以针对跟踪所辨识出的对象一定时间段等的目的而获得稳定的测距值。当该摄像装置附接至运载工具时，例如，可以应用于自适应巡航控制(acc)和自动驾驶等。
[0367]
以这种方式，在本实施例中，除普通模态的信息之外，还可以使用图像信息来获得已经以更高准确度辨识出的相应对象的对象距离信息。另外，在本实施例中，路径生成装置150基于以这种方式生成的整合距离信息来生成路径信息。
[0368]
因此，可以生成具有更高准确度的路径信息。这里，路径生成装置150用作执行基于整合距离信息来生成路径信息的路径生成步骤的路径生成单元。关于路径信息，路径生成装置150基于作为可移动设备的运载工具的速度来生成路径信息。
[0369]
《第三实施例》
[0370]
第三实施例的路径生成装置150通过组合使用多个图像的基于视差的测距和基于单个图像的距离估计来实现从短距离到长距离的高度准确测距。
[0371]
图18是示出根据第三实施例的测距系统的构造的示例的框图。在本实施例中，测距系统包括在摄像装置110中。测距系统包括用作图像获取单元的摄像元件1802、辨识处理单元1821、距离图像生成单元1812、缩放测距单元1803和距离校正单元1804。
[0372]
这里，摄像元件1802具有与第一实施例中的摄像元件302的构造类似的构造。辨识处理单元1821与辨识处理单元321相对应。距离图像生成单元1812与距离图像生成单元312相对应。缩放测距单元1803和距离校正单元1804与距离信息生成单元322相对应。
[0373]
摄像元件1802以与摄像元件302的方式类似的方式获取图像信号。摄像元件1802
具有布置在各像素内的第一光电转换单元411和第二光电转换单元412。另外，获取到由第一光电转换单元411所获取到的图像信号构成的图像信号和由第二光电转换单元412所获取到的图像信号构成的图像信号。
[0374]
这些是与不同视点相对应的图像并且被称为视差图像。另外，摄像元件1802获取通过将两个视差图像的图像信号合成所获得的合成图像信号作为拍摄图像。摄像元件1802可以获取两个视差图像其中之一作为拍摄图像。
[0375]
关于用于获得视差图像的照相机构造，也可以使用并排布置的立体照相机。此外，在单镜头照相机构造中，考虑到宿主运载工具的速度，可以通过假定连续帧图像中的对象的相对移动量作为视差来获得视差图像。
[0376]
辨识处理单元1821通过对摄像元件1802所拍摄到的拍摄图像应用图像辨识处理来检测拍摄图像中所包括的对象。为了实现运载工具100的自动驾驶控制和碰撞减少制动控制，需要辨识运载工具100行驶的通车车道、在运载工具100的前方侧行驶的运载工具(前方运载工具)、以及诸如人等的对象。
[0377]
关于对象检测技术，使用通过模板匹配来检测具有近似恒定外观的对象(信号或交通标志等)的技术、或者利用机器学习来检测一般对象(运载工具或人等)等的技术。
[0378]
在本实施例中，辨识处理单元1821执行分割线检测任务和对象辨识任务。图19是例示根据第三实施例的辨识处理单元1821所执行的分割线检测任务和对象辨识任务的输出结果的示例的示意图。在分割线检测任务中，当输入拍摄图像时，获得经受了标注的分割线区域图(在该图中，可以检测到的分割线由黑色虚线表示)，该标注使用用于针对各像素检测是否是道路上的分割线(或者白色线或黄色线)的机器学习模型来表示是否是分割线。
[0379]
在对象辨识任务中，当输入拍摄图像时，使用用于检测道路上的对象的机器学习模型来获得所检测到的对象的种类(人、小汽车或标志等)、检测框中的左上点的坐标(x0,y0)以及检测框中的右下点的坐标(x1,y1)。此外，获得与所检测到的对象接触的检测框的坐标。这里，对象辨识任务的输出等同于第一实施例中所述的外部信息的输出。
[0380]
距离图像生成单元1812从摄像元件1802所获得的视差图像获得距离数据。在根据视差图像的测距中，通过检测具有不同视点的图像之间的对应点来计算视差值，并且可以根据视差值和用于拍摄视差图像的照相机条件(焦距和基线长度)来计算距离。
[0381]
如上所述，即使拍摄到了视差图像的照相机是使用双像素cmos传感器的单镜头照相机，也可以识别用于计算距离的照相机条件。通常，已知在使用视差图像的测距中，由于在测距目标变远时视差几乎消失，因此测距估计准确度劣化。
[0382]
缩放测距单元1803通过基于第一区域中存在的对象和第二区域中存在的对象的大小比对距离图像生成单元1812所计算出的第一区域的距离值进行缩放，来计算第二区域的距离值。
[0383]
在本实施例中，将通过基于短距离侧和长距离侧的道路信息将短距离侧的路面扩展到长距离侧来说明对距离图像生成单元1812所计算出的短距离侧的距离值进行缩放的示例。
[0384]
图20是照相机附接位置和路面之间的位置关系的示例的说明图。设置用于将照相机附接位置v(0,y0,0)的垂直方向上的路面设置为原点o的全局坐标(x,y,z)。另外，在摄像元件1802中所使用的摄像照相机的摄像光学系统301和摄像元件的光轴中，光轴方向是水
平地布置的。
[0385]
另外，由于摄像照相机的可视角，将要摄像的范围表示为摄像范围。当摄像范围(也就是说，由距离图像生成单元1812计算出的拍摄图像和距离图的图像宽度)是wu并且像高是hv时，距离图的中心像素被表现为c(wu/2,hv/2)。
[0386]
首先，估计短距离侧的路面。假定距离图的下部中的区域作为距离图上的短距离侧的路面。或者，也可以通过对拍摄图像的辨识处理来直接估计短距离侧的路面。在距离图的下部中的区域中，可以将辨识处理单元1821所检测到的分割线区域图上被判断为的分割线的像素周围的区域视为路面。
[0387]
仅被判断为比如下的阈值更近的距离图区域可以被视为路面，该阈值是基于照相机安装条件(可视角、分辨率和视线的角度)、拍摄环境(气候和时区)、以及与运载工具行驶的行驶道路有关的信息(通车车道宽度、通车车道数量、分支点/交叉点、道路类型)有关的信息所设置的。
[0388]
当距离图上的像素p(u0,v0)的距离值为d时，可以将短距离侧的路面p(u0,v0)以全局坐标转换成x＝u0-wu/2、y＝v0-hv/2和z＝d。
[0389]
当假定路面为水平时，该路面的方程式由ax+by+cz+d＝0(a、b、c和d是常数)表现。利用表示短距离侧的路面的四个或多于四个点，可以通过设置前述方程式的常数来估计路面。
[0390]
可以通过所估计路面的方程式来估计长距离侧的路面。此外，可以根据该经扩展的长距离侧的路面来对该距离进行缩放。具体地，可以将位于路面的方程式与通过视点v(0,y0,0)与表示距离图的长距离侧上的区域的像素q(u1,v1)的直线之间的交点处的点r(x,y,z)的深度z估计为距离值。
[0391]
即使不能从距离数据获取到与像素q(u1,v1)相对应的道路的距离，缩放测距单元1803也可以通过如上所述进行计算来获取与q(u1,v1)相对应的道路的距离值z。
[0392]
考虑到对距离图的这种处理，通过基于短距离区域(第一区域)中存在的路面与长距离区域中存在的路面之间的比(三维空间中的深度比率)缩放第一区域的距离，来计算第二区域的距离。由于以这种方式计算出的距离值不使用在远处劣化的视差测距单元的距离值，因此提高了远处的估计距离的准确度。
[0393]
此外，可以使用辨识处理单元1821所检测到的检测框来提高测距准确度。图21是例示在道路上检测到具有已知对象大小的两个标志的场景的示例的示意图。假定在所获取到的图像内在短距离侧和长距离侧各自布置有具有预先已知的大小的标志。
[0394]
在处于这种状态时，可以利用距离图像生成单元1812准确地计算出到短距离侧的标志的距离。另外，在对象大小为已知的对象的情况下，缩放测距单元1803可以基于图像中的像素数的比来计算到长距离侧的标志的距离。
[0395]
短距离侧的标志的高度(像素数)被认为是w0，相对于照相机位置的距离被认为是d0，长距离侧的标志的高度(像素数)被认为是w1，并且相对于照相机位置的距离被认为是d1。缩放测距单元1803可以通过d1＝d0*(w0/w1)来计算距离。
[0396]
如上所述，如果可以检测到具有已知大小的对象(标志或交通信号等)、可假定在短距离侧和长距离侧具有相同大小的对象(护栏；或者分割线的宽度、长度和间隔；等等)，则可以进行高度准确的缩放测距。
[0397]
如果针对具有已知大小的对象进行缩放测距，则难以提高从较近场所到远场所的所有距离范围的准确度。然而，可以通过将上述的路面已扩展的缩放测距和利用对象大小比的缩放测距组合来进行准确的缩放测距。
[0398]
距离校正单元1804基于缩放测距单元1803所计算出的距离值，来校正由距离图像生成单元1812进行测距的距离值，并且获取校正距离值dc。在下文，由距离图像生成单元1812进行测距的值将被称为距离值d，并且缩放测距单元1803所计算出的距离值将被称为缩放测距值ds。根据以下的表达式14来利用系数α计算校正距离值dc。
[0399]
dc＝α
×
d+(1-α)
×
ds....(表达式14)
[0400]
通过以下三个方法中的任一方法来确定系数α。
[0401]
(1)用于基于距离值的大小来确定系数α的方法
[0402]
关于视差测距单元的测距，相对于测距目标的距离值本身影响了测距准确度。当相对于测距目标的距离增加时，视差测距单元所计算出的距离值的距离准确度下降。因此，确定系数α，使得缩放测距值的比例根据距离值的值而增加。因此，可以获得准确的测距结果。也就是说，确定系数α，使得α随着距离值d的增大而减小。
[0403]
(2)用于基于测距目标的对比度来确定系数α的方法
[0404]
关于视差测距单元的测距，存在测距目标的对比度作为影响测距准确度的除相对于测距目标的距离值以外的因素。当计算视差图像之间的对应点(视差)时，即使对具有低对比度的区域进行匹配处理，与周围区域的区分也不清楚，因此不能准确地获得视差。
[0405]
由于该原因，如果在夜间对测距目标的照明不足并且测距目标的对比度低，则判断为距离值的测距准确度低，并且设置系数α，使得缩放测距值的比例增加。
[0406]
也就是说，如果测距目标的对比度低，则确定系数α，使得α增大。例如，由于基于由运载工具照明照亮的范围内的高度准确的距离值来生成缩放测距值，因此即使测距目标的对比度低，也可以获得准确的测距结果。
[0407]
(3)用于基于检测框的类别的种类来确定系数的方法
[0408]
测距准确度往往根据测距目标的类型(类别)而在视差测距和缩放测距各自中有所不同。例如，离测距的基准(诸如信号灯的发光部分等)远的测距对象在视差测距中可以在无需与不同对象区分的情况下经受测距，但在缩放测距中测距准确度往往降低。
[0409]
由于该原因，如果检测框的类别是特定类型，则可以通过设置系数使得距离值的比例增加来获得准确的测距结果。另外，如图21所示，如果通过缩放测距方法使得检测到对象的周围区域中的缩放测距的距离准确度增加，则可以确定系数，使得检测框周边的缩放测距的比例根据该类别而增加。
[0410]
在上述的用于确定系数的方法中，不需要将系数限制为1，并且可以基于针对各个因素生成的系数来确定最终系数。因此，可以获得准确的测距结果。
[0411]
(缩放测距单元的变形例)
[0412]
关于缩放测距单元1803的变形例，将说明通过基于图像中的短距离侧和长距离侧的道路宽度的大小比缩放相邻的距离数据来进行到目标对象的距离的估计的示例。图22是示出缩放测距单元1803的变形例的构造的框图。
[0413]
缩放测距单元1803包括通车车道分析单元2201、侧倾角估计单元2202、接地位置估计单元2203和对象距离计算单元2204。通车车道分析单元2201从分割线区域图检测分割
线之间的像素数作为通车车道宽度，并且检测分割线之间的中心坐标作为通车车道中心(坐标)。
[0414]
图23a至图23d是示意性例示根据第三实施例的通车车道分析单元2201所执行的通车车道宽度检测和通车车道中心检测的处理示例的示意图。图23a是示意性例示表示图像中的分割线的分割线区域图的图。
[0415]
通车车道分析单元2201向图像中被检测为分割线的像素指派分割线标志(由该图中的黑色虚线表现)。关于道路上的分割线，由于行驶通车车道和超车车道的边界部分可以由虚线表示，或者由于道路上的小汽车或障碍物等而导致分割线可能被隐藏，因此分割线区域图间歇地出现。
[0416]
图23b是例示计算通车车道宽度和通车车道中心的位置的技术的示意图。通车车道分析单元2201从分割线区域图中的左侧到右侧顺次检查针对各像素是否设置了分割线标志。道路宽度的起点是如下的检查中的像素：该检查中的像素不具有分割线标志，并且该检查中的像素的左侧相邻的像素具有分割线标志。
[0417]
另外，道路宽度的终点是如下的检查中的像素：该检查中的像素具有分割线标志，并且该检查中的像素的左侧相邻的像素不具有分割线标志。因此，如图23b所示的箭头组那样，可以针对分割线区域图中的一个线检测到一个通车车道宽度(箭头的长度)和通车车道的一个位置(箭头的中心位置)。
[0418]
图23c是例示检测到的通车车道宽度数据的示意图。只要通车车道的实际大小不改变，就通过与相对于照相机的距离的倒数成比例的像素数来观测通车车道宽度。在图23c中，横轴表示分割线区域图的线，并且纵轴表示检测到的通车车道宽度(像素数)。
[0419]
以这种方式，通车车道宽度相对于线具有高度线性关系。尽管可以根据分割线的间歇性的状态等以混合的方式观测一个通车车道的通车车道宽度和两个通车车道的通车车道宽度，但由于这两者之间存在约两倍的差，因此容易分离出这两者。
[0420]
图23d例示针对分离出的左侧的一个通车车道的观测数据和不能从观测数据获得通车车道宽度的线中的数据的插值的示意图。对于相邻通车车道(左侧和右侧的通车车道)的分离，通过比较通车车道的位置(箭头的中心位置)，容易排除相邻通车车道的观测数据。根据这些信息，例如，可以通过诸如ransac方法等的鲁棒估计来获取图23b所示的左侧的仅一个通车车道的通车车道宽度。
[0421]
对于通车车道宽度的插值，可以通过上述的ransac方法等来计算近似直线方程式，并且可以使用近似直线表达式，或者可以进行插值以对观测到的两者之间的道路宽度数据进行插值。同样关于通车车道的位置，可以通过与上述方法类似的方法来获得各线的数据。使用所获得的通车车道信息(通车车道宽度和通车车道中心)来进行缩放测距。
[0422]
侧倾角估计单元2202根据距离图来估计照相机的侧倾角。相对于车载照相机生成侧倾角的因素有多个。例如，由于路面的凹凸不平，在左右轮胎的接地面之间可能存在高度差，这可能导致由于不能水平地保持照相机附接位置而产生侧倾角。
[0423]
另外，运载工具本体自身可能由于运载工具正在转向弯道时的离心力而变形，使得可能产生侧倾角。这样的侧倾角的产生显著影响距离估计。
[0424]
本文所述的缩放测距是如下的处理：针对到路面上的对象的距离，使用被假定在与对象相同的距离处的通车车道的像素数和相邻通车车道的像素数的比，来对准确地测量
到的相邻距离值进行缩放。如果引起了照相机的侧倾角，则难以找到被假定在与对象相同的距离处的通车车道宽度。
[0425]
图24是表示拍摄图像中的通车车道宽度的位置之间的关于有无侧倾角的比较的示意图。左侧的拍摄图像例示没有产生侧倾角的情况，并且右侧的拍摄图像例示在相同场景中以图像的左下侧为中心产生10
°
的侧倾角的情况。在左侧的拍摄图像的情况下，由于小汽车(测距目标)的接地位置和被假定存在于相同距离处的通车车道布置在同一直线上，因此可以容易地采取对策。
[0426]
另一方面，在产生了侧倾角的右侧的拍摄图像的情况下，在与小汽车(测距目标)的接地位置相同的线上不存在通车车道，并且即使存在通车车道，也不能计算出相同距离处的通车车道宽度。为了求出与小汽车(测距目标)相同的距离处的通车车道宽度，需要准确地估计侧倾角。
[0427]
侧倾角估计单元2202基于通过视差测距所获取到的距离图来估计侧倾角。如果产生了侧倾角，则关于到可被假定为水平的路面的距离，如图24所示，已知相同距离处的位置倾斜。
[0428]
由于侧倾角围绕视点方向枢转地转动，因此照相机和目标对象之间的距离不存在变化，并且照相机所拍摄到的图像由于侧倾角而倾斜。因此，在距离图中也以沿着图像中的路面的倾斜的形式发生倾斜。
[0429]
图25是示出根据第三实施例的侧倾角估计单元2202所执行的侧倾角估计处理的示例的流程图。图26a至图26c是根据第三实施例的侧倾角估计处理中的各处理示例的说明性示意图。
[0430]
通过使得路径生成装置150中所包括的计算机执行存储器中所存储的计算机程序来进行图25中的流程图的各步骤的操作。
[0431]
在步骤s2500中，侧倾角估计单元2202根据距离图来确定观察像素设置范围。图26a是例示距离图中的观察像素设置范围的示意图。
[0432]
如图26a所示，观察像素设置范围定位地设置在距离图中的左下区域中。观察像素设置范围的高度被推定为在与路面相对应的区域中，并且例如，设置从水平线到距离图的下端的高度。考虑到观察像素和搜索范围之间的间隔来设置观察像素设置范围的宽度。搜索范围被设置于在水平方向上相对于观察像素远离了预定像素数(预定间隔)的位置处。
[0433]
如果观察像素和搜索区域之间的间隔大，则即使设置了观察像素设置范围的大宽度，也不能设置搜索范围。在本实施例中，将预定间隔设置为距离图的图像宽度的约1/4，并且将观察像素设置范围的大小设置为距离图的图像宽度的约一半。可以通过适当地设置观察像素设置范围来控制计算量。
[0434]
在步骤s2501中，侧倾角估计单元2202从距离图获得观察像素2600的距离数据。在本实施例中，相对于观察像素设置范围内的观察像素2600获得距离数据。
[0435]
在步骤s2502中，侧倾角估计单元2202确定搜索范围。与侧倾角生成的有无无关地，观察像素附近的像素的距离值往往更接近观察像素的距离值。因此，为了根据观察像素2600和对应像素2601的坐标来检测具有高分辨力的侧倾角，侧倾角估计单元2202将在水平方向上相对于观察像素2600存在预定间隔的区域设置为搜索范围。
[0436]
侧倾角估计单元2202可以通过推定生成的侧倾角的范围来限制搜索范围的高度。
例如，在运载工具中所安装的车载照相机的情况下，如果运载工具行驶一般道路，则限制为产生
±
几度的侧倾角。在本实施例中，设置了距离图中的像高的约1/8。
[0437]
搜索范围的幅度被设置为从在水平方向上相对于观察像素2600远离了预定间隔的位置到距离图的右端。搜索范围的右端不限于距离图的右端。然而，如果搜索范围的幅度小，则区域变得过小，使得可能无法找到与观察像素2600相对应的路面的距离数据。因此，优选将搜索范围的幅度设置为尽可能大。
[0438]
在步骤s2503中，侧倾角估计单元2202从搜索范围中搜索与观察像素2600相对应的对应像素2601。为了将与搜索范围内的观察像素2600的距离值类似的像素定位地设置为对应像素2601，针对搜索范围内的各像素检测对应像素2601和观察像素2600的距离值之间的差，并且采用具有最小差的像素作为对应像素2601。
[0439]
用于搜索对应像素2601的方法不限于一个像素和一个像素之间的差比较，并且可以通过进行包括观察像素和搜索范围内的像素的相邻像素组的距离值之间的差比较来采用具有最高类似度的像素组中的中央像素作为对应像素2601。
[0440]
在步骤s2504中，侧倾角估计单元2202根据观察像素和对应像素的坐标来计算倾斜度θ。如图26b所示，当观察像素3800的坐标为(x0,y0)并且对应像素2601的坐标为(x1,y1)时，通过θ＝arctan((y1-y0)/(x1-x0))来计算倾斜度θ。
[0441]
在步骤s2505中，侧倾角估计单元2202根据观察像素设置范围中的所有处理是否完成来进行分支。如果在将观察像素设置范围中的所有像素作为观察像素的情况下完成处理，则处理进入步骤s2506。如果在将观察像素设置范围中的所有像素作为观察像素的情况下未完成处理，则处理进入步骤s2501，并且针对新观察像素进行处理。
[0442]
在步骤s2506中，侧倾角估计单元2202计算侧倾角。定期地重复图25中的流程，直到用户发出结束指令(未示出)为止。
[0443]
图26c是例示在以横轴作为观察像素的距离值并且以纵轴作为观察像素的情况下计算出的倾斜度的示意图。由于根据一个观察像素计算出的倾斜度包括噪声分量，因此通过对多个倾斜度求平均来检测似然侧倾角。
[0444]
尽管根据视差图像生成了为了侧倾角估计所参考的距离图，但已知随着到对象的距离增加，根据视差图像的测距的检测准确度劣化。
[0445]
由于该原因，当利用距离图计算各观察像素的倾斜度时，根据观察像素的距离值的大小所计算出的倾斜度的不均匀性增加。由于该原因，在侧倾角的计算中，基于观察像素的具有小距离值的倾斜度的比例增大且具有大距离值的倾斜度的比例减小的加权平均来估计侧倾角。
[0446]
关于用于确定加权平均的比例的因素，可以使用在搜索对应像素时的类似度。通过上述处理，可以利用路面的距离图来估计侧倾角。
[0447]
此外，将说明预先确定了所估计的侧倾角的分辨力的观察像素和搜索范围之间的间隔的设置方法。
[0448]
观察像素和搜索范围之间的间隔由侧倾角的分辨力设置。侧倾角是基于从观察像素到对应像素的倾斜度来计算的，并且由观察像素和对应像素之间的水平差与观察像素和对应像素之间的垂直差的比来表示。由于垂直差是至少一个像素，因此侧倾角的分辨力由水平差的大小确定。可以使用以下表达
[0449]
式15使用侧倾角的分辨力r来获得观察像素和搜索范围之间的间隔d。
[0450][0451]
数学表达式15表示最小的检测角度，并且是根据在y轴方向上的一个像素的差的情况下的角度r与观察像素和搜索范围之间的间隔d的关系导出的。所计算出的间隔d越大，分辨力越高，但当间隔d增大时，如上所述搜索范围变窄。因此，优选设置最小分辨力。
[0452]
例如，如果所需的分辨力r为0.1
°
，则间隔d变为573个像素或更大。如果通过上述计算方法应用用于检测侧倾角的分辨力，则可以设置合适的间隔。
[0453]
接地位置估计单元2203使用通过对象检测任务所获得的检测框、通车车道分析单元2201所获得的通车车道中心和侧倾角估计单元2202所估计的侧倾角，来估计定位在与测距目标的接地位置相同的距离处的通车车道宽度数据的坐标。
[0454]
图27是示出根据第三实施例的接地位置估计单元2203所执行的通车车道宽度数据的坐标估计处理的示例的流程图。通过使得路径生成装置150中所包括的计算机执行存储器中所存储的计算机程序来进行图27中的流程图的各步骤的操作。
[0455]
在步骤s2701中，接地位置估计单元2203从通过对象辨识任务所获得的检测框中选择测距目标的检测框。
[0456]
在步骤s2702中，接地位置估计单元2203将检测框的下部的中心位置设置为测距目标的接地位置的坐标(xc,yc)。
[0457]
图28是示出根据第三实施例的接地位置估计单元2203所设置的测距目标的接地位置的坐标(xc,yc)的示例的示意图。使用以下的表达式16，利用检测框的左上坐标(x0,y0)和右下坐标(x1,y1)来表示测距目标的接地位置的坐标(xc,yc)。
[0458][0459]
关于用于获取测距目标的接地位置的坐标的方法，也可以使用与上述方法不同的技术。在诸如小汽车等的具有大横向宽度的对象的情况下，该对象是以倾斜了侧倾角的方式拍摄到的，检测框的下端处的中心坐标与轮胎实际接触地面的坐标之间的偏差可能增大。
[0460]
在这种情况下，例如，可以采用如下的构造：使用拍摄图像或距离图来检测检测框内的对象的轮廓，并且将具有侧倾角的倾斜度的直线r与对象的轮廓的下端接触的位置设置为接地面的坐标。可以通过使用这样的构造来设置测距目标实际与地面接触的坐标。
[0461]
由于辨识对象的轮廓的处理需要大的计算负荷，因此关于考虑到计算成本的构造，可以根据通车车道中心和测距目标之间的位置关系从检测框的角坐标中选择合适的坐标。
[0462]
具体地，存在如下的选择方法，该选择方法用于在测距目标存在于相对于通车车道中心的左侧的情况下，选择检测框的左下侧的坐标，并且在测距目标存在于右侧的情况下，选择检测框的右下侧的坐标。因此，可以将测距目标实际与在下一步骤中获得的直线r接触的坐标设置为比设置在检测框的下端中心处的坐标更近的坐标。
[0463]
在步骤s2703中，接地位置估计单元2203获得坐标(xt,yt)，这些坐标通过测距目标的接地位置的坐标(xc,yc)，并且在这些坐标中，倾斜度变为侧倾角的直线r与通过分割线检测所获得的通车车道中心的直线c彼此相交。
[0464]
通过如上所述进行的处理，即使距离图由于侧倾角而倾斜，也可以获得在与测距目标的接地位置相同的距离处的通车车道宽度数据的坐标。
[0465]
对象距离计算单元2204使用与同接地位置估计单元2203所获得的接地位置相对应的通车车道宽度数据有关的坐标、通车车道分析单元2201所计算出的通车车道宽度数据、以及与距离图有关的数据，来计算到测距目标的距离。
[0466]
图29是示出根据第三实施例的对象距离计算单元2204所执行的到测距目标的距离的估计处理的示例的流程图。通过使得路径生成装置150中所包括的计算机执行存储器中所存储的计算机程序来进行图29中的流程图的各步骤的操作。
[0467]
在步骤s2901中，对象距离计算单元2204使用通车车道宽度数据和坐标(xt,yt)来计算通车车道宽度n2。对象距离计算单元2204可以获取坐标(xt,yt)的通车车道宽度作为通车车道宽度n2，并且可以通过获取坐标(xt,yt)附近的多个通车车道宽度并根据相对于坐标(xt,yt)的距离进行加权来基于加权平均获取其通车车道宽度。
[0468]
如果从通过图像辨识所检测到的通车车道获得通车车道宽度，则存在基于图像辨识中的误差所检测到的通车车道宽度与实际通车车道宽度之间将发生模糊的可能性。如上所述，可以通过使用多个通车车道宽度计算通车车道宽度n2来减少所检测到的通车车道宽度的模糊。根据处理负荷而用于平滑化的通车车道宽度数据的数量可以是1个。
[0469]
在步骤s2902中，对象距离计算单元2204将从当前时刻的帧获得的通车车道宽度数据与距离数据以彼此映射的方式保留。首先，对象距离计算单元2204获取各通车车道宽度数据及其坐标，并且从距离图获取与通车车道宽度数据的坐标相对应的距离数据。
[0470]
此时，可以通过获取与在以与通车车道中心线c的通车车道宽度n1相对应的坐标(xn,yn)为中心的通车车道宽度数据(xn-n1/2,yn)至(xn+n1/2,yn)的范围内的各个坐标相对应的距离数据、并对该距离数据进行平滑化，来获得相应的距离数据。
[0471]
对象距离计算单元2204对在当前时刻的帧t0中获得的各个通车车道宽度数据进行通车车道宽度数据和距离数据之间的这种映射。图30是例示根据第三实施例的各个通车车道宽度数据的示例的示意图。对象距离计算单元2204可以根据处理负荷或记录容量来缩小要彼此映射的数据的数量的范围。例如，可以进行仅保留具有距离数据的概率高的部位处的数据的构造。
[0472]
在步骤s2903中，对象距离计算单元2204计算到测距目标的距离的计算所使用的基准数据b。当在先前步骤中映射的数据数量为k时，通过以下的表达式17，使用到通车车道的距离d1和通车车道宽度n1来表示基准数据b。
[0473][0474]
此时，随着距离增加，距离数据中的误差有可能增大。因此，可以通过与具有小距离值的部位相对应的权重增大且与具有大距离值的部位相对应的权重减小的加权平均来计算基准数据b。另外，可以构成步骤s2802中所获得的数据，使得与诸如t1和t2等的数个帧相对应的数据被保持为过去的帧数据，并且可以在包括该数据的情况下进行计算。
[0475]
在数学表达式16中，d1[n]
×
n1[n]变为与变为距离计算的基准的通车车道宽度相对应的值。当到通车车道的距离为d、图像中的通车车道宽度的像素数为n个像素、摄像照相机的水平场角为f
°
、并且水平图像宽度为h个像素时，可以通过w＝(d
×
n)
×2×
tan(f/2)/w
来计算实际通车车道宽度的大小w。在确定了摄像照相机的规格时，可以将2
×
tan(f/2)/w的部分作为固定值进行处理。
[0476]
因此，实际的通车车道宽度变为(d
×
n)的变量。由于该关系，在数学表达式16中，由于在运载工具行驶时通车车道宽度可以被视为相同，因此可以通过针对d1[n]
×
n1[n]进行平滑化来抑制观测噪声。
[0477]
另外，即使在多个连续帧的情况下，由于推定在相同的通车车道中行驶，因此可以将实际通车车道宽度视为相同，并且因此可以通过针对d1[n]
×
n1[n]执行平滑化来抑制观测噪声。
[0478]
另一方面，存在如下的可能性：当运载工具本体骑在小石头等上时，根据帧而将在图像中发生模糊，使得不能正确地获取到通车车道宽度数据。由于该原因，可以进行计算，以通过减小d1[n]
×
n1[n]的偏离大(也就是说，模糊大)的帧的权重来减小相对于基准数据的误差。
[0479]
可替代地，可以进行计算，以通过随着相对于当前时刻的帧的时间差的减小而增大权重并且随着该时间差的增大而减小权重来在相对于当前时刻的帧的响应与帧之间产生的模糊的平滑化之间维持平衡。另外，由于在通车车道宽度没有显著改变的时间段期间基准数据也变得大致均匀，因此可以进行如下的构造：通过在这样的时间段期间利用过去获得的基准数据并跳过前述计算(数学表达式17)来抑制处理负荷。
[0480]
在步骤s2904中，对象距离计算单元2204使用先前步骤中获得的基准数据b和测距目标的通车车道宽度n2来获得测距目标的距离数据d2。可以通过以下的表达式来获得距离数据d2。
[0481]
d2＝b/n2....(表达式18)
[0482]
通过如上所述进行的处理，可以估计到测距目标的距离。对象距离计算单元2204输出表示以这种方式获得的到测距目标的距离的对象距离信息。
[0483]
如上所述，在本实施例中，说明了能够通过将使用视差图像的立体测距和来自单个图像的距离估计组合来从较近处向远处以高准确度进行测距的测距系统的示例。即使在基于视差图像的测距单元中位于测距准确度劣化的远处的情况下，使用诸如路面等的缩放对象的大小比，即使测距目标在远处，也可以维持距离准确度。
[0484]
如果缩放目标对象是诸如实际大小不太可能改变的道路等的对象，则可以通过经由缩放时的平滑化减少测量大小时的观测噪声来提高距离准确度。
[0485]
另外，可以通过在基于视差图像的测距和基于单个图像的距离估计的测距中根据距离范围改变合成比来进行更稳健的距离估计。此外，可以通过进行侧倾角的检测和校正来进行运载工具的变形或者行驶道路的凹凸不平等的影响得以减少的稳健的距离估计。
[0486]
《其他实施例》
[0487]
在上述实施例中，作为示例已经说明了经由同一光学系统通过摄像面相位差方法获取左侧和右侧的视差图像以获取距离图像数据的摄像装置，但该获取方法不限于此。
[0488]
也可以通过利用以彼此远离预定距离的方式设置在左侧和右侧的两个摄像装置分别获取左侧的视差图像和右侧的视差图像的所谓的立体照相机来获取左侧和右侧的视差图像。
[0489]
另外，可以使用诸如lidar等的测距装置来获取距离信息，并且还可以使用通过针
对从摄像装置获得的拍摄图像的图像辨识所获得的外部信息来进行上述测距。可以适当地组合上述实施例。另外，在上述实施例中，可以基于对象的第一距离信息至第三距离信息中的至少两个的历史或者整合距离信息的历史来生成整合距离信息。
[0490]
在上述实施例中，已经说明了将距离计算装置作为电子仪器装配在作为汽车(可移动设备)的运载工具中的示例。然而，可移动设备可以是任何可移动设备，例如自动两轮运载工具、自行车、轮椅、船舶、飞机、无人机、或者诸如agv或amr等的移动机器人，只要其可以移动即可。
[0491]
另外，用作本实施例的电子仪器的距离计算装置不限于装配在这些移动体中的距离计算装置，并且包括如下的距离计算装置，该距离计算装置通过通信获取可移动设备中所装配的照相机等的图像，并且在远离可移动设备的位置处计算距离。
[0492]
尽管已经参考典型实施例说明了本发明，但应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
[0493]
另外，作为根据实施例的控制的一部分或全部，可以将实现上述实施例的功能的计算机程序通过网络或各种存储介质供给到电子仪器。然后，电子仪器的计算机(或者cpu或mpu等)可以被配置为读取并执行该程序。在这种情况下，程序和存储该程序的存储介质构成了本发明。
[0494]
本技术要求2022年3月9日提交的日本专利申请2022-036621的权益，其通过引用而被全部并入本文。

技术特征：
1.一种电子仪器，包括：至少一个处理器或电路，其被配置为用作：第一距离信息获取单元，其被配置为获取与图像信号中所包括的对象相对应的第一距离信息；第二距离信息获取单元和第三距离信息获取单元中的至少一个，所述第二距离信息获取单元被配置为基于所述图像信号中所包括的对象的端位置的信息来获取第二距离信息，所述第三距离信息获取单元被配置为基于所述图像信号中所包括的对象的大小的信息来获取第三距离信息；以及距离信息整合单元，其被配置为通过将所述第一距离信息、所述第二距离信息和所述第三距离信息中的至少两个进行组合并整合来生成整合距离信息。2.根据权利要求1所述的电子仪器，其中，所述距离信息整合单元通过进行所述第一距离信息、所述第二距离信息和所述第三距离信息中的至少两个的加权相加来生成所述整合距离信息。3.根据权利要求1所述的电子仪器，其中，所述距离信息整合单元通过选择所述第一距离信息、所述第二距离信息和所述第三距离信息中的至少一个来生成所述整合距离信息。4.根据权利要求1所述的电子仪器，其中，所述第一距离信息获取单元通过相位差测距方法来获取所述第一距离信息。5.根据权利要求4所述的电子仪器，其中，所述第一距离信息获取单元基于来自摄像元件的像素内所布置的第一光电转换单元和第二光电转换单元的信号，通过所述相位差测距方法来获取所述第一距离信息。6.根据权利要求4所述的电子仪器，其中，所述第一距离信息获取单元基于来自立体照相机的两个图像信号，通过所述相位差测距方法来获取所述第一距离信息。7.根据权利要求1所述的电子仪器，其中，所述第二距离信息获取单元基于所述图像信号中所包括的对象的接地位置或底端位置的信息来获取所述第二距离信息。8.根据权利要求7所述的电子仪器，其中，所述第二距离信息获取单元具有侧倾角估计单元，所述侧倾角估计单元用于估计用于获取所述图像信号的照相机的侧倾角。9.根据权利要求1所述的电子仪器，其中，所述第三距离信息获取单元基于所述图像信号中所包括的对象的宽度或高度的信息来获取所述第三距离信息。10.根据权利要求1所述的电子仪器，其中，所述距离信息整合单元基于所述对象的种类来生成所述整合距离信息。11.根据权利要求1所述的电子仪器，其中，所述距离信息整合单元基于所述对象的所述第一距离信息、所述第二距离信息和所述第三距离信息中的至少两个的历史来生成所述整合距离信息。12.根据权利要求1所述的电子仪器，
其中，所述至少一个处理器或电路还被配置为用作：第四距离信息获取单元，其被配置为使用雷达来获取关于所述对象的第四距离信息，以及其中，所述距离信息整合单元基于所述第四距离信息来生成所述整合距离信息。13.一种可移动设备，其中，至少一个处理器或电路还被配置为用作：路径生成单元，其被配置为基于根据权利要求1所述的电子仪器所获取到的整合距离信息来生成路径信息。14.根据权利要求13所述的可移动设备，其中，至少一个处理器或电路还被配置为用作被配置为基于所述整合距离信息和所述可移动设备的速度来生成路径信息的路径生成单元。15.根据权利要求13所述的可移动设备，其中，至少一个处理器或电路还被配置为用作：驱动控制单元，其被配置为基于所述路径生成单元所生成的路径信息来控制所述可移动设备的驱动。16.一种距离计算方法，包括：第一距离信息获取步骤，用于获取与图像信号中所包括的对象相对应的第一距离信息；第二距离信息获取步骤和第三距离信息获取步骤中的至少一个，所述第二距离信息获取步骤用于基于所述图像信号中所包括的对象的端位置的信息来获取第二距离信息，所述第三距离信息获取步骤用于基于所述图像信号中所包括的对象的大小的信息来获取第三距离信息；以及距离信息整合步骤，用于通过将所述第一距离信息、所述第二距离信息和所述第三距离信息中的至少两个进行组合并整合来生成整合距离信息。17.一种非暂时性计算机可读存储介质，其被配置为存储包括指令的计算机程序，所述指令用于执行以下处理：第一距离信息获取步骤，用于获取与图像信号中所包括的对象相对应的第一距离信息；第二距离信息获取步骤和第三距离信息获取步骤中的至少一个，所述第二距离信息获取步骤用于基于所述图像信号中所包括的对象的端位置的信息来获取第二距离信息，所述第三距离信息获取步骤用于基于所述图像信号中所包括的对象的大小的信息来获取第三距离信息；以及距离信息整合步骤，用于通过将所述第一距离信息、所述第二距离信息和所述第三距离信息中的至少两个进行组合并整合来生成整合距离信息。

技术总结
本发明涉及一种电子仪器、可移动设备、距离计算方法和存储介质。所述电子仪器包括：第一距离信息获取单元，用于获取与图像信号中所包括的对象相对应的第一距离信息；第二距离信息获取单元和第三距离信息获取单元中的至少一个，所述第二距离信息获取单元用于基于所述图像信号中所包括的对象的端位置的信息来获取第二距离信息，所述第三距离信息获取单元用于基于所述图像信号中所包括的对象的大小的信息来获取第三距离信息；以及距离信息整合单元，用于通过将所述第一距离信息、所述第二距离信息和所述第三距离信息中的至少两个进行组合并整合来生成整合距离信息。组合并整合来生成整合距离信息。组合并整合来生成整合距离信息。


技术研发人员：田中伸 野林和哉 大井川诚 兒玉成绪 川本智之
受保护的技术使用者：佳能株式会社
技术研发日：2023.03.09
技术公布日：2023/9/13