远程图像显示方法以及远程图像显示系统与流程

1.本公开涉及将基于从远程传感器取得的数据生成的传感器图像显示在与该远程传感器进行通信的终端的方法以及系统。


背景技术：

2.美国特许第11034299号公开了一种系统，该系统具备设置在车辆的驾驶席的两侧的两台电子镜。该现有系统从右方的电子镜输出车辆的右侧方和右后方的图像，从左方的电子镜输出车辆的左侧方和左后方的图像。该现有系统在识别到从车辆的后方接近的其他车辆的情况下，在包含该其他车辆的图像的一部分区域重叠该其他车辆的放大图像。
3.现有技术文献
4.专利文献1：美国特许第11034299号
5.专利文献2：日本特开2020－72401号公报
6.专利文献3：日本特开平9－271016号公报
7.专利文献4：日本特开2020－161039号公报
8.专利文献5：日本特开2011－35729号公报


技术实现要素：

9.发明要解决的技术问题
10.根据现有系统，就坐于驾驶席的驾驶员能够直观地掌握其他车辆正在从车辆的右后方和左后方中的哪方接近。其理由是因为：驾驶员理解这些电子镜具有侧后视镜(sidemirror)的功能，并且，能够瞬间根据输出包含其他车辆的图像的电子镜的设置位置来理解该其他车辆的位置。
11.考虑进行车辆所代表的移动体的远程操作的场景。在该远程操作中，基于从移动体的传感器取得的数据来生成传感器图像，该图像被提供给操作员。作为该传感器图像，可例示移动体的前方中央的图像和后方中央的图像。典型地，基于从搭载于移动体的摄像头取得的数据来生成前方中央和后方中央的图像。
12.在此成为问题的是操作员有可能在将移动体的前方作为基准时错误地判断为后方中央的图像的右方区域属于移动体的“左”、该图像的左方区域属于移动体的“右”。另外，操作员也有可能在弄错了前方中央的图像和后方中央的图像的情况下，错误地判断为前方中央的图像的右方区域属于移动体的“右”、该图像的左方区域属于移动体的“左”。
13.本公开的一个目的在于提供一种技术，其能够减轻基于传感器图像来进行远程操作的操作员误判将移动体的前方作为基准时的左右这一不良状况的产生。
14.用于解决问题的技术方案
15.第1观点是将基于从远程传感器取得的数据而生成的传感器图像显示于与所述远程传感器进行通信的终端的显示器的方法，具有如下特征。
16.所述远程传感器包括搭载于移动体的传感器。
17.所述传感器图像包括移动体图像，所述移动体图像表示基于从搭载于所述移动体的传感器取得的数据而生成的图像。
18.所述方法包括：
19.在经过所述移动体的基准点的假想水平面上设定在所述移动体的前后方向上延伸的基准线的步骤；
20.使用所述基准线，对包含所述假想水平面的假想空间定义以所述移动体的前方为基准的右方空间和左方空间的步骤；
21.使用定义了所述右方空间和所述左方空间的所述假想空间，对所述移动体图像设定以所述移动体的前方为基准的右方区域和左方区域的步骤；
22.在所述移动体图像的所述右方区域和所述左方区域分别重叠右方和左方的识别辅助的步骤，所述右方的识别辅助的颜色与所述左方的识别辅助的颜色不同；以及
23.从所述显示器输出重叠了所述右方和左方的识别辅助的所述移动体图像的步骤。
24.第2观点在第1观点中还具有如下特征。
25.所述右方和左方的识别辅助包括对以所述移动体的基准点为中心在所述假想水平面上呈同心圆状描绘的圆弧所实施的着色、对所述右方区域和所述左方区域的各区域的至少一部分所实施的着色、对在所述移动体图像中识别到的静态目标物所实施的着色、对将在所述移动体图像中识别到的动态目标物包围的边界框所实施的着色、对所述动态目标物的轨迹所实施的着色以及对所述移动体的轨迹所实施的着色。
26.第3观点在第2观点中还具有如下特征。
27.所述右方和左方的识别辅助是从对所述圆弧所实施的着色、对所述右方区域和所述左方区域的各区域的至少一部分所实施的着色、对所述静态目标物所实施的着色以及对所述移动体的轨迹所实施的着色中选择的至少一个和从对所述边界框所实施的着色以及对所述动态目标物的轨迹所实施的着色中选择的至少一个的组合。
28.第4观点在第2观点或者第3观点中还具有如下特征。
29.所述方法还包括：
30.判定在所述移动体图像中是否识别到跨将所述右方区域与所述左方区域隔开的边界的动态目标物的步骤；和
31.在判定为在所述移动体图像中识别到跨所述边界的动态目标物的情况下，使将跨所述边界的动态目标物包围的所述边界框为两层，对这些边界框分别施加所述右方和左方的识别辅助的颜色的步骤。
32.第5观点在第2观点或者第3观点中还具有如下特征。
33.所述方法还包括：
34.判定在所述移动体图像中是否识别到跨将所述右方区域与所述左方区域隔开的边界的动态目标物的步骤；和
35.在判定为在所述移动体图像中识别到跨所述边界的动态目标物的情况下，对将跨所述边界的动态目标物包围的边界框施加与所述右方和左方的识别辅助的任一颜色都不同的颜色的步骤。
36.第6观点在第2观点～第5观点的任一观点中还具有如下特征。
37.所述方法还包括：
38.判定所述动态目标物的总数是否为上限以上的步骤；和
39.在判定为所述总数为所述上限以上的情况下，按照预定基准来选拔被赋予所述边界框的动态目标物的步骤。
40.第7观点在第1观点～第6观点的任一观点中还具有如下特征。
41.所述移动体图像包括所述移动体的前方图像和后方图像。
42.对所述移动体图像重叠所述右方和左方的识别辅助的步骤包括：
43.将重叠于所述前方图像的所述右方的识别辅助的颜色和重叠于所述后方图像的所述右方的识别辅助的颜色设定为相同色系的颜色的步骤；和
44.将重叠于所述前方图像的所述左方的识别辅助的颜色和重叠于所述后方图像的所述左方的识别辅助的颜色设定为相同色系的颜色的步骤。
45.第8观点在第7观点中还具有如下特征。
46.所述方法还包括：
47.判定在所述前方图像的所述右方区域和所述左方区域中识别到的动态目标物的数量是否分别为1以上的步骤；
48.判定在所述后方图像的所述右方区域和所述左方区域的至少一方中是否识别到动态目标物的步骤；以及
49.在判定为在所述前方图像的所述右方区域和所述左方区域中识别到的动态目标物的数量分别为1以上、且在所述后方图像的所述右方区域和所述左方区域的至少一方中识别到动态目标物的情况下，采用对将在所述前方图像和所述后方图像中识别到的动态目标物包围的边界框所实施的着色来作为所述右方和左方的识别辅助的步骤。
50.第9观点在第1观点～第8观点的任一观点中还具有如下特征。
51.将所述右方区域与所述左方区域隔开的边界包括具有预定形状的边界，
52.所述方法还包括如下步骤：在所述具有预定形状的边界重叠识别辅助，重叠于所述具有预定形状的边界的识别辅助的颜色与所述右方和左方的识别辅助的任一颜色都不同。
53.第10观点在第1观点～第9观点的任一观点中还具有如下特征。
54.所述传感器图像包括基础设施图像，所述基础设施图像表示基于从距所述移动体的距离为预定值以下的基础设施摄像头取得的数据而生成的图像。
55.所述终端还包括显示所述基础设施图像的显示器。
56.所述方法还包括：
57.使用定义了所述右方空间和所述左方空间的所述假想空间，对所述基础设施图像设定以所述移动体的前方为基准的右方区域和左方区域的步骤；
58.在所述基础设施图像的所述右方区域和所述左方区域分别重叠右方和左方的识别辅助的步骤，重叠于所述基础设施图像的所述右方的识别辅助的颜色为与重叠于所述移动体图像的所述右方的识别辅助的颜色相同色系的颜色，重叠于所述基础设施图像的所述左方的识别辅助的颜色为与重叠于所述移动体图像的所述左方的识别辅助的颜色相同色系的颜色；以及
59.从显示所述基础设施图像的显示器输出重叠了所述右方和左方的识别辅助的所述基础设施图像的步骤。
60.第11观点在第10观点中还具有如下特征。
61.所述方法还包括：
62.在所述假想水平面上设定与所述基准线正交的追加基准线的步骤；和
63.使用所述追加基准线，将所述右方空间和所述左方空间在所述移动体的前后方向上分别一分为二来定义右前方空间、左前方空间、右后方空间以及左后方空间的步骤。
64.在定义了所述右前方空间、所述左前方空间、所述右后方空间以及所述左后方空间的情况下，在对所述基础设施图像设定以所述移动体的前方为基准的右方区域和左方区域的步骤中，对所述基础设施图像设定以所述移动体的前方为基准的右前方区域、左前方区域、右后方区域以及左后方区域。
65.在定义了所述右前方空间、所述左前方空间、所述右后方空间以及所述左后方空间的情况下，在所述基础设施图像的所述右方区域和所述左方区域分别重叠右方和左方的识别辅助的步骤中，在所述右前方区域、所述左前方区域、所述右后方区域以及所述左后方区域分别重叠右前方、左前方、右后方以及左后方的识别辅助。重叠于所述基础设施图像的所述右前方的识别辅助的颜色与所述右后方的识别辅助的颜色不同，重叠于所述基础设施图像的所述左前方的识别辅助的颜色与所述左后方的识别辅助的颜色不同。
66.第12观点在第1观点～第11观点的任一观点中还具有如下特征。
67.所述终端还包括显示所述移动体的周围的地图图像的显示器。
68.所述方法还包括：
69.在所述地图图像重叠所述移动体的图标和将所述移动体的图标包围、且以所述移动体的前方为基准的右方和左方的象形图的步骤，所述右方的象形图的颜色为与重叠于所述移动体图像的所述右方的识别辅助的颜色相同色系的颜色，所述左方的象形图的颜色为与重叠于所述移动体图像的所述左方的识别辅助的颜色相同色系的颜色；和
70.从显示所述地图图像的显示器输出重叠了所述移动体的图标以及所述右方和左方的象形图的所述地图图像的步骤。
71.第13观点是将基于从远程传感器取得的数据而生成的传感器图像显示于与所述远程传感器进行通信的终端的显示器的方法，具有如下特征。
72.所述传感器图像包括基础设施图像，所述基础设施图像表示基于从距移动体的距离为预定值以下的基础设施摄像头取得的数据而生成的图像。
73.所述方法包括：
74.在经过所述移动体的基准点的假想水平面上设定在所述移动体的前后方向上延伸的基准线的步骤；
75.使用所述基准线，对包含所述假想水平面的假想空间定义以所述移动体的前方为基准的右方空间和左方空间的步骤；
76.使用定义了所述右方空间和所述左方空间的所述假想空间，对所述基础设施图像设定以所述移动体的前方为基准的右方区域和左方区域的步骤；
77.在所述基础设施图像的所述右方区域和所述左方区域分别重叠右方和左方的识别辅助的步骤，所述右方的识别辅助的颜色与所述左方的识别辅助的颜色不同；以及
78.从所述显示器输出重叠了所述右方和左方的识别辅助的所述基础设施图像的步骤。
79.第14观点是将基于从远程传感器取得的数据来生成的传感器图像显示于与所述远程传感器进行通信的终端的显示器的系统，具有如下特征。
80.所述远程传感器包括搭载于移动体的传感器。
81.所述传感器图像包括移动体图像，所述移动体图像表示基于从搭载于所述移动体的传感器取得的数据来生成的图像。
82.所述移动体，
83.在经过所述移动体的基准点的假想水平面上设定在所述移动体的前后方向上延伸的基准线，
84.使用所述基准线，对包含所述假想水平面的假想空间定义以所述移动体的前方为基准的右方空间和左方空间，
85.使用定义了所述右方空间和所述左方空间的所述假想空间，对所述移动体图像设定以所述移动体的前方为基准的右方区域和左方区域，
86.在所述移动体图像的所述右方区域和所述左方区域分别重叠右方和左方的识别辅助，
87.向所述终端发送重叠了所述右方和左方的识别辅助的所述移动体图像。
88.所述右方的识别辅助的颜色与所述左方的识别辅助的颜色不同。
89.所述终端从所述显示器输出重叠了所述右方和左方的识别辅助的所述移动体图像。
90.第15观点是将基于从远程传感器取得的数据而生成的传感器图像显示于与所述远程传感器进行通信的终端的显示器的系统，具有如下特征。
91.所述传感器图像包括基础设施图像，所述基础设施图像表示基于从距移动体的距离为预定值以下的基础设施摄像头取得的数据而生成的图像。
92.所述基础设施摄像头向所述终端发送所述基础设施图像。
93.所述终端，
94.在经过所述移动体的基准点的假想水平面上设定在所述移动体的前后方向上延伸的基准线，
95.使用所述基准线，对包含所述假想水平面的假想空间定义以所述移动体的前方为基准的右方空间和左方空间，
96.使用定义了所述右方空间和所述左方空间的所述假想空间，对所述基础设施图像设定以所述移动体的前方为基准的右方区域和左方区域，
97.在所述基础设施图像的所述右方区域和所述左方区域分别重叠右方和左方的识别辅助，
98.从所述显示器输出重叠了所述右方和左方的识别辅助的所述基础设施图像。
99.所述右方的识别辅助的颜色与所述左方的识别辅助的颜色不同。
100.发明的效果
101.根据第1观点或者第14观点，对移动体图像设定有以移动体的前方为基准的右方区域和左方区域，从显示器输出被着色了根据右方和左方而不同的颜色的移动体图像。因此，能够减轻操作员误识别移动体图像中的以移动体的前方为基准时的左右这一不良状况的产生。
102.根据第2观点，作为右方和左方的识别辅助，可以使用对圆弧所实施的着色、对右方区域和左方区域的各区域的至少一部分所实施的着色、对静态目标物所实施的着色、对将动态目标物包围的边界框所实施的着色、对动态目标物的轨迹所实施的着色以及对移动体的轨迹所实施的着色。
103.在移动体图像中未识别到动态目标物的情况下，在移动体图像不重叠将其包围的边界框。因此，操作员有可能误识别以移动体的前方为基准时的左右。另外，在所识别到的动态目标物的数量少的情况下以及所识别到的动态目标物偏向右方区域或者左方区域的情况下也存在同样的问题。对于这一点，根据第3观点，识别到动态目标物成为前提的边界框和动态目标物的轨迹中的至少一方的识别辅助与这些以外的识别辅助的至少一个相组合。因此，能够防患于未然地避免上述问题的产生。
104.在将包围动态目标物的边界框作为识别辅助的情况下，对跨将右方区域与左方区域隔开的边界的动态目标物赋予什么样的边界框成为问题。对于这一点，根据第4观点，能够对设为了两层的边界框分别施加右方和左方的识别辅助的颜色。另外，根据第5观点，能够对将跨边界的动态目标物包围的边界框施加与右方和左方的识别辅助的任一颜色都不同的颜色。因此，根据第4观点或者第5观点，能够对跨边界的动态目标物也赋予适当的边界框。
105.在移动体图像中识别到许多动态目标物的情况下，存在将其包围的边界框会使视觉识别性降低这一问题。对于这一点，根据第6观点，能够在判定为动态目标物的总数为上限以上的情况下，按照预定基准来选拔被赋予边界框的动态目标物。因此，能够将重叠于移动体图像的边界框的数量减少到适当的数量，抑制由边界框导致的视觉识别性的降低。
106.根据第7观点，在前方图像和后方图像中，对右方的识别辅助设定有相同色系的颜色，对左方的识别辅助也设定有相同色系的颜色。因此，能够在前方图像和后方图像中减轻操作员误识别以移动体的前方为基准时的左右这一不良状况的产生。
107.在第4观点或者第5观点中说明过的问题也适用于在前方图像和后方图像中识别到的动态目标物。对于这一点，根据第8观点，在判定为在前方图像的右方区域和左方区域中识别到的动态目标物的数量分别为1以上、且在后方图像的右方区域和左方区域的至少一方中识别到动态目标物的情况下，采用边界框来作为右方和左方的识别辅助。因此，能够使用重叠于前方图像和后方图像的边界框，减轻操作员误识别以移动体的前方为基准时的左右这一不良状况的产生。
108.根据第9观点，能够在将右方区域与左方区域隔开的边界具有预定形状的情况下，也对该边界施加颜色与右方和左方的识别辅助的任一颜色都不同的识别辅助。
109.根据第10观点，对基础设施图像也重叠有重叠于移动体图像的右方和左方的识别辅助。根据第10观点，另外，重叠于基础设施图像的右方区域的识别辅助的颜色为与重叠于移动体图像的右方区域的识别辅助的颜色相同色系的颜色，重叠于基础设施图像的左方区域的识别辅助的颜色为与重叠于移动体图像的左方区域的识别辅助的颜色相同色系的颜色。因此，可期待有助于对移动体图像和基础设施图像这两方进行确认的操作员的准确的判断，并对通过远程操作实现的移动体的安全移动有用。
110.根据第11观点，对基础设施图像设定有以移动体的前方为基准的右前方区域、左前方区域、右后方区域以及左后方区域，在这些区域分别重叠有右前方、左前方、右后方以
及左后方的识别辅助。另外，由于右前方的识别辅助的颜色与右后方的识别辅助的颜色不同，重叠于基础设施图像的左前方的识别辅助的颜色与左后方的识别辅助的颜色不同，因此，能够对基础设施图像赋予移动体的前后方向的信息。这可期待有助于操作员的准确的判断，并对通过远程操作实现的移动体的安全移动有用。
111.根据第12观点，在地图图像重叠移动体的图标、将该图标包围且以移动体的前方为基准的右方和左方的象形图，并从显示器进行输出。该右方的象形图的颜色为与重叠于移动体图像的右方的识别辅助的颜色相同色系的颜色。另一方面，左方的象形图的颜色为与重叠于移动体图像的左方的识别辅助的颜色相同色系的颜色。因此，能够实现操作员对移动体的前方和后方的即时识别。
112.根据第13观点或者第15观点，对基于从距移动体的距离为预定值以下的基础设施摄像头取得的数据而生成的基础设施图像设定有以移动体的前方为基准的右方区域和左方区域。根据第13观点或者第15观点，另外，从显示器输出被着色了根据右方和左方而不同的颜色的基础设施图像。因此，能够减轻操作员误识别基础设施图像中的以移动体的前方为基准时的左右这一不良状况的产生。
附图说明
113.图1是对第1实施方式作为前提的远程操作进行说明的图。
114.图2是对传感器图像(移动体图像)的例子进行说明的图。
115.图3是对远程操作中的问题进行说明的图。
116.图4是表示识别辅助的第1例的图。
117.图5是表示识别辅助的第2例的图。
118.图6是表示识别辅助的第3例的图。
119.图7是表示识别辅助的第4例的图。
120.图8是表示识别辅助的第5例的图。
121.图9是表示识别辅助的第6例的图。
122.图10是表示第1实施方式涉及的显示系统的构成例的框图。
123.图11是表示与第1实施方式特别地关联的功能的构成例的框图。
124.图12是对图11所示的左右定义部的处理例进行说明的图。
125.图13是表示在图7中说明过的识别辅助的第4例的第1变形的图。
126.图14是表示在图7中说明过的识别辅助的第4例的第2变形的图。
127.图15是表示在图7中说明过的识别辅助的第4例的第3变形的图。
128.图16是表示在图7中说明过的识别辅助的第4例的第4变形的图。
129.图17是对第2实施方式作为前提的远程操作进行说明的图。
130.图18是对传感器图像(移动体图像和基础设施图像)的例子进行说明的图。
131.图19是对将在图4中说明过的识别辅助的第1例应用于基础设施图像的情况进行说明的图。
132.图20是表示第2实施方式涉及的显示系统的构成例的框图。
133.图21是表示与第2实施方式特别地关联的功能的构成例的框图。
134.图22是对图21所示的左右定义部的处理例进行说明的图。
135.图23是对基础设施图像中的右方和左方区域的细分化处理例进行说明的图。
136.图24是对在地图图像上重叠各种图标的处理例进行说明的图。
137.标号说明
[0138]1ꢀꢀ
移动体
[0139]2ꢀꢀ
远程操作装置(终端)
[0140]
3、3a、3b
ꢀꢀ
基础设施摄像头
[0141]
11、11a、11b
ꢀꢀ
传感器
[0142]
12、22、32
ꢀꢀ
数据处理装置
[0143]
12a、22a、32a
ꢀꢀ
处理器
[0144]
12b、22b、32b
ꢀꢀ
存储器
[0145]
21、21a、21b、26、26a、26b、29
ꢀꢀ
显示器
[0146]
31、31a、31b
ꢀꢀ
摄像头主体
[0147]
as_l1～as_l23、as_l11a～as_l11d、as_r1～as_r23、as_r11a、as_r11c、as_r11d、as_b1～as_b6
ꢀꢀ
识别辅助
[0148]
bd1、bd2
ꢀꢀ
边界
[0149]
bs
ꢀꢀ
边界面
[0150]
icn1、icn3
ꢀꢀ
图标
[0151]
la
ꢀꢀ
左方区域
[0152]
ls
ꢀꢀ
左方空间
[0153]
lfa
ꢀꢀ
左前方区域
[0154]
lra
ꢀꢀ
左后方区域
[0155]
mim
ꢀꢀ
地图图像
[0156]
ob1、ob2、ob3
ꢀꢀ
动态目标物
[0157]
op
ꢀꢀ
操作员
[0158]
pg＿l、pg＿r
ꢀꢀ
象形图
[0159]
ra
ꢀꢀ
右方区域
[0160]
rl
ꢀꢀ
基准
[0161]
rs
ꢀꢀ
右方空间
[0162]
rfa
ꢀꢀ
右前方区域
[0163]
rra
ꢀꢀ
右后方区域
[0164]
vhs
ꢀꢀ
假想水平面
[0165]
vsp
ꢀꢀ
假想空间
[0166]
sim
ꢀꢀ
传感器图像
[0167]
sim＿1
ꢀꢀ
移动体图像
[0168]
sim＿11a
ꢀꢀ
前方图像
[0169]
sim＿11b
ꢀꢀ
后方图像
[0170]
sim＿3、sim＿3a、sim＿3b
ꢀꢀ
基础设施图像
具体实施方式
[0171]
以下，参照附图对本公开的实施方式涉及的显示方法以及显示系统进行说明。此外，实施方式涉及的显示方法由在实施方式涉及的显示系统中进行的计算机处理来实现。在各图中，对相同或者相当的部分标记同一标号，简化或者省略其说明。
[0172]
第1实施方式
[0173]
首先，参照图1～16对本公开的第1实施方式进行说明。
[0174]
1.概要
[0175]
1－1.远程操作
[0176]
图1是对第1实施方式作为前提的远程操作进行说明的图。在图1中描述了移动体1和远程操作装置(以下也称为“终端”。)2。移动体1是接受通过终端2实现的远程操作的对象的一个例子。作为移动体1，可例示车辆、物流机器人以及作业机器人等的机器人。
[0177]
作为远程操作，可例示将与移动体1的行为(例如行驶、停止、转弯等)直接相关的操作作为目的的远程驾驶(remote driving)。远程操作也包括远程指示(remote command)和远程辅助(remote assistance)。远程指示(remote command)是将与移动体1的行为不直接相关的操作(将灯点亮等)作为目的来进行的。远程辅助(remote assistance)是为了对移动体1的识别和判断进行辅助而进行的。
[0178]
移动体1和终端2经由网络的基站(未图示)来进行通信。例如，搭载于移动体1的数据处理装置12判定是否需要远程操作。并且，在判定为需要远程操作的情况下，数据处理装置12向终端2发送远程操作要求。在发送远程操作要求时或者在发送该远程操作要求之前，数据处理装置12向终端2发送传感器图像sim。传感器图像sim基于从搭载于移动体1的传感器11取得的数据来生成。以下，将从移动体1发送的传感器图像sim也称为“移动体图像sim＿1”。
[0179]
终端2的数据处理装置22对远程操作要求进行响应，向移动体1发送各种指令ins。作为从数据处理装置22发送至移动体1的指令ins，可例示出基于操作员op的判断的指令。例如，操作员op观看从终端2的显示器21输出的传感器图像sim(移动体图像sim＿1)，理解远程操作要求的内容。并且，操作员op判断移动体1应该采取的行动，对终端2输入与该行动对应的指示。作为移动体1应该采取的行动，可例示出行进、停止、对于前方的障碍物的偏移躲避、紧急退避等。数据处理装置22生成与来自操作员op的输入数据相应的指令ins，并发送至移动体1。
[0180]
图2是对移动体图像sim＿1的例子进行说明的图。在图2中描绘了作为移动体1的车辆和搭载于该车辆的传感器11a以及11b。图2所示的箭头的方向dr是移动体1的行进方向。传感器11a是检测移动体1前方的状况的传感器11，传感器11b是检测移动体1后方的状况的传感器11。传感器11a和11b典型地为摄像头，但也可以基于从lidar(laser imaging detection and ranging，激光成像探测和测距)取得的数据来生成移动体图像sim＿1。因此，传感器11a和11b也可以是lidar。
[0181]
图2中描述的前方图像sim＿11a是基于从传感器11a取得的数据生成的移动体图像sim＿1的一个例子。前方图像sim＿11a包括存在于移动体1的右前方的路肩(人行道)的动态目标物ob1(行人)的图像。另一方面，后方图像sim＿11b是基于从传感器11b取得的数据生成的移动体图像sim＿1的一个例子。后方图像sim＿11b包括存在于移动体1的左后方
的路肩(人行道)的动态目标物ob2(行人)的图像。
[0182]
1－2.远程操作中的问题
[0183]
图3是对远程操作中的问题进行说明的图。图3在上部和下部分别描述了参照图2说明过的两种移动体图像sim＿1的组合。在显示器21a输出前方图像sim＿11a，在显示器21b输出后方图像sim＿11b。
[0184]
观看了在显示器21a输出的前方图像sim＿11a的操作员op能够容易地判断动态目标物ob1存在于移动体1的右前方和左前方中的哪方。另一方面，观看了在显示器21b输出的后方图像sim＿11b的操作员op有可能误判动态目标物ob2存在于移动体1的右后方和左后方中的哪方。
[0185]
该理由是由于：对于在观看了映现于镜子的姿态时是将其识别为左右反转了的姿态、还是识别为都未反转，根据心理学实验弄清楚了是存在个人差异的(y.takano et al.,“mirror reversal:empirical tests of competing accounts”,quarterly journal of experimental psychology society,2007,60(11),1555-1584)。根据该心理学实验报告了如下结果：回答为映现于镜子的姿态的左右反转的受试者为整体的53.9％，回答为均未反转的受试者为整体的45.1％。
[0186]
也即是，该结果启示出观看了后方图像sim＿11b的53.9％的操作员op有可能识别为后方图像sim＿11b的左右与前方图像sim＿11a的左右反转、45.1％的操作员op有可能识别为未发生该反转。存在这样的个人差异成为执行安全的远程操作的障碍。另外，在假如看错了前方图像sim＿11a和后方图像sim＿11b的情况下，操作员op误识别这些移动体图像sim＿1中的、以移动体1的前方为基准时的左右的可能性高。
[0187]
1－3.识别辅助
[0188]
鉴于这样的问题，在第1实施方式中，从显示器21输出重叠了“识别辅助”的移动体图像sim＿1。在重叠于移动体图像sim＿1的识别辅助着色有根据以移动体1的前方为基准的左右而不同的颜色。具体而言，在重叠于前方图像sim＿11a的左方区域的识别辅助着色有与重叠于后方图像sim＿11b的左方区域的识别辅助相同色系的颜色，在重叠于前方图像sim＿11a的右方区域的识别辅助着色有与重叠于后方图像sim＿11b的右方区域的识别辅助相同色系的颜色。
[0189]
在此，右方区域和左方区域通过设置在移动体1的前后方向上延伸的边界来加以确定。关于右方区域和左方区域的设定方法，将在后面进行描述。相同色系的颜色是指亮度或者饱和度不同但色相相同的颜色的组合、亮度以及饱和度不同(色调不同)但相同色相的颜色的组合、或者亮度以及饱和度相同(色调相同)但色相上相邻的颜色(相邻颜色)的组合。以下，对识别辅助的例子进行说明。
[0190]
1－3－1.第1例
[0191]
图4是表示识别辅助的第1例的图。在图4中，在上部和下部分别描述了两种移动体图像sim＿1。在显示器21a输出前方图像sim＿11a，在显示器21b输出后方图像sim＿11b。到此为止，与图3的说明是相同的。
[0192]
前方图像sim＿11a和后方图像sim＿11b分别由边界bd1区分为左方区域la和右方区域ra。此外，边界bd1是为了便于说明而表示于图4的，在前方图像sim＿11a和后方图像sim＿11b不会重叠边界bd1。左方区域la和右方区域ra是通过使用边界bd1来确定的，但关
于这些区域的设定方法，将在后面进行描述。
[0193]
在第1例中，在前方图像sim＿11a的右方区域ra重叠有圆弧状的识别辅助as＿r1～as＿r3，在后方图像sim＿11b的右方区域ra也重叠有圆弧状的识别辅助as＿r4～as＿r6。这些圆弧是在以移动体1的基准点(例如车辆的后轮轴的中心位置、传感器11a或者11b的设置位置、驾驶席的位置)为中心的假想水平面上所描述的同心圆的圆周的一部分。例如，识别辅助as＿r1和识别辅助as＿r4构成相同的圆，识别辅助as＿r2和识别辅助as＿r5构成相同的圆，识别辅助as＿r3和识别辅助as＿r6构成相同的圆。
[0194]
对识别辅助as＿r1～as＿r6的颜色使用了相同色系的颜色，但可以按构成相同的圆的识别辅助而使颜色一致。例如，可以对识别辅助as＿r1的颜色和识别辅助as＿r4的颜色使用相同的颜色，对识别辅助as＿r2的颜色和识别辅助as＿r5的颜色使用相同的颜色，对识别辅助as＿r3的颜色和识别辅助as＿r6的颜色使用相同的颜色。另外，在该情况下，也可以使用根据距移动体1的基准点的距离来使识别辅助的亮度和饱和度中的至少一方规则性地变化的配色技法(渐变)。
[0195]
在第1例中，另外在前方图像sim＿11a的左方区域la重叠有圆弧状的识别辅助as＿l1～as＿l3，在后方图像sim＿11b的左方区域la也重叠有圆弧状的识别辅助as＿l4～as＿l6。对于识别辅助as＿l1～as＿l6的说明基本上与对于识别辅助as＿r1～as＿r6的说明相同。但是，在识别辅助as＿l1～as＿l6着色有与识别辅助as＿r1～as＿r6不是相同色系的颜色(不同色系的颜色)。
[0196]
1－3－2.第2例
[0197]
图5是表示识别辅助的第2例的图。在图5中，在上部和下部分别描述了两种移动体图像sim＿1。此外，关于图5中的前方图像sim＿11a和后方图像sim＿11b的输出方式以及基于边界bd1的左方区域la和右方区域ra的区分，与第1例是通用的。
[0198]
在第2例中，重叠有将前方图像sim＿11a的右方区域ra的全部覆盖的识别辅助as＿r7，并重叠有将后方图像sim＿11b的右方区域ra的全部覆盖的识别辅助as＿r8。识别辅助as＿r7覆盖的区域也可以是前方图像sim＿11a的右方区域ra的一部分，识别辅助as＿r8覆盖的区域也可以是后方图像sim＿11b的右方区域ra的一部分。在该情况下，识别辅助as＿r7和识别辅助as＿r8的形状不被特别地限定，既可以是圆形、椭圆形、多边形、星型多边形，也可以是直线(实线、虚线、单点划线等)。对识别辅助as＿r7和识别辅助as＿r8的颜色使用相同色系的颜色。
[0199]
在第2例中，另外重叠有将前方图像sim＿11a的左方区域la的全部覆盖的识别辅助as＿l7，并重叠有将后方图像sim＿11b的左方区域la的全部覆盖的识别辅助as＿l8。对于识别辅助as＿l7和as＿l8的说明基本上与对于识别辅助as＿r7和as＿r8的说明是相同的。但是，在识别辅助as＿l7和as＿l8着色有与识别辅助as＿r7和as＿r8不是相同色系的颜色。
[0200]
1－3－3.第3例
[0201]
图6是表示识别辅助的第3例的图。在图6中，在上部和下部分别描述了两种移动体图像sim＿1。此外，关于图6中的前方图像sim＿11a和后方图像sim＿11b的输出方式以及基于边界bd1的左方区域la与右方区域ra的区分，与第1例是通用的。
[0202]
在第3例中，重叠有将在前方图像sim＿11a的右方区域ra中识别到的车道覆盖的
识别辅助as＿r9，并重叠有将在后方图像sim＿11b的右方区域ra中识别到的车道覆盖的识别辅助as＿r10。这些车道是前方图像sim＿11a所包含的静态目标物的一个例子。例如通过机器学习等的公知方法进行静态目标物的识别。作为静态目标物的其他例子，可举出护栏、道路构造物(信号机、交通标识)等。对识别辅助as＿r9和识别辅助as＿r10的颜色使用相同色系的颜色。
[0203]
在第3例中，另外重叠有将在前方图像sim＿11a的左方区域la中识别到的车道覆盖的识别辅助as＿l9，并重叠有将在后方图像sim＿11b的左方区域la中识别到的车道覆盖的识别辅助as＿l10。对于识别辅助as＿l9和as＿l10的说明基本上与对于识别辅助as＿r9和as＿r10的说明是相同的。但是，在识别辅助as＿l9和as＿l10着色有与识别辅助as＿r9和as＿r10不是相同色系的颜色。
[0204]
1－3－4.第4例
[0205]
图7是表示识别辅助的第4例的图。在图7中，在上部和下部描述了两种移动体图像sim＿1。此外，关于图7中的前方图像sim＿11a和后方图像sim＿11b的输出方式以及基于边界bd1的左方区域la与右方区域ra的区分，与第1例是通用的。
[0206]
在第4例中，重叠有将在前方图像sim＿11a的右方区域ra中识别到的动态目标物ob1包围的识别辅助as＿r11(边界框)。在第4例中，另外重叠有将在后方图像sim＿11b的左方区域la中识别到的动态目标物ob2包围的识别辅助as＿l11(边界框)。例如通过机器学习等的公知方法进行动态目标物的识别。作为动态目标物的例子，除了图7所示的行人之外，可举出自行车、摩托车以及汽车。
[0207]
在识别辅助as＿l11着色有与识别辅助as＿r11不是相同色系的颜色。在假如在后方图像sim＿11b的右方区域ra中识别到动态目标物ob2的情况下，在识别辅助as＿l11着色有与识别辅助as＿r11相同色系的颜色。
[0208]
1－3－5.第5例
[0209]
图8是表示识别辅助的第5例的图。在图8中，在上部和下部分别描述了两种移动体图像sim＿1。此外，关于图8中的前方图像sim＿11a和后方图像sim＿11b的输出方式以及基于边界bd1的左方区域la与右方区域ra的区分，与第1例是通用的。
[0210]
在第5例中，在前方图像sim＿11a以及后方图像sim＿11b重叠有移动体1的轨迹。重叠于前方图像sim＿11a的移动体1的轨迹具体地为以当前时间点为基准的移动体1的将来的轨迹，例如基于包括移动体1的驱动、制动以及转向中的至少一个的车辆控制数据来生成该轨迹。重叠于后方图像sim＿11b的移动体1的轨迹为以当前时间点为基准的移动体1的过去的轨迹，例如基于移动体1相对于在车道上设定的基准位置的横向位置的历史记录数据来生成该轨迹。
[0211]
在第5例中，在前方图像sim＿11a的右方区域ra所包含的移动体1的轨迹上重叠有识别辅助as＿r12，在该图像的左方区域la所包含的移动体1的轨迹上重叠有识别辅助as＿l12。在识别辅助as＿l12着色有与识别辅助as＿r12不是相同色系的颜色。
[0212]
在第5例中，另外在后方图像sim＿11b的右方区域ra所包含的移动体1的轨迹上重叠有识别辅助as＿r13，并在该图像的左方区域la所包含的移动体1的轨迹上重叠有识别辅助as＿l13。在识别辅助as＿l13着色有与识别辅助as＿r13不是相同色系的颜色。
[0213]
对于识别辅助as＿l13的颜色可以使用与识别辅助as＿l12的颜色相同色系的颜
色，也可以使用相同的颜色。对于识别辅助as＿r13的颜色可以使用与识别辅助as＿r12的颜色相同色系的颜色，也可以使用相同的颜色。
[0214]
第5例的想法也可以应用于在移动体图像sim＿1中识别到的动态目标物的轨迹。在该情况下，例如通过机器学习等的公知方法对移动体图像sim＿1所包含的动态目标物进行识别，确定该动态目标物的过去的轨迹。并且，在移动体图像sim＿1中也可以描述该过去的轨迹，沿着该轨迹重叠识别辅助。进一步，也可以根据所确定的过去的轨迹，预测动态目标物的将来的轨迹。在该情况下，在移动体图像sim＿1中描述该动态目标物的将来的轨迹，沿着该轨迹重叠识别辅助即可。
[0215]
1－3－6.第6例
[0216]
图9是表示识别辅助的第6例的图。在图9中，在上部和下部描述了两种移动体图像sim＿1。关于图9中的前方图像sim＿11a和后方图像sim＿11b的输出方式，与第1例是通用的。
[0217]
与第1例～第5例不同，在第6例中，呈现了边界bd1在左右方向具有一定的宽度的区域形状。在第6例中，在前方图像sim＿11a的边界bd1上重叠有圆弧状的识别辅助as＿b1～as＿b3，在后方图像sim＿11b的边界bd1上重叠有圆弧状的识别辅助as＿b4～as＿b6。识别辅助as＿b1位于识别辅助as＿r1与识别辅助as＿l1之间。识别辅助as＿b2～as＿b6分别位于识别辅助as＿rk与识别辅助as＿lk(k＝2～6)之间。
[0218]
对于识别辅助as＿b1～as＿b6的说明基本上与对于识别辅助as＿r1～as＿r6的说明是相同的。但是，在识别辅助as＿b1～as＿b6着色有与识别辅助as＿r1～as＿r6不是相同色系的颜色、且与识别辅助as＿l1～as＿l6也不是相同色系的颜色(也即是第三颜色)。
[0219]
在第6例中，边界bd1的位置也可以在左右方向上移动。例如若将移动体1的驾驶席的位置设定为移动体1的基准点，则边界bd1的位置会移动。该变形也同样可被应用于第1例～第5例。
[0220]
在第6例中，另外，边界bd1的形状也可以任意地进行变形。作为边界bd1的其他形状，可举出三角形、梯形这样的形状。例如若将顶点设定为移动体1的基准点、将三角形的其余两个顶点分别设定于前方图像sim＿11a和后方图像sim＿11b的周缘，则能够在这些图像上设定具有三角形的边界bd1。另外，通过使边界bd1的左右方向上的宽度从移动体1的前方向后方渐变，能够在这些图像上设定具有梯形的边界bd1。
[0221]
这样，根据第1实施方式，被着色了根据以移动体1的前方为基准的左右而不同的颜色的识别辅助被重叠于移动体图像sim＿1，从显示器21对其进行输出。因此，能够减轻操作员op误识别移动体图像sim＿1中的以移动体1的前方为基准时的左右这一不良状况的产生。
[0222]
2.系统构成例
[0223]
接着，对第1实施方式涉及的显示系统的构成例进行说明。
[0224]
2－1.整体构成例
[0225]
图10是表示第1实施方式涉及的显示系统的构成例的框图。在图10所示的例子中，作为第1实施方式涉及的显示系统的构成，描述了具备传感器11以及数据处理装置12的移动体1和具备显示器21、数据处理装置22以及输入装置23的终端2。
[0226]
传感器11搭载于移动体1。传感器11检测移动体1的至少前方和后方的状况。作为传感器11，可例示摄像头和lidar。作为具体的传感器11，可举出图2所示的传感器11a和11b。但是，传感器11a也可以包括检测移动体1的前方中央、右前方以及左前方的状况的三基传感器。另外，传感器11b也可以包括检测移动体1的后方中央、右后方以及左后方的状况的三基传感器。
[0227]
进一步，传感器11也可以包括检测移动体1的右侧方和左侧方的状况的传感器。此外，检测移动体1的右侧方(或者左侧方)的状况的传感器也可以一并检测移动体1的右后方(或者左后方)的状况。
[0228]
数据处理装置12是搭载于移动体1的微型计算机。数据处理装置12具备至少一个处理器12a和至少一个存储器12b。处理器12a包括cpu(central processing unit，中央处理单元)。存储器12b是ddr存储器等的易失性的存储器，进行处理器12a使用的各种程序的展开以及各种数据的暂时保存。从传感器11取得的各种数据、移动体1向终端2发送的移动体图像sim＿1以及移动体1从终端2接收的指令ins被保存于存储器12b。
[0229]
处理器12a通过执行保存于存储器12b的图像处理用的程序，进行与移动体图像sim＿1的生成关联的各种处理。另外，处理器12a通过执行保存于存储器12b的图像发送用的程序，进行用于向终端2发送所生成的移动体图像sim＿1的各种处理。另外，处理器12a进一步通过执行保存于存储器12b的远程操作用的程序，进行基于了从终端2接收到的指令ins的与移动体1的控制关联的各种处理。
[0230]
显示器21是输出移动体图像sim＿1的显示装置。显示器21例如设置于提供移动体1的远程操作服务的业者的设施。显示器21与数据处理装置22以有线或者无线的方式相连接。在后者的情况下，显示器21也可以经由网络的基站而与数据处理装置22连接。显示器21的总数不被特别地限定，但优选分别输出移动体1的至少前方和后方的图像(例如前方图像sim＿11a和后方图像sim＿11b)。因此，显示器21的总数优选至少为2。
[0231]
数据处理装置22是用于进行移动体1的远程操作的计算机。数据处理装置22具备至少一个处理器22a和至少一个存储器22b。处理器22a包括cpu(central processing unit)。存储器22b为ddr存储器等的易失性的存储器，进行处理器22a使用的各种程序的展开以及各种数据的暂时保存。终端2从移动体1接收的移动体图像sim＿1、来自输入装置23的各种数据以及终端2向移动体1发送的指令ins被保存于存储器22b。
[0232]
处理器22a通过执行保存于存储器22b的输出处理用的程序，进行与移动体图像sim＿1的输出控制关联的各种处理。另外，处理器22a通过执行保存于存储器22b的远程操作用的程序，进行用于生成向移动体1发送的指令ins的各种处理。处理器22a进一步通过执行指令发送用的程序，进行用于向移动体1发送所生成的指令ins的各种处理。
[0233]
输入装置23由操作员op进行操作。输入装置23例如具备由操作员op进行操作的输入部、和基于输入数据生成以及输出信号的控制电路。作为输入部，可例示鼠标、键盘、按键以及开关。作为输入部的其他例子，可举出方向盘、挡杆、加速踏板以及制动踏板。作为基于操作输入而生成的信号，可例示用于对显示器21上的移动体图像sim＿1的显示方式进行变更(放大、缩小等)的信号、与移动体1应该采取的行动对应的信号等。
[0234]
2－2.功能构成例
[0235]
2－2－1.数据处理装置12的功能构成例
[0236]
图11是表示与第1实施方式特别地关联的功能的构成例的框图。在图11所示的例子中，数据处理装置12具备数据接收部13、图像生成部14、左右定义部15、识别辅助重叠部16以及数据发送部17。数据处理装置12所示的各块的功能通过处理器12a执行各种程序来实现。此外，数据处理装置12的功能的一部分(例如图像生成部14、左右定义部15以及识别辅助重叠部16)也可以由通过移动体1外部的服务器进行程序处理来实现。
[0237]
数据接收部13接收传感器11检测到的各种数据。该各种数据包括表示移动体1前方的状况的数据和表示移动体1后方的状况的数据。表示前方的状况的数据也可以包括表示移动体1的前方中央、右前方以及左前方的状况的数据。表示后方的状况的数据也可以包括表示移动体1的后方中央、右后方以及左后方的状况的数据。传感器11取得的各种数据也可以包括表示移动体1的右侧方和左侧方的状况的数据。数据接收部13向图像生成部14发送各种数据。
[0238]
图像生成部14基于从数据接收部13接收到的各种数据来生成传感器图像sim(移动体图像sim＿1)。在传感器11为摄像头的情况下，图像生成部14基于摄像头检测到的彩色图像，生成移动体图像sim＿1。在传感器11为lidar的情况下，图像生成部14基于lidar检测到的点群数据，生成移动体图像sim＿1。图像生成部14向左右定义部15和识别辅助重叠部16发送所生成的移动体图像sim＿1。
[0239]
左右定义部15对移动体图像sim＿1中的左右进行定义。左右定义部15首先设定边界。图12是对左右定义部15的处理例进行说明的图。此外，在图12中，以移动体1是车辆为前提来进行处理例的说明。在图12所示的例子中，首先设定经过移动体1的基准点(例如车辆的后轮轴的中心位置)的假想水平面vhs(步骤s1)。假想水平面vhs例如为与移动体1行驶的车道平行的面。
[0240]
在设定假想水平面vhs后，在该假想水平面vhs上设定在移动体1的前后方向上延伸的基准线rl(步骤s1)。前后方向例如为将移动体1的车体前方的中心与车体后方的中心连结的方向。在图12所示的例子中，通过将经过这些中心的直线投影到假想水平面vhs上，设定了基准线rl。
[0241]
在设定基准线rl后，设定包含该基准线rl的平面、且与假想水平面vhs正交的平面(以下也称为“边界面bs”。)(步骤s2)。在设定边界面bs后，能够在包含该边界面bs和假想水平面vhs的假想空间vsp中定义以移动体1的前方为基准的右方空间rs和左方空间ls。
[0242]
左右定义部15将包含边界面bs和假想水平面vhs的假想空间vsp应用于移动体图像sim＿1(步骤s2)。于是，能够在移动体图像sim＿1上设定通过边界面bs描绘的边界bd1。当设定边界bd1时，能够将以移动体1的前方为基准的右方区域ra和左方区域la设定在移动体图像sim_1上。
[0243]
左右定义部15向识别辅助重叠部16发送移动体图像sim＿1中的右方区域ra和左方区域la的数据。左右定义部15例如向识别辅助重叠部16发送在移动体图像sim＿1中构成边界bd1的像素坐标的数据。在将圆弧状的识别辅助重叠于移动体图像sim＿1的情况下(也即是参照图4说明过的第1例的情况下)，左右定义部15向识别辅助重叠部16发送在移动体图像sim＿1中构成假想水平面vhs的像素坐标的数据。
[0244]
识别辅助重叠部16基于从图像生成部14接收到的移动体图像sim＿1、和从左右定义部15接收到的与移动体图像sim＿1关联的各种数据，对移动体图像sim＿1重叠识别辅
助。
[0245]
在参照图4说明过的第1例的情况下，识别辅助重叠部16使用在移动体图像sim＿1中构成假想水平面vhs的像素坐标的数据，在该假想水平面vhs上描绘以移动体1的基准点为中心的假想同心圆。接着，识别辅助重叠部16将该假想同心圆应用于移动体图像sim＿1，在右方区域ra重叠识别辅助as＿r1～as＿r6，在左方区域la重叠识别辅助as＿l1～as_l6。
[0246]
在参照图5说明过的第2例的情况下，识别辅助重叠部16重叠将右方区域ra的全部覆盖的识别辅助as＿r7和as＿r8，在左方区域la重叠识别辅助as＿l7和as＿l8。此外，为了抑制因所重叠的识别辅助而移动体图像sim＿1的视觉识别性降低，在第2例的情况下优选使用透射色来对右方区域ra和左方区域la进行着色。在其他例子中，在着色不为透射色的颜色的情况下，优选根据时间使该颜色的透射值变化。
[0247]
在参照图6说明过的第3例的情况下，识别辅助重叠部16首先进行移动体图像sim＿1所包含的目标物的识别。在识别到移动体图像sim＿1所包含的静态目标物的情况下，识别辅助重叠部16根据识别到该静态目标物的区域，重叠将构成该静态目标物的像素坐标覆盖的识别辅助as＿r9、as＿r10、as＿l9或者as＿l10。此外，为了抑制因所重叠的识别辅助而静态目标物的视觉识别性降低，优选在第3例的情况下使用透射色、或者根据时间使不为透射色的颜色的透射值变化。
[0248]
在参照图7说明过的第4例的情况下，与第3例同样地，识别辅助重叠部16首先进行移动体图像sim＿1所包含的目标物的识别。在识别到移动体图像sim＿1所包含的动态目标物的情况下，识别辅助重叠部16根据识别到该动态目标物的区域，重叠作为将该动态目标物包围的边界框的识别辅助as＿r11或者as＿l11。
[0249]
设想如下情况：在第4例的情况下和第5例的变形(向动态目标物的轨迹的着色)的情况下，完全未识别到移动体图像sim＿1所包含的动态目标物。另外，也设想移动体图像sim＿1所包含的动态目标物的总数少的情况。进一步，也设想在移动体图像sim＿1中识别到的动态目标物偏向右方区域ra和左方区域la中的一方区域。另外，进一步也设想动态目标物的总数过多的情况。
[0250]
在完全未识别到动态目标物的情况下，对移动体图像sim＿1不实施着色。因此，在该情况下，产生以移动体1的前方为基准时的左右的误认的可能性高。另外，在动态目标物的总数少的情况下以及所识别到的动态目标物偏向右方区域ra和左方区域la中的一方区域的情况下，留有产生以移动体1的前方为基准时的左右的误认的可能性。另一方面，在动态目标物的总数过多的情况下，有可能移动体图像sim＿1的视觉识别性反而降低。
[0251]
于是，在第4例的情况下，优选对移动体图像sim＿1所包含的动态目标物的数量进行计数，优选分别对右方区域ra和左方区域la所包含的动态目标物的数量进行计数。而且，优选判定是否前方图像sim＿11a的右方区域ra和左方区域la所包含的动态目标物的数量分别为1个以上、且后方图像sim＿11b的右方区域ra和左方区域la所包含的动态目标物中的至少一方包含动态目标物。并且，优选在该判定的结果为肯定的情况下，采用作为边界框的识别辅助as＿r11或者as＿l11。
[0252]
图13是表示参照图7说明过的识别辅助的第4例的第1变形的图。在图13所示的例子中，在基于了动态目标物的判定中得到肯定的判定结果。具体而言，在图13所示的例子中，在前方图像sim＿11a的右方区域ra和左方区域la各识别到一个动态目标物，并且，在后
方图像sim＿11b的左方区域la识别到一个动态目标物。因此，在前方图像sim＿11a的右方区域ra重叠有识别辅助as＿r11a，在左方区域la重叠有识别辅助as＿l11a。另外，在后方图像sim＿11b的左方区域la重叠有识别辅助as_l11b。
[0253]
另一方面，在基于了动态目标物的判定中得到了否定的判定结果的情况下，优选将第1例～第3例或者第5例(但是，限于向静态目标物的轨迹的着色)适当地组合于第4例。图14是表示参照图7说明过的识别辅助的第4例的第2变形的图。在图14所示的例子中，在基于了动态目标物的判定中得到否定的判定结果。因此，在图14所示的例子中，在第2例中说明过的识别辅助as_r7以及as_r8和识别辅助as_l7以及as_l8被追加于移动体图像sim＿1。
[0254]
在动态目标物的总数过多的情况下，优选按照预定基准选拔重叠有识别辅助as＿r11或者as＿l11的动态目标物(也即是，被赋予边界框的动态目标物)。在该情况下，例如判定所着眼的图像区域(例如前方图像sim＿11a的右方区域ra)中的动态目标物的总数是否为上限以上。
[0255]
并且，在判定为动态目标物的总数为上限以上的情况下，判断为动态目标物的总数过多，提取满足基准(i)～(iii)中的任一个的动态目标物。
[0256]
(i)距移动体1的距离为预定距离以内的动态目标物
[0257]
(ii)与移动体1的碰撞预测时间(ttc)为预定时间以内的动态目标物
[0258]
(iii)特别地需要由操作员op进行的监视的动态目标物
[0259]
优选反复进行动态目标物的提取，直到动态目标物的总数低于上限。在该情况下，例如优选进行提取同时满足基准(i)～(iii)中的两个基准的动态目标物这样的提取基准的变更。作为边界框的识别辅助as＿r11或者as＿l11被以将这样提取到的动态目标物包围方式进行重叠。
[0260]
此外，上述的第4例的第1变形和第2变形可以应用于第5例的变形。对于该情况下的说明，通过适当地将上述的说明中的“边界框”表达替换为“动态目标物的轨迹”来进行说明。
[0261]
在第4例的情况下，也设想其他问题。即，在动态目标物位于跨边界bd1的位置的情况下，难以判断采用识别辅助as＿r11或者as＿l11的哪个颜色。于是，在该情况下，例如计算动态目标物的面积在右方区域ra和左方区域la中所占的比例。并且，优选采用与将该面积比例高的区域所包含的动态目标物包围的边界框的颜色相同的颜色来作为跨边界bd1的动态目标物的颜色。
[0262]
但是，采用识别辅助as＿r11和as＿l11的颜色的哪一方来作为跨边界bd1的动态目标物的颜色有可能反而妨碍由操作员op进行的左右的识别。于是，作为第4例的第2变形，优选对将跨边界bd1的动态目标物包围的边界框着色与识别辅助as＿r11不是相同色系的颜色的颜色、且与识别辅助as＿l11也不是相同色系的颜色的颜色(也即是第三颜色)。
[0263]
作为对将跨边界bd1的动态目标物包围的边界框的着色的第3例，也考虑在边界框的途中变更颜色的例子。图15是表示参照图7说明过的识别辅助的第4例的第3变形的图。在图15所示的例子中，在位于右方区域ra的边界框的部分重叠有识别辅助as＿r11c，在位于左方区域la的边界框的部分重叠有识别辅助as＿l11c。识别辅助as＿r11c的颜色是与将右方区域ra所包含的动态目标物包围的边界框的颜色相同的颜色，识别辅助as＿l11c的颜色是与将左方区域la所包含的动态目标物包围的边界框的颜色相同的颜色。
[0264]
作为对将跨边界bd1的动态目标物包围的边界框的着色的第3例，也考虑在边界框的途中变更颜色的例子。图15是表示参照图7说明过的第4例的第3变形的图。在图15所示的例子中，在位于右方区域ra的边界框的部分重叠有识别辅助as＿r11c，在位于左方区域la的边界框的部分重叠有识别辅助as＿l11c。识别辅助as＿r11c的颜色是与将右方区域ra所包含的动态目标物包围的边界框的颜色相同的颜色，识别辅助as＿l11c的颜色是与将左方区域la所包含的动态目标物包围的边界框的颜色相同的颜色。
[0265]
作为对将跨边界bd1的动态目标物包围的边界框的着色的第4例，也考虑使边界框为两层的例子。图16是表示在图7中说明过的识别辅助的第4例的第4变形的图。在图16所示的例子中，作为将跨边界bd1的动态目标物包围的两层的边界框，重叠有识别辅助as＿r11d和as＿l11d。识别辅助as＿r11d的颜色是与将右方区域ra所包含的动态目标物包围的边界框的颜色相同的颜色，识别辅助as＿l11d的颜色是与将左方区域la所包含的动态目标物包围的边界框的颜色相同的颜色。
[0266]
此外，在图15和图16所示的例子中，在第2例中说明过的识别辅助as＿r7以及as＿r8和识别辅助as＿l7以及as＿l8被追加于前方图像sim＿11a。但是，这些识别辅助的追加是任意的。
[0267]
在对将跨边界bd1的动态目标物包围的边界框的着色为包括“红”和“蓝”这样的警戒色的组合的情况下，设想如下问题。即，由于伴随着动态目标物的移动而边界框的着色从“红”改变为“蓝”，操作员op有可能误解为动态目标物的状态变为了安全的状态。另外，由于边界框的着色从“蓝”改变为“红”，操作员op有可能误解为动态目标物的状态变为了危险的状态。于是，优选对识别辅助的颜色使用降低了饱和度和亮度的警戒色、或者不使用警戒色。
[0268]
返回图11，接着说明数据处理装置12的功能。识别辅助重叠部16向数据发送部17发送重叠了识别辅助的移动体图像sim＿1。数据发送部17对重叠了识别辅助的移动体图像sim＿1进行编码，并发送至终端2。在编码处理时，移动体图像sim＿1也可以被压缩。
[0269]
数据发送部17也可以将移动体1的识别数据(id数据)和/或与移动体图像sim＿1关联的数据与移动体图像sim＿1一起进行发送。作为与移动体图像sim＿1关联的数据，可例示取得了移动体图像sim＿1的时刻的数据、该时刻的移动体1的内部状况数据(速度、加速度、舵角等)。
[0270]
2－2－2.数据处理装置22的功能构成例
[0271]
在图11所示的例子中，数据处理装置22具备数据接收部24和显示控制部25。数据处理装置22所示的各块的功能通过处理器22a执行各种程序来实现。
[0272]
数据接收部24从移动体1接收各种数据。该各种数据包括移动体图像sim＿1。各种数据也可以包括移动体1的识别数据(id数据)、与移动体图像sim＿1关联的数据。关于与移动体图像sim＿1关联的数据的例子，是如已经说明过的那样。数据接收部24对从移动体1接收到的各种数据进行解码，并发送至显示控制部25。在各种数据被压缩的情况下，数据接收部24在解码处理中对这些数据进行解码。
[0273]
显示控制部25进行用于向显示器21输出从数据接收部24接收到的各种数据的各种控制。各种控制包括移动体图像sim＿1的输出控制。在移动体图像sim＿1的输出控制中，例如进行用于在显示器21a显示前方图像sim＿11a、在显示器21b显示后方图像sim＿11b的
处理。在其他例子中，进行用于在显示器21的主区域显示前方图像sim＿11a、在该显示器21的子区域显示与移动体图像sim＿1关联的数据的处理。另外，在其他例子中，进行用于代替与移动体图像sim＿1关联的数据而在子区域显示后方图像sim＿11b的处理。
[0274]
3.效果
[0275]
根据以上说明的第1实施方式，被着色了根据以移动体1的前方为基准的左右而不同的颜色的识别辅助被重叠于移动体图像sim＿1，从显示器21对其进行输出。因此，能够减轻操作员op误识别移动体图像sim＿1中的以移动体1的前方为基准时的左右这一不良状况的产生。这可期待有助于移动体1的远程操作时的操作员op的准确的判断，并对通过远程操作实现的移动体1的安全移动有用。
[0276]
另外，根据识别辅助的第4例的各种变形，能够防患于未然地避免作为识别辅助的边界框被重叠于移动体图像sim＿1时所设想的各种不良状况的产生。这也可期待有助于移动体1的远程操作时的操作员op的准确的判断，并对通过远程操作实现的移动体1的安全移动有用。
[0277]
第2实施方式
[0278]
接着，参照图17～24对本公开的第2实施方式进行说明。此外，适当省略与第1实施方式中的说明重复的说明。
[0279]
1.概要
[0280]
1－1.远程操作
[0281]
图17是对第2实施方式作为前提的远程操作进行说明的图。在图17中描述了移动体1和终端2。到此为止的说明与图1的说明是相同的。在图17中进一步描述了基础设施摄像头3和显示器26。
[0282]
基础设施摄像头3是设置于构造物(例如道路构造物、停车场、工厂等的天棚、支柱、壁面这样的设施构造物)的摄像头。基础设施摄像头3的总数为1个以上。基础设施摄像头3和终端2经由网络的基站而分别进行通信。基础设施摄像头3向终端2发送传感器图像sim。以下，将从基础设施摄像头3发送的传感器图像sim也称为“基础设施图像sim＿3”。基础设施图像sim＿3基于从基础设施摄像头3取得的数据来生成。
[0283]
显示器26与显示器21同样地连接于数据处理装置22。在图17所示的例子中，在显示器26输出基础设施图像sim＿3。与基础设施摄像头3的总数同样地，用于输出基础设施图像sim＿3的显示器26的总数为1个以上。此外，基础设施图像sim＿3也可以被与移动体图像sim＿1一起从显示器21进行输出。在该情况下，显示器26也可以被省略。例如根据画中画技术，能够在显示器21的一部分区域显示移动体图像sim＿1，在显示器21的其他区域显示基础设施图像sim＿3。
[0284]
设置基础设施摄像头3的位置是已知的。在第2实施方式中，移动体1总是向终端2发送移动体1的位置数据。数据处理装置22例如基于移动体1的位置数据和基础设施摄像头3的位置数据，确定距移动体1的当前位置的距离为预定值以下的基础设施摄像头3。对于预定值，例如作为移动体1的至少一部分进入基础设施摄像头3的视角的距离，按各基础设施摄像头3来设定。在其他例子中，预定值是预想在从当前时刻经过了预定时间(例如数秒)的将来移动体1的至少一部分进入基础设施摄像头3的视角的距离。在确定了基础设施摄像头3的情况下，数据处理装置22从显示器26输出基于从所确定的基础设施摄像头3取得的数据
而生成的基础设施图像sim＿3。
[0285]
在该例子中，考虑从移动体1接收到远程操作要求的情况、或者在先于该远程操作要求的发送而从移动体1接收到的移动体图像sim＿1情况。操作员op观看从显示器21输出的移动体图像sim＿1和从显示器26输出的基础设施图像sim＿3，理解远程操作要求的内容。或者，观看从显示器26输出的基础设施图像sim＿3，理解放置移动体1的状况。并且，操作员op判定移动体1应该采取的行动，将与该行动对应的指示输入到终端2。
[0286]
数据处理装置22也可以在从移动体1接收到远程操作要求的情况下、或者在先于该远程操作要求的发送而从移动体1接收到移动体图像sim＿1的情况下，确定距移动体1的当前位置的距离为预定值以下的基础设施摄像头3。在确定了基础设施摄像头3的情况下，数据处理装置22从显示器26输出基于从所确定的基础设施摄像头3取得的数据而生成的基础设施图像sim＿3。
[0287]
图18是对移动体图像sim＿1和基础设施图像sim＿3的例子进行说明的图。在图18中描绘了作为移动体1的车辆和搭载于该车辆的传感器11a。图18所示的箭头的方向dr为移动体1的行进方向。另外，在图18中描述了基础设施摄像头3a的摄像头主体31a和基础设施摄像头3b的摄像头主体31b。在图18所示的例子中，基础设施摄像头3a和3b是距移动体1的当前位置的距离为预定值以下的基础设施摄像头3。摄像头主体31a位于移动体1的右前方，摄像头主体31b位于移动体的左后方。
[0288]
在图18中描述的前方图像sim＿11a是基于从传感器11a取得的数据而生成的移动体图像sim＿1的一个例子。前方图像sim＿11a包含存在于移动体1的右前方的动态目标物ob3(行人)的图像。基础设施图像sim＿3a是基于从摄像头主体31a取得的数据而生成的，在此包含动态目标物ob3和移动体1的图像。基础设施图像sim＿3b是基于从摄像头主体31b取得的数据而生成的，在此包含移动体1的图像(移动体1的后部的图像)。
[0289]
1－2.识别辅助
[0290]
与第1实施方式同样地，在第2实施方式中也在移动体图像sim＿1重叠有识别辅助，从显示器21对其进行输出。在第2实施方式中，进一步也在基础设施图像sim＿3重叠有识别辅助，从显示器26对其进行输出。作为重叠于基础设施图像sim＿3的识别辅助的例子，可举出与参照图4～9说明过的第1例～第6例相同的例子。作为代表，对参照图4说明过的识别辅助的第1例进行说明。
[0291]
图19是对将参照图4说明过的识别辅助的第1例应用于基础设施图像sim＿3的情况进行说明的图。在图19中描述了前方图像sim＿11a和基础设施图像sim＿3a以及sim＿3b。在显示器21a输出前方图像sim＿11a，在显示器26a输出基础设施图像sim＿3a，在显示器26b输出基础设施图像sim＿3b。
[0292]
在图19所示的例子中，前方图像sim＿11a被由边界bd1区分为左方区域la和右方区域ra。在右方区域ra重叠有圆弧状的识别辅助as＿r1～as＿r3，在左方区域la重叠有圆弧状的识别辅助as＿l1～as＿l3。在识别辅助as＿l1～as＿l3着色有与识别辅助as＿r1～as＿r3不为相同色系的颜色。到此为止，与对于图4中的前方图像sim＿11a的说明是相同的。
[0293]
在图19所示的例子中，另外，基础设施图像sim＿3a和sim＿3b被由边界bd2区分为左方区域la和右方区域ra。在基础设施图像sim＿3a中，在右方区域ra重叠有圆弧状的识别
辅助as＿r14和as＿r15，在左方区域la重叠有圆弧状的识别辅助as＿l14和as＿l15。在基础设施图像sim＿3b中，在右方区域ra重叠有圆弧状的识别辅助as＿r16和as＿r17，在左方区域la重叠有圆弧状的识别辅助as＿l16和as＿l17。
[0294]
在基础设施图像sim＿3a和sim＿3b中描绘的圆弧与在前方图像sim＿11a和后方图像sim＿11b中描述的圆弧同样地是在将移动体1的基准点(例如移动体1的当前位置)作为中心的假想水平面上描述的同心圆的圆周的一部分。例如，识别辅助as＿r1构成与识别辅助as＿r14以及as＿r16相同的圆，识别辅助as＿r2构成与识别辅助as＿r15以及as＿r17相同的圆。识别辅助as＿l1构成与识别辅助as＿l14以及as＿l16相同的圆，识别辅助as＿l2构成与识别辅助as＿l15以及as＿l17相同的圆。
[0295]
这样，根据第2实施方式，基于从距移动体1的当前位置的距离为预定值(预想在从当前时刻经过了预定时间的将来移动体1的至少一部分进入基础设施摄像头3的视角的距离等)以下的基础设施摄像头3得到的数据，生成基础设施图像sim＿3。并且，在该基础设施图像sim＿3重叠有被着色了根据以移动体1的前方为基准的左右而不同的颜色的识别辅助，从显示器26对其进行输出。因此，可期待有助于移动体1的远程操作时的操作员op的准确的判断，并对通过远程操作实现的移动体1的安全移动有用。
[0296]
2.系统构成例
[0297]
2－1.整体构成例
[0298]
图20是表示第2实施方式涉及的显示系统的构成例的框图。在图20所示的例子中，作为第2实施方式涉及的显示系统的构成，描述了移动体1、终端2以及基础设施摄像头3。
[0299]
关于移动体1的构成，是如在第1实施方式中说明过的那样。终端2具备显示器21和26、数据处理装置22以及输入装置23。在显示器26中输出基于从基础设施摄像头3得到的数据而生成的基础设施图像sim＿3。
[0300]
基础设施摄像头3具备摄像头主体31和数据处理装置32。摄像头主体31的构成基本上与作为传感器11的摄像头本身是相同的。数据处理装置32具备至少一个处理器32a和至少一个存储器32b。处理器32a通过执行保存于存储器32b的图像处理用的程序，进行与基础设施图像sim＿3的生成关联的各种处理。另外，处理器32a通过执行保存于存储器32b的图像发送用的程序，进行用于向终端2发送所生成的基础设施图像sim＿3的各种处理。
[0301]
2－2.功能构成例
[0302]
2－2－1.数据处理装置32的功能构成例
[0303]
图21是表示与第2实施方式特别地关联的功能的构成例的框图。在图21所示的例子中，数据处理装置32具备数据接收部33、图像生成部34以及数据发送部35。数据处理装置32所示的各块的功能通过处理器32a执行各种程序来实现。
[0304]
数据接收部33接收摄像头主体31检测到的彩色图像。数据接收部33向图像生成部34发送该彩色图像。
[0305]
图像生成部34基于从数据接收部33接收到的彩色图像，生成传感器图像sim(基础设施图像sim＿3)。图像生成部34向数据发送部35发送所生成的基础设施图像sim＿3。
[0306]
数据发送部35对从图像生成部34接收到的基础设施图像sim＿3进行编码，并发送至终端2。在编码处理时，基础设施图像sim＿3也可以被压缩。数据发送部35发送的数据中，也可以与基础设施图像sim＿3一起包括基础设施摄像头3的识别数据、基础设施摄像头3的
位置数据(例如纬度经度数据)以及与基础设施图像sim＿3关联的数据。作为与基础设施图像sim＿3关联的数据，可例示取得了基础设施图像sim＿3的时刻的数据。
[0307]
2－2－2.数据处理装置22的功能构成例
[0308]
在图21所示的例子中，数据处理装置22具备数据接收部24。到此为止的说明与图11的说明是相同的。在图21所示的例子中，数据处理装置22还具备显示控制部25a和25b、左右定义部27以及识别辅助重叠部28。数据处理装置22所示的各块的功能通过处理器22a执行各种程序来实现。
[0309]
数据接收部24从移动体1接收各种数据。该各种数据包括移动体图像sim＿1。各种数据也可以包括移动体1的识别数据、移动体1的位置数据(gps数据)以及与移动体图像sim＿1关联的数据。位置数据例如为由搭载于移动体1的gps(global positioning system，全球定位系统)接收机取得的纬度经度数据。关于与移动体图像sim＿1关联的数据的例子，是如已经说明过的那样。数据接收部24对从移动体1接收到的各种数据进行解码，并发送至显示控制部25a。显示控制部25a的功能与在图11中说明过的显示控制部25的功能相同。
[0310]
另外，数据接收部24从基础设施摄像头3接收各种数据。该各种数据包括基础设施图像sim＿3。各种数据也可以包括基础设施摄像头3的识别数据、基础设施摄像头3的位置数据以及与基础设施图像sim＿3关联的数据。关于与基础设施图像sim＿3关联的数据的例子，是如已经说明过的那样。数据接收部24对从基础设施摄像头3接收到的各种数据进行解码，并发送至左右定义部27和识别辅助重叠部28。
[0311]
左右定义部27对基础设施图像sim＿3中的左右进行定义。左右定义部27首先设定边界。图22是对左右定义部27的处理例进行说明的图。此外，在图22中，进行对于参照图18说明过的基础设施图像sim＿3a的处理例的说明。在图22所示的例子中，首先基于移动体1的位置数据，设定经过移动体1的基准点(例如移动体1的当前位置)的假想水平面vhs(步骤s1)。
[0312]
在设定假想水平面vhs后，在该假想水平面vhs上设定在移动体1的前后方向上延伸的基准线rl(步骤s1)。对于前后方向，例如基于从当前时刻回溯了预定时刻的期间中的移动体1的位置数据的历史记录来进行推定。在图22所示的例子中，通过将在该推定方向上延伸的直线投影到假想水平面vhs上来设定基准线rl。
[0313]
在设定基准线rl后，设定包含该基准线rl的平面、且与假想水平面vhs正交的平面(也即是边界面bs)(步骤s2)。在设定边界面bs后，能够在包含该边界面bs和假想水平面vhs的假想空间vsp中对以移动体1的前方为基准的右方空间rs和左方空间ls进行定义。
[0314]
左右定义部27将包含边界面bs和假想水平面vhs的假想空间vsp应用于基础设施图像sim＿3(步骤s2)。于是，能够在基础设施图像sim＿3上设定通过边界面bs描绘的边界bd2。当设定边界bd2时，能够在基础设施图像sim＿3上设定以移动体1的前方为基准的右方区域ra和左方区域la。
[0315]
左右定义部27向识别辅助重叠部28发送基础设施图像sim＿3中的右方区域ra和左方区域la的数据。左右定义部27例如向识别辅助重叠部28发送在基础设施图像sim＿3中构成边界bd2的像素坐标的数据。在将圆弧状的识别辅助重叠于基础设施图像sim＿3的情况下(也即是参照图19说明过的第1例的情况下)，左右定义部27向识别辅助重叠部28发送
在基础设施图像sim＿3中构成假想水平面vhs的像素坐标的数据。
[0316]
识别辅助重叠部28基于从数据接收部24接收到的基础设施图像sim＿3和从左右定义部27接收到的与基础设施图像sim＿3关联的各种数据，在基础设施图像sim＿3重叠识别辅助。
[0317]
在参照图19说明过的第1例的情况下，识别辅助重叠部28使用在基础设施图像sim＿3中构成假想水平面vhs的像素坐标的数据，在该假想水平面vhs上描绘将移动体1的基准点作为中心的假想同心圆。接着，识别辅助重叠部28将该假想同心圆应用于基础设施图像sim＿3，在右方区域ra重叠识别辅助as＿r14～as＿r17，在左方区域la重叠识别辅助as_l14～as_l17。
[0318]
在第1实施方式中参照图5～9说明过的识别辅助的第2例～第6例也可以应用于第2实施方式。关于这些例子的说明，通过将图11的“识别辅助重叠部16”的说明中的“移动体图像sim＿1”适当地表达替换为“基础设施图像sim＿3”来进行说明。
[0319]
返回图21，接着说明数据处理装置22的功能。识别辅助重叠部28向显示控制部25b发送重叠了识别辅助的基础设施图像sim＿3。显示控制部25b进行用于在显示器26输出从数据接收部24接收到的各种数据的各种控制。各种控制包括基础设施图像sim＿3的输出控制。在基础设施图像sim＿3的输出控制中，例如进行用于在显示器26a显示基础设施图像sim＿3a、在显示器26b显示基础设施图像sim＿3b的处理。
[0320]
在从显示器26输出基础设施图像sim＿3的情况下，存在难以使操作员op即时地识别出基础设施图像sim＿3所包含的移动体1的前方和后方这一问题。于是，在该情况下，优选对参照图19说明过的第1例进行变形，在前后方向上对移动体图像sim＿1和基础设施图像sim＿3中的右方区域ra和左方区域la进行细分化。
[0321]
图23是对基础设施图像sim＿3中的右方区域ra和左方区域la的细分化处理例进行说明的图。此外，该细分化处理能够由参照图21说明过的左右定义部27来进行。与图19同样地，在图23中描绘了前方图像sim＿11a和基础设施图像sim＿3a以及sim＿3b。前方图像sim＿11a与图19所示的图像相同。
[0322]
在图23所示的例子中，在基础设施图像sim＿3a和sim＿3b中追加有边界bd3。边界bd3能够通过与边界bd2的设定方法同样的方法来进行设定。具体而言，首先，在假想水平面vhs上设定与参照图22说明过的基准线rl正交的线(以下也称为“追加基准线”。)。接着，设定包含该追加基准线的平面、且与假想水平面vhs正交的平面(以下也称为“追加边界面”。)。并且，对基础设施图像sim＿3应用包含该追加边界面和假想水平面vhs的假想空间。于是，能够在基础设施图像sim＿3上设定通过追加边界面描绘的边界(追加边界)bd3。
[0323]
当设定边界bd3时，能够将右方区域ra分割为右前方区域rfa和右后方区域rra，能够将左方区域la分割为左前方区域lfa和左后方区域lra。通过使用这些区域的数据，能够对基础设施图像sim＿3a和sim＿3b赋予前后方向的信息。此外，该处理能够由参照图21说明过的识别辅助重叠部28来进行。
[0324]
在图23中示出在4种区域重叠了识别辅助的基础设施图像sim＿3a和基础设施图像sim＿3b。具体而言，在基础设施图像sim＿3a的右前方区域rfa重叠有识别辅助as＿r18和as＿r19，在左前方区域lfa重叠有识别辅助as＿l18和as＿l19，在右后方区域rra重叠有识别辅助as＿r20，在左后方区域lra重叠有识别辅助as＿l20。在基础设施图像sim＿3b的
右后方区域rra重叠有识别辅助as＿r21和as＿r22，在左后方区域lra重叠有识别辅助as＿l21和as＿l22，在右前方区域rfa重叠有识别辅助as＿r23，在左前方区域lfa重叠有识别辅助as_l23。
[0325]
图23所示的识别辅助被根据重叠有这些识别辅助的区域来进行着色。也即是，在图23所示的例子中，在重叠于基础设施图像sim＿3的右前方区域rfa的识别辅助as＿r18、as＿r19以及as＿r23着色有与重叠于基础设施图像sim＿3的右后方区域rra的识别辅助as＿r20、as＿r21以及as＿r22不同的颜色。但是，在识别辅助as＿r18～as＿r23着色有与前方图像sim＿11a的识别辅助as＿r1～as＿r3相同色系的颜色。也即是，在识别辅助as＿r18、as＿r19以及as＿r23着色有与识别辅助as＿r20、as＿r21以及as＿r22的颜色相同色系、且不同的颜色。
[0326]
另外，在重叠于基础设施图像sim＿3的左前方区域lfa的识别辅助as＿l18、as＿l19以及as＿l23着色有与重叠于基础设施图像sim＿3的左后方区域lra的识别辅助as＿l20、as＿l21以及as＿l22的颜色相同色系、且不同的颜色。此外，识别辅助as＿l18～as＿l23的颜色不是与识别辅助as＿r18～as＿r23的颜色相同色系的颜色，这是根据本公开的宗旨容易地理解的事项。
[0327]
作为有助于基础设施图像sim＿3所包含的移动体1的前方和后方的即时识别的其他例子，考虑另外设置输出移动体1的当前位置周边的地图图像的显示器。移动体1的当前位置能够根据位置数据进行掌握，因此，从地图数据库等取得当前位置周边的地图图像，将模仿了基础设施摄像头3的图标、模仿了移动体1的图标以及被着色了与从显示器26输出的识别辅助的颜色相同色系的颜色的象形图重叠于该地图图像，并从显示器进行输出。
[0328]
图24是对在地图图像上重叠各种图标的处理例进行说明的图。在图24所示的例子中，从显示器29输出重叠有模仿了基础设施摄像头3的图标icn3和模仿了移动体1的图标icn1的地图图像mim。另外，在地图图像mim重叠有象形图pg＿r和象形图pg＿l，该象形图pg＿r被着色了与从显示器26输出的识别辅助as＿r14～as＿r17的颜色相同色系的颜色，该象形图pg＿l被着色了与识别辅助as＿l14～as＿l17的颜色相同色系的颜色。
[0329]
3.效果
[0330]
根据以上说明的第2实施方式，基于从距移动体1的当前位置起的距离为预定值以下的基础设施摄像头3得到的数据来生成基础设施图像sim＿3。并且，在该基础设施图像sim＿3重叠有被着色了根据以移动体1的前方为基准的左右而不同的颜色的识别辅助，从显示器26对其进行输出。因此，可期待有助于移动体1的远程操作时的操作员op的准确的判断，对通过远程操作实现的移动体1的安全移动有用。
[0331]
另外，根据在图23中说明过的识别辅助的第1例的变形，在基础设施图像sim＿3重叠有被着色了根据以移动体1的前方为基准的右前方、左前方、右后方以及左后方而不同的颜色的识别辅助，从显示器26对其进行输出。因此，能够实现由操作员op进行的移动体1的前方和后方的即时识别。这也可期待有助于移动体1的远程操作时的操作员op的准确的判断，并对通过远程操作实现的移动体1的安全移动有用。
[0332]
另外，根据利用了在图24中说明过的地图图像的变形，能够实现由操作员op进行的移动体1的前方和后方的即时识别。而且，也能够即时掌握基础设施摄像头3与移动体1的相对位置、移动体1的行进方向。这也可期待有助于移动体1的远程操作时的操作员op的准
确的判断，并对通过远程操作实现的移动体1的安全移动有用。
[0333]
此外，利用了在图24中说明过的地图图像mim的变形也可以应用于第1实施方式。在该情况下，从显示器29输出从图24所示的地图图像mim除去了图标icn3而得到的图像。另外，在象形图pg＿r和pg＿l着色有与从显示器21输出的识别辅助的颜色相同色系的颜色。
[0334]
第3实施方式
[0335]
最后，对本公开的第3实施方式进行说明。此外，适当省略与第1实施方式和第2实施方式中的说明重复的说明。
[0336]
在第2实施方式中，移动体图像sim＿1和基础设施图像sim＿3被组合而从显示器21和26进行了输出。在第3实施方式中，从显示器26仅输出基础设施图像sim＿3。也即是，在第3实施方式中，不进行移动体图像sim＿1的生成，或者不进行移动体图像sim＿1的从显示器21的输出。在从显示器26输出基础设施图像sim＿3的情况下，显示器21也可以被省略。基础设施图像sim＿3也可以被从显示器21进行输出，在该情况下，显示器26也可以被省略。
[0337]
设想如下情况：优选在从移动体1接收远程操作要求之前，不从显示器21输出移动体图像sim＿1。例如在操作员op对于来自多个移动体1的远程操作要求进行待机的情况下，优选从多个显示器26分别输出基于从基础设施摄像头3取得的数据而生成的多个基础设施图像sim＿3。
[0338]
在该情况下，若从多个移动体1中的1台接收到远程操作要求，则结束与到该移动体1的距离为预定值以下的基础设施摄像头3对应的基础设施图像sim＿3以外的基础设施图像sim＿3的输出。并且，从显示器21输出进行远程操作的移动体1的移动体图像sim＿1。

技术特征：
1.一种远程图像显示方法，将基于从远程传感器取得的数据而生成的传感器图像显示于与所述远程传感器进行通信的终端的显示器，所述远程图像显示方法的特征在于，所述远程传感器包括搭载于移动体的传感器，所述传感器图像包括移动体图像，所述移动体图像表示基于从搭载于所述移动体的传感器取得的数据而生成的图像，所述远程图像显示方法包括：在经过所述移动体的基准点的假想水平面上设定在所述移动体的前后方向上延伸的基准线的步骤；使用所述基准线，对包含所述假想水平面的假想空间定义以所述移动体的前方为基准的右方空间和左方空间的步骤；使用定义了所述右方空间和所述左方空间的所述假想空间，对所述移动体图像设定以所述移动体的前方为基准的右方区域和左方区域的步骤；在所述移动体图像的所述右方区域和所述左方区域分别重叠右方和左方的识别辅助的步骤，所述右方的识别辅助的颜色与所述左方的识别辅助的颜色不同；以及从所述显示器输出重叠了所述右方和左方的识别辅助的所述移动体图像的步骤。2.根据权利要求1所述的远程图像显示方法，其特征在于，所述右方和左方的识别辅助包括对以所述移动体的基准点为中心在所述假想水平面上呈同心圆状描绘的圆弧所实施的着色、对所述右方区域和所述左方区域的各区域的至少一部分所实施的着色、对在所述移动体图像中识别到的静态目标物所实施的着色、对将在所述移动体图像中识别到的动态目标物包围的边界框所实施的着色、对所述动态目标物的轨迹所实施的着色以及对所述移动体的轨迹所实施的着色。3.根据权利要求2所述的远程图像显示方法，其特征在于，所述右方和左方的识别辅助是从对所述圆弧所实施的着色、对所述右方区域和所述左方区域的各区域的至少一部分所实施的着色、对所述静态目标物所实施的着色以及对所述移动体的轨迹所实施的着色中选择的至少一个和从对所述边界框所实施的着色以及对所述动态目标物的轨迹所实施的着色中选择的至少一个的组合。4.根据权利要求2或者3所述的远程图像显示方法，其特征在于，还包括：判定在所述移动体图像中是否识别到跨将所述右方区域与所述左方区域隔开的边界的动态目标物的步骤；和在判定为在所述移动体图像中识别到跨所述边界的动态目标物的情况下，使将跨所述边界的动态目标物包围的所述边界框为两层，对这些边界框分别施加所述右方和左方的识别辅助的颜色的步骤。5.根据权利要求2或者3所述的远程图像显示方法，其特征在于，还包括：判定在所述移动体图像中是否识别到跨将所述右方区域与所述左方区域隔开的边界的动态目标物的步骤；和在判定为在所述移动体图像中识别到跨所述边界的动态目标物的情况下，对将跨所述边界的动态目标物包围的边界框施加与所述右方和左方的识别辅助的任一颜色都不同的颜色的步骤。6.根据权利要求2～5中任一项所述的远程图像显示方法，其特征在于，还包括：
判定所述动态目标物的总数是否为上限以上的步骤；和在判定为所述总数为所述上限以上的情况下，按照预定基准来选拔被赋予所述边界框的动态目标物的步骤。7.根据权利要求1～6中任一项所述的远程图像显示方法，其特征在于，所述移动体图像包括所述移动体的前方图像和后方图像，对所述移动体图像重叠所述右方和左方的识别辅助的步骤还包括：将重叠于所述前方图像的所述右方的识别辅助的颜色和重叠于所述后方图像的所述右方的识别辅助的颜色设定为相同色系的颜色的步骤；和将重叠于所述前方图像的所述左方的识别辅助的颜色和重叠于所述后方图像的所述左方的识别辅助的颜色设定为相同色系的颜色的步骤。8.根据权利要求7所述的远程图像显示方法，其特征在于，还包括：判定在所述前方图像的所述右方区域和所述左方区域中识别到的动态目标物的数量是否分别为1以上的步骤；判定在所述后方图像的所述右方区域和所述左方区域的至少一方中是否识别到动态目标物的步骤；以及在判定为在所述前方图像的所述右方区域和所述左方区域中识别到的动态目标物的数量分别为1以上、且在所述后方图像的所述右方区域和所述左方区域的至少一方中识别到动态目标物的情况下，采用对将在所述前方图像和所述后方图像中识别到的动态目标物包围的边界框所实施的着色来作为所述右方和左方的识别辅助的步骤。9.根据权利要求1～8中任一项所述的远程图像显示方法，其特征在于，将所述右方区域与所述左方区域隔开的边界包括具有预定形状的边界，所述远程图像显示方法还包括如下步骤：在所述具有预定形状的边界重叠识别辅助，重叠于所述具有预定形状的边界的识别辅助的颜色与所述右方和左方的识别辅助的任一颜色都不同。10.根据权利要求1～9中任一项所述的远程图像显示方法，其特征在于，所述传感器图像包括基础设施图像，所述基础设施图像表示基于从距所述移动体的距离为预定值以下的基础设施摄像头取得的数据而生成的图像，所述终端还包括显示所述基础设施图像的显示器，所述远程图像显示方法还包括：使用定义了所述右方空间和所述左方空间的所述假想空间，对所述基础设施图像设定以所述移动体的前方为基准的右方区域和左方区域的步骤；在所述基础设施图像的所述右方区域和所述左方区域分别重叠右方和左方的识别辅助的步骤，重叠于所述基础设施图像的所述右方的识别辅助的颜色为与重叠于所述移动体图像的所述右方的识别辅助的颜色相同色系的颜色，重叠于所述基础设施图像的所述左方的识别辅助的颜色为与重叠于所述移动体图像的所述左方的识别辅助的颜色相同色系的颜色；以及从显示所述基础设施图像的显示器输出重叠了所述右方和左方的识别辅助的所述基础设施图像的步骤。11.根据权利要求10所述的远程图像显示方法，其特征在于，还包括：
在所述假想水平面上设定与所述基准线正交的追加基准线的步骤；和使用所述追加基准线，将所述右方空间和所述左方空间在所述移动体的前后方向上分别一分为二来定义右前方空间、左前方空间、右后方空间以及左后方空间的步骤，在定义了所述右前方空间、所述左前方空间、所述右后方空间以及所述左后方空间的情况下，在对所述基础设施图像设定以所述移动体的前方为基准的右方区域和左方区域的步骤中，对所述基础设施图像设定以所述移动体的前方为基准的右前方区域、左前方区域、右后方区域以及左后方区域，在所述基础设施图像的所述右方区域和所述左方区域分别重叠右方和左方的识别辅助的步骤中，在所述右前方区域、所述左前方区域、所述右后方区域以及所述左后方区域分别重叠右前方、左前方、右后方以及左后方的识别辅助，重叠于所述基础设施图像的所述右前方的识别辅助的颜色与所述右后方的识别辅助的颜色不同，重叠于所述基础设施图像的所述左前方的识别辅助的颜色与所述左后方的识别辅助的颜色不同。12.根据权利要求1～11中任一项所述的远程图像显示方法，其特征在于，所述终端还包括显示所述移动体的周围的地图图像的显示器，所述远程图像显示方法还包括：在所述地图图像重叠所述移动体的图标和将所述移动体的图标包围、且以所述移动体的前方为基准的右方和左方的象形图的步骤，所述右方的象形图的颜色为与重叠于所述移动体图像的所述右方的识别辅助的颜色相同色系的颜色，所述左方的象形图的颜色为与重叠于所述移动体图像的所述左方的识别辅助的颜色相同色系的颜色；和从显示所述地图图像的显示器输出重叠了所述移动体的图标以及所述右方和左方的象形图的所述地图图像的步骤。13.一种远程图像显示方法，将基于从远程传感器取得的数据而生成的传感器图像显示于与所述远程传感器进行通信的终端的显示器，所述远程图像显示方法的特征在于，所述传感器图像包括基础设施图像，所述基础设施图像表示基于从距移动体的距离为预定值以下的基础设施摄像头取得的数据而生成的图像，所述远程图像显示方法包括：在经过所述移动体的基准点的假想水平面上设定在所述移动体的前后方向上延伸的基准线的步骤；使用所述基准线，对包含所述假想水平面的假想空间定义以所述移动体的前方为基准的右方空间和左方空间的步骤；使用定义了所述右方空间和所述左方空间的所述假想空间，对所述基础设施图像设定以所述移动体的前方为基准的右方区域和左方区域的步骤；在所述基础设施图像的所述右方区域和所述左方区域分别重叠右方和左方的识别辅助的步骤，所述右方的识别辅助的颜色与所述左方的识别辅助的颜色不同；以及从所述显示器输出重叠了所述右方和左方的识别辅助的所述基础设施图像的步骤。14.一种远程图像显示系统，将基于从远程传感器取得的数据而生成的传感器图像显示于与所述远程传感器进行通信的终端的显示器，所述远程图像显示系统的特征在于，
所述远程传感器包括搭载于移动体的传感器，所述传感器图像包括移动体图像，所述移动体图像表示基于从搭载于所述移动体的传感器取得的数据而生成的图像，所述移动体，在经过所述移动体的基准点的假想水平面上设定在所述移动体的前后方向上延伸的基准线，使用所述基准线，对包含所述假想水平面的假想空间定义以所述移动体的前方为基准的右方空间和左方空间，使用定义了所述右方空间和所述左方空间的所述假想空间，对所述移动体图像设定以所述移动体的前方为基准的右方区域和左方区域，在所述移动体图像的所述右方区域和所述左方区域分别重叠右方和左方的识别辅助，所述右方的识别辅助的颜色与所述左方的识别辅助的颜色不同，向所述终端发送重叠了所述右方和左方的识别辅助的所述移动体图像，所述终端从所述显示器输出重叠了所述右方和左方的识别辅助的所述移动体图像。15.一种远程图像显示系统，将基于从远程传感器取得的数据而生成的传感器图像显示于与所述远程传感器进行通信的终端的显示器，所述远程图像显示系统的特征在于，所述传感器图像包括基础设施图像，所述基础设施图像表示基于从距移动体的距离为预定值以下的基础设施摄像头取得的数据而生成的图像，所述基础设施摄像头向所述终端发送所述基础设施图像，所述终端，在经过所述移动体的基准点的假想水平面上设定在所述移动体的前后方向上延伸的基准线，使用所述基准线，对包含所述假想水平面的假想空间定义以所述移动体的前方为基准的右方空间和左方空间，使用定义了所述右方空间和所述左方空间的所述假想空间，对所述基础设施图像设定以所述移动体的前方为基准的右方区域和左方区域，在所述基础设施图像的所述右方区域和所述左方区域分别重叠右方和左方的识别辅助，所述右方的识别辅助的颜色与所述左方的识别辅助的颜色不同，从所述显示器输出重叠了所述右方和左方的识别辅助的所述基础设施图像。

技术总结
提供一种远程图像显示方法以及远程图像显示系统，减轻基于传感器图像进行远程操作的操作员误判以移动体的前方为基准时的左右这一不良状况的产生。基于从远程传感器取得的数据而生成的传感器图像被显示于与远程传感器进行通信的终端的显示器。远程传感器包括搭载于移动体的传感器。传感器图像包括移动体图像，移动体图像表示基于从搭载于移动体的传感器取得的数据而生成的图像。在移动体图像定义有以移动体的前方为基准的右方区域和左方区域。在右方区域和左方区域分别重叠有右方和左方的识别辅助。右方的识别辅助的颜色与左方的识别辅助的颜色不同。识别辅助的颜色不同。识别辅助的颜色不同。


技术研发人员：浦野博充 大泷翔 郑好政
受保护的技术使用者：丰田自动车株式会社
技术研发日：2023.02.13
技术公布日：2023/8/21