远程控制系统、远程控制系统的控制方法以及远程控制程序与流程

1.本发明涉及远程控制系统、远程控制系统的控制方法以及远程控制程序。


背景技术：

2.至今为止，通过主装置对从属装置进行远程控制的技术被众所周知。例如，在专利文献1中公开了包括主装置和从属装置的远程控制系统，所述主装置和从属装置被配置在物理上彼此分离的位置。在该远程控制系统中设置有显示装置，所述显示装置显示从从属装置侧向主装置侧发送来的图像。并且，当主装置与从属装置之间的通信延迟较大时，图像模糊地显示在显示装置。因此，用户能够得知通信延迟较大的情况。
3.专利文献1：日本特开2015-47666号公报


技术实现要素：

4.如上所述，在远程控制系统中，不仅能够收发主装置以及从属装置之间的控制信号，还能够收发图像信号那样的各种信号。信号的收发所需的时间以及信号的处理所需的时间因每个信号而异。如果在最后的信号的处理时产生每个信号之间的时间偏差，用户恐怕会感到不舒服。例如，在为所述远程控制系统的情况下，当主装置与从属装置之间的控制和在显示装置的图像显示之间产生时间偏差时，用户恐怕会感到不舒服。
5.鉴于上述内容，这里所公开的技术的目的在于减少在伴随拍摄图像的显示的远程控制系统中带给用户的不舒适感。
6.这里所公开的远程控制系统包括主装置、从属装置、传感器、摄像装置、显示装置和控制装置，所述主装置由用户操作，所述从属装置根据所述主装置的动作来将作用施加在对象物体，所述传感器被设置在所述从属装置，检测所述从属装置的动作状态，所述摄像装置拍摄所述从属装置以及对象物体的至少一个的图像，所述显示装置显示由所述摄像装置拍摄的拍摄图像，且提供给操作所述主装置的用户，所述控制装置根据所述传感器的检测结果，来执行所述主装置以及所述从属装置的至少一个的动作控制，所述控制装置使所述动作控制延迟，以减少对于所述动作控制的、所述拍摄图像的由所述显示装置引起的显示时机的偏差。
7.这里所公开的远程控制系统的控制方法是包括主装置、从属装置、传感器、摄像装置和显示装置的远程控制系统的控制方法，所述主装置由用户操作，所述从属装置根据所述主装置的动作将作用施加在对象物体，所述传感器被设置在所述从属装置，检测所述从属装置的动作状态，所述摄像装置拍摄所述从属装置以及对象物体的至少一个的图像，所述显示装置显示由所述摄像装置拍摄的拍摄图像，且提供给操作所述主装置的用户。所述远程控制系统的控制方法包括根据所述传感器的检测结果来执行所述主装置以及所述从属装置的至少一个的动作控制的步骤和使所述动作控制延迟，以减少对于所述动作控制的、所述拍摄图像的由所述显示装置引起的显示时机的偏差的步骤。
8.这里所公开的远程控制程序是用于使计算机实现控制远程控制系统的功能的远
程控制程序，所述远程控制系统包括主装置、从属装置、传感器、摄像装置和显示装置，所述主装置由用户操作，所述从属装置根据所述主装置的动作将作用施加在对象物体，所述传感器被设置在所述从属装置，检测所述从属装置的动作状态，所述摄像装置拍摄所述从属装置以及对象物体的至少一个的图像，所述显示装置显示由所述摄像装置拍摄的拍摄图像，且提供给操作所述主装置的用户。所述远程控制程序使计算机实现根据所述传感器的检测结果来执行所述主装置以及所述从属装置的至少一个的动作控制的功能和使所述动作控制延迟，以减少对于所述动作控制的、所述拍摄图像的由所述显示装置引起的显示时机的偏差的功能。
9.(发明效果)
10.根据所述远程控制系统，能够减少在伴随拍摄图像的显示的远程控制系统中带给用户的不舒适感。
11.根据所述远程控制系统的控制方法，能够减少在伴随拍摄图像的显示的远程控制系统中带给用户的不舒适感。
12.根据所述远程控制程序，能够减少在伴随拍摄图像的显示的远程控制系统中带给用户的不舒适感。
附图说明
13.图1是示出了实施方式所涉及的远程控制系统的结构的示意图。
14.图2是示出了机器人控制装置的概略硬件结构的图。
15.图3是示出了操作控制装置的概略硬件结构的图。
16.图4是示出了控制装置的概略硬件结构的图。
17.图5是示出了图像处理装置的概略硬件结构的图。
18.图6是示出了显示控制装置的概略硬件结构的图。
19.图7是示出了远程控制系统的控制系统的结构的方块图。
20.图8是示出了远程控制系统的动作的流程图。
21.图9的(i)是从输入处理部输出的传感器信号的一个例子，图9的(ii)是从摄像装置输出的图像信号的一个例子。
22.图10是从合成部输出的、合成了传感器信号的图像信号的一个例子。
23.图11的(i)是控制装置从机器人控制装置获取的传感器信号的一个例子，图11的(i i)是由显示控制装置解码后的图像信号的一个例子。
24.图12是从图像信号分离出的传感器信号的一个例子。
具体实施方式
25.以下，根据附图详细说明示例的实施方式。图1是示出了实施方式所涉及的远程控制系统100的结构的示意图。需要说明的是，图1中的虚线表示无线通信。
26.远程控制系统100包括主从系统110。主从系统110具有操作装置2、机器人1和控制装置3，所述操作装置2由用户操作，所述机器人1根据操作装置2的动作将作用施加在对象物体w，所述控制装置3控制机器人1以及操作装置2。操作装置2以及控制装置3被配置在第一站点s1。机器人1被配置在与第一站点s1不同的第二站点s2。主从系统110在操作装置2和
机器人1之间实现远程控制。操作装置2是主装置的一个例子，机器人1是从属装置的一个例子。
27.需要说明的是，在本公开中，机器人1所进行的作业不含示教作业和示教的确认以及修正作业。因此，操作装置2不含示教器。
28.机器人1和操作装置2可通信地连接在一起。具体而言，机器人1和控制装置3可无线通信地连接在一起。也就是说，经由机器人1、无线通信以及控制装置3这样的传输路径(以下，称为“第一传输路径”)在机器人1和控制装置3之间收发信号。操作装置2连接在控制装置3。即，操作装置2经由控制装置3与机器人1进行通信。
29.在该例子中，机器人1是工业用机器人。机器人1将作用施加在对象物体w。作用具体而言是加工，更具体而言是磨削。作用并不限于磨削，也可以是磨削或研磨等。对象物体w例如是较大的钢板或大型罐的壁等。
30.机器人1具有检测机器人1的动作状态的传感器。在该例子中，传感器还具有接触力传感器13，所述接触力传感器13检测从对象物体w接收的反作用力(以下，称为“接触力”)。
31.控制装置3经由机器人1接收接触力传感器13的检测结果。控制装置3根据接触力传感器13的检测结果来执行机器人1以及操作装置2的至少一个的动作控制。在该例子中，控制装置3根据由用户对操作装置2的操作以及接触力传感器13的检测结果，来控制机器人1的动作，且控制操作装置2的动作，以将作用在机器人1的反作用力提示给用户。
32.远程控制系统100还包括图像系统120。图像系统120具有摄像装置71和显示装置8，所述摄像装置71拍摄图像，所述显示装置8显示由摄像装置71拍摄的拍摄图像。图像系统120还具有图像处理装置72，所述图像处理装置72处理摄像装置71的拍摄图像。显示装置8被配置在第一站点s1。显示装置8被配置在用户在操作操作装置2的同时可看得见的位置。摄像装置71以及图像处理装置72被配置在第二站点s2。摄像装置71拍摄机器人1以及/或者对象物体w的图像。
33.摄像装置71和显示装置8可通信地连接在一起。具体而言，图像处理装置72和显示装置8可无线通信地连接在一起。也就是说，经由图像处理装置72、无线通信以及显示装置8这样的传输路径(以下，称为“第二传输路径”)在摄像装置71和显示装置8之间收发信号。摄像装置71连接在图像处理装置72。即，摄像装置71经由图像处理装置72与显示装置8进行通信。
34.图像系统120通过用摄像装置71拍摄机器人1以及/或者对象物体w的图像，用显示装置8显示拍摄图像，来辅助操作操作装置2的用户。
35.(远程控制系统的详细结构)
36.(机器人)
37.机器人1也可以具有末端执行器11和机器人臂12，所述末端执行器11将作用施加在对象物体w，所述机器人臂12使末端执行器11动作。机器人1通过机器人臂12使末端执行器11动作即移动，通过末端执行器11将作用施加在对象物体w。机器人1还可以具有基座10和机器人控制装置14，所述基座10支撑机器人臂12，所述机器人控制装置14控制整个机器人1。
38.对机器人1规定了正交3轴的机器人坐标系。例如，z轴设在上下方向，相互正交的x
轴以及y轴设在水平方向。
39.末端执行器11具有磨削装置11a，将作为作用的磨削施加在对象物体w。例如，磨削装置11a也可以是研磨机、轨道砂光机、随机轨道砂光机、三角砂光机或带式砂光机等。研磨机也可以是使圆盘状的砂轮旋转的类型、使圆锥形或圆柱形的砂轮旋转的类型等。这里，磨削装置11a是研磨机。
40.机器人臂12改变磨削装置11a的位置。并且，机器人臂12也可以改变磨削装置11a的姿势。机器人臂12是垂直多关节机器人臂。机器人臂12具有多个连杆12a、关节12b和伺服马达15(参照图2)，所述关节12b连接多个连杆12a，所述伺服马达15旋转驱动多个关节12b。
41.需要说明的是，机器人臂12也可以是水平多关节机器人臂、平行连杆机器人臂、直角坐标机器人臂或极坐标机器人臂等。
42.接触力传感器13在该例子中被设置在机器人臂12与末端执行器11之间(具体而言，机器人臂12和末端执行器11的连接部)。接触力传感器13检测末端执行器11从对象物体w接收的接触力。接触力传感器13对正交的3个轴方向的力和围绕该3个轴的力矩进行检测。接触力传感器13是力传感器的一个例子。
43.另外，力传感器并不限于接触力传感器13。例如，接触力传感器13也可以仅检测单轴、双轴或3个轴的方向的力。或者，力传感器也可以是检测机器人臂12的伺服马达15的电流的电流传感器或检测伺服马达15的力矩的力矩传感器等。
44.图2是示出了机器人控制装置14的概略硬件结构的图。机器人控制装置14控制机器人臂12的伺服马达15以及磨削装置11a。机器人控制装置14接收接触力传感器13的检测信号。机器人控制装置14与控制装置3以及图像处理装置72进行信息、命令以及数据等的收发。机器人控制装置14与控制装置3进行无线通信。机器人控制装置14用配线与图像处理装置72连接，经由配线向图像处理装置72发送信息以及数据等。机器人控制装置14具有控制部16、存储部17、存储器18和通信部19。
45.控制部16控制整个机器人控制装置14。控制部16进行各种运算处理。例如，控制部16用cpu(中央处理器)等处理器形成。控制部16也可以用mcu(微控制器单元)、mpu(微处理器单元)、fpga(现场可编程门阵列)、plc(可编程逻辑控制器)、系统lsi等形成。
46.存储部17存储有由控制部16执行的程序和各种数据。存储部17用非易失性存储器、hdd(硬盘驱动器)或ssd(固态驱动器)等形成。
47.存储器18暂时存储数据等。例如，存储器18用易失性存储器形成。
48.通信部19是通信模块，执行无线通信。例如，通信部19实现符合5g的通信标准的无线通信。
49.(操作装置)
50.如图1所示，操作装置2具有操作部21和操作力传感器23，所述操作部21由用户操作，所述操作力传感器23对从用户施加在操作部21的操作力进行检测。操作装置2受理用于用手动驾驶对机器人1进行操作的输入，并将作为被输入的信息的操作信息输出到控制装置3。具体而言，用户通过握住操作部21来对操作装置2进行操作。操作力传感器23检测此时施加在操作部21的力。由操作力传感器23所检测的操作力作为操作信息输出到控制装置3。
51.操作装置2也可以还具有基座20、支撑机构22和操作控制装置24，所述支撑机构22设置在基座20且支撑操作部21，所述操作控制装置24控制整个操作装置2。操作装置2通过
来自控制装置3的控制，来将对于操作力的反作用力提示给用户。具体而言，操作控制装置24通过接收来自控制装置3的命令，控制支撑机构22，来使用户感知反作用力。
52.对操作装置2规定了正交3轴的操作坐标系。操作坐标系与机器人坐标系对应。也就是说，z轴设在上下方向，相互正交的x轴以及y轴设在水平方向。
53.支撑机构22具有多个连杆22a、关节22b和伺服马达25(参照图3)，所述关节22b连接多个连杆22a，所述伺服马达25旋转驱动多个关节22b。支撑机构22支撑操作部21，使得操作部21能够在三维空间内为任意位置和姿势。伺服马达25对应于操作部21的位置以及姿势旋转。伺服马达25的旋转量即旋转角度被唯一地决定。
54.操作力传感器23在该例子中被设置在操作部21与支撑机构22之间(具体而言，操作部21与支撑机构22的连接部)。操作力传感器23对正交的3个轴的方向的力和围绕该3个轴的力矩进行检测。
55.另外，操作力的检测部并不限于操作力传感器23。例如，操作力传感器23也可以仅检测单轴、双轴或3个轴的方向的力。或者，检测部也可以是检测支撑机构22的伺服马达25的电流的电流传感器或检测伺服马达25的力矩的力矩传感器等。
56.图3是示出了操作控制装置24的概略硬件结构的图。操作控制装置24通过控制伺服马达25，来使支撑机构22动作。操作控制装置24受理操作力传感器23的检测信号。操作控制装置24用配线与控制装置3连接，经由配线与控制装置3进行信息、命令以及数据等的收发。操作控制装置24具有控制部26、存储部27和存储器28。
57.控制部26控制整个操作控制装置24。控制部26进行各种运算处理。例如，控制部26用cpu(中央处理器)等处理器形成。控制部26也可以用mcu(微控制器单元)、mpu(微处理器单元)、fpga(现场可编程门阵列)、plc(可编程逻辑控制器)、系统lsi等形成。
58.存储部27存储有由控制部26执行的程序和各种数据。存储部27用非易失性存储器、hdd(硬盘驱动器)或ssd(固态驱动器)等形成。
59.存储器28暂时存储数据等。例如，存储器28用易失性存储器形成。
60.(控制装置)
61.控制装置3控制整个主从系统110，进行机器人1以及操作装置2的动作控制。具体而言，控制装置3在机器人1与操作装置2之间进行主从控制，具体而言，进行双向控制。控制装置3执行第一控制和第二控制。该第一控制是如下控制，即，根据由用户的操作所带来的操作装置2的动作来控制机器人1的动作。该第二控制是如下控制，即，控制操作装置2的动作，以将响应于接触力传感器13的检测结果的反作用力提示给用户。也就是说，通过第一控制，末端执行器11对对象物体w进行加工，且通过第二控制，将加工时的反作用力提示给用户。
62.图4是示出了控制装置3的概略硬件结构的图。控制装置3与机器人控制装置14以及操作控制装置24进行信息、命令以及数据等的收发。并且，控制装置3与显示装置8进行信息、命令以及数据等的收发。控制装置3具有控制部31、存储部32、存储器33和通信部34。需要说明的是，虽然无图示，但是控制装置3也可以还具有输入操作部和显示器，所述输入操作部供用户操作，以进行机器人1以及操作装置2的动作控制的设定，所述显示器显示设定内容。
63.控制部31控制整个控制装置3。控制部31进行各种运算处理。例如，控制部31用cpu
(中央处理器)等处理器形成。控制部31也可以用mcu(微控制器单元)、mpu(微处理器单元)、fpga(现场可编程门阵列)、plc(可编程逻辑控制器)、系统lsi等形成。
64.存储部32存储有由控制部31执行的程序和各种数据。例如，存储部32存储有控制远程控制系统100的远程控制程序。存储部32用非易失性存储器、hdd(硬盘驱动器)或ssd(固态驱动器)等形成。
65.存储器33暂时存储数据等。例如，存储器33用易失性存储器形成。
66.通信部34是通信模块，执行无线通信。例如，通信部34实现符合5g的通信标准的无线通信。
67.(摄像装置以及图像处理装置)
68.摄像装置71拍摄机器人1以及对象物体w的图像，具体而言，拍摄视频。在该例子中，因为机器人1进行对象物体w的磨削，所以摄像装置71以末端执行器11以及对象物体w为中心拍摄。摄像装置71以规定的帧频拍摄视频。摄像装置71的拍摄图像被作为图像信号输入到图像处理装置72。
69.图像处理装置72接收摄像装置71的拍摄图像即图像信号，处理图像信号，将处理后的图像信号发送给显示装置8。图像处理装置72对处理后的图像信号进行编码，通过无线通信将编码后的图像信号发送给显示装置8。
70.详细而言，图像处理装置72除了摄像装置71的图像信号之外，还从机器人1接收接触力传感器13的检测结果。图像处理装置72作为拍摄图像的处理，使在彼此对应的时机所获取的摄像装置71的拍摄图像和接触力传感器13的检测结果相关联。具体而言，图像处理装置72将与拍摄图像对应的时机所获取的接触力传感器13的检测结果附加在拍摄图像。图像处理装置72将附加有接触力传感器13的检测结果的拍摄图像编码，发送给显示装置8。
71.图5是示出了图像处理装置72的概略硬件结构的图。图像处理装置72具有控制部73、存储部74、存储器75和通信部76。
72.控制部73控制整个图像处理装置72。控制部73进行各种运算处理。例如，控制部73用cpu(中央处理器)等处理器形成。控制部73也可以用mcu(微控制器单元)、mpu(微处理器单元)、fpga(现场可编程门阵列)、plc(可编程逻辑控制器)、系统lsi等形成。
73.存储部74存储有由控制部73执行的程序和各种数据。例如，存储部74用非易失性存储器、hdd(硬盘驱动器)或ssd(固态驱动器)等形成。
74.存储器75暂时存储数据等。例如，存储器75用易失性存储器形成。
75.通信部76是通信模块，执行无线通信。例如，通信部76实现符合5g的通信标准的无线通信。
76.(显示装置)
77.显示装置8显示摄像装置71的拍摄图像。显示装置8具有显示器81和显示控制装置82。
78.显示控制装置82通过无线通信接收摄像装置71的拍摄图像。具体而言，显示控制装置82与图像处理装置72进行无线通信。显示控制装置82从图像处理装置72接收图像信号。显示控制装置82对接收到的图像信号进行解码，将解码后的图像信号输出给显示器81。
79.显示器81将从显示控制装置82输入的图像信号作为图像显示。
80.图6是示出了显示控制装置82的概略硬件结构的图。显示控制装置82具有存储部
83、存储部84、存储器85和通信部86。
81.控制部83控制整个图像处理装置82。控制部83进行各种运算处理。例如，控制部83用cpu(中央处理器)等处理器形成。控制部83也可以用mcu(微控制器单元)、mpu(微处理器单元)、fpga(现场可编程门阵列)、plc(可编程逻辑控制器)、系统lsi等形成。
82.存储部84存储有由控制部83执行的程序和各种数据。例如，存储部84用非易失性存储器、hdd(硬盘驱动器)或ssd(固态驱动器)等形成。
83.存储器85暂时存储数据等。例如，存储器85用易失性存储器形成。
84.通信部86是通信模块，执行无线通信。例如，通信部86实现符合5g的通信标准的无线通信。
85.(远程控制系统的控制)
86.在如这样构成的远程控制系统100中，控制装置3执行主从控制，在该主从控制中，并行进行第一控制和第二控制，在该第一控制中，根据由用户的操作所带来的操作装置2的动作，来控制机器人1的动作，在该第二控制中，控制操作装置2的动作，以将响应于接触力传感器13的检测结果的反作用力提示给用户。与此并行，图像系统120执行图像显示控制，在该图像显示控制中，通过摄像装置71拍摄机器人1以及对象物体w，通过显示装置8显示该拍摄图像。用户能够一边观察显示在显示装置8的拍摄图像，一边对操作装置2进行操作。此时，控制装置3执行使主从控制延迟的延迟控制，以减少主从控制和显示在显示装置8的拍摄图像的偏差。
87.并且，控制装置3在主从控制以及图像显示控制的执行中，求出主从控制和显示在显示装置8的拍摄图像的偏差时间，且根据偏差时间更新延迟控制的延迟量。
88.图7是示出了远程控制系统100的控制系统的结构的方块图。
89.机器人控制装置14的控制部16通过将程序从存储部17读入存储器18并展开，来实现各种功能。具体而言，控制部16作为输入处理部41和动作控制部42发挥作用。
90.输入处理部41将从接触力传感器13以及伺服马达15接收的信息、数据以及命令等输出到控制装置3。具体而言，输入处理部41从接触力传感器13接收6轴的力的检测信号(以下，称为“传感器信号”)，并将该传感器信号输出到控制装置3。传感器信号通过无线通信发送给控制装置3。并且，输入处理部41从伺服马达15接收旋转传感器(例如，编码器)以及电流传感器的检测信号。输入处理部41为了由动作控制部42所进行的机器人臂12的反馈控制而将该检测信号输出到动作控制部42。并且，输入处理部41将该检测信号作为机器人臂12的位置信息输出到控制装置3。此外，输入处理部41将接触力传感器13的传感器信号还输出到图像处理装置72。
91.动作控制部42经由无线通信从控制装置3接收命令位置xds，按照命令位置xds生成用于使机器人臂12动作的控制命令。动作控制部42向伺服马达15输出控制命令，使机器人臂12动作，使磨削装置11a向对应于命令位置的位置移动。此时，动作控制部42根据来自输入处理部41的伺服马达15的旋转传感器以及/或者电流传感器的检测信号，反馈控制机器人臂12的动作。并且，动作控制部42将控制命令输出到磨削装置11a，使磨削装置11a动作。因此，磨削装置11a磨削对象物体w。
92.操作控制装置24的控制部26通过将程序从存储部27读入存储器28并展开，来实现各种功能。具体而言，控制部26作为输入处理部51和动作控制部52发挥作用。
93.输入处理部51将从操作力传感器23接收的信息、数据以及命令等输出到控制装置3。具体而言，输入处理部51从操作力传感器23接收6轴的力的检测信号，并将该检测信号输出到控制装置3。并且，输入处理部51从伺服马达25接收旋转传感器(例如，编码器)以及电流传感器的检测信号。输入处理部51为了由动作控制部42所进行的支撑机构22的反馈控制而将该检测信号输出到动作控制部52。
94.动作控制部52从控制装置3接收命令位置xdm，按照命令位置x dm生成用于使支撑机构22动作的控制命令。动作控制部52向伺服马达25输出控制命令，使支撑机构22动作，使操作部21向对应于命令位置的位置移动。此时，动作控制部52根据来自输入处理部51的伺服马达25的旋转传感器以及/或者电流传感器的检测信号，反馈控制支撑机构22的动作。因此，对用户施加给操作部21的操作力施加有反作用力。其结果是用户能够在疑似从操作部21感觉到来自对象物体w的反作用力的同时，对操作部21进行操作。
95.控制装置3的控制部31通过将程序(具体而言，远程控制程序)从存储部32读入存储器33并展开，来实现各种功能。具体而言，控制部31作为操作力获取部61、接触力获取部62、加算部63、力/速度换算部64、第一速度/位置换算部65、第二速度/位置换算部66、分离部67、偏差检测部68和延迟部69发挥作用。
96.并且，图像处理装置72的控制部73通过将程序从存储部74读入存储器75并展开，来实现各种功能。具体而言，控制部73作为合成部77和编码器78发挥作用。
97.显示控制装置82的控制部83通过将程序从存储部84读入存储器85并展开，来实现各种功能。具体而言，控制部83作为解码器87发挥作用。
98.操作力获取部61经由输入处理部51接收操作力传感器23的检测信号，根据检测信号获取操作力fm。操作力获取部61将操作力fm输入到加算部63。
99.接触力获取部62经由输入处理部41接收接触力传感器13的检测信号，根据检测信号获取接触力fs。接触力获取部62将接触力fs输入到加算部63。此外，接触力获取部62将传感器信号输出到偏差检测部68。
100.加算部63计算从操作力获取部61所输入的操作力fm和从接触力获取部62所输入的接触力fs的和。这里，由于操作力fm和接触力fs是相反方向的力，因此操作力fm和接触力fs的正负的符号不同。也就是说，通过将操作力fm和接触力fs相加，使得操作力fm的绝对值变小。加算部63输出操作力fm和接触力fs的和即合力fm+fs。
101.延迟部69具有使主从控制延迟的功能。在该例子中，延迟部69是低通滤波器，更具体而言，是一阶滞后滤波器。在一阶滞后滤波器含有时间常数。延迟部69根据时间常数使从加算部63向力/速度换算部64的合力fm+fs延迟。
102.力/速度换算部64将经由延迟部69输入的合力fm+fs换算成命令速度xd’。力/速度换算部64使用基于包含惯性系数、粘性系数(阻尼系数)以及刚度系数(弹簧系数)的运动方程式的运动模型来计算命令速度xd’。具体而言，力/速度换算部64根据以下的运动方程式计算命令速度xd’。
103.【数学式1】
104.md
·
xd
″
+cd
·
xd
′
+kd
·
xd＝fm+fs
…
(1)
105.这里，xd是命令位置。md是惯性系数。cd是粘性系数。kd是刚度系数。fm是操作力。fs是接触力。另外，
“’”
表示单导数，
“””
表示双导数。
106.式子(1)是线性微分方程式，对式子(1)求解xd’得到式子(2)。
107.【数学式2】
108.xd
′
＝a
…
(2)
109.这里，a是用fm、fs、md、cd、kd等表示的项。
110.式子(2)被存储在存储部32。力/速度换算部64从存储部32读出式子(2)，求出命令速度xd’，将所求出的命令速度xd’输出到第一速度/位置换算部65和第二速度/位置换算部66。
111.第一速度/位置换算部65以机器人坐标系为基准，将坐标变换后的命令速度xd’换算为机器人1用的命令位置xds。例如，当设有机器人1的移动量相对于操作装置2的移动量的比率时，第一速度/位置换算部65根据移动比对从命令速度xd’求得的命令位置xd进行倍频，求出命令位置xds。第一速度/位置换算部65将所求出的命令位置xds输出到机器人控制装置14，具体而言，输出到动作控制部42。动作控制部42如上所述根据命令位置xds，使机器人臂12动作。
112.第二速度/位置换算部66以操作坐标系作为基准，将命令速度xd’换算为操作装置2用的命令位置xdm。第二速度/位置换算部66将所求出的命令位置xdm输出到操作控制装置24，具体而言，输出到动作控制部52。动作控制部52如上所述根据命令位置xdm使支撑机构22动作。
113.合成部77将在与拍摄图像对应的时机所获取的接触力传感器13的检测结果作为表示彼此的相关联的关联信息附加在摄像装置71的该拍摄图像。具体而言，合成部77从摄像装置71接收图像信号，且经由输入处理部41接收接触力传感器13的传感器信号。合成部77将传感器信号合成在图像信号。合成部77将通过接触力传感器13以及摄像装置71在彼此对应的时机(即，大致相同时机)所获取的传感器信号和图像信号合成。例如，合成部77将用合成部77分别接收到图像信号以及传感器信号的时间看作图像信号以及传感器信号的各自的获取时间。这样一来，在与图像信号对应的时机所获取的传感器信号被作为表示彼此的相关联的关联信息附加在该图像信号。
114.在传感器信号含有6轴的力的传感器信号。合成部77将6轴的力的传感器信号中的至少一个传感器信号合成在图像信号。优选合成部77将6轴的力的传感器信号中的、当机器人1将作用施加在对象物体w时变动较大的传感器信号合成在图像信号。在该例子中，由于向对象物体w的作用是磨削，因此合成部77将向z轴方向的力的传感器信号合成在图像信号。
115.此时，合成部77利用电子水印技术将传感器信号合成在图像信号。优选合成部77通过难以察觉型的电子水印将传感器信号嵌入到图像信号中。
116.编码器78对在合成部77中被合成了传感器信号的图像信号进行编码。编码器78将被编码的图像信号输出到通信部76。被编码后的图像信号经由通信部76发送到显示控制装置82。
117.显示控制装置82经由通信部86接收来自图像处理装置72的图像信号。图像信号被输入到解码器87。解码器87对图像信号进行解码。解码器87将被解码后的图像信号输出到显示器81以及控制装置3的分离部67。
118.显示器81根据被解码的图像信号显示图像。
119.分离部67从被解码的图像信号分离传感器信号。在该例子中，传感器信号通过电子水印合成在图像信号。分离部67通过电子水印技术从图像信号分离传感器信号。分离部67将分离出的传感器信号输出给偏差检测部68。
120.偏差检测部68求出作为使主从控制延迟的延迟量的延迟时间，进行更新。偏差检测部68根据从机器人1接收的传感器信号和从显示装置8接收的图像信号的偏差时间来求出延迟时间。这里，传感器信号和图像信号的偏差时间是指原本在彼此对应的时机即大致相同的时机所获取的传感器信号和图像信号被偏差检测部68即控制装置3接收的时间的偏差。传感器信号和图像信号即使原本的获取时机大致相同，由于到控制装置3为止的传输路径以及在该中途受到的处理不同，因此在到达控制装置3为止的时间也会产生偏差。
121.并且，从机器人1接收的传感器信号被用于命令位置xds以及命令位置xdm的导出。并且，从显示装置8接收的图像信号是与输出给显示器81的图像信号相同的信号。也就是说，从机器人1接收的传感器信号和从显示装置8接收的图像信号的偏差时间相当于对于主从控制的、拍摄图像的由显示装置8所引起的显示时机的偏差。
122.具体而言，偏差检测部68求出来自接触力获取部62的传感器信号和来自分离部67的传感器信号的偏差时间。在传感器信号从接触力获取部62输入到偏差检测部68的同时，传感器信号从分离部67输入到偏差检测部68。来自接触力获取部62的传感器信号是从机器人控制装置14即机器人1接收的传感器信号。而来自分离部67的传感器信号是在显示装置8中从被解码的图像信号分离出的信号，是在与该图像信号被摄像装置71所获取的时机对应的时机由接触力传感器13所获取的信号。因此，来自接触力获取部62的传感器信号和来自分离部67的传感器信号的偏差时间相当于从机器人1接收的传感器信号和从显示装置8接收的图像信号的偏差时间。
123.另外，由于由合成部77合成在图像信号的传感器信号是6轴的力的传感器信号中的、磨削时变动较大的向z轴方向的力的传感器信号，因此偏差检测部68将来自接触力获取部62的传感器信号中的、向z轴方向的力的传感器信号与来自分离部67的传感器信号进行比较。
124.偏差检测部68将所求得的偏差时间保存在存储部32。偏差时间累积在存储部32。
125.在存储部32中存储有成为用于决定延迟部69的时间常数的基准的延迟时间。延迟时间的初始值是通过如上述那样预先求出偏差时间来设定的。偏差检测部68根据累积在存储部32的偏差时间来更新延迟时间。偏差检测部68在偏差时间对于延迟时间大不相同的状态持续一定期间以上时，用偏差时间更新延迟时间。
126.当延迟时间被更新时，偏差检测部68根据延迟时间求出设定在延迟部69的时间常数。具体而言，在存储部32中存储有用于将延迟时间转换为时间常数的转换函数。偏差检测部68使用转换函数根据延迟时间求出时间常数。偏差检测部68用所求出的时间常数更新延迟部69的时间常数。延迟部69使用被更新的时间常数来执行上述处理。
127.其次，对这样构成的远程控制系统100的动作进行说明。图8是示出了远程控制系统100的动作的流程图。
128.(主从系统的动作)
129.对由主从系统110进行的主从控制进行说明。主从控制是通过控制装置3将存储在存储部32的远程控制程序读入到存储器33且展开来实现的。
130.首先，在步骤sa0中，进行延迟控制的设定。控制装置3将用于进行延迟控制的设定的设定画面显示在显示器(省略图示)。具体而言，在显示器显示有切换延迟控制的有效以及无效的显示、使延迟控制有效时的主从控制的延迟量(详细而言，延迟时间)等。用户经由输入操作部进行延迟控制的设定。
131.接着，在步骤sa1中，当用户对操作装置2进行操作时，操作力传感器23检测用户经由操作装置21施加的操作力。此时，机器人1的接触力传感器13检测接触力。
132.被操作力传感器23检测的操作力通过输入处理部51作为检测信号输入到控制装置3。在控制装置3中，操作力获取部61将基于检测信号的操作力fm输入到加算部63。
133.被接触力传感器13检测的接触力作为传感器信号输入到输入处理部41。输入到输入处理部41的传感器信号经由通信部19发送给控制装置3。此外，输入处理部41将传感器信号输入到图像处理装置72。
134.在控制装置3中，通信部34接收传感器信号，将传感器信号输入到接触力获取部62。接触力获取部62将基于传感器信号的接触力fs输入到加算部63。此外，接触力获取部62将传感器信号输入到偏差检测部68。偏差检测部68将传感器信号保存在存储器33。
135.其次，在步骤sa2中，控制装置3判断延迟控制是否有效。
136.当延迟控制无效时，在步骤sa4中，执行由机器人1进行的磨削加工以及由操作装置2所带来的反作用力的提示。具体而言，加算部63根据被输入的操作力fm以及接触力fs求出合成力fm+fs，将合成力f m+fs输入到力/速度换算部64。此时，延迟部69被作为无效的部件对待。也就是说，从加算部63输出的合成力fm+fs在不延迟的情况下输入到力/速度换算部64。力/速度换算部64用合成力fm+fs根据式子(2)求出命令速度xd’。
137.关于机器人1，第一速度/位置换算部65根据命令速度xd’求出命令位置xds。机器人控制装置14的动作控制部42按照命令位置xds使机器人臂12动作，控制磨削装置11a的位置。因此，响应于操作力f m的按压力一边施加在对象物体w，对象物体w一边由磨削装置11a磨削。
138.关于操作装置2，第二速度/位置换算部66根据命令速度xd’求出命令位置xdm。操作控制装置24的动作控制部52按照命令位置xdm使支撑机构22动作，控制操作部21的位置。因此，用户感知响应于接触力fs的反作用力。
139.而当延迟控制有效时，在步骤sa3中，主从控制被延迟。具体而言，延迟部69根据被设定的时间常数，使从加算部63向力/速度换算部64的合成力fm+fs的输入延迟。其结果是，在操作力传感器23的检测信号以及接触力传感器13的传感器信号被输入后，到执行机器人臂12以及操作部21的动作控制为止的时间被延迟。
140.主从系统110以规定的控制周期重复这样的处理。用户能够通过在第一站点s1中对操作装置2进行操作，来远程控制配置在第二站点s2的机器人1，执行对象物体w的磨削。那时，用户能够一边经由操作装置2感知磨削装置11a从对象物体w接收的反作用力，一边进行操作装置2的操作。另外，步骤sa0在该控制开始时仅执行一次，在之后的控制周期中不被执行。
141.(图像系统的动作)
142.与此并行，图像系统120拍摄机器人1以及对象物体w，执行将拍摄图像提示给用户的图像显示控制。
143.首先，在步骤sb1中,摄像装置71拍摄机器人1以及对象物体w。摄像装置71用规定的帧率拍摄机器人1以及对象物体w的视频。摄像装置71将拍摄图像(即，图像信号)输入到图像处理装置72。
144.在步骤sb2中，图像处理装置72的合成部77将接触力传感器13的传感器信号合成在拍摄图像。该合成不是用于将拍摄图像提示给用户的处理，而是为了更新主从控制的延迟时间而进行的处理。
145.详细而言，图9的(i)是从输入处理部41输出的传感器信号的一个例子。图9的(ii)是从摄像装置71输出的图像信号的一个例子。图10是从合成部77输出的、合成了传感器信号的图像信号的一个例子。
146.如图9的(i)所示，从输入处理部41输出的传感器信号包含在与主从控制的控制周期对应的采样周期所获取的数据。而如图9的(ii)所示，从摄像装置71输入的图像信号包含在规定的帧率所获取的帧(静止图像)。在该例子中，与帧率相比采样周期较短。于是，合成部77将在各个帧与前一个帧之间所获取的传感器信号合成在该帧。合成部77将传感器信号作为图像即时间序列的信号波形合成在各个帧的图像。传感器信号的合成是通过电子水印技术进行的。其结果是，如图10所示，生成传感器信号的图像被作为电子水印合成在帧的图像信号。被合成的帧和传感器信号是在大致相同的时机所获取的。
147.在步骤sb3中，编码器78对由合成部77所合成的图像信号进行编码。
148.然后，在步骤sb4中，图像处理装置72通过无线通信将被编码的图像信号发送给显示控制装置82。显示控制装置82接收来自图像处理装置72的图像信号。
149.在显示控制装置82中，解码器87在步骤sb5中解码图像信号。解码器87将被解码的图像信号输出给显示器81。
150.显示器81在步骤sb6中根据图像信号显示图像。因此，由摄像装置71拍摄的拍摄图像被提示给用户。这里，显示器81显示合成有传感器信号的拍摄图像。但是，由于传感器信号是通过难以察觉型的电子水印技术合成的，因此用户是看不到的。
151.图像系统120用拍摄图像的帧率重复这样的处理。摄像装置71拍摄配置在第二站点s2的机器人1以及对象物体w，显示装置8在第一站点s1中显示该拍摄图像。用户能够在第一站点s1中对操作装置2进行操作时或操作后，用配置在第一站点s1的显示装置8确认在第二站点s2中磨削时或磨削后的机器人1以及对象物体w的图像。
152.(延迟控制)
153.像这样，当并行进行主从控制和图像显示控制时，与从接触力传感器13获取传感器信号之后，到控制装置3用传感器信号执行机器人1以及操作装置2的动作控制为止的时间相比，从摄像装置71获取拍摄图像之后到用显示装置8显示拍摄图像为止的时间较长。
154.详细而言，在机器人1磨削对象物体w时，接触力传感器13将来自对象物体w的接触力作为传感器信号检测，且摄像装置71将机器人1以及对象物体w的拍摄图像作为图像信号获取。接触力传感器13的传感器信号经由主从系统110的第一传输路径输入控制装置3。如上所述，控制装置3将传感器信号作为输入之一控制机器人1以及操作装置2。而摄像装置71的图像信号经由图像系统120的第二传输路径输入显示装置8。并且，图像信号在该途中在图像处理装置72中被编码，在显示控制装置82中被解码。
155.这里，与传感器信号相比，图像信号的数据量相当大。尤其是当拍摄图像越高画
质，数据量的差异就越大。因此，从图像处理装置72向显示控制装置82的图像信号的通信时间与从机器人控制装置14向控制装置3的传感器信号的通信时间相比较长。此外，图像信号需要进行编码以及解码。图像信号的数据量越大，编码以及解码所需的时间也越长。
156.其结果是，关于原本在大致相同的时机所获取的传感器信号以及拍摄图像，对于使用了传感器信号的主从控制，由显示装置8引起的拍摄图像的显示时机偏差，具体而言，延迟。图11的(i)是控制装置3从机器人控制装置14获取的传感器信号的一个例子。图11的(ii)是由显示控制装置82解码后的图像信号的一个例子。如图11的(i)所示，由于机器人控制装置14与控制装置3之间的通信时间等的影响，控制装置3所获取的传感器信号与图9的(i)所示的、从输入处理部41输出的接触力传感器13的传感器信号相比稍微延迟一点。不过，该延迟小到可以无视的程度。而如图11的(ii)所示，解码后的图像信号由于编码时间、图像处理装置72与显示控制装置82之间的通信时间以及解码时间等的影响，与图9的(ii)所示的、从摄像装置71输出的图像信号相比延迟。与传感器信号的延迟相比，图像信号的延迟较大。
157.因此，在用户观察比实时延迟的机器人1以及对象物体w的拍摄图像的同时，进行由机器人1以及操作装置2进行的磨削加工。并且，用户对于操作装置2的操作，获得由显示装置8进行的图像显示和经由操作装置2的反作用力的提示这两个反馈信息。但是，由于反作用力的提示和图像显示的时机偏差，因此用户会感到不舒服。此外，与触觉信息相比，人们更倾向于依赖视觉信息。因此，用户不是依赖由操作装置2进行的反作用力的提示，而是依赖比实时延迟的显示装置8的图像，来对操作装置2进行操作。图像越高画质，该倾向越大。但是，图像越高画质，如上所述，由显示装置8进行的图像显示的延迟越大。
158.于是，在远程控制系统100中，控制装置3使主从控制延迟，以减少对于主从控制的、由显示装置8引起的拍摄图像的显示时机的偏差。作为一个例子，在所述主从控制的步骤sa3中，延迟部69使从加算部63向力/速度换算部64的合力fm+fs的输入延迟。像这样，控制装置3在从输入操作力以及接触力之后到使机器人1以及操作装置2动作为止期间，包含延迟部69的低通滤波器那样的延迟构件。因此，控制装置3使机器人1以及操作装置2的动作控制延迟，即，使从接收了来自接触力传感器13的传感器信号之后到使机器人1以及操作装置2动作为止的时间延迟。
159.这意味着主从控制的应答性下降。但是，图像显示控制的应答性(即，由显示装置8进行的图像显示对于由摄像装置71进行的图像拍摄的应答性)和主从控制的应答性一致或接近。即使在用户依赖显示在显示装置8的拍摄图像来对操作装置2进行操作时，也能够减少带给用户的不舒适感。例如，能够防止对象物体w被研磨了超出显示在显示装置8的范围。
160.尤其是当拍摄图像为高画质时，图像信号的编码、图像信号的通信以及图像信号的解码所需的时间变长。即使在通信技术的发达实现了通信时间的缩短时，图像信号的编码以及解码所需的时间仍然很长。此外，拍摄图像的高画质化，使得对操作装置2进行操作的用户对于拍摄图像的依存度进一步加大。因此，用户更容易感知对于主从控制的、由显示装置8所引起的拍摄图像的显示时机的偏差。而远程控制系统100通过使主从控制延迟，在允许主从控制的应答性的降低的同时，减少对于主从控制的、由显示装置8所引起的拍摄图像的显示时机的偏差。其结果是能够减少在用户观察显示装置8的拍摄图像的同时对操作装置2进行操作时的不舒适感。
161.(延迟量的导出)
162.此外，在进行这样的主从控制和图像显示控制期间，控制装置3求出延迟控制中的主从控制的延迟量。
163.详细而言，按照图6的流程图进行说明的话，在步骤sa1中，输入处理部41经由通信部19将接触力传感器13的传感器信号发送给控制装置3，且输入到图像处理装置72。在图像处理装置72中，如上所述，在步骤sb2中，合成部77使在彼此对应的时机所获取的摄像装置71的拍摄图像和接触力传感器13的检测结果相关联。具体而言，图像处理装置72将在与拍摄图像对应的时机所获取的接触力传感器13的传感器信号附加在拍摄图像。更具体而言，合成部77通过电子水印技术将在与各个帧大致相同的时机所获取的传感器信号作为图像合成在图像信号的各个帧的图像。
164.在图像系统120中，合成有传感器信号的图像信号被编码(步骤sb3),被无线通信(步骤sb4)，被解码(步骤sb5)。然后，被解码后的图像信号不仅从显示控制装置82输入到显示器81，还从显示控制装置82输入到控制装置3。
165.在主从系统110中，分离部67从如图11的(ii)所示的那样的被解码的图像信号中如图12所示分离出传感器信号。在该例子中，根据电子水印技术，从图像信号中分离出传感器信号。被分离的传感器信号从分离部67输入到偏差检测部68。从输入处理部41输入到控制装置3的传感器信号也经由接触力获取部62输入到偏差检测部68。也就是说，接触力传感器13的传感器信号经由第一传输路径和第二传输路径这两条传输路径输入到偏差检测部68，所述第一传输路径是机器人1、无线通信以及控制装置3，所述第二传输路径是图像处理装置72、无线通信、显示控制装置82。如上所述，经由第二传输路径的传感器信号在该途中经过了编码以及解码的处理。
166.并且，偏差检测部68在步骤sa5中判断规定的检测条件是否成立。在该例子中，检测条件是偏差检测部68从分离部67接收传感器信号。
167.由于主从控制的控制周期与对应于图像信号的帧率的周期相比较短，因此偏差检测部68与来自分离部67的传感器信号(即，经由第二传输路径的传感器信号)相比，用更短的周期接收来自接触力获取部62的传感器信号(即，经由第一传输路径的传感器信号)。因此，当检测条件没有成立时，即，当没有从分离部67向偏差检测部68输入传感器信号时，偏差检测部68将从接触力获取部62输入的传感器信号保存在存储器33，结束在这次的控制周期的延迟量的导出。
168.当检测条件成立时，即，传感器信号从分离部67输入到偏差检测部68时，偏差检测部68在步骤sa6中将来自分离部67的传感器信号与保存在存储器33的来自接触力获取部62的传感器信号进行比较，求出来自分离部67的传感器信号对于来自接触力获取部62的传感器信号的偏差时间。
169.具体而言，如图12所示，偏差检测部68周期性地，具体而言以拍摄图像的帧率周期性地从分离部67输入传感器信号。在存储器33保存有如11(i)所示的那样的传感器信号。例如，偏差检测部68从保存在存储器33的来自接触力获取部62的传感器信号中搜索与来自分离部67的传感器信号的信号波形一致的信号波形。并且，偏差检测部68将来自分离部67的传感器信号与来自接触力获取部62的传感器信号中的信号波形一致的部分的时间差作为偏差时间求出。偏差检测部68将所求出的偏差时间保存在存储部32。
170.偏差检测部68每在检测条件成立时就重复这样的偏差时间的导出。其结果是在存储部32累积偏差时间。
171.偏差检测部68在步骤sa7中判断规定的更新条件是否成立。例如，更新条件是偏差时间对于现在的延迟时间超过规定的变动幅度(以下，称为“变动阈值”)变化的状态持续规定时间(以下，称为“期间阈值”)以上。总之，更新条件是偏差时间对于现在的延迟时间大不相同的状态持续一定期间以上。
172.详细而言，偏差检测部68在求出了偏差时间时，对偏差时间和现在的延迟时间进行比较，判断时间差是否超过了变动阈值，且将判断结果保存在存储部32。并且，当时间差超过了变动阈值时，偏差检测部68从存储部32中读出从现在开始追溯期间阈值期间的判断结果，判断时间差超过变动阈值的状态是否持续了期间阈值以上。需要说明的是，当在期间阈值期间时间差的正负变化时，不视为时间差超过变动阈值的状态在持续。
173.当时间差超过变动阈值的状态没有持续期间阈值以上时，偏差检测部68结束在这次的控制周期的延迟量的导出。
174.当时间差超过变动阈值的状态持续了期间阈值以上时，偏差检测部68在步骤sa8中平均该期间阈值期间的偏差时间，用该平均值更新现在的延迟时间。在该例子中，延迟时间相当于延迟控制中的主从控制的延迟量。
175.偏差检测部68用存储在存储部32的转换函数，根据更新后的延迟时间求出时间常数。偏差检测部68用所求出的时间常数更新延迟部69的时间常数。
176.此时，偏差检测部68对延迟时间的变化幅度设定限制。也就是说，偏差检测部68为了不使主从控制的应答性急剧变化，跨越多个控制周期逐步将现在的延迟时间变为新的延迟时间。
177.像这样，远程控制系统100在进行主从控制以及图像显示控制期间，用主从控制以及图像显示控制的信号求出主从控制的延迟量。具体而言，控制装置3的偏差检测部68求出传感器信号和图像信号的偏差时间，根据所求出的偏差时间求出延迟量，该传感器信号是为了主从控制，控制装置3从接触力传感器13接收的信号，该图像信号是为了图像显示控制，从摄像装置71传输到显示装置8显示的信号。由于在主从控制以及图像显示控制的执行中，根据为了主从控制以及图像显示控制而被收发且被处理的信号来求出延迟量，因此能够求出符合实际的控制状况的延迟量。例如，机器人控制装置14与控制装置3之间的通信环境以及图像处理装置72与显示控制装置82之间的通信环境可能发生变化。即使在这些通信环境发生变化时，也能够用上述方法求出延迟量，来对应于通信环境的变化改变延迟量。
178.并且，依照由摄像装置71拍摄的图像的不同，编码以及解码所需的时间可能发生变化。例如，色彩均匀的图像与颜色、亮度不同的图像相比，编码以及解码所需的时间不同。在磨削加工中，在对象物体w和磨削装置11a的接触部分可能会产生火花。也就是说，依照含在图像中的火花的有无或火花的量的不同，使得编码以及解码所需的时间不同。即使在这种情况下，也能够通过用上述方法求出延迟量，来对应于图像的状况改变延迟量。
179.并且，通过预先使由接触力传感器13以及摄像装置71在彼此对应的时机所获取的传感器信号和图像信号相关联，控制装置3能够从用在主从控制的传感器信号和显示在显示装置8的图像信号识别彼此相关联的传感器信号和图像信号，求出那些偏差时间。
180.具体而言，作为表示彼此的相关联的关联信息，将传感器信号附加在由接触力传
感器13以及摄像装置71在彼此对应的时机所获取的传感器信号以及图像信号中的图像信号。控制装置3作为关联信息根据传感器信号求出传感器信号和图像信号的偏差时间。也就是说，控制装置3在接收到传感器信号和图像信号这两者时，通过对比传感器信号和附加在图像信号的传感器信号，能够判别原本在与传感器信号对应的时机所获取的图像信号，能够求出两者的偏差时间。在该例子中，控制装置3由分离部67从图像信号分离传感器信号，将来自接触力获取部62的传感器信号和从图像信号分离出的传感器信号的偏差时间作为传感器信号和图像信号的偏差时间求出。
181.此时，通过将传感器信号用作关联信息，不需将其它信息附加在传感器信号，只要将传感器信号附加在图像信号即可。并且，不需准备传感器信号以及图像信号之外的其它信息。因此，处理被简化。
182.并且，当设置有多个远程控制系统100时，恐怕会在无线通信中发生污染。即使在这种情况下，通过将传感器信号用作关联信息，也能够容易地判别传感器信号和图像信号的组合是否恰当(即，是否发生了污染)。例如，当采用获取时刻作为关联信息，将获取时间信息附加在传感器信号和图像信号的每一个时，需要将用于识别远程控制系统100的每一个的识别信息进一步附加在传感器信号以及图像信号。当将传感器信号用作关联信息时，传感器信号作为远程控制系统100的识别信息发挥作用。因此，不需要用于识别远程控制系统100的每一个的追加的识别信息。
183.并且，在远程控制系统100中，向图像信号的传感器信号的附加在图像信号的编码前进行，来自图像信号的传感器信号的分离在图像信号的解码后进行。因此，由分离部67分离出的传感器信号延迟图像信号的编码、图像信号的无线通信以及图像信号的解码所需的时间。因此，控制装置3能够求出适当反映了图像信号的编码、无线通信以及解码的影响的偏差时间。
184.并且，向图像信号的传感器信号的附加通过电子水印技术实现。因此，显示装置8即使将合成有传感器信号的图像信号显示在显示器81，传感器信号也不会成为拍摄图像向用户提示的障碍。也就是说，在显示装置8中，不需要从图像信号分离传感器信号等特殊处理。
185.并且，控制装置3在偏差时间对于现在的延迟时间超过规定的变动阈值变化的状态持续规定的期间阈值以上时，更新主从控制的延迟量即延迟时间。因此，能够无视在通常的主从控制以及图像显示控制中被允许的、偏差时间微小的变动，使主从控制的延迟量保持恒定，使主从控制稳定。也就是说，图像处理装置72和显示控制装置82之间的通信环境不是恒定的，可能会有或多或少的变动。并且，图像信号的编码以及解码所需的时间根据拍摄图像而发生变动。因此，当偏差时间的变动量较小时以及偏差时间的变动是暂时的时候，控制装置3能够通过使主从控制的延迟量保持恒定，来使主从控制的应答性保持恒定，防止给用户带来不舒适感。
186.并且，在更新延迟时间时，控制装置3能够通过逐步改变延迟时间，来减少带给用户的不舒适感。也就是说，延迟时间与主从控制的应答性直接相关。控制装置3能够通过逐步改变延迟时间，来防止主从控制的应答性急剧变化。
187.如上所述，远程控制系统100包括操作装置2(主装置)、机器人1(从属装置)、接触力传感器13(传感器)、摄像装置71、显示装置8以及控制装置3，所述操作装置2由用户操作，
所述机器人1根据操作装置2的动作将作用施加在对象物体w，所述接触力传感器13设置在机器人1且检测机器人1的动作状态，所述摄像装置71拍摄机器人1以及对象物体w的至少一个的图像，所述显示装置8显示由摄像装置71拍摄的拍摄图像且提示给对操作装置2进行操作的用户，所述控制装置3根据接触力传感器13的检测结果来执行机器人1以及操作装置2的至少一个的动作控制。控制装置3使动作控制延迟，以减少对于动作控制的、拍摄图像的由显示装置8引起的显示时机的偏差。
188.换句话说，包括操作装置2、机器人1、接触力传感器13、摄像装置71和显示装置8的远程控制系统100的控制方法包含根据接触力传感器13的检测结果来执行机器人1以及操作装置2的至少一个的动作控制的步骤和使动作控制延迟，以减少对于动作控制的、拍摄图像的由显示装置8引起的显示时机的偏差的步骤，所述操作装置2由用户操作，所述机器人1根据操作装置2的动作来将作用施加在对象物体w，所述接触力传感器13设置在机器人1且检测机器人1的动作状态，所述摄像装置71拍摄机器人1以及对象物体w的至少一个的图像，所述显示装置8显示由摄像装置71拍摄的拍摄图像且提供给对操作装置2进行操作的用户。
189.或者，用于使计算机实现控制远程控制系统100的功能的远程控制程序使计算机实现根据接触力传感器13的检测结果来执行机器人1以及操作装置2的至少一个的动作控制的功能和使动作控制延迟，以减少对于动作控制的、拍摄图像的由显示装置8引起的显示时机的偏差的功能，所述远程控制系统100包括操作装置2、机器人1、接触力传感器13、摄像装置71和显示装置8，所述操作装置2由用户操作，所述机器人1根据操作装置2的动作来将作用施加在对象物体w，所述接触力传感器13设置在机器人1且检测机器人1的动作状态，所述摄像装置71拍摄机器人1以及对象物体w的至少一个的图像，所述显示装置8显示由摄像装置71拍摄的拍摄图像且提供给对操作装置2进行操作的用户。
190.根据这些结构，通过用户对操作装置2进行操作，来使机器人1动作将作用(例如，磨削)施加在对象物体w。此时，接触力传感器13检测机器人1的动作状态(例如，作用在机器人1的反作用力)。根据接触力传感器13的检测结果执行机器人1以及操作装置2的至少一个的动作控制。与此并行，摄像装置71拍摄机器人1以及对象物体w的至少一个的图像，显示装置8显示该拍摄图像，将拍摄图像提供给用户。这里，拍摄图像的数据量与接触力传感器13的检测结果相比较大。因此，从拍摄图像由摄像装置71获取之后到显示在显示装置8为止的处理以及通信所需的时间与从由接触力传感器13获取检测结果之后到被用在动作控制为止的处理以及通信所需的时间相比较长。也就是说，对于基于接触力传感器13的检测结果的机器人1以及操作装置2的至少一个的动作控制，拍摄图像的由显示装置8显示的显示时机具有偏差(具体而言，延迟)的倾向。对此，动作控制被延迟，以减少对于动作控制的、拍摄图像的由显示装置8引起的显示时机的偏差。因此，虽然动作控制的应答性下降，但是能够减少在观察显示装置8的拍摄图像的同时对于对操作装置2进行操作的用户的不舒适感。
191.并且，控制装置3从机器人1接收接触力传感器13的检测结果，且从显示装置8接收拍摄图像，根据接触力传感器13的检测结果和拍摄图像的偏差时间求出使动作控制延迟的延迟量。
192.根据该结构，控制装置3从机器人1接收接触力传感器13的检测结果，根据该检测结果执行动作控制。另一方面，控制装置3从显示装置8接收拍摄图像，该拍摄图像是显示在显示装置8的图像。也就是说，控制装置3所接收的接触力传感器13的检测结果和拍摄图像
的偏差时间与动作控制和拍摄图像的由显示装置8进行的显示的偏差时间大致一致。因此，控制装置3能够通过根据接触力传感器13的检测结果和拍摄图像的偏差时间求出动作控制的延迟量，来求出与动作控制和拍摄图像的由显示装置8进行的显示的偏差相对应的动作控制的延迟量。
193.并且，对由接触力传感器13以及摄像装置71在彼此对应的时机所获取的检测结果和拍摄图像的至少一个附加有表示彼此的相关联的关联信息，控制装置3根据关联信息判别检测结果和拍摄图像，求出偏差时间。
194.根据该结构，控制装置3能够通过参照关联信息，从检测结果和拍摄图像中容易地判别在彼此对应的时机所获取的检测结果以及拍摄图像。
195.并且，远程控制系统100还包括图像处理装置72，所述图像处理装置72从摄像装置71接收拍摄图像，处理拍摄图像，将处理后的拍摄图像发送给显示装置8。图像处理装置72从机器人1接收检测结果，将与拍摄图像对应的时机所获取的检测结果作为关联信息附加在拍摄图像，将附加有检测结果的拍摄图像发送给显示装置8，控制装置3从显示装置8接收附加有检测结果的拍摄图像，根据附加在拍摄图像的检测结果和从机器人1接收到的检测结果的比较求出偏差时间。
196.根据该结构，将作为表示彼此的相关联的关联信息的接触力传感器13的检测结果被附加在在彼此对应的时机所获取的接触力传感器13的检测结果和摄像装置71的拍摄图像中的拍摄图像上。因此，检测结果被附加在发送给显示装置8且控制装置3从显示装置8接收的拍摄图像。控制装置3从机器人1接收检测结果。从机器人1接收到的检测结果和附加有该检测结果的拍摄图像的偏差时间即是检测结果和拍摄图像的偏差时间。因此，控制装置3能够通过对附加在拍摄图像的检测结果和从机器人1接收到的检测结果进行比较，容易地求出检测结果和拍摄图像的偏差时间。
197.并且，图像处理装置72通过将在与拍摄图像对应的时机所获取的检测结果作为图像合成在拍摄图像，来将检测结果附加在拍摄图像，将合成有检测结果的拍摄图像编码后发送给显示装置8。控制装置3从由显示装置8解码后的拍摄图像获取检测结果。
198.根据该结构，控制装置3从显示装置8接收的、合成在拍摄图像的接触力传感器13的检测结果与拍摄图像一起经过了编码、图像处理装置72与显示装置8之间的通信以及解码。也就是说，控制装置3能够通过根据被附加在被解码的拍摄图像的检测结果和从机器人1接收到的检测结果的比较求出偏差时间，来求出反映了这些处理以及通信引起的延迟的偏差时间。
199.控制装置3作为动作控制，根据用户对于操作装置2的操作以及检测结果，控制机器人1的动作，且控制操作装置2的动作，以将作用在机器人1的反作用力提示给用户。
200.根据该结构，控制装置3在动作控制中含有机器人1的动作的控制和操作装置2的动作的控制。也就是说，当发生了对于动作控制的、拍摄图像的由显示装置8引起的显示时机的偏差时，机器人1的动作的控制和拍摄图像的由显示装置8显示的显示时机偏差，且操作装置2的动作的控制和拍摄图像的由显示装置8显示的显示时机偏差。例如，当对于机器人1的动作的控制，拍摄图像的由显示装置8显示的显示时机延迟时，用户在观察比实际的机器人1的动作延迟的机器人1的动作或对象物体w的拍摄图像的同时，进行操作装置2的操作。并且，当对于操作装置2的动作的控制，拍摄图像的由显示装置8显示的显示时机延迟
时，用户在观察比接收从操作装置2提示的反作用力时的机器人1的动作延迟的机器人1的动作或对象物体w的拍摄图像的同时，感知来自操作装置2的反作用力。无论在哪种情况下，用户都会感到不舒适。对此，由于控制装置3使动作控制延迟，因此无论是机器人1的动作的控制，还是操作装置2的动作的控制都延迟。其结果是当用户在观察显示装置8的拍摄图像的同时，对操作装置2进行操作时，能够减少机器人1的动作和拍摄图像的偏差以及从操作装置2感到的反作用力和拍摄图像的偏差。
201.接触力传感器13是检测机器人1的动作状态的传感器的一个例子，还是力传感器的一个例子。
202.(其它实施方式)
203.如上所述，将所述实施方式作为在本技术中公开的技术的例子进行了说明。但是，本公开的技术并不限定于此，还能够适用于进行了适当改变、置换、附加、省略等的实施方式。并且，还能够将在所述实施方式中所说明的各个构成要素进行组合作为新的实施方式。并且，在记载在附图以及详细说明的构成要素中不仅包含了为解决课题所必须的构成要素，为了对所述技术举例，还可能包含了不是为解决课题所必须的构成要素。因此，不应该以那些不是必须的构成要素被记载在附图以及详细说明中，而立刻认为那些不是必须的构成要素是必须的。
204.所述远程控制系统100的结构只不过是一个例子，并不限于此。例如，关于主从系统110，机器人1施加在对象物体w的作用并不限于磨削。机器人1施加在对象物体w的作用既可以是切削或研磨等，也可以是按压或握持等。
205.并且，机器人1与控制装置3之间的通信并不限于无线通信，也可以是有线通信。同样，摄像装置71与显示装置8之间的通信并不限于无线通信，也可以是有线通信。
206.控制装置3执行的机器人1以及操作装置2的动作控制并不限于双向控制。例如，控制装置3也可以独立进行响应于操作装置2的动作的机器人1的动作控制和响应于机器人1从对象物体w接收的反作用力的操作装置2的动作控制。
207.或者，控制装置3也可以仅进行响应于操作装置2的动作的机器人1的动作控制，不进行经由操作装置2的向用户的反作用力的提示。也就是说，控制装置3也可以根据由用户对操作装置2的操作以及接触力传感器13的传感器信号，仅进行机器人1的动作控制。
208.并且，机器人1并不限于工业用机器人。例如，机器人1也可以是医疗用机器人。并且，从属装置并不限于机器人。例如，从属装置也可以是建筑机械等机械。
209.检测从属装置的动作状态的传感器并不限于接触力传感器13，只要是能够检测从属装置的动作状态，可以采用任何传感器。例如，当从属装置是机器人1时，检测从属装置的动作状态的传感器也可以是检测伺服马达15的电流的电流传感器或检测伺服马达15的力矩的力矩传感器等。
210.并且，合成在拍摄图像的传感器信号并不限于向z轴方向的力的传感器信号。合成在拍摄图像的传感器信号既可以是向z轴方向之外的其它方向的力的传感器信号，也可以包含向并不限于z轴方向的多个方向的力的传感器信号。例如，用户也可以在步骤sa0等中选择6轴的力的传感器信号中的、合成在拍摄图像的传感器信号。或者，机器人控制装置14或图像处理装置72也可以选择6轴的力的传感器信号中的、合成在拍摄图像的传感器信号。例如，机器人控制装置14或图像处理装置72也可以选择接触力传感器13的6轴的力的传感
器信号中的、变动较大的传感器信号。
211.向拍摄图像的传感器信号的合成并不限于通过难以察觉型的电子水印技术进行。例如，传感器信号也可以在看得到的状态下合成在拍摄图像。传感器信号的可看得到的状态下的合成既可以通过可以察觉型的电子水印技术实现，也可以用这之外的方法实现。
212.在上述例子中，附加在图像信号的每一帧的传感器信号包含多个数值数据，形成与附加在其它帧的传感器信号可判别的信号波形。但是，依照传感器信号的采样周期和图像信号的帧率的不同，有可能附加在图像信号的每一帧的传感器信号只具有较少的数值数据，有时不能形成与附加在其它帧的传感器信号可判别的信号波形。在这种情况下，偏差检测部68也可以通过使附加在紧接在前的一个或多个帧的传感器信号与附加在成为偏差时间的导出对象的帧的传感器信号合为一体，来在形成有可判别的信号波形的状态下，对被合为一体的传感器信号和来自接触力获取部62的传感器信号进行比较。
213.表示在彼此对应的时机所获取的传感器的检测结果和摄像装置的拍摄图像的彼此的相关联的关联信息并不限于传感器的检测结果(在上述例子中，接触力传感器13的传感器信号)。例如，关联信息也可以是时刻信息。也就是说，也可以是获取了该检测结果的时刻信息被附加在传感器的检测结果，获取了拍摄图像的时刻信息被附加在摄像装置的该拍摄图像。那时，不需要向图像信号进行传感器的检测结果的附加。例如，也可以是机器人控制装置14将获取了传感器信号的时刻信息附加在接触力传感器13的该传感器信号，图像处理装置72将获取了图像信号的时刻信息附加在摄像装置71的该图像信号。不需要从机器人控制装置14向图像处理装置72的传感器信号的输入。偏差检测部68能够通过对照被附加在传感器信号的时刻信号和被附加在图像信号的时刻信号，来判别在彼此对应的时机所获取的传感器信号和图像信号，求出两者的偏差时间。向图像信号的时刻信息的附加既可以是将时刻信息作为数据附加，也可以是将时刻信息作为图像合成在拍摄图像。另外，关联信息也可以是时刻信息之外的、表示获取时机的识别信息。
214.延迟时间的更新条件并不限于是偏差时间对于现在的延迟时间超过规定的变动幅度变化的状态持续规定时间以上。例如，更新条件也可以是偏差时间对于现在的延迟时间超过规定的变动幅度变化。或者，更新条件也可以与偏差时间的变动无关，是规定的周期的到来。也就是说，也可以在每一规定的周期更新延迟时间。
215.当以偏差时间对于现在的延迟时间超过规定的变动幅度变化的状态持续规定时间以上为条件更新延迟时间时，新的延迟时间也可以不是将规定时间之间的偏差时间平均了的平均值。例如，新的延迟时间也可以是最新的偏差时间或在规定期间之间频度最高的偏差时间。
216.并且，在更新延迟时间之时，也可以不是逐步将现在的延迟时间更新为新的延迟时间，而是一次更新。
217.并且，延迟时间的更新也可以不是控制装置3自动进行，而是在满足了更新条件时，将新的延迟时间提示给用户，通过来自用户的操作更新延迟时间。
218.上述方块图是一个例子，也可以或者将多个方块作为一个方块实现，或者将一个方块分割为多个方块，或者将一部分功能转移到其它方块。
219.本公开的技术既可以是用于执行所述控制方法的程序，也可以是记录有所述程序的非暂时性计算机可读记录介质。并且，所述程序也可以是经由网络等传输介质分发的程
序。
220.本实施方式所公开的结构的功能也可以使用电路或处理电路执行。处理器是包含晶体管以及其它电路的处理电路等。在本公开中，单元、控制器或装置是用于执行所记载的功能的硬件或被编程的。这里，硬件是为了执行在本实施方式所公开的功能而构成或被编程的、在本实施方式中所公开的硬件或已知的硬件。当硬件是处理器或控制器时，电路、装置或单元是硬件和软件的组合，软件用于构成硬件以及/或者处理器。

技术特征：
1.一种远程控制系统，其特征在于：所述远程控制系统包括主装置、从属装置、传感器、摄像装置、显示装置和控制装置，所述主装置由用户操作，所述从属装置根据所述主装置的动作来将作用施加在对象物体，所述传感器被设置在所述从属装置，检测所述从属装置的动作状态，所述摄像装置拍摄所述从属装置以及对象物体的至少一个的图像，所述显示装置显示由所述摄像装置拍摄的拍摄图像，且提供给操作所述主装置的用户，所述控制装置根据所述传感器的检测结果，来执行所述主装置以及所述从属装置的至少一个的动作控制，所述控制装置使所述动作控制延迟，以减少对于所述动作控制的、所述拍摄图像的由所述显示装置引起的显示时机的偏差。2.根据权利要求1所述的远程控制系统，其特征在于：所述控制装置从所述从属装置接收所述检测结果且从所述显示装置接收所述拍摄图像，根据所述检测结果和所述拍摄图像的偏差时间求出使所述动作控制延迟的延迟量。3.根据权利要求2所述的远程控制系统，其特征在于：所述控制装置当用根据所述偏差时间所求出的新延迟量更新所述延迟量时，将所述延迟量逐步更新为所述新延迟量。4.根据权利要求2所述的远程控制系统，其特征在于：在由所述传感器以及所述摄像装置在彼此对应的时机所获取的检测结果和所述拍摄图像的至少之一附加有表示彼此的相互关联的关联信息，所述控制装置根据所述关联信息从所接收到的所述检测结果以及所述拍摄图像中识别在彼此对应的时机所获取的所述检测结果和所述拍摄图像，求出所述偏差时间。5.根据权利要求4所述的远程控制系统，其特征在于：所述远程控制系统还包括图像处理装置，所述图像处理装置从所述摄像装置接收所述拍摄图像，处理所述拍摄图像，将处理后的所述拍摄图像发送给所述显示装置，所述图像处理装置从所述从属装置接收所述检测结果，将在与所述拍摄图像对应的时机所获取的所述检测结果作为所述关联信息附加在所述拍摄图像，将附加有所述检测结果的所述拍摄图像发送给所述显示装置，所述控制装置从所述显示装置接收附加有所述检测结果的所述拍摄图像，根据附加在所述拍摄图像的所述检测结果和从所述从属装置接收到的所述检测结果的比较，来求出所述偏差时间。6.根据权利要求5所述的远程控制系统，其特征在于：所述图像处理装置通过将在与所述拍摄图像对应的时机所获取的所述检测结果作为图像合成在所述拍摄图像，来将所述检测结果附加在所述拍摄图像，将合成有所述检测结果的所述拍摄图像编码，发送给所述显示装置，所述控制装置从由所述显示装置解码后的所述拍摄图像获取所述检测结果。7.根据权利要求1到权利要求6中任意一项所述的远程控制系统，其特征在于：所述控制装置作为所述动作控制，根据由用户对所述主装置的操作以及所述检测结果，控制所述从属装置的动作，且控制所述主装置的动作，以将作用在所述从属装置的反作用力提示给用户。8.根据权利要求7所述的远程控制系统，其特征在于：
所述传感器是力传感器。9.一种远程控制系统的控制方法，是包括主装置、从属装置、传感器、摄像装置和显示装置的远程控制系统的控制方法，所述主装置由用户操作，所述从属装置根据所述主装置的动作将作用施加在对象物体，所述传感器被设置在所述从属装置，检测所述从属装置的动作状态，所述摄像装置拍摄所述从属装置以及对象物体的至少一个的图像，所述显示装置显示由所述摄像装置拍摄的拍摄图像，且提供给操作所述主装置的用户，其特征在于：所述远程控制系统的控制方法包括根据所述传感器的检测结果来执行所述主装置以及所述从属装置的至少一个的动作控制的步骤和使所述动作控制延迟，以减少对于所述动作控制的、所述拍摄图像的由所述显示装置引起的显示时机的偏差的步骤。10.一种远程控制程序，是用于使计算机实现控制远程控制系统的功能的远程控制程序，所述远程控制系统包括主装置、从属装置、传感器、摄像装置和显示装置，所述主装置由用户操作，所述从属装置根据所述主装置的动作将作用施加在对象物体，所述传感器被设置在所述从属装置，检测所述从属装置的动作状态，所述摄像装置拍摄所述从属装置以及对象物体的至少一个的图像，所述显示装置显示由所述摄像装置拍摄的拍摄图像，且提供给操作所述主装置的用户，其特征在于：所述远程控制程序使计算机实现根据所述传感器的检测结果来执行所述主装置以及所述从属装置的至少一个的动作控制的功能和使所述动作控制延迟，以减少对于所述动作控制的、所述拍摄图像的由所述显示装置引起的显示时机的偏差的功能。

技术总结
本发明提供一种远程控制系统。远程控制系统(100)包括操作装置(2)、机器人(1)、接触力传感器(13)、摄像装置(71)、显示装置(8)和控制装置(3)，所述操作装置(2)由用户操作，所述机器人(1)根据操作装置(2)的动作来将作用施加在对象物体(W)上，所述接触力传感器(13)被设置在机器人(1)，检测机器人(1)的动作状态，所述摄像装置(71)拍摄机器人(1)以及对象物体(W)的至少一个的图像，所述显示装置(8)显示由摄像装置(71)拍摄的拍摄图像，且提供给操作操作装置(2)的用户，所述控制装置(3)根据接触力传感器(13)的检测结果来执行机器人(1)以及操作装置(2)的至少一个的动作控制。控制装置(3)使动作控制延迟，以减少对于动作控制的、拍摄图像的由显示装置引起的显示时机的偏差。像的由显示装置引起的显示时机的偏差。像的由显示装置引起的显示时机的偏差。


技术研发人员：东健太郎 莲沼仁志
受保护的技术使用者：川崎重工业株式会社
技术研发日：2021.11.25
技术公布日：2023/9/9