用于操纵器的关联过程和相关系统的制作方法

用于操纵器的关联过程和相关系统
1.本技术是2018年7月18日提交的题为“用于操纵器的关联过程和相关系统”的中国专利申请2018800228283的分案申请。
2.相关申请的交叉引用
3.本技术是2017年7月27日提交的美国临时专利申请号62/537,795和2017年8月29日提交的美国临时专利申请号62/551,702的非临时申请，并要求上述专利申请的优先权。每个上述申请的全部内容通过参考并入本文。
技术领域
4.本说明书涉及用于操纵器(例如，用于远程操作操纵器)的关联过程和相关系统。


背景技术：

5.机器人操纵器可以被操作以控制器械在工作空间中的运动。例如，这种操纵器可以用于执行非医疗程序和医疗程序。作为具体示例，远程操作外科手术操纵器可以用于执行微创外科手术程序。操作者可以使用用户控制系统来控制操纵器，该用户控制系统例如被无线地连接到或经由有线连接而被连接到远程操作操纵器。用户控制系统可以包括多个用户输入设备，使得每个远程操作的操纵器可以由用户控制系统的不同用户输入设备控制。因此，操作者可以使用用户输入设备独立地控制每个远程操作的操纵器。


技术实现要素：

6.在一个方面中，计算机辅助医疗系统包括远程操作的操纵器、用户输入系统、包括显示设备的用户输出系统以及配置成执行指令以执行操作的控制器。该操作包括在配对模式中并且响应于由用户输入系统生成的第一组信号，使得显示设备上显示的虚拟选择器相对于显示设备上显示的图像移动。图像表示由多个操纵器中的第一操纵器支撑的第一器械的位置和由多个操纵器中的第二操纵器支撑的第二器械的位置。操作进一步包括在配对模式中基于虚拟选择器相对于第一器械的表示位置的移动而将第一操纵器与用户输入系统的一部分相关联，并且在跟随模式中响应于用户对用户输入系统的一部分的操作，根据由用户输入系统生成的第二组信号来控制第一操纵器的运动。
7.在另一方面中，特征在于一种操作包括多个远程操作操纵器的计算机辅助医疗系统的方法。该方法包括使显示设备呈现：图像，该图像表示由多个操纵器中的第一操纵器支撑的第一器械的位置和由多个操纵器中的第二操纵器支撑的第二器械的位置；虚拟选择器，该虚拟选择器响应于由用户输入系统生成的第一组信号而相对于图像可移动。该方法进一步包括：在配对模式中，基于虚拟选择器相对于第一器械的表示位置的移动，将第一操纵器与用户输入系统的一部分相关联，并且在跟随模式中响应于用户对用户输入系统的一部分的操作，根据由用户输入系统生成的第二组信号来控制第一器械的运动。
8.在又一方面中，特征在于一种或多种非暂时性计算机可读介质。一种或多种非暂时性计算机可读介质存储指令，该指令可由处理设备执行并且在这样的执行时使得处理设
备执行操作。操作包括使显示设备呈现：图像，该图像表示由多个远程操作操纵器的第一操纵器支撑的第一器械的位置和由多个操纵器的第二操纵器支撑的第二器械的位置；和虚拟选择器，该虚拟选择器响应于由用户输入系统生成的第一组信号而相对于图像移动。操作进一步包括在配对模式中，基于虚拟选择器相对于第一器械的表示位置的移动，将第一操纵器与用户输入系统的一部分相关联，并且在跟随模式中响应于用户对用户输入系统的一部分的操作，根据由用户输入系统生成的第二组信号来控制第一操纵器的运动。
9.前述的优点可以包括但不限于下文和本文其他地方所述的那些优点。例如，用户输入系统的用户可操作部分和远程操作的操纵器之间的关联可以以对操作者来说直观的方式形成。操作者可以控制覆盖在工作空间的图像上的或以其他方式与工作空间的图像重叠的虚拟选择器，以启动用户可操作部分和特定远程操作的操纵器之间的关联，而不必与显示器上呈现的列表和信息交互，其中这些列表和信息不向操作者提供远程操作的操纵器的配置或相对姿态的感觉。具体地，通过控制虚拟选择器相对于表示由操纵器支撑的器械的工作空间的图像的位置，操作者可以直观地操作用户输入系统以关联用户可操作部分和远程操作的操纵器。
10.可以在配对模式期间提供人类可检测的反馈，使得操作者可以被告知设备(例如用户输入系统的用户可操作部分和要关联的操纵器)的状态和过程。例如，控制器可以生成指示用户可操作部分、操纵器或用户可操作部分和操纵器两者的关联状态的反馈。基于反馈，操作者可以启动尚未关联的设备的关联过程。另外，控制器可以在最终确定用户可操作部分和操纵器之间的关联之前生成指示建议的关联的反馈。这使得操作者能够对建议关联进行调整，从而在关联过程期间为操作者提供更大的控制。在一些实现方式中，人类可检测的反馈可以在进行关联之后被继续提供或新提供，并且指示用户输入系统的与特定操纵器相关联的部分，反之亦然。此外，控制器可以响应于用户输入或系统事件而解除用户输入设备或操纵器的关联。
11.尽管本文描述的一些示例通常涉及医疗程序和医疗器械，但是所公开的技术也适用于非医疗程序和非医疗器械。例如，本文描述的器械、系统和方法可以用于非医学目的，包括工业用途、一般机器人用途、非组织工件的操纵和/或美容改进。其他非外科手术应用包括用于从人或动物解剖结构移除的组织(不返回人或动物解剖结构)或用于人或动物尸体。
12.在附图和以下描述中阐述了本说明书中描述的主题的一个或多个实现方式的细节。根据说明书、附图和权利要求书，其他潜在的特征、方面和优点将变得显而易见。
附图说明
13.图1a是包括操纵器和控制台的系统的俯视图。
14.图1b是图1a的控制台的正视图。
15.图1c是可以代替图1a和图1b中所示的控制台的基于非控制台的用户输入和用户输出系统的俯视图。
16.图2是手术台上的操纵器和患者的前透视图。
17.图3a和图3b是在将用户输入系统的用户可操作部分与操纵器相关联的过程期间的显示设备的视图。
18.图4是用于执行操纵器关联过程的系统的框图。
19.图5示出了操纵器和用户输入系统的用户可操作部分之间的关联。
20.图6是示出操作用户输入系统以控制操纵器的过程的流程图。
21.图7a是示出将用户可操作部分与操纵器相关联的过程的流程图。
22.图7b-图7e是在将用户输入系统的用户可操作部分与操纵器相关联的过程期间的显示设备的视图。
23.图8a是示出优化在操纵器和用户输入系统的用户可操作部分之间形成的关联的过程的流程图。
24.图8b在左侧示出了用户输入系统和显示器械的显示设备，并且在右侧示出了支撑器械的操纵器的俯视图。
25.图9是示出重新取向用户输入系统的用户可操作部分的过程的流程图。
26.图10是计算机系统的示意图。
27.图11是操纵器系统的正视图。
28.图12是包括操纵器和运动检测系统的系统的俯视图。
29.图13是包括眼睛跟踪系统的控制台的正视图。
30.各附图中相同的附图标记和名称表示相同的元件。
具体实施方式
31.示例系统
32.参考图1a，环境10中的系统100包括操纵器系统101，操纵器系统101包括远程操作操纵器102a、102b、102c、102d(统称为操纵器102或远程操作操纵器102)。操纵器102被称为“远程操作操纵器”，因为它们可以由操作者104通过物理上分离的用户输入系统106进行远程操作。在一些实现方式中，操纵器102也可以通过与操纵器102自身的手动交互来直接控制。因此，在本技术中使用的“远程操作操纵器”包括仅可通过远程操作控制的操纵器，以及可通过远程操作和通过直接手动控制来控制的操纵器。操纵器102包括可以支撑器械(未示出)(例如外科手术和医疗器械)的可移动部分。可移动部分例如对应于操纵器102的远端112a、112b、112c、112d。
33.进一步参考图1b和图1c，图1b是图1a的控制台的正视图。图1c是可以代替图1a和图1b中所示的控制台的基于非控制台的用户输入和用户输出系统的俯视图。操作者104可以使用(例如包括显示设备)用户输入系统和用户输出系统来远程操作该操纵器102并监视由操纵器102支撑的器械。在一些示例中，诸如图1和图1b中所示的，独立控制台103b包括用户输入系统106b和用户输出系统。在所示的示例中，控制台103包括用户输入系统部分(诸如输入设备108a、108b)以及包括立体显示设备107b的用户输出系统。
34.在一些示例中，诸如图1c所示，可以使用基于非控制台的用户输入和输出系统113。在图1c所示的示例中，用户输入和输出系统113包括用户输入系统106c，其包括手持用户输入设备108c、108d。手持用户输入设备108c、108d是用户输入系统106c的一部分，其运动没有被连杆和关节物理约束到基座或控制台。用户输入系统106c还包括传感器系统109，其与用户输入设备108c、108d通信以检测用户输入。用户输入和输出系统113还包括用户输出系统，该用户输出系统包括在各种实现方式中提供单视场或3d图像的监视器型显示设备
107c。为了便于下面的说明，106用于指代一般的用户输入系统，106b和106c用于指代图1b、图1c中所示的特定示例。类似地，107通常用于表示包括用户输出系统的显示设备，而107b、107c用于表示图1b、图1c中所示的特定示例。
35.当系统100以跟随模式操作时，操作者104可以操作用户输入系统以生成一组用户输入信号以控制操纵器102的运动。图1b和图1c示出了与用户输入和输出系统一起物理定位的控制器110。然而，控制器110可以在物理上与用户输入和输出系统分离，并且经由通过有线或无线技术传输的电子信号与用户输入和输出系统通信。
36.在系统100的操作期间，在操纵器102正在被操作者104控制时，操作者104可以观看显示设备107以查看图像，例如二维图像或三维图像，该图像表示安装在操纵器102上的器械。例如，包括诸如摄像机的图像捕获设备的器械被安装到操纵器102中的一个。图像捕获设备生成安装到其他操纵器102的其他器械的远端部分的图像。在系统100的操作期间，操作者104可以使用在显示设备107上呈现的图像来监视器械的远端部分的姿态。
37.用户输入系统106例如无线地或使用有线连接而被连接到操纵器102。用户输入系统106包括可由操作者104操作以控制操纵器102的操作的多个不同部分。在一些情况下，这些用户可操作部分对应于不同的用户输入设备。在图1b和图1c中描绘的示例中，用户输入系统106包括可手动操作的用户输入设备(例如，108a、108b被示出用于106b，并且108c和108d被示出用于106c)(统称为用户输入设备108)，其对应于用户输入系统106的用户可操作部分并且可相对于操纵器102移动以控制操纵器102的移动。除了用户可操作部分外，用户输入系统106还可以包括其他用户输入设备，例如键盘、触摸屏、按钮、脚踏板等，在跟随模式中这些用户可操作部分被操作以控制操纵器102的移动或操纵器102的其他操作。这些其他用户可操作部分可以用于允许用户控制显示设备107，并且另外地允许用户控制系统100的其他操作。
38.如本文所述，响应于配对模式中的用户可操作部分的操作，系统100的控制器110(图1b和图1c中所示)可以将用户输入系统106的用户可操作部分与操纵器102中相应的操纵器关联。当相关联时，可以操作用户可操作部分以在跟随模式中控制相应的操纵器以执行操作，例如，医疗操作，外科手术，诊断操作等。
39.图2示出了操纵器系统101的示例。为简单起见，仅示出了操纵器系统101的操纵器102a、102b。在一些实现方式中，操纵器系统101包括单个操纵器或包括三个或更多个操纵器，例如，如图1a所描绘的四个操纵器102a、102b、102c、102d。
40.虽然关于操纵器102a、102b描述图2，但是图1a的操纵器102c、102d可以包括与关于操纵器102a、102b呈现的特征类似的特征。操纵器102a、102b、102c、102d可以彼此不同，因为不同的器械可以被安装到操纵器102a、102b、102c、102d。另外，操纵器102a、102b、102c、102可以在沿着手术台105的不同位置处由手术台105支撑。
41.操纵器102a、102b包括围绕工作空间114可移动的部分。例如，这些部分可以对应于围绕工作空间114可移动的操纵器102a、102b的远端112a、112b。远端112a、112b支撑器械116a、116b，使得当远端112a、112b围绕工作空间114移动时，器械116a、116b能够围绕工作空间114移动。在一些实现方式中，致动模块117a、117b可支撑在操纵器102a、102b的远端112a、112b。致动模块117a、117b被可移除地安装到操纵器102a、102b的远端112a、112b，并且包括一个或多个致动器，该一个或多个致动器可操作以生成器械116a一个或多个致动器
116b的插入和滚动运动。器械116a、116b可通过致动模块117a、117b插入，使得器械116a、116b被附连到致动模块117a、117b，致动模块117a、117b又被附连到操纵器102a、102b的远端112a，112b。
42.操纵器102a、102b包括动力关节118a、118b，其可以被驱动以使操纵器102a、102b的远端112a、112b围绕工作空间114移动。每个操纵器102a、102b包括多个动力关节118a、118b，其能够实现远端112a、112b在多个自由度上的运动，例如，操纵器102a、102b的远端112a、112b的俯仰运动、偏转运动和滚动运动。本文描述的器械和操纵器可以具有在实现方式中变化的一个或多个自由度。例如，一个或多个自由度包括操纵器的远端部分的偏转运动、操纵器的远端部分的俯仰运动、由操纵器支撑的器械的插入运动、器械的滚动运动、器械的末端执行器的偏转运动、器械的末端执行器的腕运动或器械的末端执行器的夹或握运动中的一个或多个。
43.系统100是计算机辅助系统。例如，控制器110可以控制系统100的操作并协调系统100的各种子系统的操作，各种子系统包括但不限于操纵器102、用户输入系统106和用户输出系统。虽然示意性地描绘为控制台103的控制器，但是在一些实现方式中，控制器110可以包括控制台103外部的一个或多个处理器，并且能够可操作以控制系统100的任何子系统，例如操纵器102和控制台103。
44.在一些示例中，控制器110可以控制动力关节118a、118b的致动器以及致动模块117a、117b的致动器的操作。当与操纵器102a、102b相关联的用户输入系统106的用户可操作部分由操作者104操作时，操纵器102a、102b的远端112a、112b并且因此器械116a、116b可围绕工作空间114移动。
45.在跟随模式中，操纵器的跟随件(follower)响应于引导件(leader)的移动而移动。跟随件的移动可以模仿引导件的移动。例如，对于具体的操纵器，引导件可以是用户输入设备108中的一个或多个，并且跟随件可以是操纵器的一个或多个部件。跟随件可以是操纵器的末端执行器、操纵器的远程中心或操纵器的一些其他部件。在一些示例中，在跟随模式中，远端112a、112b是跟随件。例如，动力关节118a、118b的致动器可以被控制以生成操纵器102a、102b的连杆围绕动力关节118a、118b的运动，从而重新定位操纵器102a、102b的远端112a、112b。远端112a、112b的运动模拟用户输入设备108的运动。在其他示例中，用户输入设备108在跟随模式中的运动可以使安装到远端112a或112b的器械从远端112a或112b弹出。在其他示例中，在跟随模式中，致动模块117a、117b可以被控制以生成器械116a、116b的插入运动或者致动器械116a、116b的末端执行器。
46.参见图1a、图1b、图1c和图2所示，在一些实现方式中，系统100是用于对患者120执行医疗程序的医疗系统。例如，系统100是可用于对患者120执行诊断的诊断系统。可替代地或另外，系统100是可用于对患者120执行外科手术的外科手术系统。
47.可以使用各种替代的计算机辅助远程操作器械116a、116b。例如，远程操作器械116a、116b可以是具有不同末端执行器的不同类型的手术器械。在一些情况下，器械116a、116b包括多个dof，例如但不限于滚动、俯仰、偏转、插入深度、夹爪的打开/闭合、订合钉输送的致动、电烧灼的激活和诸如此类。至少一些这样的dof中的运动可以由操纵器102a、102b的致动模块117a、117b生成，器械116a、116b选择性地耦连到这些致动模块。
48.如果器械116a、116b是医疗器械或外科手术器械，则可能的末端执行器包括例如
debakey镊子、微镊子，并且potts剪刀包括相对于彼此枢转以便限定一对末端执行器夹爪的第一和第二末端执行器元件。(包括手术刀和电灼烧探针的)其他末端执行器具有单个末端执行器元件。对于具有末端执行器夹爪的器械，通常通过挤压输入设备的抓握构件来致动夹爪。器械可以包括柔性轴，该轴可偏转以能够重新定位轴的远端。在一些情况下，器械116a、116b中的一个或多个包括图像捕获设备。具有图像捕获设备的器械的示例包括内窥镜、超声探头、荧光镜探针等。图像捕获设备可以捕获工作空间114中的其他器械的图像(如图2所示)，并且该图像可以呈现给操作者104以允许操作者104可视地监视工作空间114中的其他器械的位置。用户输入系统106的成对的用户可操作部分也可以用于控制末端执行器的致动。
49.图3a和图3b示出了显示设备107的示例。这些示例描绘了处于配对模式的显示设备107，其中显示设备107呈现器械116a、116b的表示图122a、122b并呈现虚拟选择器121。在配对模式中，操作者104操作用户输入系统106以重新定位(例如，平移或旋转)虚拟选择器121，以将支撑器械116a、116b的操纵器102a、102b与用户输入系统106(例如，用户输入设备108)的对应的用户可操作部分相关联。虽然图3a、图3b以及图4关于用户输入设备108的关联进行描述，但是在本文描述的其他实现方式中，用户输入系统的用户可操作部分的其他示例可以与操纵器102a、102b相关联。
50.转到图3a和图3b的示例，在显示设备107上呈现的图像被一个或多个图像捕获设备捕获。在一些示例中，如本文所述，图像捕获设备被耦连到安装到操纵器102之一的器械，以捕获被耦连到其他操纵器102(例如，操纵器102a、102b)的器械(例如，器械116a、116b)的图像。在一些示例中，图像捕获设备是环境10中的静止图像捕获设备，其捕获器械116a、116b的图像。
51.在图3a所示的示例中，显示设备107呈现包括器械116a、116b的表示图122a、122b的图像。表示图122a、122b分别表示由操纵器102a支撑的器械116a的位置和由操纵器102b支撑的器械116b的位置。
52.表示图122a、122b可以是由成像系统(例如内窥镜)捕获的图像的一部分。在显示设备107上呈现的捕获图像与成像系统捕获的图像相比没有变化。在其他示例中，表示图122a、122b是由成像系统捕获的图像的一部分，但是然后以某种方式改变。例如，可以改变图像以包括突出显示、边缘找寻、覆盖文本、覆盖图形或其他指示符。在进一步的示例中，表示图122a、122b是部分或全部由传感器信息(例如，由本文所述并在图4中示出的传感器系统200收集的信息)构成的合成图像的一部分。例如，传感器信息可以包括从形状感测传感器收集的信息或用于操纵器102a、102b的关节和连杆的其他运动学信息。
53.在图像是二维图像的实现方式中，图像中的器械116a、116b之一的表示位置可以是图像中的单个点、图像中的一组点或者图像中的二维区域。在图像是三维图像的实现方式中，器械116a、116b之一的表示位置可以是图像中的单个点、图像中的一组点、图像中的二维区域或者图像中的三维体积。对于三维图像，可以使用两个或更多个图像捕获设备或具有深度感测或立体镜配置的图像捕获设备来捕获图像以形成显示设备107上所示的表示图。
54.图像中的器械116a、116b的表示图122a、122b指示器械116a、116b在器械116a、116b的工作空间114(图2中示出)中的相对姿态，例如方位、取向或两者。在一些示例中，图
像是由耦连到工作空间中的另一个器械的图像捕获设备捕获的数字图像，并且表示图122a、122b因此对应于捕获的数字图像的部分。可替代地或另外地，图像是基于由图像捕获设备捕获的图像生成的渲染。在这种情况下，表示图122a、122b对应于该渲染中表示器械116a、116b的相对姿态的图形指示符或部分。
55.虚拟选择器121是图形指示符。虚拟选择器121在图3a中具有大致箭头三角形的形状；在其他实现方式中，虚拟选择器121可以具有任何适当的形状，包括诸如圆形的对称形状。在一些实现方式中，虚拟选择器121是覆盖在由显示设备107呈现的二维或三维图像上的二维虚拟选择器。在一些实现方式中，虚拟选择器121是覆盖在由显示设备107呈现的三维图像上的三维虚拟选择器。在一些实现方式中，虚拟选择器121表示二维或三维刚性主体。在一些实现方式中，虚拟选择器121表示与允许内部自由度的一个或多个关节耦连的部件的柔顺主体或组装件。在一些实现方式中，除了由其几何形状限定之外或代替由其几何形状限定，虚拟选择器121还由着色、图案、闪烁光或其他图形属性来限定。与虚拟选择器的几何形状类似，此图形属性可以是对称的或非对称的。在其他实现方式中，虚拟选择器是增强现实元素。例如，虚拟选择器可以是覆盖在环境的一部分上的图形指示符。
56.虚拟选择器121的位置(包括通过虚拟选择器121的运动的位置变化)、取向、或位置和取向的组合可由操作者104通过用户输入系统106的操作来控制。虚拟选择器121具有相对于由显示设备107呈现的图像的多个运动自由度。虚拟选择器121的自由度允许虚拟选择器121在由图像表示的空间(例如，二维空间或三维空间)中可移动。在一些实现方式中，虚拟选择器121包括少于六个自由度，例如，三维空间中没有滚动的五个自由度、二维空间中的三个自由度(平移和旋转)、二维空间中没有旋转的两个自由度等。
57.当图像和表示图122a、122b是三维表示图时，虚拟选择器121可以在图像中表示的三维空间中可平移和旋转。在一些示例中，虚拟选择器121具有六个自由度，包括三个平移自由度(例如，沿第一轴线的水平移动、沿第二轴线的水平移动以及竖直移动)和三个旋转自由度(例如，偏转、俯仰、滚动)。
58.在一些实现方式中，在显示设备107上呈现的图像可以对应于工作空间(包括器械116a、116b)的二维投影，该投影基于由二维数字图像捕获设备捕获的图像形成。在显示设备107上呈现的图像表示二维空间中的器械116a、116b(例如，表示图122a、122b是器械116a、116b的二维表示图)。虚拟选择器121的自由度可移包括两个平移自由度和两个旋转自由度。
59.控制器110被配置为在配对模式中操作显示设备107以呈现虚拟选择器121，以便用户选择与特定用户输入设备相关联的操纵器(例如，操纵器102中的一个)。控制器110可以在任何适当的情况下操作显示设备107。例如，控制器可以直接驱动显示设备107并且提供用于渲染图像的逐像素指令。作为另一示例，控制器110可以为显示设备107的显示控制器提供一个或多个图像以进行渲染、混合或者混合和渲染。作为另一示例，控制器110可以向协处理器或显示处理系统提供指示以确定要显示的图像，并且协处理器或显示处理系统将操作显示设备107以显示这样的图像。
60.响应于操作者104对用户输入系统106的操作，虚拟选择器121可重新定位和/或重新取向，以形成特定操纵器和特定用户输入设备之间的关联。特别地，操作器104控制虚拟选择器121相对于器械116a、116b的表示图122a、122b的位置和/或取向，以选择操纵器102
中的一个用于关联。
61.当操作者104操作用户输入系统106时，响应于由用户输入系统106生成的用户输入信号，控制器110生成控制信号以使显示设备107重新定位虚拟选择器121。用户输入信号可以是基于操作者意图以一个或多个自由度移动虚拟选择器121而生成。在一些实现方式中，控制器110接收指示多个自由度的移动的用户输入信号，并且生成控制信号以使虚拟选择器121沿多个自由度的子集移动。例如，虚拟选择器121在多个自由度中的一个或多个中的重新定位可能对操作者104不可见。如果图像是在显示设备107上呈现的二维图像并且显示设备107仅呈现二维图像，多个自由度的子集可以包括水平平移自由度和竖直平移自由度。多个自由度的该子集排除了另一个水平平移自由度，其中虚拟选择器121以另一个水平平移自由的运动将不会被表示在显示设备107上。
62.在一些情况下，虚拟选择器121是轴对称的，例如，关于几何形状、图形属性或两者是轴对称的。例如，虚拟选择器121是锥形、箭头、棱柱或其他轴对称形状。在一些实现方式中，虚拟选择器121关于一个、两个或更多个轴线是轴对称的。通过轴对称，虚拟选择器121不会由于围绕特定轴线的旋转而看起来被重新定位。在这方面，多个自由度的子集可以包括三个可用旋转自由度中的一个或两个。多个自由度的该子集排除了关于轴线的旋转自由度，其中虚拟选择器121关于该轴线是轴对称。
63.图3a和图3b示出了将器械116a、116b或其对应的操纵器102a、102b(图2中示出)与用户输入装置108(图1b和图1c中所示)相关联的过程。当启动配对模式时，操作者104操作用户输入系统106以选择与操纵器相关联的用户输入设备。例如，操作者104选择用户输入设备108a、108b中的一个。在启动配对模式之后，参考图3a所示，显示设备107在不满足将用户输入设备与操纵器相关联的关联条件的初始位置处呈现虚拟选择器121。例如，在虚拟选择器121的接近(例如，图形接近)是关联条件的实现方式中，初始位置不接近显示设备107上呈现的器械116a、116b的表示图122a、122b。
64.然后，操作者104操作用户输入系统106以控制虚拟选择器121的位置并且相对于图像重新定位虚拟选择器121。虚拟选择器121的这种重新定位可以由操作者104以某种方式控制，以选择器械116a、116b的表示图122a、122b中的一个并且因此选择操纵器102a、102b中的一个以与所选择的用户输入设备相关联。响应于用户输入系统106的操作，用户输入系统106生成用于控制虚拟选择器121的方位的一组信号。具体地，该组信号使得显示设备107重新定位虚拟选择器121。例如，控制器110处理该组信号以确定虚拟选择器121应相对于图像移动；然后，控制器110使显示设备107重新定位虚拟选择器121。
65.为了选择与所选用户输入设备相关联的操纵器102a，以如下方式控制显示设备107，即使得呈现的虚拟选择器121相对于图像重新定位到靠近表示图122a的位置的位置。基于虚拟选择器121相对于器械116a的表示位置的重新定位，支撑器械116a的操纵器102a与用户输入设备相关联。响应于虚拟选择器121相对于器械116a的表示位置的重新定位满足关联条件，控制器110在操纵器102a和用户输入设备之间形成关联。
66.在一些实现方式中，对用户输入设备的输入可以重新定位虚拟选择器121但是不能重新取向虚拟选择器121。在其他实现方式中，对用户输入设备的输入可以重新定位和重新取向虚拟选择器121；虚拟选择器121的重新取向可以使用与上面重新定位虚拟选择器121所描述的类似技术来实现。
67.在一些实现方式中，在将操纵器与用户输入设备相关联中使用的关联条件不包括虚拟选择器121的取向。在其他实现方式中，在将操纵器与用户输入设备相关联中使用的关联条件包括虚拟选择器121的取向。
68.作为与取向相关的关联条件的实现方式的一个示例，关联条件包括第一条件和第二条件。第一条件对应于虚拟选择器121接近表示图122a的位置，并且第二条件对应于虚拟选择器121朝向表示图122a取向(例如，虚拟选择器121具有如图3a所示的顶点或点使得穿过顶点的纵向轴线穿过表示图122a)。
69.所讨论的以下示例中的许多示例集中于与基于位置或运动的关联条件相比改变虚拟选择器121的方位(例如，位置)以及虚拟选择器121的方位或平移运动。然而，类似于图3a的示例，本公开中讨论的其他示例也可以用包括或不包括取向考虑的关联条件来实现。
70.参考图3b所示，关联条件对应于虚拟选择器121与呈现的图像中的限定器械116a的表示位置的区域重叠。用户输入系统106被操作，使得虚拟选择器121被重新定位到靠近器械116a的表示位置的位置，以满足该关联条件。在一些示例中，参考图3b所示，由器械116a的表示位置限定的区域对应于由呈现的图像中的表示图122a占据的范围。可替代地或另外地，该区域由器械116的远侧部分在呈现的图像中的表示位置或器械116a的末端执行器在呈现的图像中的表示位置限定。在示例关联过程中，虚拟选择器121从其在图3a中所示的位置重新定位到其在图3b所示的位置，在图3b中，虚拟选择器121与表示图122a占据的范围重叠。虚拟选择器121和该范围之间的重叠对应于将器械116a与用户输入设备相关联的关联条件。在这方面，当虚拟选择器121被重新定位以实现该重叠时，关联条件得到满足。当关联条件得到满足时，控制器110操作显示设备107以呈现成功指示符133。
71.在一些实现方式中，控制器110在关联过程期间呈现视觉反馈。例如，在一些实现方式中，控制器110呈现与表示图122a重叠或接近表示图122a时的颜色、数字、文本、图形或一些其他视觉指示符以指示关联状况或者建议关联。作为具体示例，当启动配对模式时，表示图122a附近的绿灯或闪烁的“o”可以指示器械116a(及其操纵器102a)处于非关联状态，并且红灯或稳定呈现(不闪烁)的“o”可以指示器械116a(及其操纵器102a)处于关联状态。在某些情况下，黄灯或闪烁或稳定呈现的“x”可以提供视觉警告。
72.在一些实现方式中，控制器110引起指示关于用户输入设备108与操纵器102的状况的附加信息的视觉反馈。在一些实现方式中，视觉反馈指示推荐哪个用户输入设备与哪个操纵器相关联、或者指示在确认后哪个用户输入设备将与哪个操纵器相关联。作为一个示例，在建议用户输入设备108a和器械116a(或其操纵器102a)彼此关联，或者在确认后将与哪个操纵器相关联时，虚拟选择器121和表示图122a都可以闪烁匹配的、相似的或相同的：颜色、数字、文本、图形、闪烁序列或其他视觉反馈。
73.在一些实现方式中，控制器引起指示哪个用户输入设备已经或当前与哪个器械或操纵器相关联的视觉反馈。作为一个示例，在用户输入设备108a与器械116a(或其操纵器102a)相关联之后，控制器110可以稳定地呈现颜色、数字、文本、图形图案或指示在器械适当表示图附近的关联的其他视觉反馈。在各种实现方式中，颜色、数字、文本、图形或其他文本反馈的这种稳定呈现可以持续在该用户输入设备与该器械相关联的整个持续时间。
74.在图3b所示的示例中，控制器110已使关联指示符128b(显示为字母“l”)看起来与表示图122a重叠，以指示器械116a与由“l”标识的输入设备的关联状况。可以在用户输入设
备108a与器械116a相关联的部分或整个持续时间内呈现关联指示符128b。
75.关于图7a到图7e描述关联条件的其他示例。
76.参考图4，并且如本文所述，用于执行关联过程的系统100的示例包括操纵器系统101、控制器110、用户输出系统202和用户输入系统106。虽然参考图1、图2、图3a和图3b被描述为包含四个操纵器，但在一些实现方式中，如图4所示，操纵器系统101可以包括任何数量的操纵器。例如，操纵器系统101包括n个操纵器(例如，操纵器1至操纵器n，统称为操纵器102)。类似地，尽管参考图1、图2、图3a和图3b被描述为包括两个用户输入设备，但在一些实现方式中，如图4所示，用户输入系统106包括用户输入系统106的任意数量的用户输入设备或用户可操作部分。例如，用户输入系统106包括m个用户输入设备(例如，用户输入设备1到用户输入设备m，统称为用户输入设备108)。用户输入设备108的示例包括：操纵杆、触摸屏、手套、脚踏板、触摸屏或手持遥控器。
77.在一些实现方式中，系统100包括传感器系统200。传感器系统200包括可操作以检测用户输入设备108的移动的传感器。传感器系统200可以检测用户输入设备108和操纵器102在环境10内的姿态，例如方位、取向或方位和取向两者。传感器系统200的传感器包括例如红外传感器、超声传感器、图像捕获设备、加速度计、方位编码器、光学传感器或用于检测操纵器102和用户输入装置108的运动和姿态的其他适当传感器。
78.用户输出系统202向操作者104提供人类可感知的反馈，并且包括显示设备107。用户输出系统202提供的反馈可以包括在关联过程期间或在跟随模式期间提供的反馈，以向操作者104提供分别用于控制虚拟选择器121或用于控制操纵器102的引导。此外，用户输出系统202可操作以在配对模式期间(例如，在显示设备107上)呈现虚拟选择器121，以使操作者104能够选择彼此关联的用户输入设备和操纵器。在一些实现方式中，用户输出系统202和用户输入系统106对应于控制台103。
79.系统100还可以包括存储器存储元件204。存储器存储元件204可以存储指示在操纵器102和用户输入设备108之间形成的关联的数据。控制器110可以检索这些存储的数据以确定用户输入设备或者操纵者处于关联状态还是非关联状态。参考图5，操纵器102和用户输入设备108相关联，使得每个用户输入设备108与不同的操纵器102相关联。结果，用户输入设备108可以由操作者104控制，使得相关的操纵器可以被独立地控制。在一些情况下，每个操纵器102与用户输入设备108中的对应一个相关联。结果，每个操纵器102可以通过使用用户输入设备108来控制。
80.示例过程
81.参考图6，关于本文描述的系统100呈现包括关联过程和跟随过程的过程600。过程600由用户输入系统106和用户输出系统202、操纵器系统101、控制器110、系统100的其他部分(例如，控制台103、系统113)或前述组合来执行。在操作601处，启动配对模式以将用户输入系统106的一个或多个用户可操作部分与操纵器系统101的一个或多个操纵器相关联。在操作602处，执行关联过程以将特定操纵器与用户输入系统106的特定用户可操作部分相关联。特定操纵器和特定用户可操作部分都可以由操作者104选择。进一步操作和操作601和操作602的子操作的示例参考图7a到图7e、图8a、图8b和图9进行描述。
82.在操作603处，启动跟随模式，使得在跟随过程中，可以响应于用户可操作部分的操作来控制操纵器。在一些实现方式中，在跟随模式中，操作602处的与用户可操作部分相
关联的操纵器可以响应于操作者104对用户可操作部分的操作而移动。响应于用户可操作部分的操作，用户输入系统106生成一组用户输入信号以控制操纵器的方位。然后，控制器110基于该组用户输入信号生成对应的一组控制信号。该组控制信号被发送到操纵器以移动(例如，在配对模式期间)与用户可操作部分相关联的操纵器。这导致操纵器和安装在操纵器上的器械移动。在这方面，用户可操作部分和操纵器形成主从系统(或引导件-跟随件系统)，其中用户可操作部分是引导件设备并且操纵器是跟随件设备，从而使得操纵器能够通过用户可操作部分的操作而被远程操作。如果系统100是外科手术系统，则可以控制由操纵器支撑的器械以对患者执行外科手术操作。
83.图7a示出了将用户输入系统106的特定用户可操作部分与操纵器系统101的特定操纵器相关联的关联过程700的示例。例如，在参考过程600描述的操作601和602期间执行过程700。
84.图7a的操作701-703示出了用于启动配对模式的示例设置操作。在过程700的操作701处，操作者104操作用户输入系统106以启动配对模式。例如，用户输入系统106包括专用于配对模式的初始化的用户可操作部分，并且操作者104操作专用的用户可操作部分以初始化配对模式。该专用的用户可操作部分可以对应于当由操作者104手动操作时启动配对模式的按钮。在操作702处，用户输入系统106将信号发送到控制器110以启动配对模式。在操作703处，控制器110启动配对模式。
85.一旦处于配对模式，选择特定的用户可操作部分进行关联。例如，操作者104操作用户输入系统106以选择用户可操作部分。可替代地，控制器110自动选择用户可操作部分中的一个进行关联。在配对模式中，操作者104进一步提供关联意图以将特定用户可操作部分与特定操纵器相关联。另外，向操作者104提供反馈，使得操作者104可以被告知操纵器系统101的操纵器和用户输入系统106的用户可操作部分的状态。操作704-713示出在配对模式期间发生的操作的示例。
86.在一些实现方式中，在操作703处启动配对模式之后，在操作704处，控制器110发送信号以向操作者104提供关联指示符。信号可以被发送到用户输出系统202。用户输出系统202呈现关联指示符以指示操纵器系统101的每个操纵器的关联状态。
87.图7b示出了可以在操作703处提供的视觉反馈的示例。视觉反馈包括用于提供指示操纵器102a、102b(未示出)的关联状态的信息的关联指示符。操纵器102a、102b的关联状态可以是非关联的或关联的，其中非关联状态指示操纵器未与用户可操作部分相关联，而关联状态指示操纵器已经与用户可操作相关联。
88.参考图7b，显示设备107可以呈现视觉反馈，视觉反馈包括支撑器械116a的操纵器102a的状态指示符132a和支撑器械116b的操纵器102b的状态指示符132b。状态指示符132a、132b被定位在器械116a、116b的表示图122a、122b的远侧部分附近。状态指示符132a指示操纵器102a处于非关联状态，而状态指示符132b指示操纵器102b处于关联状态。状态指示符132a、132b可以在视觉上向操作者104通知操纵器102a、102b的关联状态，使得操作者104可以鉴于操纵器102a、102b的关联状态来提供关联意图。
89.回到图7a，在操作705处，操作者104操作用户输入系统106以提供关联意图。例如，用户输入系统106生成用于控制虚拟选择器121的方位(例如，位置)和/或取向的一组用户输入信号。响应于用户输入系统106的操作生成该组用户输入信号。以下讨论集中于控制虚
拟选择器121的方位。在还控制虚拟选择器121的取向的实现方式中，可以使用类似的过程来取向和重新取向虚拟选择器121。
90.在一些实现方式中，操作器104操作用户输入系统106的用户可操作部分以生成该组信号。被操作的用户可操作部分可以对应于要与操纵器配对的特定用户可操作部分。在其他实现方式中，用户输入系统106包括专用于由操作者104使用以引起虚拟选择器121的重新定位的用户可操作部分。在这方面，被操作以控制虚拟选择器121的方位和取向的用户可操作部分可以不同于能够与操纵器相关联的用户可操作部分。
91.在操作706处，响应于由用户输入系统106生成的一组用户输入信号，控制台103的用户输出系统202相对于用户输出系统202呈现的图像来重新定位虚拟选择器121(关于图3a和图3b描述)。例如，控制器110响应于该组用户输入信号生成一组控制信号，并且将该组控制信号发送到用户输出系统202，以控制虚拟选择器121的方位和取向。
92.虚拟选择器121的重新定位可以以多种方式发生。在一些实现方式中，虚拟选择器121可响应于由用户输入系统106生成的一组信号而相对于图像移动。虚拟选择器121响应于该组信号而沿着连续路径从第一方位移动到第二方位。例如，用户可操作部分包括诸如操纵杆的用户输入设备，并且虚拟选择器121响应于操纵杆的手动操纵而相对于图像移动。用户输出系统202在显示设备107上呈现虚拟选择器121，使得当由操作者104观看时，虚拟选择器121看起来横穿显示设备107平移。类似地，虚拟选择器121可响应该组信号而移动通过第一取向和第二取向之间的取向。在这方面，虚拟选择器121看起来连续旋转。
93.在一些实现方式中，虚拟选择器121不是相对于图像横穿显示设备107移动，而是在显示设备107上从显示设备107上的第一方位重新定位到第二方位，并且不沿着从第一方位到第二方位的路径移动。可替代地或另外地，虚拟选择器121在显示设备107上从第一取向重新定位到第二取向，而不从第一取向连续旋转到第二取向。用户输入系统106被操作以在例如重新定位虚拟选择器121的第二方位或第二取向之后选择虚拟选择器121的位置或取向。例如，用户输入系统106可以包括触摸屏，并且操作者104通过触摸触摸屏的一部分来选择位置。响应于该选择，显示设备107以第二方位或第二取向呈现虚拟选择器121，而在第一方位和第二方位之间或第一取向和第二取向之间没有虚拟选择器121的任何移动。
94.回到图7a，在操作707处，控制器110确定虚拟选择器121的重新定位是否满足关联条件。关联条件可以在实现方式之间变化。关联条件可以包括虚拟选择器121的方位的条件，虚拟选择器121的取向的条件，或虚拟选择器121处于特定方位或区域内的时间量。而且，如结合图3a所讨论的那样并且可应用于本文公开的各种示例，关联条件可以包括基于虚拟选择器121的取向的条件。
95.在一些实现方式中，参考图7c，将器械116a与用户可操作部分相关联的关联条件对应于虚拟选择器121被重新定位到器械116a的表示图122a上的或附近的位置。在一些情况下，显示设备107呈现靠近表示图122a、122b的可选择指示符121a、121b。在一些情况下，可选择指示符121a、121b不与表示图122a、122b重叠。当虚拟选择器121被重新定位在可选择指示符121a、121b中的一个上或其附近时，满足关联条件。例如，虚拟选择器121与可选择指示符121a重叠以满足用于将用户可操作部分与操纵器102a相关联的关联条件，或者虚拟选择器121与可选择指示符121b重叠以满足用于将用户可操作部分与操纵器102b相关联的关联条件。
96.在一些实现方式中，参考图7d，将操纵器102a与用户可操作部分相关联的关联条件对应于虚拟选择器121位于围绕表示图122a的区域123a内。例如，区域123a包括以下组合：(i)图像中的由表示器械116a的末端执行器的表示图122a的一部分124覆盖的范围和(ii)图像中的围绕该部分124的范围。因此，虚拟选择器121可以触发与操纵器102a的关联，而不与图像中的由表示图122a覆盖的范围重叠。
97.在一些实现方式中，区域123a由到表示图122a上的特定点的预定距离来限定。例如，特定点可以是由表示图122a覆盖的范围的形心(centroid)、由表示图122a的一部分124覆盖的范围的形心、或沿着表示图122a的另一点。可替代地或另外地，区域123a是具有预定义大小并且界定表示图122a或界定表示图122a的一部分124的形状。区域123a的形状可以是例如矩形、圆形、卵形或其他合适的形状。
98.当虚拟选择器121被重新定位到区域123a中时，可以立即满足关联条件。在一些实现方式中，在认为满足关联条件之前，控制器110进一步要求虚拟选择器121在区域123a内定位预定义的时间段，例如0.5秒至2秒。在一些实现方式中，控制器110进一步要求虚拟选择器121在区域123a内基本静止预定时间段。
99.在一些实现方式中，当虚拟选择器121在配对模式期间正被重新定位时，控制器110向操作者104提供反馈。控制器110响应于虚拟选择器121的重新定位而提供反馈。例如，参见图7d，虚拟选择器121被重新定位到靠近表示图122a的区域125a中。例如，区域125a围绕表示图122a以及区域123a。因此，区域125a至少包含表示图122a的一部分124。
100.在一些实现方式中，满足关联条件的虚拟选择器121的重新定位对应于虚拟选择器121朝向器械116a的表示图122a的移动。例如，当虚拟选择器121的速度或加速度由与器械116a或区域123a的表示位置相交的矢量限定时，满足关联条件。
101.图7e示出了在虚拟选择器121被重新定位在区域125a内之后通过显示设备107提供给操作者104的视觉反馈的示例。响应于虚拟选择器121被重新定位到区域125a中，显示设备107呈现信息框126，例如提示框，其包括关于器械116a和操纵器102a的信息，包括器械116a的类型127和操纵器102a的关联状态128。关联状态128可以包括关于关联状况的任何适当数量的信息。在一些实现方式中，关联状态128仅指示“关联”或“非关联”。在一些实现方式中，关联状态128指示器械116a与哪个输入设备相关联。在图7e所示的示例中，关联状态128指出状态与输入设备“l”“相关联”，并且补充有覆盖或靠近表示图122a的关联指示符128b(“l”)。
102.关联状态128和关联指示符128b可以由颜色、数字、文本、图形模式或其他视觉反馈中的任何一个或组合来指示。在输入设备108包括诸如灯或显示器的视觉反馈设备的一些实施例中，输入设备还可以呈现匹配的、类似的或相同的颜色、数字、文本、图形或其他视觉反馈，如用于关联器械的表示图的那些视觉反馈。在各种实现方式中，关联指示符128b被呈现长达用户输入设备108a与器械116a相关联的部分或整个持续时间。
103.如图7e的示例中，器械116a是切割器，并且操纵器102a的关联状态是非关联状态。随着虚拟选择器121接近表示图122a，显示设备107还被操作以提供器械116a的放大表示图129。放大的表示图129可以向操作者104提供视觉确认，即器械116a是用于与用户可操作部分相关联的期望器械。操作者104可以通过放大表示图129更容易地识别器械116a。
104.还可以呈现虚拟选择器121的放大表示图130，使得操作者104可以通过监视放大
表示图130相对于放大表示图129的移动来监视虚拟选择器121相对于表示图122a的移动。这些放大表示图129、130通过使用虚拟选择器121向操作者104提供用于选择的更大目标，而使选择器械116a更容易。
105.回到图7d所示，在一些实现方式中，虚拟选择器121可重新定位到区域123b中以与器械116b相关联。区域123b可以具有与区域123a的特征类似的特征。类似地，虽然将虚拟选择器121重新定位到用于器械116a的区域125a中被描述为触发将要被提供给操作器104的反馈，但是在一些实现方式中，虚拟选择器121被重新定位到区域125b中以触发要提供的反馈。虚拟选择器121的移动可以触发提供与器械116b相关的反馈。
106.在一些实现方式中，仅当用户输入系统的用户可操作部分处于非关联状态时，控制器110才将操纵器与用户可操作部分相关联。回到图7a，在控制器110确定虚拟选择器121的重新定位满足特定操纵器的关联条件之后，在操作708处，控制器110确定操纵器的关联状态。控制器110确定操纵器是否处于非关联状态。例如，控制器110可以访问存储器存储元件204(图4中所示)以确定操纵器的关联是否已经被存储在存储器存储元件204上。如果操纵器不处于非关联状态，例如，如果处于关联状态，则操作器104在操作709处确认将向操纵器提供新关联或者指示操纵器应维持所存储的关联。如果操作者104指示操纵器应该维持所存储的关联，则操作者104在操作705处操作用户输入系统以提供另一个关联意图以选择操纵器中的另一个。
107.如果操作者104确认将要提供新的关联，则控制器110可以移除存储的操纵器关联。如果在操作709处确认要为操纵器创建新关联或者如果在操作708处确定操纵器处于非关联状态，则控制器110在操作710处请求用户确认在用户可操作部分和操纵器之间的关联。例如，控制器110将表示确认请求的数据发送到用户输出系统202。
108.在操作711处，操作者104提供关联的确认。在一些实现方式中，操作者104可以通过操作用户输入系统106来提供该确认。例如，操作者104可以使虚拟选择器121移动到显示设备107上呈现的预定义区域以确认关联。预定义区域可以对应于在显示设备107上呈现的可选择按钮。
109.在操作712处，在接收到关联的确认之后，控制器110将关联存储在例如存储器存储元件204中。然后，控制器110在操作713处提供成功信号。例如，用户输出系统202被操作以提供指示操纵器和用户输入元件之间的关联成功的人类可感知信号。人类可感知的成功信号可以对应于关于图3b描述的成功指示符133。
110.虽然关于将单个用户可操作部分与单个操纵器相关联进行描述，但是在一些实现方式中，可以重复操作704-713以将用户输入系统106的其他用户可操作部分与操纵器系统101的其他操纵器相关联。系统100可以保持配对模式，直到操作者104操作用户输入系统106以提供指示启动跟随模式(例如，启动操作603)的输入。在跟随模式中，已经与操纵器关联的用户可操作部分可以被操作者104操作以控制操纵器的移动。
111.在一些实现方式中，控制器110可以提供推荐以优化在操纵器和用户可操作部分之间形成的关联。图8a的过程800示出了提供这种推荐的示例过程。在启动配对模式之后启动过程800。在启动配对模式后，在操作801处，用户输入系统106发送指示用户输入系统106的用户可操作部分的姿态(例如，环境10中的用户可操作部分的姿态(图1a中示出))的信号。在操作802处，操纵器系统101将指示操纵器系统101的操纵器的姿态的信号发送到控制
器110。在操作803处，控制器110从用户输入系统106和操纵器系统101接收这些信号。在一些实现方式中，传感器系统200检测用户可操作部分、操纵器或两者的姿态，并且将这些信号发送到控制器110。此外，控制器110进一步接收指示(例如，在操纵器102c上支撑的器械上的)图像捕获设备的方位和取向的信号。
112.控制器110接收信号并且使用运动学建模来确定操纵器102a、102b的方位和取向、器械116a、116b的方位和取向、以及图像捕获设备的方位和取向。在一些情况下，一个或多个信号由操纵器(例如，操纵器102a、102b和安装有图像捕获设备的操纵器)的传感器或器械(例如，器械116a、116b，和图像捕获设备)的传感器生成。操纵器的传感器包括例如加速度计、陀螺仪、编码器或与操纵器102a、102b的关节相关联的其他传感器。器械的传感器包括例如通过器械的轴的形状传感器。可替代地，基于来自光学传感器(例如，图像捕获设备)的一个或多个信号来确定操纵器的方位和取向和/或器械的方位和取向。操纵器或器械配备有光学传感器可检测的光学基准。
113.在操作804处，基于所接收的信号，控制器110确定操纵器系统101的操纵器与用户输入系统106的用户可操作部分之间的最佳关联。图8b示意性地描绘了显示设备107和用户输入设备108的相对方位。在该示例中，用户输入设备108对应于关于图8a描述的用户可操作部分。器械116a的表示图122a出现在显示设备107上呈现的图像的左侧，而器械116b的表示图122b出现在图像的右侧。当器械116a、116b出现在显示设备107上时，为了给操作者104提供对器械116a、116b的直观控制，控制器110提供将(在操作者104的左手中的)用户输入设备108a与在图像的左侧表示的器械116a相关联的推荐。此外，控制器110提供将(在操作者104的右手中的)用户输入设备108b与在图像的右侧表示的器械116b相关联的推荐。
114.回到图8a所示，控制器110可以基于指示这些设备的姿态的信号来确定用户可操作部分和操纵器102a、102b的相对方位和取向。可替代地，在一些实施方案中，控制器110确定用户可操作部分相对于由操纵器102a、102b支撑的器械116a、116b的方位和取向。控制器110可以确定器械116a、116b的相对姿态，如它们在显示设备107上操作者104显现的那样。控制器110可以基于这些相对姿态来确定用户可操作部分和操纵器102a、102b之间的关联推荐。在各种实现方式中，推荐可以包括针对用户输入设备(例如，108a、108b)的子集或全部和操纵器(102a、102b)的子集或全部的推荐关联。而且，在各种实现方式中，推荐可以指示特定关联的推荐程度，诸如：用户输入设备和操纵器之间(例如，在用户输入设备108a和保持器械116a的操纵器之间)的更推荐的关联、用户输入设备和操纵器之间(例如，在用户输入设备108a和保持图像中未示出的器械的操纵器之间)的较不推荐的关联、或者用户输入设备和操纵器之间(例如用户输入设备108a和保持器械116b的操纵器)的不推荐的关联。
115.在一些实现方式中，控制器110不接收用于确定推荐的用户可操作部分的方位和取向。用户可操作部分可以被配置成使得用户可操作部分具有相对于彼此的固定方位和取向。在这方面，控制器110可以基于操纵器102a、102b相对于彼此的方位和取向或者基于器械116a、116b相对于彼此的方位和取向来提供推荐。
116.在控制器110确定最佳关联之后，控制器110在操作805处给操作者104提供指示最佳关联的信号。例如，控制器110控制用户输出系统202以提供适当的信号以引导操作者104在操纵器102a、102b与用户可操作部分之间形成最佳关联。例如，显示设备107可以被操作以向操作者呈现用于形成在操作804处确定的最佳关联的推荐。当选择特定用户可操作部
分进行关联时，控制器110可以使显示设备107呈现将特定用户可操作部分与推荐操纵器相关联的推荐。回到图8b的示例，当选择用户输入设备108a进行关联时，虚拟选择器121被呈现在显示设备107上，并且显示设备107进一步提供重新定位虚拟选择器121以选择操纵器102a以与用户输入设备108a相关联的推荐。类似地，当选择用户输入设备108b进行关联时，虚拟选择器121被呈现在显示设备107上，并且显示设备107进一步提供重新定位虚拟选择器121以选择操纵器102b以与用户输入设备108b相关联的推荐。
117.在一些实现方式中，在启动跟随模式之前并且在形成用户可操作部分和操纵器之间的关联之后，对于每个用户可操作部分，用户可操作部分和操纵器的姿态可以被调整以允许在跟随模式中更容易操作用户可操作部分。为了确保操作者104可以使用用户可操作部分在操纵器102整个运动范围内控制操纵器102，用户可操作部分的一部分可以被重新取向或重新定位。图9的过程900被执行以实现一部分用户可操作部分的这种重新取向或重新定位。
118.在操作901处，用户输入系统106发送指示用户输入系统106的用户可操作部分的一部分的姿态的信号。该信号可以指示相对于用户可操作部分的全部运动范围的用户可操作部分的方位和取向。例如，用户可操作部分可以对应于操纵杆，并且耦连到操纵杆的传感器系统200(图4中示出)的方位传感器可以生成该信号。
119.在操作902处，操纵器系统101发送指示操纵器系统101的操纵器的姿态的信号。传感器系统200的方位传感器(例如，编码器、加速度计等)可以生成并发送该信号。在操作903处，控制器110从用户输入系统106和操纵器系统101接收这些信号。
120.基于这些信号，在操作904处，控制器110确定相对于用户可操作部分的整个运动范围的用户可操作部分的姿态是否与相对于操纵器整个运动范围的操纵器的姿态匹配。例如，用户可操作部分可以具有用于控制操纵器的远端的偏转运动的运动自由度。控制器110确定在针对该运动自由度的整个运动范围内的用户可操作部分的方位是否与在针对其偏转自由度的整个运动范围内的操纵器的远端的方位匹配。控制器110类似地将用户可操作部分的一部分针对其每个其他自由度的方位与操纵器针对它的其它自由度的方位进行比较。
121.如果用户可操作部分的一部分和操纵器的姿态不匹配，则控制器110在操作905处发送信号以重新取向用户可操作部分的一部分。在操作906处，用户输入系统106接收信号。在一些情况下，信号引起用户可操作部分的一部分的自动运动。例如，信号驱动一个或多个致动器以移动用户可操作部分的一部分。可替代地，用户输入系统106向操作者104提供反馈以重新取向或重新定位用户可操作部分的一部分。然后，用户输入系统106在操作901处发送指示用户可操作部分的一部分的姿态的另一信号，并且控制器110再次确定用户可操作部分的一部分与操纵器的姿态之间是否匹配。
122.当控制器110在操作904处确定匹配时，可以启动跟随模式。例如，可以在过程700的操作713处提供成功信号，然后可以启动跟随模式。
123.进一步的实现方式
124.已经描述了许多实现方式，并且预期到可以进行各种组合、添加或修改。例如，可以以任何适当的方式组合上述实现方式。作为另一示例，实现方式可以不包括以下所述方式，可以包括以下所述方式中的任意一个或多个。
125.例如，本文描述的控制器、处理器和任何相关部件可以是有助于根据本文描述的过程和方法控制系统的计算系统的一部分。图10是计算机系统1000的示例的示意图，该计算机系统1000可以用于实现与本文所述的任何计算机实现的方法(例如，包括关于图6至图9描述的一个或多个过程或操作的方法)相关联地描述的控制器，例如系统100的控制器110或其他控制器。系统1000包括诸如处理器1010、存储器1020、存储设备1030和输入/输出设备1040的部件。部件1010、1020、1030和1040使用系统总线1050互连。处理器1010是能够处理在系统1000内执行的指令。在一些示例中，处理器1010是单线程处理器，而在一些情况下，处理器1010是多线程处理器。处理器1010能够处理存储在存储器1020中或存储设备1030上的指令，以为输入/输出设备1040上的用户界面显示图形信息。
126.系统1000的存储器存储装置可以包括存储器1020以及存储设备1030。存储器1020存储系统1000内的信息。该信息可以在处理器1010执行本文描述的过程和方法时被处理器使用。在一些示例中，存储器1020是计算机可读存储介质。存储器1020可以包括易失性存储器和/或非易失性存储器。存储设备1030能够为系统1000提供大容量存储。通常，存储设备1030可以包括被配置为存储计算机可读指令的任何非暂时性有形介质。可选地，存储设备1030是计算机可读介质。可替代地，存储设备1030可以是软盘设备、硬盘设备、光盘设备或磁带设备。
127.在一些情况下，处理器1010与远程计算系统1035通信。远程计算系统1035包括例如远程服务器、云计算设备或远离处理器1010及其系统的其他计算设备。远程计算系统1035包括远离处理器1010的环境的计算资源，例如远离外科手术环境的计算资源。在一些情况下，远程计算系统1035包括与处理器1010建立无线链路的一个或多个服务器。例如，远程计算系统1035包括网络可访问计算平台的一部分，其被实现为可由处理器1010访问的处理器、存储器、软件、数据访问等的计算基础设施。
128.系统1000包括输入/输出设备1040。输入/输出设备1040为系统1000提供输入/输出操作。在一些示例中，输入/输出设备1040包括键盘、计算机鼠标、指示设备、语音激活设备、麦克风、触摸屏等。在一些情况下，输入/输出设备1040包括用于显示图形用户界面的显示单元。
129.本技术中描述的方法和系统的特征能够在数字电子电路，或者计算机硬件、固件中实现或者在它们的组合中实现。这些特征能够以有形地存储在信息载体中的计算机程序产品中实现。信息载体可以是例如机器可读存储设备，用于由可编程处理器执行。例如，过程600、700、800和900的操作可以由执行指令程序的可编程处理器执行，以通过对输入数据进行操作并生成输出来执行本文所述的功能。所描述的特征能够以在可编程系统上可执行的一个或多个计算机程序实现，该可编程系统包括至少一个可编程处理器，该可编程处理器被耦连以从数据存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并将数据和指令传输到数据存储系统、至少一个输入设备和至少一个输出设备。计算机程序包括一组指令，这些指令可以直接或间接地用在计算机中以执行某种活动或带来某种结果。计算机程序可以用任何形式的编程语言编写，包括编译语言或解释语言。计算机程序可以以任何形式部署，包括作为独立程序或作为模块、部件、子例程或适合在计算环境中使用的其他单元。该计算机程序实现例如快速遗传算法(fga)。
130.通常，计算机还将包括用于存储数据文件的一个或多个大容量存储设备，或可操
作地耦连以与一个或多个大容量存储设备通信。这种设备可以包括磁盘，诸如内部硬盘和可移动磁盘、磁光盘和光盘。适用于存储计算机程序指令和数据的存储设备包括所有形式的非易失性存储器，包括例如半导体存储器设备，诸如eprom、eeprom和闪存设备、磁盘，诸如内部硬盘和可移动磁盘、磁光盘、以及cd-rom和dvd-rom盘。处理器和存储器可以由asic(专用集成电路)补充或并入其中。
131.为了提供与用户的交互，这些特征可以在具有显示设备和一个或多个输入设备的计算机上实现，其中显示设备诸如crt(阴极射线管)或lcd(液晶显示器)或oled(有机发光二极管)监视器以用于向用户显示信息，并且用户可以通过该一个或多个输入设备向计算机提供输入，该一个或多个输入设备诸如键盘、按钮、开关、踏板、计算机鼠标、触摸板、触摸屏、操纵杆或轨迹球。可替代地，计算机可以没有附连的键盘、鼠标或监视器，并且可以由另一台计算机远程控制。在一些实现方式中，显示设备包括头戴式显示设备或增强现实显示设备(例如，增强现实眼镜)。
132.这些特征可以被实现在计算机系统中，计算机系统包括后端部件(诸如数据服务器)，或者包括中间部件(诸如应用服务器或因特网服务器)，或者包括前端部件(诸如具有图形用户界面或因特网浏览器的客户端计算机)，或者包括它们的任意组合。系统的部件可以通过任何形式或介质的数字数据通信(诸如通信网络)连接。通信网络的示例包括例如lan、wan以及形成因特网的计算机和网络。
133.计算机系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过网络进行交互。客户端和服务器的关系借助于在各个计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
134.处理器1010执行与计算机程序有关的指令。处理器1010可以包括诸如逻辑门、加法器、乘法器和计数器之类的硬件。处理器1010可以进一步包括执行算术和逻辑运算的单独的算术逻辑单元(alu)。
135.关联过程700被描述为执行以将用户输入系统106的特定用户可操作部分与特定操纵器相关联。在一些实现方式中，用户可操作部分对应于用户输入系统106的用户输入设备，诸如操纵杆。在过程700期间，用户输入系统106的用户输入设备各自与操纵器系统102的对应操纵器相关联。在一些实现方式中，不是将特定用户输入设备与特定操纵器相关联，而是在关联过程700期间，将用户输入系统106的特定用户可操作部分与特定操纵器相关联。例如，用户输入系统106可以包括具有多个不同的用户可操作部分的用户输入设备。如果用户输入设备是触摸屏设备，则不同的用户可操作部分对应于位于触摸屏设备的不同部分上的用户界面元素。在这方面，每个用户界面元素可以在关联过程700期间与对应的操纵器相关联。
136.虽然操纵器102被描述和示出为以可相对于彼此移动的安装位置被分别安装到例如手术台的不同操纵器，但是本文所述的关联过程也适用于安装到共用基座的操纵器。例如，参考图11，操纵器系统1101包括操纵器1102a、1102b、1102c、1102d(统称为操纵器1102)，每个操纵器被安装到公共基座1104。关节1106可以被驱动以重新取向所有操纵器1102。基座1104可以被安装在可移动的推车部分1108上。可移动的推车部分1108例如通过轮子支撑在地板表面上方。在这方面，操纵器系统1101可以容易地围绕环境移动。
137.虽然在过程700期间单个用户可操作部分被描述为与单个操纵器相关联，但是在
一些实现方式中，一组用户可操作部分在关联过程期间与一个操纵器相关联。例如，左或右操纵杆和对应的左或右脚踏板都可以与同一操纵器相关联。这使得操作者能够使用多个用户可操作部分来控制操纵器的不同特征，例如操纵器的方位、速度等。在一些实现方式中，不必单独地关联该组用户可操作部分中的每个用户可操作部分，操作者可以同时将该组用户可操作部分中的每个用户可操作部分与操纵器相关联。例如，如果该组用户可操作部分包括踏板和操纵杆，则操作者在操作705处提供关联意图以移动虚拟选择器121并一起启动踏板和操纵杆两者与操纵器的关联。
138.虽然图中所示的显示设备107被描述为向操作者104提供视觉反馈，在一些实现方式中，其他指示器设备被操作以提供指示与器械有关的信息或与关联过程的进展有关的信息的人类可感知的指示。例如，指示器设备可以提供人类可感知的触觉反馈、听觉反馈或其组合。如果指示器设备提供触觉反馈，则触觉反馈可以包括振动-触觉反馈、力反馈或与用户的触觉相关联的其他形式的反馈。指示器设备可以包括例如振动发生器。例如，在用户输入系统106可手动操作的实现方式中，指示器设备可以被耦连到用户输入系统106并且可以在操作者104正在手动操作用户输入系统时产生用作操作者104的触觉反馈的振动。如果指示器设备提供听觉反馈，则指示器设备包括例如音频输出设备，诸如扬声器。在这种情况下，指示器设备可以向操作者叙述听觉反馈。
139.虽然图7b中所示的区域123a被描述为围绕器械116a的表示图122a的一部分124(对应于器械116a的末端执行器)，但在一些实现方式中，区域123a围绕表示图的另一部分。在一些示例中，区域123a围绕表示图122a的对应于器械116a的特定部件的一部分，其中器械116a的特定部件诸如末端执行器的枢轴、末端执行器的关节、器械116a的轴或器械116a的其他部分。
140.可以响应于特定事件来启动配对模式。例如，操作701-703示出了响应于用户输入系统106的操作而启动配对模式的特定示例。在一些实现方式中，被操作以启动配对模式的用户输入系统106的用户输入设备对应于可操作以启动离合模式的用户输入设备，在离合模式中操纵器可以被手动地重新定位。在离合模式中，操纵器的制动系统被禁用或者操纵器的关节被释放，使得操纵器可以由操作者手动重新定位。在一些示例中，在启动离合模式时还启动配对模式。
141.在一些实现方式中，可以响应于与可手动操作的用户输入设备的操作无关的事件来启动配对模式。例如，控制器110可以被配置为在初始化系统100时启动配对模式。在一些情况下，系统100包括检测由操作者104发出的语音命令的音频输入系统。操作者104可以发出语音命令，并且控制器110因此启动配对模式。可替代地或另外地，当新操作者访问并操作用户输入系统106时，可以启动配对模式。
142.在一些实现方式中，在配对模式中，如本文所述，在过程700中要关联的用户可操作部分被操作者104选择。在其他实现方式中，用户可操作部分由控制器110选择。例如，控制器110选择处于非关联状态的特定用户可操作部分。如果用户输入系统106包括处于非关联状态的多个用户可操作部分，则控制器110基于用户可操作部分的相对关联优先级选择用户可操作部分。例如，默认情况下，控制器110可以从选择最左边的用户可操作部分开始，并且顺序地选择最左边的用户可操作部分右侧的用户可操作部分。该选择方案对于操作者104可以是直观的，并且可以减少在过程700期间所需的操作者步骤的数量。
143.虽然在图7b中示出并且在操作703处提供的视觉反馈被描述为指示操纵器的关联状态，但在一些实现方式中，在操作703处提供的反馈指示用户可操作部分的关联状态。例如，显示设备107呈现指示用于关联的可用用户可操作部分的图形指示符，并且进一步呈现关联状态指示符以指示可用用户可操作部分的关联状态。
144.虽然已经将过程描述为用于用户可操作部分与操纵器102的关联，但是在一些实现方式中，系统100包括一个或多个传感器，其检测运动并且基于检测到的运动形成关联。例如，本文描述的过程用于操作者104的手的关联。参考图12，在一些实现方式中，系统100包括光学运动检测系统1200，其包括光学传感器1202a、1202b。光学运动检测系统1200是用户输入系统106的一部分，并且可操作以移动本文所述的虚拟选择器121。系统100不包括具有用户输出系统的控制台103，而是其包括的用户输出系统包含用于呈现器械的图像并呈现虚拟选择器121的图像的独立显示设备1206。在这方面，显示设备1206是类似于本文描述的显示设备107。
145.光学传感器1202a、1202b可以提供操作者104的立体图像，并且可以用于检测操作者104的运动，特别是操作者104的手1204a、1204b的运动。手1204a、1204b的移动可以用于在跟随模式中控制操纵器102的移动。例如，手1204a、1204b根据用于控制系统100的预定义手势以图案或序列移动。预定义手势可以包括用于启动配对模式的手势、用于提议手与操纵器之间的关联的手势、用于启动跟随模式的手势或用于控制系统100的其他适当手势。在一些实现方式中，手1204a、1204b配备有可由光学运动检测系统1200检测的手套。
146.另外，根据本文描述的关联过程，操作者104移动手1204a、1204b以控制虚拟选择器121的位置。光学运动检测系统1200检测手1204a、1204b之一的移动，并且控制器110基于手的移动控制虚拟选择器121的位置。当手1204a、1204b以满足关联条件的方式移动时，控制器110形成手1204a、1204b与对应的操纵器之间的关联。例如，在操作705处，操作者104移动手1204a或手1204b以控制虚拟选择器121以满足关联条件。然后可以在跟随模式中使用手1204a、1204b来控制操纵器的运动。
147.在一些实现方式中，用户输入系统106被描述为包括用于控制虚拟选择器121的方位的用户可操作部分，该用户可操作部分不同于可以与操纵器相关联的用户可操作部分。在一些示例中，用于控制虚拟选择器121的方位的用户可操作部分包括操纵杆、触摸屏或另一个可手动操作的用户输入设备。
148.在一些示例中，参考图13，用户输入系统106的用户可操作部分包括眼睛跟踪系统1300，该眼睛跟踪系统1300随着操作者104观看显示设备107而检测操作者104的注视运动。在图13所示的示例中，眼睛跟踪系统1300是控制台103的一部分，并且当操作者104的眼睛被放置在控制台103的目镜1302上时检测眼睛的运动。在其他示例中，眼睛跟踪系统1300是非控制台输入系统(诸如，系统113)的一部分。在操作期间，操作者104可以通过转移操作者104的注视来操作眼睛跟踪系统1300。当眼睛定位在目镜上以观察显示设备107时，眼睛跟踪系统1300检测眼睛注视的运动并且生成指示注视移动的一个或多个信号。一个或多个信号可以对应于用于控制虚拟选择器121的方位的信号组。然后，控制器110可以基于该组信号来操作显示设备107以使虚拟选择器121移动或者相对于显示设备107上呈现的图像重新定位。
149.如本文所述，操纵器与用户可操作部分相关联，使得操纵器可响应于用户可操作
部分的某些操作而移动。因此，在一些实现方式中，相关联的用户可操作部分可以用于控制操纵器的移动。此外，在一些实现方式中，相关联的用户可操作部分可操作以控制操纵器或安装到操纵器的器械的其他功能，代替地或此外，还可以控制操纵器的移动。在这方面，在操作603处，当启动跟随模式时，操纵器不一定响应于相关联的用户可操作部分的操作而移动，而是接收信号以执行特定功能或使器械执行特定的功能。例如，在器械是图像捕获设备的一些实现方式中，相关联的用户可操作部分可操作以控制图像捕获设备的图像捕获功能，诸如缩放设置、照明设置、快门速度设置、或其他图像捕获设置。作为另一个示例，在器械是抽吸或冲洗设备的一些实现方式中，相关的用户可操作部分可操作以控制抽吸或冲洗的应用。在器械是图像捕获设备的一些实现方式中，相关联的用户输入设备可操作以控制图像捕获设备捕获图像。在器械是烧灼设备或其他能量施加设备的一些实现方式中，相关联的用户输入装置可操作以控制能量施加设备以向组织施加能量。
150.在一些实现方式中，在配对模式中，多个操纵器与用户输入系统106的单个用户可操作部分相关联。例如，两个或更多个操纵器可以与用户可操作部分108中的单个用户可操作部分相关联。当单个用户可操作部分与多个操纵器相关联时，用户可操作部分可操作以生成每个操纵器的移动。例如，在一些实现方式中，如果操作者104希望将多个操纵器或其相关联的器械的组合工作空间转移到不同的工作空间，则操作者104可以操作用户可操作部分以将每个操纵器转移到该不同的工作空间附近。在一些实现方式中，操作者104可以将所有要移动的操纵器与单个用户可操作部分相关联并且操作单个用户可操作部分以将多个操纵器作为一组移动到不同工作空间的附近，而不是一个接一个地移动每个操纵器以到达不同的工作空间。
151.作为另一示例，在一些实现方式中，多个操纵器可以与用户可操作部分的单个用户可操作部分相关联，并且单个用户可操作部分一次仅控制多个操纵器中的一个操纵器。在一些实现方式中，操作者经由适当的方法(例如按下按钮、转动拨盘、点击踏板、语音命令等)操作单个用户可操作部分来选择哪一个操纵器将通过操作单个用户可操作部分来控制。在一些实现方式中，操作者操作按钮或踏板，用于在各个操纵器之间循环，直到待控制的操纵器变为有效。
152.可替代地或另外地，两个或更多个用户可操作部分可以与单个操纵器相关联。例如，在一些实现方式中，与操纵器相关联的一个用户可操作部分可操作以移动操纵器，而与操纵器相关联的另一个用户可操作部分可操作以控制操纵器的非移动功能或安装在操纵器上的器械的功能。在一些实现方式中，两个或更多个相关联的用户可操作部分中的每个可操作以控制操纵器的不同自由度或不同的自由度集。例如，在一些实现方式中，用户可操作部分中的一个可手动操作以控制操纵器的俯仰运动、偏转运动和滚动运动，而用户可操作部分中的另一个可手动操作以控制器械沿着插入轴线相对于操纵器的移动或控制器械的末端执行器的致动。作为又一示例，在一些实现方式中，多个用户可操作部分用于实现多手输入。例如，用户可操作部分相对于彼此或相对于参考的方位、分离距离、运动方向、运动速度可以用于控制操纵器或由操纵器支撑的器械。
153.作为特定示例，在实现方式中，两个用户输入设备与保持成像系统(诸如摄像机)的单个操纵器相关联。每只手保持用户输入设备的操作者可以用双手组合输入来控制成像系统，该双手组合输入模拟工件相对于成像系统的操纵。例如，在摄像机实现方式中，两个
输入设备远离操作者的组合运动将摄像机移开或使摄像机推远/缩小(zoom out)，就像工件已被推开一样。作为另一示例，在相机实现方式中，两个输入设备围绕公共中心的组合运动使摄像机视野旋转，就像工件已经旋转一样。作为另一示例，在摄像机实现方式中，用户输入设备之间的分离距离的增加导致摄像机推远/缩小，并且用户输入设备之间的分离距离的减小使得摄像机拉近/放大(zoom in)。
154.在一些实施方案中，控制器110部配置成响应于用户输入或系统事件而使一个或多个用户输入设备108与一个或多个操纵器102解除关联。作为示例，控制器110可以被配置为响应于接收到指示用户请求解除关联第一操纵器和用户输入设备的信号而使关联的一对操纵器和用户输入设备解除关联。作为另一示例，控制器可以被配置为使与用户输入设备相关联的所有操纵器解除关联或使与操纵器相关联的所有用户输入设备解除关联，该解除关联响应于接收到指示用户请求解除关联此类用户输入设备或此类操纵器的信号。在一些实现方式中，用户输入系统106包括解除关联用户可操作部分以用于启动用户可操作部分与操纵器102的解除关联。例如，用户输入设备108中的每一个可以包括解除关联控件或特征。作为另一示例，对于每个用户可操作部分，解除关联用户可操作部分中的对应的一个可以被操作以使用户可操作部分与操纵器解除关联。另外，在一些情况下，解除关联用户可操作部分的操作也可以启动配对模式。
155.因此，其他实现方式在权利要求的范围内。

技术特征：
1.一种计算机辅助医疗系统，包括：多个操纵器；用户输入系统；包括显示设备的用户输出系统；和控制器，其被配置为执行指令以执行操作，所述操作包括：在配对模式中并且响应于由所述用户输入系统生成的第一组信号，使得所述显示设备上显示的虚拟选择器相对于所述显示设备上显示的图像移动，其中所述图像表示由所述多个操纵器中的第一操纵器支撑的第一器械的位置，在配对模式中，基于所述第一器械的表示位置和所述虚拟选择器相对于所述第一器械的所述表示位置的移动，将所述第一操纵器与所述用户输入系统的一部分相关联，以及在跟随模式中，响应于用户对所述用户输入系统的所述一部分的操作，根据由所述用户输入系统产生的第二组信号控制所述第一器械的运动。2.根据权利要求1所述的计算机辅助医疗系统，其中所述操作进一步包括：在将所述第一操纵器与所述用户输入系统的所述一部分相关联之前启动所述配对模式。3.根据权利要求2所述的计算机辅助医疗系统，其中启动所述配对模式包括：在所述计算机辅助医疗系统初始化时启动所述配对模式。4.根据权利要求2所述的计算机辅助医疗系统，其中启动所述配对模式包括：响应于从所述用户输入系统接收到指示启动所述配对模式的请求的信号，启动所述配对模式。5.根据权利要求1至4中任一项所述的计算机辅助医疗系统，其中所述操作进一步包括：基于所述第一器械的所述表示位置和所述虚拟选择器的移动提供指示所述用户输入系统的所述一部分与所述第一操纵器之间的建议关联的反馈，并且然后响应于接收到指示对所述建议关联的用户确认的信号，将所述用户输入系统的所述一部分与所述第一器械相关联。6.根据权利要求1至4中任一项所述的计算机辅助医疗系统，其中，所述操作进一步包括使所述用户输出系统生成所述第一操纵器的关联状态的人类可感知指示，所述人类可感知指示包括以下中的至少一个：视觉、听觉或触觉反馈。7.根据权利要求6所述的计算机辅助医疗系统，其中所述人类可感知指示包括靠近所述第一器械的所述表示位置的第一指示符。8.根据权利要求6所述的计算机辅助医疗系统，其中所述关联状态对应于所述第一操纵器的关联状态。9.根据权利要求6所述的计算机辅助医疗系统，其中所述关联状态对应于所述第一操纵器的非关联状态。10.根据权利要求1至4中任一项所述的计算机辅助医疗系统，其中：所述操作进一步包括使所述显示设备呈现靠近所述第一器械的所述表示位置的第一可选择指示符，并且将所述第一操纵器与所述用户输入系统的所述一部分相关联包括响应于所述虚拟选
择器移动到所述第一可选择择指示符而将所述第一操纵器与所述用户输入系统的所述一部分相关联。

技术总结
本申请题为“用于操纵器的关联过程和相关系统”。本申请公开一种计算机辅助医疗系统，包括操纵器、用户输入系统、包括显示设备的用户输出系统以及配置成执行指令以执行操作的控制器。该操作包括在配对模式中并且响应于由用户输入系统生成的第一组信号，使得显示设备上显示的虚拟选择器相对于显示设备上显示的图像移动。操作进一步包括在配对模式中基于虚拟选择器相对于第一器械的表示位置的移动将第一操纵器与用户输入系统的一部分相关联，并且在跟随模式中，响应于用户对用户输入系统的一部分的操作，根据由用户输入系统生成的第二组信号来控制第一操纵器的运动。信号来控制第一操纵器的运动。信号来控制第一操纵器的运动。


技术研发人员：D
受保护的技术使用者：直观外科手术操作公司
技术研发日：2018.07.18
技术公布日：2023/9/12