自主机器人跟踪的制作方法

1.本公开的实施方案描述了与例如如应用于矫形外科手术治疗的外科手术工具的机器人跟踪的领域相关的技术。


背景技术：

2.在一些情况下，机器人辅助的基于图像的外科手术的成功取决于感兴趣区域的术前图像与术中外科手术术野之间的准确配准。在整个外科手术过程依赖于准确地识别患者的解剖特征的情况下，配准的精确度可能是极为重要的，这些解剖特征与对操作进行计划所基于的术前图像中识别的那些解剖特征相对应。一旦已经建立了准确的配准，机器人外科手术系统就可以引导端部执行器对外科手术工具进行准确定位以执行根据术前三维图像生成的外科手术计划。在许多外科手术计划中，程序中的一些可能涉及外科手术医生方的手动操纵。一个此类示例性实例是在矫形程序中进行孔的钻进中，其中外科手术医生使用外科手术钻具手动地执行钻进程序。为了确定钻具钻头的纵向位置(即，钻具钻头在对象的骨中的插入深度)，必须使用监控系统以防止钻具的过度插入(可能伴随对对象的损害)所需的准确度来跟踪钻具的位置。在这方面，实时监控是必要的，以便保持对钻具的位置的持续不断的了解。
3.已经开发了使用多种装备和对准方法的不同系统，以确保在外科手术程序中对钻具位置的准确监控。一种方法是使用导航系统，在该导航系统中，通过用三维相机系统观察外科手术术野来实现要被跟踪的对象的运动，该三维相机系统能够对附着到一个或多个对象(其位置要被跟踪)的三维标记以及解剖特征(正在其上执行外科手术程序)进行成像。通过这种方式，可以跟踪比如外科手术钻具相对于矫形元件(钻具正在其上操作)的位置和取向。这些系统通常依赖于相机和标记之间的清晰视场，其中相机之间的视线需要不受诸如外科手术医生的臂或机器人臂等对象的阻碍。依赖于其他成像形式(诸如电磁辐射、超声波或无线电定位传输)的类似系统也可能需要类似的条件。


技术实现要素：

4.本公开尤其描述了新的示例性系统和方法，这些新的示例性系统和方法用于跟踪由外科手术机器人系统操纵的对象(诸如，外科手术工具)的位置，使得可以确定工具处于正确计划的位置和正确计划的取向，以根据预定的外科手术计划执行分配给外科手术机器人系统的任务。这些目的通过使用安装在机器人系统的靠近感兴趣的外科手术区域的部分上(诸如，在端部执行器上)的一个或多个微型跟踪相机来实现。这些实施方案确定工具在其要操作的解剖身体部分的表面上的初始空间位置和取向，并且还能够在工具执行其功能时监控工具进入解剖身体部分的进程。这份公开中描述的系统中的一些的优点在于，这些系统不要求任何相机或传感器远离机器人本身，并且系统操作所必需的所有机械元件和传感器元件(但不一定是控制系统)可以安装在机器人的范围内。结果，这些实施方案较不倾向于或甚至不受由于远程相机或传感器与机器人或患者之间的通信中断而导致的操作中
断的影响。
5.本公开的实施方案通过结合最有利地安装在机器人的致动臂或端部执行器上的一个或多个微型三维传感器相机来实现这些目的，机器人的致动臂或端部执行器是机器人的最靠近工具和外科手术的区域的部分，但是也可以使用其他靠近位置。在下文中，术语端部执行器通常用于指机器人的这个部分。这些微型传感器相机相对于端部执行器具有固定的位置。每个相机或传感器通过对刚性地附接到正被跟踪的对象的三维参照标记元件或参照框架进行成像并且分析所得到的三维图像以确定跟踪标记的位置和取向并且因此确定对象的位置和取向来跟踪对象相对于端部执行器的位置和取向。对于适当装备的相机系统，这种分析还可以通过使用相机的直接三维输出信息配置来完成。必须在要跟踪的对象的三维空间位置和取向与由相机跟踪的三维标记的空间位置和取向之间建立初始相互关系。跟踪远程对象相对于端部执行器的位置可以提供若干不同的优点。
6.首先，跟踪远程对象(诸如附接到可移动外科手术工具的标记，或者更通常地，附接到工具本身所附接的工具驱动器的标记)使得能够知道工具相对于端部执行器的纵向位置并且因此能够知道工具相对于机器人坐标系的纵向位置。为了克服在此类外科手术工具保持器或驱动器与保持器旋转或振动或简单地保持的工具之间可能由于所使用的命名和特定工具配置的差异而引起的任何混淆，术语“外科手术工具”此后用于表示工具驱动器连同其所保持的外科手术工具。钻头的在对象身体的解剖部分上执行所述程序的末端于是相应地被称为外科手术工具的末端。无论工具保持器是钻具、或铣削机器、或超声波工具保持器、或甚至是其操作工具相对于工具保持器不移动的工具保持器，都使用该命名法。
7.外科手术工具的角取向在机器人坐标系中通常是已知的，因为外科手术工具所穿过的工具引导件的角取向对于机器人控制系统是已知的。然而，至少在由外科手术医生手动执行工具插入的系统中，外科手术工具相对于工具引导件的纵向位置对于机器人系统是未知的。对指向外科手术工具标记元件的端部执行器上的此类跟踪相机进行使用因此使得能够确定要获得的完整工具姿势(包括外科手术工具的纵向位置在内)。相对于外科手术工具将在其上操作的目标的纵向外科手术工具位置可以通过外科手术工具末端的相对于外科手术工具上的标记参照框架的位置的初步校准来确定。替代地，该位置可以通过将外科手术工具末端接触到其将在上面操作的目标的表面上而被确定，以便限定如下参照位置：外科手术工具运动将相对于该参照位置被参照。
8.第二，通过使用安装在端部执行器上并且指向附接到远程对象的标记的三维跟踪相机，这些实施方案能够跟踪解剖身体部分相对于端部执行器并且因此相对于机器人坐标系的姿势，该远程对象在该应用中可以是机器人系统要在其上执行外科手术程序的解剖身体部分。
9.第三，上述两个优点的组合提供了外科手术工具和机器人系统要在其上执行外科手术程序的解剖身体部分之间的直接坐标关系，因为两者都涉及机器人及其端部执行器的相同基础坐标系。因此，一旦已经在解剖身体部分(包括参照标记元件在内)的术中荧光镜图像与来自三维图像集的术前图像之间执行了配准，使得身体部位的术中姿势可以与已创建外科手术计划所根据的更高分辨率术前图像相关，则标记元件的术中光学跟踪使得外科手术工具的位置能够与感兴趣区域的术前高分辨率图像相关。这使得能够将从工具跟踪相机输出获知其姿势的外科手术工具末端的图像实时地植入到从术前三维图像集取得的术
前高分辨率图像上。因此，这种实施方式使得外科手术医生能够借助于植入在产生外科手术计划所根据的高分辨率图像(诸如，ct或mri图像)上的、工具末端区域的图像实时地跟踪外科手术工具的末端的位置。在与本技术共同拥有并具有共同发明人的美国专利9,125,556号“on-site verification ofimplant positioning(植入物定位的现场验证)”中，描述了一种方法，通过该方法，可以在较高分辨率的术前图像上植入通过术中x射线透视成像的外科手术插入物，这提供了优于在具有低得多的分辨率的术中x射线图像中观察插入物的主要优点。在目前描述的实施方式中，使用由工具引导的相机和身体部位引导的相机生成的图像信息的此类图像植入可以提供植入到感兴趣区域的高分辨率ct或mri图像上的外科手术工具的连续、实时视图。
10.目前描述的方法中的一些具有优于us 9,125,556中的方法中的一些的进一步临床优点，因为不仅工具的三维位置作为在高分辨率图像中的实时跟踪而获得，而且这仅使用光学成像相机来实现，并且除了初始校准x射线图像之外，每当工具位置要相对于对象的解剖结构被肯定地确定时不涉及对连续重复的x射线图像的使用。
11.以上所有这些方面都可以用于如将在本公开中充分描述的系统和方法的不同实施方式中。
12.本文描述的实施方案的另一优点在于，相机与解剖参照框架以及与外科手术参照框架之间的短距离不仅消除了视线阻碍的主要问题，而且允许高得多的准确度，因为相机通常可以小于一米，且甚至距参照框架接近20cm而非3m，3m是距远程导航系统相机阵列的典型距离。
13.这种方法的另一个应用是通过接触解剖标志进行配准。当手持式工具接触已知的解剖标志时，附接有端部执行器的相机跟随手持式工具，从而获得配准。根据另一实施方案，激光指示器可用于实施此类解剖位置定位。激光指示器由外科手术医生指向预定的解剖特征，并且相机可以使用成像处理例程(最方便地在控制器上运行)来检测激光束在解剖特征上的撞击。由于成像相机相对于机器人的端部执行器的姿势是已知的，因此激光点的检测位置在机器人坐标系中是已知的。多次重复这种测距过程使得能够在机器人的坐标系中映射解剖特征的整个区域，而不需要图像配准。
14.根据又一实施方式，本公开的实施方案另外用于验证外科手术机器人相对于解剖身体部分的真实的术中位置的位置确定。这通过使用相机来执行，该相机被引导以对安装在相对于身体部位的固定且刚性的位置中的参照框架进行成像，并且由此确定身体部位自身相对于机器人端部执行器的位置和取向。由于该位置和取向已经在初步配准程序中被确定，因此该第二实施方式可以被用作验证过程以确认身体部位在机器人坐标参照框架中的先前获得的位置和取向。
15.端部执行器通常是安装一个或多个成像相机的最方便且最有用的位置，因为它通常是最靠近外科手术工具和身体部位的位置，并且在整个说明书中使用此类安装位置。然而，应理解，可使用机器人上的其它位置来安装一个或多个相机，只要此类位置提供对所成像的参照框架的紧密视觉访问即可，以便利用此系统优于先前描述的远程导航或跟踪系统相机的优点，并且本公开的要求保护的系统和方法意图涵盖其它此类紧密安装配置。
16.尽管已经将自主跟踪系统的上文描述的实施方式应用于确定机器人引导的外科手术工具及其解剖目标的姿势，但是进一步的实施方式也可以为手持式和手动操纵的外科
手术工具提供显著的优点。在这些实施方式中，由外科手术医生或其他医务人员保持和操纵的外科手术工具可以装备有三维参照标记元件或参照框架。标记可以是通过安装在机器人臂上的三维跟踪相机进行成像的，与先前使用的导航系统上的远程相机不同，该三维跟踪相机可以移动到外科手术区域和手动操纵的工具的紧密接近处。此类实施方式使得能够实现上文提及的两个目的，即(i)由于相机到标记组件的接近性而获得的位置准确度的显著增加，以及(ii)对于相机和其正在跟踪的标记之间的视线的无意阻碍的良好抗干扰性，也用于手动执行的外科手术程序。由于在这种实施方式中，机械臂的位置不受将外科手术工具相对于外科手术部位定位的需要的限制，所以携载跟踪相机的臂可以在没有此类限制的情况下移动，被要求尽可能接近操作部位，因此增加了手动操纵的外科手术工具的定位准确度的准确度。在该实施方式中，系统控制器可以利用机器人臂的位置意识并且因此利用跟踪相机的位置意识，以便使用在机器人坐标系和外科手术计划之间最初执行的配准程序(如从感兴趣的外科手术区域的术前三维图像所确定的)，将手动保持的外科手术工具的位置与手动保持的外科手术工具在其上操作的解剖部分相关联。
17.作为跟踪手动工具使用的该方法的另一实施方案，代替在机器人臂上使用单个三维跟踪相机，可以使用两个常规二维相机，这两个常规二维相机各自在单独的机器人臂上，并且通过两个臂的单独运动将相机移动到用于观察手外科手术部位并且通过三角测量计算确定标记元件的位置的最佳位置。该实施方案具有以下优点：可以通过选择相机的较大间隔距离来改进深度感知。
18.在上述手动操纵工具应用中的任一种应用中，由于携载一个或多个跟踪相机的机器人系统的坐标系最初被配准到感兴趣区域的图像并且被配准到外科手术医生在其上操作的解剖部分，所以机器人系统的内部臂位置感知可以补偿在携载相机的机器人臂的定位中自最初已知的配准以来的变化。在利用这个实施方案的替代方法中，安装在机器人臂上的跟踪相机也可以被对准以使用附接到解剖部分的标记框架来跟踪外科手术医生正在其上执行所述程序的解剖部分的姿势。在此类情况下，相机可以直接将手持式外科手术工具的姿势与解剖部分的姿势相关联，而不直接使用初始配准的信息。
19.在上述实施方式中的任一者中，机器人控制器可经配置以运行用于使用算法计算一个或多个机器人臂的最佳位置的例程，所述算法确定所关注操作区域周围的可用空间与工具(不管是机器人还是手动固持)的接近之间的关系。在后一种情况下，系统还可以向外科手术医生提供关于到达外科手术部位的最佳进入位置的信息。
20.因此，根据本公开中所描述的装置的示例性实施方式提供了一种机器人跟踪系统，该机器人跟踪系统包括：
21.(i)第一跟踪相机，其固定地附接到机器人的一部分，处于使得第一跟踪相机能够捕获附接到外科手术工具的第一三维参照框架的图像的位置；
22.(ii)第二跟踪相机，其固定地附接到机器人的一部分，处于使得第二跟踪相机能够捕获附接到对象的解剖部分的第二三维参照框架的图像的位置；以及
23.(iii)控制系统，其适于基于来自第一跟踪相机的第一三维参照框架的图像，确定外科手术工具在机器人坐标系中的至少一位置，并且适于基于来自第二跟踪相机的第二三维参照框架的图像确定对象的解剖部分在机器人坐标系中的姿势。
24.本公开的机器人跟踪系统的另一示例性实施方式包括：
25.(i)成像相机，其在固定位置处附接到机器人的一部分，该成像相机的视场是可调节的，使得它可以对以下部分进行成像：
26.(a)附接到外科手术工具的第一三维参照框架，或
27.(b)附接到对象的解剖部分的第二三维参照框架；以及
28.(ii)控制系统，其适于：基于从包括第一三维参照框架的视场生成的相机图像来确定外科手术工具在机器人坐标系中的至少一位置，并且适于基于从包括第二三维参照框架的视场生成的相机图像来确定对象的解剖部分在机器人坐标系中的姿势。
29.在本技术中描述的机器人跟踪系统的又一实施方案包括：
30.(i)固定地附接到机器人的一部分的成像相机，该成像相机的视场使得其能够对附接到外科手术工具的第一三维参照框架进行成像；以及
31.(ii)控制系统，其适于：
32.(a)基于来自成像相机的第一三维参照框架的图像，确定外科手术工具在机器人坐标系中的至少一位置，以及
33.(b)将工具的位置与工具意图在其上操作的对象的解剖部分相关联，该解剖部分的姿势通过使用附接到对象的该解剖部分的第二三维参照框架根据设置在机器人附近的固定位置中的导航跟踪系统来确定。
34.此外，根据本公开中示出的实施方式的附加示例，提供了一种机器人跟踪系统，该机器人跟踪系统包括：
35.(i)固定地附接到机器人的一部分的至少一个成像相机，该至少一个成像相机的视场使得其适于对以下部分进行成像：
36.(a)附接到外科手术工具的第一三维参照框架，以及
37.(b)附接到能够对对象的解剖身体部分进行成像的成像系统的一部分的第二三维参照框架；以及
38.(ii)控制系统，其适于：
39.(a)基于来自该至少一个成像相机的第一三维参照框架的图像，确定外科手术工具在机器人坐标系中的至少一位置；
40.(b)基于来自该至少一个成像相机的第二三维参照框架的图像，确定成像系统在机器人坐标系中的姿势；以及
41.(c)将至少工具的位置与工具要在其上操作的对象的解剖部分相关联。
42.本文所述的系统可包括另一示例性机器人跟踪系统，该另一示例性机器人跟踪系统包括：
43.(i)第一成像相机，其固定到机器人系统的端部执行器，使得该第一成像相机的视场的包括附接到外科手术工具的第一三维参照框架；
44.(ii)第二成像相机，其固定到机器人系统的端部执行器，使得该第二成像相机的视场包括附接到外科手术工具意图在其上操作的对象的解剖部分的第二三维参照框架，以及
45.(iii)控制系统，其适于：
46.(a)将通过分析第一参照框架的图像获得的关于外科手术工具的姿势的信息与通过分析第二参照框架的图像获得的关于对象的解剖部分的姿势的信息相关联，以及
47.(b)使用关于外科手术工具末端相对于外科手术工具或相对于末端与解剖部分的表面的接触点的空间关系的信息，使得外科手术工具末端相对于对象的解剖部分的位置可以由控制器跟踪。
48.最后，还公开了机器人跟踪系统的另一个实施方案，其包括：
49.(i)第一二维成像相机，其固定地附接到第一机器人臂并且被引导以生成附接到手持式外科手术工具的三维参照框架的第一二维图像；
50.(ii)第二二维成像相机，其固定地附接到第二机器人臂并且被引导以生成附接到手持式外科手术工具的三维参照框架的第二二维图像；以及
51.(iii)控制系统，其适于根据来自第一相机的第一二维图像和来自第二相机的第二二维图像来确定外科手术工具在第一机器人和第二机器人中的至少一者的坐标系中的三维姿势,
52.其中，第一机器人臂的位置和第二机器人臂的位置适于被保持间隔开一定距离，该距离为手持式外科手术工具的所确定的姿势提供期望的准确度。
53.一种跟踪由机器人操纵的外科手术工具的示例性方法，该示例性方法包括：
54.(i)生成固定地安装到外科手术工具的第一三维参照框架的至少一个图像，该第一参照框架设置在第一相机的视场内，该第一相机安装在机器人的端部执行器上；
55.(ii)生成固定地附接到对象的解剖身体部分的第二三维参照框架的至少一个图像，该第二参照框架设置在第二相机的视场内，该第二相机安装在机器人的端部执行器上；
56.(iii)对由第一相机生成的该至少一个图像执行图像分析，以确定外科手术工具相对于机器人的端部执行器的姿势；
57.(iv)对由第二相机生成的该至少一个图像执行图像分析，以确定解剖身体部分相对于机器人的端部执行器的姿势；以及
58.(v)将外科手术工具的所确定的姿势与解剖身体部分的所确定的姿势相关联，使得在执行外科手术程序的同时可以相对于解剖身体部分跟踪外科手术工具。
附图说明
59.根据结合附图的以下详细说明，本发明将被更彻底地理解和认识，在附图中：
60.图1a、图1b、图1c和图1d示意性地展示了根据本技术的不同实施方案的结合用于实施自主机器人跟踪系统的元件的机器人端部执行器；
61.图1a展示了包括两个成像相机的系统，每个成像相机对准其相关联的成像位置，图1b示出了类似的系统但具有仅一个成像相机，该成像相机可在两个不同的成像位置之间旋转，图1c示出了其中成像相机被引导以观察用于对外科手术区域和机器人端部执行器成像的c形臂的系统，而图1d示出了具有安装在机器人臂上跟踪其运动的跟踪相机的手动保持的外科手术工具；以及
62.图2a和图2b是从椎骨的术前获得的高分辨率三维图像集导出的图像的示意图，示出了植入到术前图像上的处于其实时术中位置的外科手术工具；图2a示出了侧视图，而图2b示出了轴向视图。
具体实施方式
63.为了确定远程对象的位置和取向，具有标记元件的已知三维布置的参照框架被刚性地附接到远程对象，并且相机对准该远程对象以生成参照框架的图像。利用对参照框架的三维结构的了解，可以通过分析该图像来确定参照框架相对于相机的位置和取向。由于参照框架被刚性地附接到远程对象，因此该分析使得能够建立远程对象相对于相机并且因此也相对于端部执行器的位置和取向。
64.在一些实施方案中，取决于以在机器人外科手术程序中执行的配准技术制定的使用水平，机器人系统能够以不同模式操作，以限定机器人系统相对于要在其上实施外科手术计划的解剖身体部分的位置的位置。根据第一实施方式，机器人基础的位置或机器人的参照物的坐标框架的位置以及因此端部执行器的位置和角取向(共同称为姿势)相对于要在其上执行外科手术程序的解剖身体部分是已知的。这是通过确定机器人相对于解剖身体部分的术中位置来实现的，例如，是通过使用术中荧光镜成像来实现的，术中荧光镜成像示出身体部位以及机器人底座自身的一部分，或者对于远程安装的机器人，术中荧光镜成像示出诸如由机器人端部执行器保持的目标之类的元件的一部分，该部分可以限定机器人端部执行器的位置并且因此限定机器人坐标框架。术中荧光镜图像与示出身体部位的术中图像与对象的相同区域的术前三维图像集之间的图像配准结合使用，术前三维图像集还示出了在其上执行外科手术计划的解剖身体部分。一旦该过程已被执行，系统就知道外科手术工具的姿势，因为外科手术工具钻头通常在工具引导件内被保持在相对于端部执行器以及相对于外科手术工具将在其上执行其预期任务的身体部位的位置的已知位置中。
65.然而，如果外科手术工具要相对于由端部执行器保持的引导管纵向移动，则上述配准程序不能确定纵向位置，并且准确了解该纵向位置可能是关键的，以便确保工具不会插入到身体部位中太远，从而可能对对象造成损害。本公开的实施方案通过分析附接到外科手术工具的参照框架的图像来提供纵向位置，使得外科手术工具相对于端部执行器的纵向位置是直接已知的，而不需要远程定位的扫描和导航装置。为了知道外科手术工具末端相对于外科手术工具本身的扫描位置的位置，则必须执行将外科手术工具的工具钻头末端部分的位置与外科手术工具主体本身的位置相关联的校准程序。替代地，外科手术工具钻头部分及其外科手术工具主体应具有一些相关联的特征，诸如通过确保工具钻头部分总是以预定深度锁定到外科手术工具主体部分中，诸如通过使用机械配准止动件、视觉插入标记或类似布置。然后，在插入到整个外科手术工具的外科手术工具驱动器部分中时，工具钻头部分被配准，使得其总是从外科手术工具主体部分突出已知的尺寸。
66.现在参照图1a，其示意性地展示了机器人端部执行器12，该机器人端部执行器结合了用于实施本公开的示例性自主机器人跟踪系统的元件。机器人端部执行器12被示出为引导外科手术工具11，或更准确地，外科手术工具的操作部分17(诸如钻具钻头)穿过引导套筒进入到对象的解剖部分19中，在示出的示例中该解剖部分是对象的脊柱的椎骨，但是应当理解，这仅仅是可以使用当前系统的方式的一个示例并且不意图限制应用。为了实施该系统，至少一个三维配准框架(也被称为参照框架14)被附接到椎骨，并且至少一个三维配准框架13被附接到外科手术工具，机器人端部执行器12以机器人方式或利用外科手术医生的手部运动将该外科手术工具引导到对象的椎骨中以手动插入工具11。这些三维配准框架13、14中的每一个都包含以预定三维空间布局布置的至少三个标记元件，使得三维相机
能够通过识别标记元件的位置和取向来确定配准框架的位置和取向。配准框架的位置和取向用于限定配准框架刚性地附接到其上的对象的姿势，该对象是外科手术工具或解剖部分。通常，在配准框架中使用的市场元素的数量越大，所提出的姿势确定的准确度越高。
67.根据图1a所示的实施方式，机器人端部执行器12包括刚性地固定到端部执行器的两个微型相机15、16。在一些实施方案中，这些相机被配置成捕获三维图像，根据这些三维图像，被成像的配准框架的姿势可以根据对配准框架中的标记元件的空间布置的了解来确定。在一些实施方案中，相机能够检测配准框架上的标记元件(例如，三维配准框架13上的标记元件)上的图案。在一些实施方案中，相机可捕捉三维形状，从而使得系统能够在不使用标记元件的情况下跟踪已知形状。这种形状可以具有已知的三维几何形式，使得它们的姿势可以通过任何成像过程来确定。在国际专利申请wo 2006/075331“image guided robotic system for keyhole neurosurgery(用于锁孔神经外科手术的图像引导机器人系统)”中已经示出了一个此类示例，该国际专利申请共同转让给本技术人并且具有共同的发明人，在国际专利申请中示出了呈广角四面体的形式的配准夹具。它被构造成使得所有四个平面都可以从宽范围的扫描视点看到，具有足够的区域用于适当扫描采样。为了便于平面识别，所有相邻的四面体面之间的角度应该不同。
68.第一相机16指向外科手术工具11上的配准框架13，使得对由该相机生成的图像的分析能够确定工具相对于相机、以及因此相对于端部执行器12、以及因此相对于机器人的坐标框架的姿势。类似地，第二相机15指向附接到外科手术工具将在其上操作的对象的解剖部分19的配准框架14，使得通过该相机对解剖部分配准框架14的图像的分析能够确定解剖部分相对于相机、以及因此也相对于端部执行器12、以及因此相对于机器人的坐标框架的姿势。这假设配准框架14相对于解剖身体部分19的姿势的姿势诸如通过先前的成像校准程序而已知。
69.相机以相互固定的位置安装在端部执行器上。因此，根据本公开的一个示例性方法，对由两个相机生成的图像的分析的比较使得能够确定外科手术工具相对于解剖身体部分的位置和取向，而不需要任何外部或远程跟踪系统。该比较可以由对从两个相机获得的图像执行图像处理的控制系统来执行。该控制系统可以是单独的模块，或者可以构成机器人控制系统本身的一部分，如图1a所示，其中控制系统被示出为方便地容纳在机器人的基础18中，来自相机的图像信号可通过简易电缆接入到该基础18，并且用于将机器人控制指令引导到各个机器人控制的关节以及引导来自各个机器人控制的关节的机器人控制指令。
70.现在参照图1b，其示意性地展示了目前描述的系统的替代实施方式，其中仅使用单个成像相机10。该相机可以安装在端部执行器上的枢轴20上，并且被机器人控制以采用预定取向或者诸如通过使用机械止动件在两个预设取向之间切换，使得位置控制的机器人旋转运动机构不是必需的。相机10可以被引导以对附接到外科手术工具11并且表示外科手术工具11的位置的参照框架标记16成像，或者被引导以对附接到对象的解剖部分19并且表示对象的解剖部分19的姿势的参照框架标记14进行成像。在所有其它方面，图1b的系统的操作类似于图1a的系统的操作。
71.在使用中，可以采用许多不同的过程来使用由本公开的实施方案提供的配准能力。首先，对于所有外科手术程序，可以执行将机器人与目标骨相关的配准程序，而与用于跟踪元件位置的任何系统无关。这种机器人与骨骼的配准可以通过各种配准方法中的任何
一种来实现，所述方法诸如例如使用通常经皮安装在对象上的基准标记，这些基准标记然后在术前三维图像集(通常是ct或mri图像集)中非常清楚地成像。然后可以通过与机器人的参照平面(诸如基础)的物理连接，或通过包括基准标记和机器人基础的位置或由端部执行器保持的目标的姿势的指示两者的术中成像，或通过使用其位置可由导航系统跟踪的接触式探头，或者通过使用其位置可以被导航系统跟踪的接触式探头，将示例性基准标记与术中机器人位置相关联，从而提供基准点和机器人的数字化位置信息。替代配准方法可以基于如在三维术前图像集中观察到的解剖特征的形状、轮廓或强度与在术中获得的荧光镜图像中出现的相同特征的比较。匹配所有特征使得如在术中荧光镜图像中观察到的机器人的位置能够被配准到术前成像的对象的解剖结构，并在此基础上生成外科手术计划。
72.一旦已经完成机器人坐标系与术前成像集的坐标系的配准，机器人端部执行器就可以被编程以执行在执行基于术前图像的外科手术计划中所需的运动。例如，在用于孔的钻进以插入椎弓根螺钉的机器人对准的情况下，机器人可以引导钻具引导件的姿势，使得它在空间上和在取向角度上瞄准插入点。然而，确定外科手术工具的钻具部分的插入深度可能是更有问题的，因为外科手术工具由握住外科手术工具手柄的外科手术医生手动插入。因此，即使机器人系统已经对准外科手术工具以用于准确的进入位置和路径取向，也需要准确地控制插入深度以便确保不会由于过度插入而发生损害。即使钻具行程由单独的机动致动器控制，原点位置也必须被准确地确定，并且插入深度必须被监控以便确保受控插入的一致性。
73.在一些先前的系统中，这通常通过使用远离外科手术操作的区域定位的导航系统、结合通常安装在外科手术场景上方的跟踪相机、以及跟踪安装在外科手术工具上的标记的位置来实现。此类导航系统可能由于外科手术医生的手臂或操作室工作人员之一的身体的另一部分插入到跟踪相机与被跟踪的外科手术工具上的标记之间的视线中而被阻塞。此外，此类系统通常是昂贵的。
74.本公开的实施方案使用端部执行器工具相机，该端部执行器工具相机可以向控制系统模块提供工具配准框架的连续实时图像。该模块分析图像并由此提供对外科手术工具相对于相机的纵向位置的准确测量，并且由于相机刚性地安装在端部执行器上，因此在机器人坐标系中已知外科手术工具位置。由于根据初始机器人位置配准，已知端部执行器相对于外科手术工具正在其上操作的骨的姿势，因此也已知外科手术工具相对于外科手术工具正插入其中的骨的姿势。然而，为了能够跟踪外科手术工具进入到外科手术工具在其上操作的骨中的插入深度，有必要将外科手术工具的位置与工具钻具的跟踪位置相关联。这可以比如通过外科手术工具末端相对于参照框架的位置的校准测量来执行。替代地，该操作程序还可以包括以下步骤：使用工具相机16来测量并且限定该外科手术工具末端的基础参照位置，该基础参照位置处于该外科手术工具末端恰好接触解剖部分19的表面的位置中，使得可以使用相机跟踪程序从该点实时地测量插入到解剖部分19中的深度。
75.在另外的操作模式中，本公开的实施方案可以用于通过使用安装在端部执行器上的第二相机并且观察安装在相对于正在其上执行外科手术程序的骨的固定位置中的参照框架来验证外科手术工具的预期定位和插入的准确性，如通过机器人坐标系与外科手术计划所基于的术前图像集的初步配准所确定的。尽管先前描述的使用外科手术工具引导的相机的方法应当与机器人配准一起提供外科手术工具及其插入深度的准确姿势测量，但是可
以在外科手术程序中执行验证测量以便确保先前描述的主要参照方法中的意外错误不会导致对患者的身体损害。指向解剖部分上的参照框架的相机代表测量系统，独立于任何先前的配准，从而使得该系统能够确定正在其上执行操作的身体部位相对于机器人坐标系的位置和取向。主要测量方法涉及通过上文描述的配准方法中的一种配准方法利用机器人坐标系对正被操作的身体部位的实际术中位置执行的图像配准。
76.在术中成像方法具有足够好的分辨率的情况下，该实施方式因此提供了将外科手术工具姿势和工具末端位置与工具将在其上执行外科手术过程的解剖身体部分相关联的方法，而不需要术前成像。控制器使用共同限定的基础(即，端部执行器)来将外科手术工具末端的位置和骨结构的位置与该共同基础直接相关联。只要参照框架可以准确地与解剖部分的骨形状和结构相关，根据这种实施方式的系统就可以在工具末端处以及在解剖身体部分处同时直视，并且可以测量它们的位置并且因此测量它们的相互位置，而无需任何其他术前配准。
77.在又一操作模式中，提出仅使用对准外科手术工具参照框架的单个相机的系统实施方式。由于要在其上执行所述程序的身体部位的位置和取向可以通过图像配准程序而为机器人系统控制器所知，并且由于外科手术工具姿势也可以从机器人端部执行器姿势(如从完整的图像配准程序或从机器人端部执行器姿势的单独的光学跟踪测量所确定的)所知，所以用于执行外科手术程序的唯一未知信息是外科手术工具的纵向位置。因此，根据这个附加方法，系统仅需要指向外科手术工具的方向的单个机器人安装相机，以便确定外科手术工具的纵向位置，因为外科手术工具相对于身体部位的初始姿势由图像配准程序或机器人姿势的单独光学跟踪测量来确定。这种方法和系统是可行的，因为与外科手术工具位置相比，机器人姿势可以通过远程跟踪系统更容易地确定而不必担心阻塞，对于外科手术工具位置而言，靠近设置的扫描相机是优点。
78.现在参照图1c，其示意性地展示了靠近安装的扫描仪相机的使用的另一实施方式。这种实施方式能够实现所谓的半自动配准程序，这使得解剖身体部分上的配准框架变得多余，从而简化整个过程。根据这种实施方式，配准框架23安装在c形臂22的源21上，或者安装在该源的区域中的c形臂的任何其他便利部分上，使得安装在机器人端部执行器上的扫描相机16可以对c形臂源成像，并且因此可以确定该扫描相机相对于端部执行器的姿势。作为专用配准框架的替代，该系统可以使用c形臂上的任何替代的空间限定特征，当用端部执行器上的三维扫描相机观察时，该系统可以使得能够获得关于c形臂的姿势的信息。所使用的相机可以是与对准外科手术工具的相机相同的相机16，或者是单独的相机。
79.因此，c形臂的坐标系在机器人的参照坐标系中是已知的。另外，由于c形臂成像系统现在生成对象的解剖部分的图像集，因此该解剖部分的特征在c形臂坐标系中是已知的并且因此在机器人坐标系中也是已知的。因此实现了解剖身体部分的配准并且因此实现了其相对于机器人端部执行器的姿势的配准，而不需要将配准框架附接到解剖部分，并且不需要相机来对该配准框架成像。这将提高位置准确度，因为附接到c形臂部件或c形臂部件的一部分的配准元件将通常具有比附接到长k线的端部上的身体部位的配准框架更可限定的放置。如这份公开中先前描述的，一旦已知身体部位与机器人端部执行器的配准，就可以执行系统的关于外科手术工具姿势相对于身体部位的各种实施方式。
80.最后，参照图1d，其示意性地展示了使用安装在机器人臂上的跟踪相机10的一个
示例性实施方式，以在由外科手术医生手动引导手动操纵的外科手术工具17以在对象的解剖部分19上执行程序时跟踪手动操纵的外科手术工具17的位置。手持式外科手术工具的姿势借助于安装在工具上的三维跟踪框架13来确定，并且由安装在外科手术机器人18的机器人端部执行器上的相机10来跟踪。在图1d中所示的示例性系统中，跟踪相机被示出为可旋转相机，使得其能够跟踪外科手术工具17以及参照框架14(该参照框架附接到外科手术医生在其上进行操作的椎骨19)两者。然而，应当理解，也可以使用不同的布置，前提条件是至少手持式外科手术工具17的姿势由跟踪相机10跟踪，该跟踪相机通过以已知方式附接到端部执行器而具有在机器人系统的坐标框架中已知的姿势，使得该跟踪相机也参照对象的解剖部分19的位置。根据这些替代实施方案(在这些附图中未示出)中的一个，代替如图1d中所示的单个三维跟踪相机，可以使用两个常规相机，这两个常规相机各自在其自己的机器人臂上，使得通过将两个相机定位成稍微远离彼此，意味着比安装在三维跟踪相机10中的双相机间隔开更大的距离，可以获得更大的深度感知并且因此获得更高的外科手术准确度。
81.现在参照图2a和图2b，图2a和图2b示出了示出本系统的进一步优点的实施方式的图示，其中示意性图像是从椎骨19的术前生成的高分辨率三维图像集导出的，示出了植入到术前图像上的处于其实时术中位置的外科手术工具11。图2a示出了侧视图，而图2b示出了轴向视图。此类视图可以通过目前描述的跟踪系统的进一步实施方式来获得，该跟踪系统提供了外科手术工具与机器人系统将在其上执行外科手术程序的解剖身体部分之间的直接坐标关系，因为外科手术工具和解剖身体部分两者都参照机器人及其端部执行器的相同坐标系。因此，一旦已经在解剖身体部分的术中荧光镜图像与来自三维图像集的术前图像之间执行了配准，使得可以将身体部位的术中姿势与已创建外科手术计划所根据的更高分辨率术前图像相关联，则标记元件的术中光学跟踪使得外科手术工具的位置能够与感兴趣区域的术前高分辨率图像相关联。这于是使得能够将从外科手术工具跟踪相机输出已知的工具末端区域的图像实时地植入到从术前三维图像集取得的术前高分辨率图像上。因此，这种实施方式使得外科手术医生能够借助于植入在已创建外科手术计划所根据的高分辨率图像(诸如，ct或mri图像)上的工具末端区域的图像实时地跟踪外科手术工具末端的位置。在目前描述的实施方式中，使用由工具引导的相机和身体部位引导的相机生成的图像信息的此类图像植入可以提供植入到感兴趣区域的高分辨率ct或mri图像上的外科手术工具的连续、实时视图。
82.本领域的技术人员应当理解，本发明不限于上文已经具体示出和描述的内容。相反，本发明的范围包括上文描述的各种特征的组合和子组合以及本领域技术人员在阅读以上描述时将想到的并且不在现有技术中的对其的变化和修改。

技术特征：
1.一种机器人跟踪系统，所述机器人跟踪系统包括：第一跟踪相机，所述第一跟踪相机固定地附接到机器人的一部分，处于使得所述第一跟踪相机能够捕获附接到外科手术工具的第一三维参照框架的图像的位置；第二跟踪相机，所述第二跟踪相机固定地附接到所述机器人的一部分，处于使得所述第二跟踪相机能够捕获附接到对象的解剖部分的第二三维参照框架的图像的位置；以及控制系统，所述控制系统适于基于来自所述第一跟踪相机的所述第一三维参照框架的图像确定所述外科手术工具在所述机器人坐标系中的至少一位置，并且适于基于来自所述第二跟踪相机的所述第二三维参照框架的图像确定所述对象的解剖部分在所述机器人坐标系中的姿势。2.根据权利要求1所述的机器人跟踪系统，其中，所述控制系统进一步适于确定所述外科手术工具的取向。3.根据前述权利要求中任一项所述的机器人跟踪系统，其中，所述机器人的所述一部分是端部执行器。4.根据前述权利要求中任一项所述的机器人跟踪系统，其中，所述控制系统适于考虑所述外科手术工具的操作末端相对于由所述第一三维参照框架确定的所述外科手术工具的位置的位置，使得所述外科手术工具的所述操作末端相对于所述端部执行器的纵向位置是已知的。5.根据前述权利要求中任一项所述的机器人跟踪系统，其中，所述对象的所述解剖部分是骨，并且所述外科手术工具是携载钻具钻头的钻具，所述钻具钻头适于在由所述端部执行器携载的引导套筒内移动，并且其中所述控制系统适于跟踪所述钻具钻头到所述骨中的插入深度。6.根据权利要求5所述的机器人跟踪系统，其中，所述控制系统进一步适于使用所述机器人系统的坐标系与至少所述骨的一组术前三维图像的配准程序，使得所述钻具钻头根据从所述术前三维图像集生成的外科手术计划相对于所述骨定向和定位。7.根据权利要求6所述的机器人跟踪系统，其中，所述控制系统进一步适于将所述骨的由所述图像配准程序确定的姿势与所述骨的根据来自所述第二跟踪相机的图像确定的姿势进行比较，使得能够在术中验证所述骨的姿势。8.根据前述权利要求中任一项所述的机器人跟踪系统，其中，所述跟踪相机中的至少一个使得能够生成三维图像。9.根据前述权利要求中任一项所述的机器人跟踪系统，其中，所述第一跟踪相机和所述第二跟踪相机中的至少一者适于在距所述跟踪相机所对准的所述三维参照框架不超过100cm的位置中固定地附接到所述端部执行器。10.根据权利要求1至8中任一项所述的机器人跟踪系统，其中，所述第一跟踪相机和所述第二跟踪相机中的至少一者适于在距所述跟踪相机所对准的所述三维参照框架不超过50cm的位置中固定地附接到所述端部执行器。11.根据权利要求1至8中任一项所述的机器人跟踪系统，其中，所述第一跟踪相机和所述第二跟踪相机中的至少一者适于在距所述跟踪相机所对准的所述三维参照框架不超过20cm的位置中固定地附接到所述端部执行器。12.根据前述权利要求中任一项所述的机器人跟踪系统，进一步包括固定地附接到接
触式探头的第三参照框架，使得附接到所述机器人的所述端部执行器的所述第一跟踪相机和所述第二跟踪相机中的至少一者能够确定所述接触式探头在所述机器人的坐标框架中的位置，使得所述对象的解剖结构的由所述接触式探头接触的点能够在所述机器人坐标框架中被配准。13.根据前述权利要求中任一项所述的机器人跟踪系统，其中，所述控制器进一步适于：在所述对象的所述解剖结构的由附接到所述机器人的所述端部执行器的所述第一跟踪相机和所述第二跟踪相机中的至少一者获得的图像中，检测激光束在所述对象的所述解剖结构的预定点上的撞击，使得所述对象的所述解剖结构的由所述激光束照射的所述预定点在所述机器人坐标框架中是已知的。14.根据前述权利要求中任一项所述的机器人跟踪系统，其中，所述控制系统进一步适于确定所述外科手术工具末端相对于所述对象的解剖部分的位置，而不需要与所述对象的术前图像配准。15.根据权利要求1所述的机器人跟踪系统，其中，所述外科手术工具是手持式的。16.一种机器人跟踪系统，所述机器人跟踪系统包括：第一二维成像相机，所述第一二维成像相机固定地附接到第一机器人臂并且被引导以生成附接到手持式外科手术工具的三维参照框架的第一二维图像；第二二维成像相机，所述第二二维成像相机固定地附接到第二机器人臂并且被引导以生成附接到所述手持式外科手术工具的所述三维参照框架的第二二维图像；以及控制系统，所述控制系统适于根据来自所述第一相机的第一二维图像以及根据来自所述第二相机的第二二维图像来确定所述外科手术工具在所述第一机器人和所述第二机器人中的至少一者的坐标系中的三维姿势，其中，所述第一机器人臂的位置和所述第二机器人臂的位置适于被保持间隔开一定距离，所述距离为所述手持式外科手术工具的所确定的姿势提供期望的准确度。17.根据权利要求16所述的机器人跟踪系统，进一步包括第三三维参照框架，所述第三三维参照框架附接到所述外科手术工具要在其上执行外科手术程序的对象的解剖部分，使得所述第一二维成像相机和所述第二二维成像相机能够提供信息以使得能够确定所述对象的所述解剖部分在所述第一机器人和所述第二机器人中的至少一者的坐标系中的三维姿势。18.根据权利要求17所述的机器人跟踪系统，其中，所述第一机器人臂和所述第二机器人臂适于被保持在足够靠近附接到所述对象的所述解剖部分的所述三维参照框架的距离处，以实现所述对象的所述解剖部分的所确定的三维姿势的期望的准确度。19.一种机器人跟踪系统，所述机器人跟踪系统包括：成像相机，所述成像相机在固定位置处附接到机器人的一部分，所述成像相机的视场是可调节的，使得它能够对以下部分进行成像：(a)附接到外科手术工具的第一三维参照框架，或者(b)附接到对象的解剖部分的第二三维参照框架；以及控制系统，所述控制系统适于基于从包括所述第一三维参照框架的视场生成的相机图像来确定所述外科手术工具在所述机器人坐标系中的至少一位置，并且适于基于从包括所述第二三维参照框架的视场生成的相机图像来确定所述对象的解剖部分在所述机器人坐
标系中的姿势。20.一种机器人跟踪系统，所述机器人跟踪系统包括：成像相机，所述成像相机固定地附接到机器人的一部分，所述成像相机的视场使得它能够对附接到外科手术工具的第一三维参照框架进行成像；以及控制系统，所述控制系统适于：(a)基于来自所述成像相机的所述第一三维参照框架的图像，确定所述外科手术工具在所述机器人坐标系中的至少一位置，以及(b)将所述工具的位置与所述工具意图在其上操作的对象的解剖部分相关联，所述解剖部分的姿势通过使用附接到所述对象的所述解剖部分的第二三维参照框架根据设置在所述机器人附近的固定位置中的导航跟踪系统来确定。21.一种机器人跟踪系统，所述机器人跟踪系统包括：至少一个成像相机，所述至少一个成像相机固定地附接到机器人的一部分，所述至少一个成像相机的视场使得它适于对以下部分进行成像：(i)第一三维参照框架，所述第一三维参照框架附接到外科手术工具，以及(ii)第二三维参照框架，所述第二三维参照框架附接到能够对对象的解剖身体部分进行成像的成像系统的一部分；以及控制系统，所述控制系统适于：(a)基于来自所述至少一个成像相机的所述第一三维参照框架的图像，确定所述外科手术工具在所述机器人坐标系中的至少一位置；(b)基于来自所述至少一个成像相机的所述第二三维参照框架的图像，确定所述成像系统在所述机器人坐标系中的姿势；以及(c)将所述工具的至少所述位置与所述工具意图在其上操作的所述对象的所述解剖部分相关联。22.一种机器人跟踪系统，所述机器人跟踪系统包括：第一成像相机，所述第一成像相机固定到机器人系统的端部执行器，使得所述第一成像相机的视场包括附接到外科手术工具的第一三维参照框架；第二成像相机，所述第二成像相机固定到机器人系统的端部执行器，使得所述第二成像相机的视场包括第二三维参照框架，所述第二三维参照框架附接到外科手术工具意图在其上操作的对象的解剖部分，以及控制系统，所述控制系统适于：(a)将通过分析所述第一参照框架的图像获得的关于所述外科手术工具的姿势的信息与通过分析所述第二参照框架的图像获得的关于所述对象的所述解剖部分的姿势的信息相关联，以及(b)使用关于所述外科手术工具末端相对于所述外科手术工具或相对于所述末端与所述解剖部分的表面的接触点的空间关系的信息，使得所述外科手术工具末端相对于所述对象的所述解剖部分的位置能够由所述控制器跟踪。23.一种跟踪由机器人操纵的外科手术工具的方法，所述方法包括：生成固定地安装到外科手术工具的第一三维参照框架的至少一个图像，所述第一参照框架设置在第一相机的视场内，所述第一相机安装在机器人的端部执行器上；
生成固定地附接到对象的解剖身体部分的第二三维参照框架的至少一个图像，所述第二参照框架设置在第二相机的视场内，所述第二相机安装在所述机器人的所述端部执行器上；对由所述第一相机生成的所述至少一个图像进行图像分析，以确定所述外科手术工具相对于所述机器人的所述端部执行器的姿势；对由所述第二相机生成的所述至少一个图像进行图像分析，以确定所述解剖身体部分相对于所述机器人的所述端部执行器的姿势；以及将所述外科手术工具的所确定的姿势与所述解剖身体部分的所确定的姿势相关联，使得在执行外科手术程序的同时能够相对于所述解剖身体部分跟踪所述外科手术工具。24.根据权利要求23所述的方法，进一步包括以下步骤：执行所述机器人的所述坐标系相对于所述解剖身体部分的区域的术前三维图像的配准，已根据所述术前三维图像计划了外科手术程序；以及使用所述机器人操纵所述外科手术工具以执行所述外科手术程序。25.根据权利要求23所述的方法，其中，将所述外科手术工具的所确定的姿势与所述对象的解剖部分的所确定的姿势相关联的步骤使得能够验证所述外科手术工具在所述对象的所述解剖身体部分上执行所述外科手术程序的准确性。26.根据权利要求23至25中任一项所述的方法，进一步包括以下步骤：确定所述外科手术工具相对于所述外科手术工具的空间位置，使得所述外科手术工具相对于所述对象的所述解剖身体部分的纵向位置被确定。27.根据权利要求23至25中任一项所述的方法，进一步包括以下步骤：确定所述外科手术工具末端相对于所述末端与所述解剖部分的表面的接触点的空间位置，使得所述外科手术工具的纵向位置能够相对于所述对象的解剖身体部分被跟踪。

技术总结
一种用于跟踪由外科手术机器人系统操纵的外科手术工具的位置以确定该工具被正确地定位和定向的系统。微型3-D跟踪相机安装在机器人系统的端部执行器上，一个观察标记在外科手术工具上，而其它标记附接到正被操作的解剖部分。测量外科手术工具在解剖部分的表面上的初始空间位置和取向，并且使用微型相机之一跟踪外科手术工具进入解剖身体部分的进程。相机或传感器靠近感兴趣的外科手术区域，并且系统操作所必需的所有机械和传感器元件都安装在机器人的范围内。该系统因此避免了远程定位的导航相机与机器人或患者之间的通信的中断。导航相机与机器人或患者之间的通信的中断。导航相机与机器人或患者之间的通信的中断。


技术研发人员：M
受保护的技术使用者：马佐尔机器人有限公司
技术研发日：2021.11.30
技术公布日：2023/8/4