一种手术机器人导航定位方法、装置及系统与流程

未命名 07-27 阅读:57 评论:0


1.本发明涉及数据处理技术领域,特别是涉及一种手术机器人导航定位方法、装置及系统。


背景技术:

2.在骨科手术中,很多时候需要将螺钉嵌入人的骨骼中。目前,在我国的一些基层医院中,普遍存在医资水平欠佳,在一些复杂的、难度较大的骨科手术如骨盆复位手术等无法实现精准置钉的情况。手术机器人的出现可以帮助医生精准地完成导航定位手术以弥补医生水平及资历的欠佳。在手术过程中,导航定位设备需要获得待置入螺钉的位姿数据,然后根据上述位姿数据,操作手术机器人对目标位置进行导航定位。然而,在对一些结构较为复杂的骨骼进行手术时,在骨骼中规划的螺钉的位姿数据的准确性可能较低,例如,进行骨盆手术时,现有的做骨盆手术的机器人一般只能实现在二维骨骼图像上进行手术路径的规划,由于骨盆的机构比较复杂,一些资历比较浅的医生在二维骨骼图像上进行螺钉位姿规划无法对待置入螺钉的三维位置进行一个立体的空间想象,因此,可能存在手术规划时间比较长,位姿规划的准确性欠佳而影响机器人最终定位精度的问题。


技术实现要素:

3.本发明实施例的目的在于提供一种手术机器人导航定位方法、装置及系统,以提高对手术机器人进行导航定位的准确性。具体技术方案如下:
4.第一方面,本发明实施例提供了一种手术机器人导航定位方法,所述方法包括:
5.获得图像采集设备在不同采集角度下针对手术对象采集的多张二维骨骼图像;
6.获得待置入所述手术对象的螺钉的三维位姿数据,其中,所述三维位姿数据基于预先获得的三维骨骼图像规划得到;
7.对各二维骨骼图像以及所述三维骨骼图像进行图像配准,得到各二维骨骼图像与所述三维骨骼图像之间的第一位置关系;
8.基于所得到的第一位置关系,对所述三维位姿数据进行空间转换,得到所述螺钉在各二维骨骼图像对应的二维空间中的二维位姿数据;
9.针对每一二维骨骼图像,渲染叠加有目标螺钉数据的该二维骨骼图像,其中,所述目标螺钉数据为:基于该二维骨骼图像对应的二维位姿数据设置的所述螺钉的数据;
10.获得所述用户基于所渲染的各二维骨骼图像输入的针对所述螺钉的位姿调整信息;
11.根据所述位姿调整信息,对二维位姿数据进行调整;
12.根据位姿数据调整后的各个二维位姿数据,对所述手术机器人进行导航定位。
13.第二方面,本发明实施例还提供了一种手术机器人导航定位装置,所述装置包括:
14.图像获得模块,用于获得图像采集设备在不同采集角度下针对手术对象采集的多张二维骨骼图像;
15.位姿获得模块,用于获得待置入所述手术对象的螺钉的三维位姿数据,其中,所述三维位姿数据基于预先获得的三维骨骼图像规划得到;
16.图像配准模块,用于对各二维骨骼图像以及所述三维骨骼图像进行图像配准,得到各二维骨骼图像与所述三维骨骼图像之间的第一位置关系;
17.第一转换模块,用于基于所得到的第一位置关系,对所述三维位姿数据进行空间转换,得到所述螺钉在各二维骨骼图像对应的二维空间中的二维位姿数据;
18.图像渲染模块,用于针对每一二维骨骼图像,渲染叠加有目标螺钉数据的该二维骨骼图像,其中,所述目标螺钉数据为:基于该二维骨骼图像对应的二维位姿数据设置的所述螺钉的数据;
19.信息获得模块,用于获得所述用户基于所渲染的各二维骨骼图像输入的针对所述螺钉的位姿调整信息;
20.位姿调整模块,用于根据所述位姿调整信息,对二维位姿数据进行调整;
21.导航定位模块,用于根据位姿数据调整后的各个二维位姿数据,对所述手术机器人进行导航定位。
22.第三方面,本发明实施例还提供了一种手术机器人导航定位系统,所述系统包括:图像采集设备、上位机以及手术机器人;
23.所述图像采集设备,用于在不同采集角度下采集手术对象的多张二维骨骼图像,并将所采集的二维骨骼图像发送给所述上位机;
24.所述上位机,用于根据上述第一方面所述的方法步骤,控制所述手术机器人进行导航定位。
25.第四方面,本发明实施例还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
26.存储器,用于存放计算机程序;
27.处理器,用于执行存储器上所存放的程序时,实现上述第一方面所述的方法步骤。
28.第五方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法步骤。
29.本发明实施例有益效果:
30.由以上可见,应用本发明实施例提供的方案对手术机器人进行导航定位时,可以将三维位姿数据转换为二维骨骼图像对应的二维空间中的二维位姿数据,并渲染叠加有基于二维位姿数据设置的螺钉的目标螺钉数据的二维骨骼图像,这样用户可以根据自身经验以及所渲染的二维骨骼图像,输入针对螺钉的位姿调整信息,根据用户输入的位姿调整信息对二维位姿数据进行调整,能够提高二维位姿数据的准确性,从而根据位姿数据调整后的各个二维位姿数据,在能够实现对手术机器人进行导航定位的前提下,还能够提高对手术机器人进行导航定位的准确性。此外,本发明的手术规划方式由于在三维骨骼图像中进行的,针对一些复杂的骨骼结构的手术路径的规划如骨盆等,或者对资历浅的手术操作者来说,手术规划会更直观便捷,操作效率更高,进而提高手术效率以及提高机器人最终的导航定位精度。本发明的手术机器人导航定位系统给基层医院的医生和病人带来了福音,弥补了低年级医生手术经验、能力的欠缺,降低了手术难度、同时提高了手术的安全性,在一
定程度上解决了基层医院就医困难的问题。
附图说明
31.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
32.图1为本发明实施例提供的第一种手术机器人导航定位方法的流程示意图;
33.图2a为本发明实施例提供的第二种手术机器人导航定位方法的流程示意图;
34.图2b为本发明实施例提供的一种c臂机的局部结构示意图;
35.图3为本发明实施例提供的第一种手术机器人导航定位系统的结构示意图;
36.图4为本发明实施例提供的第二种手术机器人导航定位系统的结构示意图;
37.图5a为本发明实施例提供的第三种手术机器人导航定位系统的结构示意图;
38.图5b为本发明实施例提供的一种机械臂末端的结构示意图;
39.图5c为本发明实施例提供的一种定位器的结构示意图;
40.图5d为本发明实施例提供的一种置钉手术的场景示意图;
41.图6为本发明实施例提供的第一种手术机器人导航定位装置的结构示意图;
42.图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
43.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员基于本发明所获得的所有其他实施例,都属于本发明保护的范围。
44.参见图1,图1为本发明实施例提供的第一种手术机器人导航定位方法的流程示意图,本实施例中,上述方法包括以下步骤s101-s108。
45.步骤s101:获得图像采集设备在不同采集角度下针对手术对象采集的多张二维骨骼图像。
46.其中,上述图像采集设备可以是二维成像设备。例如,上述图像采集设备可以是c臂机、x光透视机等。
47.上述采集角度可以是朝向手术对象的正前方的角度、朝向手术对象的侧面的角度等等。
48.本发明的一个实施例中,上述二维骨骼图像为x光图像。
49.在获得二维骨骼图像时,可以获得图像采集设备在不同采集角度下采集的至少两张二维骨骼图像。
50.步骤s102:获得待置入手术对象的螺钉的三维位姿数据。
51.其中,三维位姿数据基于预先获得的三维骨骼图像规划得到。
52.本发明的一个实施例中,上述三维骨骼图像为ct(computed tomography,电子计算机断层扫描)图像。
53.本发明的一个实施例中,上述三维位姿数据可以是基于三维骨骼图像建立的坐标系中的位姿数据。
54.具体的,可以通过以下三种实现方式中任一种获得上述三维位姿数据。
55.第一种实现方式中,可以展示上述三维骨骼图像,以使得用户可以基于所展示的三维骨骼图像规划螺钉的位姿数据,这样可以获得用户输入的位姿数据,作为上述三维位姿数据。
56.第二种实现方式中,基于三维骨骼图像,可以利用现有的位姿规划技术,规划得到螺钉的三维位姿数据,这里不再详述。
57.第三种实现方式中,可以获得由具有位姿规划功能的设备基于三维骨骼图像规划的位姿数据,作为上述三维位姿数据。
58.步骤s103:对各二维骨骼图像以及三维骨骼图像进行图像配准,得到各二维骨骼图像与三维骨骼图像之间的第一位置关系。
59.上述二维骨骼图像有多张,每一二维骨骼图像与三维骨骼图像之间均具有各自的第一位置关系。
60.上述第一位置关系可以理解为二维骨骼图像中像素点的位置与三维骨骼图像中像素点的位置之间的位置关系。
61.本发明的一个实施例中,上述二维骨骼图像与三维骨骼图像之间的第一位置关系可以是:基于二维骨骼图像建立的二维坐标系与基于三维骨骼图像建立的三维坐标系之间的坐标转换关系。
62.具体的,可以通过以下两种实现方式中任一种实现图像配准。
63.第一种实现方式中,由于各二维骨骼图像对应的采集角度不同,因此,各二维骨骼图像能够反映手术对象骨骼的三维信息。鉴于此,可以根据采集各二维骨骼图像时图像采集设备的采集参数以及各二维骨骼图像,生成手术对象的三维骨骼图像,并对所生成的三维骨骼图像和预先获得的三维骨骼图像进行图像配准,得到这两张三维骨骼图像之间的位置关系。
64.另外,由于所生成的三维骨骼图像来源于各二维骨骼图像,因此,根据各二维骨骼图像对应的采集参数,可以确定所生成的三维骨骼图像与各二维骨骼图像之间的位置关系,这样根据所确定的位置关系以及上述两张三维骨骼图像之间的位置关系,可以确定各二维骨骼图像与预先获得的三维骨骼图像之间的第一位置关系。
65.第二种实现方式中,针对预先获得的三维骨骼图像,可以将各二维骨骼图像对应的采集角度作为投影角度,对该三维骨骼图像进行投影,得到投影后的多张二维骨骼图像,并确定投影得到的各二维骨骼图像与三维骨骼图像之间的位置关系。对采集得到的二维骨骼图像和投影得到的二维骨骼图像进行图像配准,可以得到这两种二维骨骼图像之间的位置关系,这样根据上述所确定的位置关系以及这两种二维骨骼图像之间的位置关系,可以确定图像采集设备所采集的各二维骨骼图像与上述三维骨骼图像之间的第一位置关系。
66.本发明的一个实施例中,在对二维骨骼图像和三维骨骼图像进行图像配准之前,可以对三维骨骼图像进行如分割、切分、复位等预处理,然后再对二维骨骼图像和预处理后的三维骨骼图像进行图像配准。
67.步骤s104:基于所得到的第一位置关系,对三维位姿数据进行空间转换,得到螺钉
在各二维骨骼图像对应的二维空间中的二维位姿数据。
68.本发明的一个实施例中,上述二维位姿数据可以是上述二维空间所在的空间坐标系中的位姿数据。
69.具体的,每一二维骨骼图像与预先获得的三维骨骼图像之间具有第一位置关系,针对每一二维骨骼图像,基于该二维骨骼图像对应的第一位置关系,可以对三维位姿数据进行空间转换,得到转换后的位姿数据,作为螺钉在该二维骨骼图像对应的二维空间中的二维位姿数据。
70.由于每一二维骨骼图像具有三维的手术对象的部分维度的对象信息,因此,转换得到的每一二维位姿数据可以理解为螺钉在二维骨骼图像所对应部分维度上的位姿数据。由于各二维骨骼图像对应的采集角度不同,不同二维骨骼图像能够反映手术对象三维的对象信息,因此,在基于第一位置关系对三维位姿数据进行空间转换,得到螺钉在各二维骨骼图像对应的二维空间中的二维位姿数据,这些位姿数据能够反映螺钉在三维空间的三个维度上的位姿数据。
71.例如,若二维骨骼图像a为图像采集设备从手术对象的正前方采集的图像,二维骨骼图像b为图像采集设备从手术对象的侧面采集的图像,则图像a具有手术对象在宽度和长度维度上的信息,图像b具有手术对象在高度和长度维度上的信息。基于图像a对应的第一位置关系,对三维位姿数据进行空间转换,可以得到螺钉在图像a对应的二维空间中的二维位姿数据,该二维位姿数据可以理解为螺钉在手术对象的宽度和长度维度上的位姿数据。同理,基于图像b对应的第一位置关系,对三维位姿数据进行空间转换,可以得到螺钉在图像b对应的二维空间中的二维位姿数据,该二维位姿数据可以理解为螺钉在手术对象的高度和长度维度上的位姿数据。这两种位姿数据能够反映螺钉在手术对象的长度、宽度以及高度这三个维度上的位姿数据。
72.步骤s105:针对每一二维骨骼图像,渲染叠加有目标螺钉数据的该二维骨骼图像。
73.其中,目标螺钉数据为:基于该二维骨骼图像对应的二维位姿数据设置的螺钉的数据。
74.具体的,在获得上述二维位姿数据后,可以结合二维位姿数据以及螺钉的其他属性数据,确定螺钉的目标螺钉数据,从而渲染叠加有目标螺钉数据的二维骨骼图像,可以得到图像中上述二维位姿数据所对应区域展示有螺钉的二维骨骼图像。
75.本发明的一个实施例中,上述其他属性数据包含螺钉的颜色、形状、大小等等数据。
76.步骤s106:获得用户基于所渲染的各二维骨骼图像输入的针对螺钉的位姿调整信息。
77.具体的,用户在查看叠加有目标螺钉数据的二维骨骼图像后,可以根据自身经验,针对在三维骨骼图像中规划的螺钉的三维位姿数据,输入调整三维位姿数据的位姿调整信息;也可以针对上述二维骨骼图像中展示的螺钉的目标螺钉数据,输入调整目标螺钉数据的位姿调整信息。
78.步骤s107:根据位姿调整信息,对二维位姿数据进行调整。
79.具体的,在上述位姿调整信息为调整目标螺钉数据的信息的情况下,可以根据位姿调整信息,直接调整目标螺钉数据中的二维位姿数据。
80.在上述位姿调整信息为调整三维位姿数据的信息的情况下,可以根据位姿调整信息,对三维位姿数据进行调整,得到调整后的三维位姿数据,并根据第一位置关系,对所获得的位姿数据进行空间转换,得到螺钉在各二维骨骼图像所对应的二维空间中的位姿数据,作为调整后的二维位姿数据。
81.这种情况下,根据用户输入的位姿调整数据对三维位姿数据进行调整,能够提高三维位姿数据的准确性,从而根据第一位置关系,对调整后的三维位姿数据进行空间转换,得到螺钉在各二维骨骼图像所对应的二维空间中的位姿数据,将其作为调整后的二维位姿数据,能够提高二维位姿数据的准确性,进而能够提高后续处理的准确性。
82.本发明的一个实施例中,在对二维位姿数据进行调整后,可以获得螺钉的目标螺钉数据,并渲染叠加有目标螺钉数据的二维骨骼图像,以使得用户能够查看调整二维位姿数据后显示的二维骨骼图像,若用户认为还需再次调整,则可以再对二维位姿数据进行调整,直至二维位姿数据满足用户预期。
83.步骤s108:根据位姿数据调整后的各个二维位姿数据,对手术机器人进行导航定位。
84.具体的,根据调整后的二维位姿数据,可以在手术对象的骨骼中确定待置入螺钉的位姿数据。由于螺钉的位姿数据与置入螺钉时手术机器人的位姿数据之间通常存在固定的位置关系,因此,在确定出待置入螺钉的位姿数据后,可以根据该固定的位置关系,推测出手术机器人的位姿数据,从而根据所推测的位姿数据,对手术机器人进行导航定位。
85.另外,若在调整上述二维位姿数据时,是对各二维骨骼图像对应的二维位姿数据均进行调整,则在对手术机器人进行导航定位时,可以根据调整后的全部二维位姿数据,对手术机器人进行导航定位。
86.若在调整上述二维位姿数据时,是对各二维骨骼图像对应的二维位姿数据中的部分位姿数据,则在对手术机器人进行导航定位时,可以根据调整后的二维位姿数据和未调整的二维位姿数据,对手术机器人进行导航定位。
87.根据二维位姿数据确定手术对象的骨骼中螺钉的位姿数据的实现方式可参见后续实施例,这里暂不详述。
88.由以上可见,应用本发明实施例提供的方案对手术机器人进行导航定位时,可以将三维位姿数据转换为二维骨骼图像对应的二维空间中的二维位姿数据,并渲染叠加有基于二维位姿数据设置的螺钉的目标螺钉数据的二维骨骼图像,这样用户可以根据自身经验以及所渲染的二维骨骼图像,输入针对螺钉的位姿调整信息,根据用户输入的位姿调整信息对二维位姿数据进行调整,能够提高二维位姿数据的准确性,从而根据位姿数据调整后的各个二维位姿数据,在能够实现对手术机器人进行导航定位的前提下,还能够提高对手术机器人进行导航定位的准确性。此外,本发明的手术规划方式由于在三维骨骼图像中进行的,针对一些复杂的骨骼结构的手术路径的规划如骨盆等,或者对资历浅的手术操作者来说,手术规划会更直观便捷,操作效率更高,进而提高手术效率以及提高机器人最终的导航定位精度。本发明的手术机器人导航定位系统给基层医院的医生和病人带来了福音,弥补了低年级医生手术经验、能力的欠缺,降低了手术难度、同时提高了手术的安全性,在一定程度上解决了基层医院就医困难的问题。
89.本发明的一个实施例中,上述二维骨骼图像的数量为两张。
90.本方案中,由于在手术过程中图像采集设备采集图像时,进行手术的医生以及手术对象会受到图像采集设备产生的辐射伤害,应用本发明实施例提供的方案对手术机器人进行导航定位时,图像采集设备最少可以仅采集两张二维骨骼图像,这样能够尽可能降低医生以及手术对象受到的辐射伤害。
91.在对手术对象进行手术的过程中,可能由于手术对象移动或者手术台升降等原因,导致手术对象的位姿改变,进而导致对手术机器人进行导航定位的准确性较低。
92.为解决上述技术问题,本发明的一个实施例中,参加图2a,提供了第二种手术机器人导航定位方法的流程示意图,本实施例中,上述图像采集设备的视场范围内还包括带有标记物的配准板,配准板安装有示踪器。
93.上述配准板可以安装于图像采集设备上、且位于图像采集设备的视场范围内,上述配准板还可以放置于图像采集设备的视场范围内的其他位置。
94.例如,参见图2b,图2b为安装有配准板的c臂机的局部结构示意图,图2b中,上方的圆柱区域表示c臂机影像增强器,在c臂机的影像增强器下方固定有两个圆环,这两个圆环表示双层结构的配准板,配准板左侧的十字架区域以及与十字架区域相邻的四个圆形区域表示安装在配准板上的示踪器。
95.在上述配准板可以安装于图像采集设备上的情况下,图像采集设备在采集图像时,采集角度会发生变化,因此,配准板的位姿会随着图像采集设备的位姿改变而改变,安装于配准板上的第一示踪器的位姿也会随之改变。
96.上述方法还包括步骤s109-s111,并且上述步骤s104可以通过以下步骤s104a实现。
97.步骤s109:针对每一二维骨骼图像,获得与该二维骨骼图像同步采集的手术对象的对象位姿数据以及示踪器的示踪器位姿数据;根据对象位姿数据和示踪器位姿数据,获得该二维骨骼图像对应的、表征手术对象与示踪器间位置关系的第二位置关系。
98.其中,对象位姿数据和示踪器位姿数据为同一空间中的位姿数据。
99.本发明的一个实施例中,上述对象位姿数据和示踪器位姿数据为同一空间所在的坐标系中的位姿数据。
100.上述对象位姿数据可以以手术对象的位姿数据表示,也可以以用于示出手术对象位姿的示踪器的位姿数据表示。
101.本发明的一个实施例中,上述第二位置关系可以是根据手术对象建立的对象坐标系与根据示踪器建立的示踪器坐标系之间的坐标转换关系。
102.具体的,在对手术对象进行手术的过程中,可以持续记录手术对象的位姿数据以及上述示踪器的位姿数据,这样在获得上述二维骨骼图像后,可以在所记录的位姿数据中,获得在上述二维骨骼图像对应的采集时刻下记录的手术对象的位姿数据,作为上述对象位姿数据,并获得在上述采集时刻下记录的示踪器的位姿数据,作为上述示踪器位姿数据。
103.另外,还可以预先设置采集时刻,以使得图像采集设备在所设置的采集时刻下采集图像,并记录在所设置的采集时刻下手术对象的对象位姿数据以及示踪器的示踪器位姿数据。
104.记录手术对象和示踪器的位姿数据可以通过现有的位姿获得技术实现,如使用双目相机记录手术对象和示踪器的位姿数据,这里不再详述。
105.本发明的一个实施例中,在获得上述对象位姿数据和示踪器位姿数据之后,可以通过以下两种实现方式中任一种获得上述第二位置关系。
106.第一种实现方式中,由于这两种位姿数据为同一空间中的位姿数据,因此根据这两种位姿数据,即可确定手术对象与示踪器之间的相对位置关系,从而可以将所确定的相对位置关系,作为表征手术对象与示踪器间位置关系的第二位置关系。
107.第二种实现方式中,对象位姿数据和示踪器位姿数据为同一空间中的位姿数据,为方便表述,这里将该同一空间称为目标空间。对象位姿数据为手术对象在目标空间中的位姿数据,对象位姿数据可以理解为根据手术对象建立的对象空间在目标空间中的位姿数据,因此,根据对象位姿数据,可以确定对象空间与目标空间之间的位置关系,同样的,根据示踪器位姿数据,可以确定根据示踪器建立的示踪器空间与目标空间之间的位置关系,这样,根据所确定的这两种位置关系,可以确定对象空间与示踪器空间之间的位置关系,作为表征手术对象与示踪器间位置关系的第二位置关系。
108.步骤s110:针对每一二维骨骼图像,获得标记物在该二维骨骼图像中的第一位置,根据所获得的第一位置以及标记物在配准板中的第二位置,确定该二维骨骼图像对应的、表征该二维骨骼图像与配准板间位置关系的第三位置关系。
109.本发明的一个实施例中,上述第一位置可以是标记物在基于二维骨骼图像建立的坐标系中的坐标,上述第二位置可以是标记物在基于配准板建立的坐标系中的坐标,上述第三位置关系可以是基于二维骨骼图像建立的坐标系与基于配准板建立的坐标系之间的坐标转换关系。
110.本发明的一个实施例中,可以通过以下两种实现方式中任一种获得标记物在二维骨骼图像中的第一位置。
111.第一种实现方式中,配准板中标记物的形状通常是已知的,因此,可以根据标记物的形状特征,识别二维骨骼图像中的标记物,从而得到标记物在二维骨骼图像中的第一位置。
112.第二种实现方式中,由于二维骨骼图像中像素点的位置与图像采集设备的视场范围内的位置存在对应关系,因此,在图像采集设备的视场范围内放置配准板时,可以将配准板放置在预先设置的位置上,这样可以在二维骨骼图像中,根据上述对应关系,确定与该预设位置对应的位置为配准板所在位置。另外,由于标记物在配准板中的位置可以是已知的,因此,在确定出二维骨骼图像中配准板所在位置后,可以再次根据标记物在配准板中的位置,确定标记物在二维骨骼图像中的第一位置。
113.根据上述第一位置和第二位置确定上述第三位置关系的具体实现方式可参见后续实施例,这里暂不详述。
114.另外,还可以利用现有的配准技术,对上述第一位置和第二位置进行配准,得到上述第三位置关系。
115.在获得各个二维骨骼图像对应的第二位置关系和第三位置关系,并获得螺钉的二维位姿数据后,还通过以下步骤s111将螺钉的三维位姿数据转换至其他空间中。
116.步骤s111:根据各二维骨骼图像对应的第一位置关系、第二位置关系、第三位置关系以及预先获得的第四位置关系,对三维位姿数据进行空间转换,得到螺钉在手术对象所在空间中的目标位姿数据。
117.其中,第四位置关系表征配准板与示踪器间的位置关系。
118.本发明的一个实施例中,上述第四位置关系可以是基于配准板建立的坐标系与基于示踪器建立的坐标系之间的坐标转换关系。
119.上述目标位姿数据可以是螺钉在手术对象所在空间的空间坐标系中的位姿数据。
120.由于示踪器安装于配准板上,因此,示踪器与配准板之间的相对位置关系是固定的,可以预先标定表征配准板与示踪器间位置关系的第四位置关系。
121.具体的,可以通过以下两种实现方式中任一种对三维位姿数据进行空间转换。
122.第一种实现方式中,第一位置关系表征各二维骨骼图像与三维骨骼图像之间位置关系,第三位置关系表征二维骨骼图像与配准板间位置关系,第四位置关系表征配准板与示踪器间位置关系,第二位置关系表征手术对象与示踪器间位置关系,根据这四种位置关系,可以确定表征三维骨骼图像与手术对象间位置关系的位置关系,这样根据所确定的位置关系,可以对三维位姿数据进行空间转换,从而得到螺钉在手术对象所在空间中的目标位姿数据。
123.第二种实现方式中,可以根据第一位置关系,对三维位姿数据进行空间转换,得到螺钉在各二维骨骼图像对应的二维空间中的第一中间位姿数据,再根据第三位置关系,对第一中间位姿数据进行空间转换,得到螺钉在配准板所在空间中的第二中间位姿数据,再根据第四位置关系,对第二中间位姿数据进行空间转换,得到螺钉在示踪器所在空间中的第三中间位姿数据,再根据第二位置关系,对第三中间位姿数据进行空间转换,得到螺钉在手术对象所在空间中的目标位姿数据。
124.在获得上述第二位置关系和第三位置关系后,可以通过以下步骤s104a实现上述步骤s104。
125.步骤s104a:根据各个二维骨骼图像对应的第二位置关系、第三位置关系以及第四位置关系,对目标位姿数据进行空间转换,得到螺钉在各二维骨骼图像对应的二维空间的二维位姿数据。
126.本步骤与上述步骤s111类似,这里不再赘述。
127.由以上可见,应用本发明实施例提供的方案进行手术机器人导航定位时,根据上述第一位置关系、第二位置关系、第三位置关系以及第四位置关系,将螺钉在三维骨骼图像中的三维位姿数据转换为手术对象所在空间中的目标位姿数据,这样无论手术对象的位姿是否改变,手术对象所在空间中目标位姿数据始终不会改变,因此,应用本发明实施例提供的手术机器人导航定位方案,能够消除手术对象位姿改变对导航定位准确性的影响,从而能够提高手术机器人导航定位的准确性。
128.下面对根据第一位置和第二位置确定第三位置关系的具体实现方式进行说明。
129.本发明的一个实施例中,针对每一二维骨骼图像,可以通过以下步骤一至步骤五,确定该二维骨骼图像对应的第三位置关系。
130.步骤一:根据转换参数,对标记物在配准板中的第二位置进行空间转换,得到标记物在手术对象所在空间中的第三位置。
131.其中,转换参数的初始值为人为预设的参数。
132.上述转换参数可以包含平移参数以及旋转参数。
133.本发明的一个实施例中,上述第二位置可以是标记物在基于配准板建立的坐标系
中的坐标,上述第三位置可以是标记物在手术对象所在空间的空间坐标系中的坐标。
134.具体的,可以根据转换参数中的平移参数,可以对标记物在配准板中的第二位置进行平移处理,再根据转换参数中的旋转参数,以配准板所在空间的空间基准点作为旋转中心,对平移后的第二位置进行旋转处理,得到旋转后的第二位置,作为标记物在手术对象所在空间的第三位置。
135.另外,也可以首先对上述第二位置进行旋转处理,再对旋转后的第二位置进行平移处理。
136.步骤二:根据图像采集设备采集二维骨骼图像时的设备投影参数,对得到的第三位置进行投影变换处理,得到处理后的第四位置。
137.具体的,在获得二维骨骼图像时,还可以获得图像采集设备采集二维骨骼图像时的设备投影参数,从而根据所获得的设备投影参数,对上述第三位置进行投影变换处理,得到第四位置。
138.上述设备投影参数中可以包含投影距离、投影角度等等参数,对上述第三位置进行投影变换处理,可以理解为按照设备投影参数中的投影距离、投影角度等参数,将上述三维的第三位置映射为二维位置。上述第四位置可以理解为:按照上述设备投影参数对位置为上述三维位置的标记物进行投影得到的位置。
139.对上述第三位置进行投影变换处理可以利用现有的投影技术实现,这里不再详述。
140.步骤三:计算所获得的第一位置与第四位置之间的位置误差。
141.具体的,上述第四位置是根据图像采集设备采集二维骨骼图像时的设备投影参数进行投影变换得到的,因此,上述第四位置可以理解为:在参数为上述设备投影参数的情况下图像采集设备采集得到的图像中标记物的位置,并且,上述第一位置同样是在参数为上述设备投影参数的情况下图像采集设备采集得到的图像中标记物的位置,因此,上述第一位置和第四位置可以看做是使用不同方式得到的标记物的位置,在计算上述位置误差时,可以计算第一位置和第四位置之间的距离,作为上述位置误差。
142.步骤四:以位置误差为损失值,对转换参数进行调整,并返回根据转换参数,对标记物在配准板中的第二位置进行空间转换,得到标记物在手术对象所在空间中的第三位置的步骤,直至满足预设结束条件。
143.其中,预设结束条件包括针对转换参数的第一子条件。
144.本发明的一个实施例中,上述第一子条件可以是调整转换参数的次数达到预设次数,也可以是基于调整后的转换参数重新执行上述步骤一至三得到的位置误差小于预设误差。
145.具体的,在获得上述位置误差后,将位置误差作为损失值,根据该损失值,可以确定调整转换参数的调整量,从而根据所确定的调整值,调整转换参数。
146.例如,针对上述转换参数中的平移参数,在获得上述位置误差k后,可以根据上述位置误差k,计算得到调整量为0.1k,这样可以将平移参数的参数值增加0.1k,得到调整后的平移参数。
147.另外,由于调整转换参数的过程通常为迭代过程,因此,在获得本次迭代过程中的位置误差后,还可以根据本次迭代过程之前的多个迭代过程中获得的位置误差,分析位置
误差的数值变化趋势,从而结合位置误差的数据变化趋势以及本次迭代过程中获得的位置误差,确定调整量。
148.步骤五:根据最终转换参数,确定表征二维骨骼图像与配准板间位置关系的第三位置关系。
149.其中,最终转换参数为:针对预设参数最后一次调整后的转换参数。
150.具体的,若调整后的转换参数满足第一子条件,则无需再次返回上述步骤一,此时满足第一子条件的转换参数即为最后一次调整后的转换参数,即最终转换参数。根据最终转换参数m,可以确定按照以下表达式为表征二维骨骼图像与配准板间位置关系的第三位置关系:
151.l1=ml2152.其中,上述l1为待测对象在配准板中的位置,l2为同一待测对象在二维骨骼图像中的位置,待测对象为二维骨骼图像所对应的二维空间中的任一对象。
153.由以上可见,应用本公开实施例提供的方案对手术机器人进行导航定位时,对标记物的第二位置进行空间转换、投影变换等处理后,得到第四位置,并将第一位置和第四位置之间的位置误差作为损失值,对转换参数进行调整,直至满足预设结束条件,这样能够通过对转换参数不断迭代调整,提高满足预设结束条件时得到的最终转换参数的准确性,从而根据最终转换参数确定第三位置关系,能够提高第三位置关系的准确性,进而根据较为准确的第三位置关系对手术机器人进行导航定位,能够提高导航定位的准确性。
154.另外,上述位置误差为所获得的第一位置和第四位置之间的误差,当出现误识别或者漏识别标记物在二维骨骼图像中的第一位置的情况,上述步骤四依然可以根据识别到的第一位置以及第四位置计算位置误差,从而实现对转换参数进行调整,并基于调整后的转换参数确定上述第三位置关系,进而实现手术机器人导航定位,可见应用本发明实施例提供的手术机器人导航定位方案,能够提高手术机器人导航定位的鲁棒性。
155.本发明的一个实施例中,在配准板中的标记物的数量大于3的情况下,在计算上述位置误差时,可以针对每一第五位置,分别计算该第五位置与各个第六位置之间的目标距离,根据计算得到的目标距离,获得该第五位置对应的子位置误差,并根据各个第五位置对应的子位置误差,确定所获得的第一位置与第四位置之间的位置误差。
156.其中,第五位置为:第一位置或第四位置,第六位置为:第一位置和第四位置中除第五位置外的位置。
157.若上述第五位置为第一位置,则上述第六位置即为第四位置;反之,若上述第五位置为第四位置,则上述第六位置即为第一位置。
158.对于配准板中的每一标记物,该标记物在二维骨骼图像中存在一个第一位置,并且经上述步骤一、二后,可以获得该标记物的一个第四位置,这样在标记物的数量大于3的情况下,每一标记物对应一个第一位置和第四位置,多个标记物则对应多个第一位置和第四位置。
159.下面以第五位置为第四位置、第六位置为第一位置为例,对确定上述位置误差进行说明。
160.具体的,针对每一第四位置,可以分别计算该第四位置与各个第一位置之间的目标距离,并根据计算得到的各个目标距离,获得该第四位置对应的子位置误差。
161.例如,若存在3个标记物,则可以获得三个第一位置p1、p2、p3,以及三个第四位置q1、q2、q3,针对这三个第四位置中每一位置,可以分别计算该第四位置与各个第一位置之间的目标距离,如,针对第四位置q1,可以计算得到三个目标距离,分别为r1=q1-p1、r2=q2-p2、r2=q2-p2,这样根据目标距离r1、r2、r3,可以获得第四位置q1对应的子位置误差。
162.本发明的一个实施例中,在计算出上述目标距离后,可以通过以下两种实现方式中任一种确定子位置误差。
163.第一种实现方式中,可以对计算得到的目标距离进行加权计算,得到第四位置对应的子位置误差。
164.其中,目标距离的权重根据目标距离的大小确定。目标距离越大,则可以确定目标距离的权重越小。
165.本实现方式中,根据目标距离的大小,可以准确确定目标距离的权重,这样根据各个目标距离的权重,对目标距离进行加权计算,能够准确获得第四位置对应的子位置误差。
166.第二种实现方式中,可以将计算得到的各个目标距离中的最小距离确定为该第四位置对应的子位置误差。
167.本实现方式中,各目标距离中的最小距离对应的第一位置对应的标记物通常与该第四位置对应的标记物为同一标记物,即各个目标距离中的最小距离为同一标记物的第一位置和第四位置之间的距离,这样将最小距离确定为该第四位置对应的子位置误差,能够提高子位置误差的准确性。
168.在第五位置为第一位置、第六位置为第四位置的情况下确定上述位置误差的方式与上述举例相同,这里不再赘述。
169.本发明的一个实施例中,在获得各个第五位置对应的子位置误差后,可以将各个子位置误差相加,得到相加结果,并将相加结果确定为第一位置和第四位置之间的位置误差;还可以计算各个子位置误差的平均值,将计算得到的平均值确定为第一位置和第四位置之间的位置误差。
170.另外,根据各个第五位置对应的子位置误差,还可以通过其他方式,确定第一位置与第四位置之间的位置误差,例如确定各个子位置误差的中位数、加权平均值等等作为位置误差。本发明实施例对此并不限定。
171.由以上可见,应用本发明实施例提供的方案对手术机器人进行导航定位时,在标记物的数量大于3的情况下,可以结合各个标记物的第一位置和第四位置确定位置误差,这样能够提高所确定的位置误差的准确性,从而以较为准确的位置误差作为损失值,能够对转换参数进行准确调整,这样能够降低转换参数的调整次数,提高获得最终转换参数的效率,从而提高对手术机器人进行导航定位的效率。
172.在调整转换参数的过程中,最后一次调整得到的最终转换参数可能为转换参数的局部最优解,而并非全局最优解。
173.为解决上述问题,本发明的一个实施例中,可以设置多个预设参数,上述预设结束条件还可以包括针对预设参数的数量的第二子条件,并且,在对转换参数进行调整之后,在满足第一子条件且未满足第二子条件的情况下,可以将转换参数更新为未遍历的一个预设参数。
174.本发明的一个实施例中,上述第二子条件可以是已遍历的预设参数的数量为预设
参数的数量。
175.具体的,在调整转换参数的过程中,每一次对转换参数进行调整之后,可以判断调整后的转换参数是否满足第一子条件,若不满足,则需要再次调整转换参数,此时可以直接返回上述步骤一,若满足,则说明该转换参数可能为转换参数的局部最优解或者全局最优解,此时,可以判断已遍历的预设参数的数量是否满足第二子条件,若不满足第二子条件,则说明还存在预设参数未遍历,此时,可以将转换参数更新为未遍历的任一预设参数,并返回上述步骤一,若满足第二子条件,则说明所有预设参数均被遍历,此时,可以获得各个预设参数对应的最终转换参数,其中,预设参数对应的最终转换参数为:以将该预设参数作为转换参数的初始值为开始、以将另一预设参数作为转换参数的初始值为结束的调整过程中,最后一次调整得到的转换参数。
176.在满足上述第一子条件以及第二子条件的情况下,可以根据各个预设参数对应的最终转换参数,确定表征二维骨骼图像与配准板间位置关系的第三位置关系。
177.在确定上述第三位置关系时,可以针对每一预设参数对应的最终转换参数,根据该最终转换参数,对标记物在配准板中的第二位置进行空间转换,得到标记物在手术对象所在空间中的第三位置;根据设备投影参数,对得到的第三位置进行投影变换处理,得到处理后的第四位置;计算所获得的第一位置与第四位置之间的位置误差。
178.针对每一最终转换参数,对标记物的第二位置进行空间转换的具体实现方式可参见上述步骤一,对第三位置进行投影变换处理的具体实现方式可参见上述步骤二,计算上述位置误差的具体实现方式可参见上述步骤三,这里不再赘述。
179.在获得各个最终转换参数对应的位置误差后,可以在各个预设参数对应的最终转换参数中,确定所对应位置误差最小的目标转换参数;根据目标转换参数,确定表征二维骨骼图像与配准板间位置关系的第三位置关系。
180.根据目标转换参数确定上述第三位置关系的具体实现方式可参见上述步骤五,这里不再赘述。
181.由以上可见,应用本公开实施例提供的方案对手术机器人进行导航定位时,在预设参数有多个的情况下,可以在调整转换参数的过程中,针对各个预设参数对应的最终转换参数,计算各个最终转换参数对应的位置误差,并根据所对应位置误差最小的目标转换参数,确定上述第三位置关系,由于最终转换参数对应的位置误差越小,说明最终转换参数越优,因此,所对应位置误差最小的目标转换参数可以看做是转换参数的全局最优解,这样根据目标转换参数确定上述第三位置关系,能够提高所确定第三位置关系的准确性,从而能够提高手术机器人导航定位的准确性。
182.本发明的一个实施例中,在上述预设参数有多个的情况下,除了可以通过设置上述第二子条件来获得各个预设参数对应的最终转换参数外,还可以在转换参数的调整过程中,针对每一预设参数,将该预设参数作为转换参数的初始值,根据转换参数,对标记物的第二位置进行空间转换,得到标记物的第三位置,根据上述设备投影参数,对得到的第三位置进行投影变换处理,得到第四位置,计算第一位置和第四位置之间的位置误差,以计算得到的位置误差为损失值,对转换参数进行调整,并返回根据转换参数对标记物的第二位置进行空间转换的步骤,直至转换参数满足第一子条件,满足第一子条件后的转换参数,作为该预设参数对应的最终转换参数。
183.与上述手术机器人导航定位方法相对应,本发明实施例还提供了一种手术机器人导航定位系统。
184.本发明的一个实施例中,参见图3,提供了第一种手术机器人导航定位系统的结构示意图,本实施例中,上述系统包括图像采集设备301、上位机302以及手术机器人303;
185.所述图像采集设备301,用于在不同采集角度下采集手术对象的多张二维骨骼图像,并将所采集的二维骨骼图像发送给所述上位机302;
186.所述上位机302,用于根据前述方法实施例所述的方法步骤,控制所述手术机器人303进行导航定位。
187.本发明的一个实施例中,上述图像采集设备301为c臂机。
188.由以上可见,应用本发明实施例提供的方案对手术机器人进行导航定位时,可以将三维位姿数据转换为二维骨骼图像对应的二维空间中的二维位姿数据,并渲染叠加有基于二维位姿数据设置的螺钉的目标螺钉数据的二维骨骼图像,这样用户可以根据自身经验以及所渲染的二维骨骼图像,输入针对螺钉的位姿调整信息,根据用户输入的位姿调整信息对二维位姿数据进行调整,能够提高二维位姿数据的准确性,从而根据位姿数据调整后的各个二维位姿数据,在能够实现对手术机器人进行导航定位的前提下,还能够提高对手术机器人进行导航定位的准确性。此外,本发明的手术规划方式由于在三维骨骼图像中进行的,针对一些复杂的骨骼结构的手术路径的规划如骨盆等,或者对资历浅的手术操作者来说,手术规划会更直观便捷,操作效率更高,进而提高手术效率以及提高机器人最终的导航定位精度。本发明的手术机器人导航定位系统给基层医院的医生和病人带来了福音,弥补了低年级医生手术经验、能力的欠缺,降低了手术难度、同时提高了手术的安全性,在一定程度上解决了基层医院就医困难的问题。
189.本发明的另一实施例中,参见图4,提供了第二种手术机器人导航定位系统的结构示意图,本实施例中,上述系统还包括:三维导航追踪设备304、带有标记物的配准板305、安装于所述配准板305的第一示踪器306、用于示出所述手术对象的位姿数据的第二示踪器307;
190.所述配准板305放置于所述图像采集设备301的视场范围内;
191.所述三维导航追踪设备304,用于获得各个二维骨骼图像对应的采集时刻下所述第一示踪器306示出的示踪器位姿数据以及所述第二示踪器307示出的对象位姿数据,并向所述上位机302发送所述示踪器位姿数据和对象位姿数据,其中,所述示踪器位姿数据和对象位姿数据为同一空间中的位姿数据;
192.所述上位机302,具体用于根据前述方法实施例所述的方法步骤,控制手术手术机器人303进行导航定位。
193.本发明的一个实施例中,上述三维导航追踪设备304可以是可见光光学导航设备、磁导航设备、电导航设备或者其他三维导航设备。
194.本发明的一个实施例中,上述第一示踪器306和/或第二示踪器307可以由示踪架和多个反光球构成,反光球的数量可以是3个、4个或者其他数量个。
195.本发明的一个实施例中,在放置上述配准板305之间,可以在配准板305表面覆盖无菌罩,从而将覆盖有无菌罩的配准板放置于图像采集设备301的时长范围内。
196.上述无菌罩可以有塑料薄膜制成。
197.配准板305上安装有第一示踪器306,在配准板305表面覆盖无菌罩时,可以使用与第一示踪器具有的反光球相互配合的半球形无菌罩来覆盖第一示踪器,以尽可能降低无菌罩对光线折射和反射的影响,从而尽可能降低对三维导航追踪设备获得示踪器位姿数据的干扰。
198.另外,手术机器人导航定位系统的其他设备表面也可覆盖有无菌罩,使得手术环境尽可能为无菌环境。
199.由以上可见,应用本发明实施例提供的方案进行手术机器人导航定位时,根据上述第一位置关系、第二位置关系、第三位置关系以及第四位置关系,将螺钉在三维骨骼图像中的三维位姿数据转换为手术对象所在空间中的目标位姿数据,这样无论手术对象的位姿是否改变,手术对象所在空间中目标位姿数据始终不会改变,因此,应用本发明实施例提供的手术机器人导航定位方案,能够消除手术对象位姿改变对导航定位准确性的影响,从而能够提高手术机器人导航定位的准确性。此外,本发明的手术规划方式由于在三维骨骼图像中进行的,针对一些复杂的骨骼结构的手术路径的规划如骨盆等,或者对资历浅的手术操作者来说,手术规划会更直观便捷,操作效率更高,进而提高手术效率以及提高机器人最终的导航定位精度。本发明的手术机器人导航定位系统给基层医院的医生和病人带来了福音,弥补了低年级医生手术经验、能力的欠缺,降低了手术难度、同时提高了手术的安全性,在一定程度上解决了基层医院就医困难的问题。
200.本发明的一个实施例中,参见图5a,提供了第三种手术机器人导航定位系统的结构示意图,本实施例中,上述手术机器人303为带有机械臂的手术机器人,上述系统还包括固定于机械臂末端的定位器308。
201.上述手术机器人303的机械臂可以是4轴、5轴、6轴、7轴等多轴的协作机械臂,也可以是串联、或者并联形态的协作机械臂,本发明实施例对此并不限定。
202.上述配准板305可以安装在机械臂末端,这样在图像采集设备301采集图像时,可以调整机械臂的位姿,使得安装于机械臂末端的配准板305位于图像采集设备301的视野范围内。
203.如图5b所示,图5b为机械臂末端的结构示意图,图5b中右边相互平行的两个矩形区域表示双层结构的配准板,第一示踪器可安装于配准板上,这两个矩形区域右边的t形区域表示机械臂末端,其中,机械臂末端装有螺栓,用于与其他器械固定。
204.如图5c所示,图5c为一种带有示踪器的定位器的结构示意图,在图5c所示器械右侧的十字架区域以及四个圆形区域表示示踪器,示踪器与定位器的通道固定连接,该通道内可放入探针、穿刺工具、套筒、导针以及骨钻等器械。
205.定位器上可以安装一个或多个示踪器,每一示踪器与定位器之间的位置关系可以预先标定得到。
206.上述上位机302在根据二维位姿数据对手术机器人进行导航定位时,可以根据各二维骨骼图像对应的第二位置关系、第三位置关系以及第四位置关系,将螺钉的二维位姿数据转换至手术对象所在空间中,并且上述上位机302可以预先获得位姿为转换后的二维位姿数据的螺钉与置入螺钉时的定位器308之间的第五位置关系,以及定位器308与机械臂末端之间的第六位置关系,这样根据第五位置关系,可以确定置入螺钉时定位器308的位姿数据,并根据第六位置关系,确定置入螺钉时机械臂末端的末端位姿数据,这样上位机302
可以根据该末端位姿数据,控制手术机器人303进行导航定位,以使得定位后的手术机器人303机械臂末端的位姿数据为该末端位姿数据。
207.另外,在上位机302开始控制手术机器人303进行导航定位时,上位机302可以读取机械臂当前的位姿数据,确定机械臂当前所处的位置和姿态,三维导航追踪设备304可以记录安装于定位器308上的示踪器当前的位姿数据,并将该示踪器当前的位姿数据发送给上位机302,以使得上位机302基于接收的位姿数据确定定位器308的当前所处的位置和姿态。这样上位机302在确定上述末端位姿数据后,可以计算机械臂的新位姿,从而控制机械臂从当前位姿移动至计算出的新位姿。
208.手术机器人导航定位结束后,三维导航追踪设备304还可以记录定位后的第二示踪器307的位姿数据以及定位器308上示踪器的位姿数据,并将所记录的位姿数据发送给上位机302.上位机302在获得这些位姿数据后,可以根据定位器308上示踪器的位姿数据,确定定位器308此时的位姿数据,另外根据第二示踪器307的位姿数据,重新计算置入螺钉时定位器308的位姿数据,这样可以计算定位器308的这两种位姿数据之间的定位误差,若定位误差大于预设误差阈值,则上位机302可以根据由第二示踪器307的位姿数据确定的定位器308的位姿数据,重新对手术机器人303进行导航定位,并重新计算定位误差,直至定位误差不大于预设误差阈值。
209.本发明的一个实施例中,在医生使用手术器械进行手术时,该手术器械上可以安装示踪器,这样上述三维导航追踪设备304可以记录手术过程中手术器械上示踪器的器械位姿数据,并将该器械位姿数据发送给上位机302,上位机302在接收到该器械位姿数据后,可以将该器械位姿数据转换为上述二维骨骼图像或者上述三维骨骼图像所对应空间中的位姿数据,基于转换后的位姿数据设置手术器械的器械数据,从而渲染叠加有器械数据的图像,以使得医生在进行手术时能够实时观察到手术器械的位姿。
210.另外,在医生使用手术器械进行手术时,还可以实时捕捉手术对象的位姿数据,当手术对象的位姿数据改变时,可以重新对手术机器人进行导航定位,从而实现对手术器械的位置进行补充,确保导航定位精度。
211.本发明的一个实施例中,如图5d所示,图5d为一种置钉手术的场景示意图,位于图5d左边区域的器械表示带有机械臂的手术机器人,机械臂末端安装有定位器,位于图5d中间区域的器械表示c臂机,目标对象可以平躺在c臂机上,位于图5d右侧区域的器械表示三维导航追踪系统,可实时追踪目标对象的位姿以及手术机器人、定位器等器械的位姿,上述三维导航追踪系统可以是红外光学导航系统、可见光光学导航系统、磁导航系统、电导航系统等多种导航系统中的任一种。
212.与上述手术机器人导航定位方法相对应,本发明实施例还提供了一种手术机器人导航定位装置。
213.本发明的一个实施例中,参见图6,提供了第一种手术机器人导航定位装置的结构示意图,本实施例中,上述装置包括:
214.图像获得模块601,用于获得图像采集设备在不同采集角度下针对手术对象采集的多张二维骨骼图像;
215.位姿获得模块602,用于获得待置入所述手术对象的螺钉的三维位姿数据,其中,所述三维位姿数据基于预先获得的三维骨骼图像规划得到;
216.图像配准模块603,用于对各二维骨骼图像以及所述三维骨骼图像进行图像配准,得到各二维骨骼图像与所述三维骨骼图像之间的第一位置关系;
217.第一转换模块604,用于基于所得到的第一位置关系,对所述三维位姿数据进行空间转换,得到所述螺钉在各二维维骨骼图像对应的二维空间中的二维位姿数据;
218.图像渲染模块605,用于针对每一二维骨骼图像,渲染叠加有目标螺钉数据的该二维维骨骼图像,其中,所述目标螺钉数据为:基于该二维骨骼图像对应的二维位姿数据设置的所述螺钉的数据;
219.信息获得模块606,用于获得所述用户基于所渲染的各二维骨骼图像输入的针对所述螺钉的位姿调整信息;
220.位姿调整模块607,用于根据所述位姿调整信息,对二维位姿数据进行调整;
221.导航定位模块608,用于根据调整后的二维位姿数据,对所述手术机器人进行导航定位。
222.由以上可见,应用本发明实施例提供的方案对手术机器人进行导航定位时,可以将三维位姿数据转换为二维骨骼图像对应的二维空间中的二维位姿数据,并渲染叠加有基于二维位姿数据设置的螺钉的目标螺钉数据的二维骨骼图像,这样用户可以根据自身经验以及所渲染的二维骨骼图像,输入针对螺钉的位姿调整信息,根据用户输入的位姿调整信息对二维位姿数据进行调整,能够提高二维位姿数据的准确性,从而根据位姿数据调整后的各个二维位姿数据,在能够实现对手术机器人进行导航定位的前提下,还能够提高对手术机器人进行导航定位的准确性。此外,本发明的手术规划方式由于在三维骨骼图像中进行的,针对一些复杂的骨骼结构的手术路径的规划如骨盆等,或者对资历浅的手术操作者来说,手术规划会更直观便捷,操作效率更高,进而提高手术效率以及提高机器人最终的导航定位精度。本发明的手术机器人导航定位系统给基层医院的医生和病人带来了福音,弥补了低年级医生手术经验、能力的欠缺,降低了手术难度、同时提高了手术的安全性,在一定程度上解决了基层医院就医困难的问题。
223.本发明的一个实施例中,所述图像采集设备的视场范围内还包括带有标记物的配准板,所述配准板安装有示踪器;所述装置还包括:
224.第一获得模块,用于针对每一二维骨骼图像,获得与该二维骨骼图像同步采集的所述手术对象的对象位姿数据以及所述示踪器的示踪器位姿数据;根据所述对象位姿数据和示踪器位姿数据,获得该二维骨骼图像对应的、表征所述手术对象与所述示踪器间位置关系的第二位置关系,其中,所述对象位姿数据与所述示踪器位姿数据为同一空间中的位姿数据;
225.第二获得模块,用于针对每一二维骨骼图像,获得标记物在该二维骨骼图像中的第一位置,根据所获得的第一位置以及标记物在所述配准板中的第二位置,确定该二维骨骼图像对应的、表征二维骨骼图像与所述配准板间位置关系的第三位置关系;
226.第二转换模块,用于在所述获得待置入所述手术对象的螺钉的三维位姿数据之后,根据各二维骨骼图像对应的第一位置关系、第二位置关系、第三位置关系以及预先获得的第四位置关系,对所述三维位姿数据进行空间转换,得到所述螺钉在所述手术对象所在空间中的目标位姿数据,其中,所述第四位置关系表征所述配准板与所述示踪器间的位置关系;
227.所述第一转换模块,具体用于根据各个二维骨骼图像对应的第二位置关系、第三位置关系以及所述第四位置关系,对所述目标位姿数据进行空间转换,得到所述螺钉在各二维骨骼图像对应的二维空间的二维位姿数据。
228.由以上可见,应用本发明实施例提供的方案进行手术机器人导航定位时,根据上述第一位置关系、第二位置关系、第三位置关系以及第四位置关系,将螺钉在三维骨骼图像中的三维位姿数据转换为手术对象所在空间中的目标位姿数据,这样无论手术对象的位姿是否改变,手术对象所在空间中目标位姿数据始终不会改变,因此,应用本发明实施例提供的手术机器人导航定位方案,能够消除手术对象位姿改变对导航定位准确性的影响,从而能够提高手术机器人导航定位的准确性。
229.本发明的一个实施例中,所述第二获得模块,包括:
230.空间转换子模块,用于根据转换参数,对标记物在所述配准板中的第二位置进行空间转换,得到标记物在所述手术对象所在空间中的第三位置,其中,所述转换参数的初始值为预设参数;
231.投影变换子模块,用于根据所述图像采集设备采集二维骨骼图像时的设备投影参数,对得到的第三位置进行投影变换处理,得到处理后的第四位置;
232.误差计算子模块,用于计算所获得的第一位置与第四位置之间的位置误差;
233.参数调整子模块,用于以所述位置误差为损失值,对所述转换参数进行调整,并触发所述空间转换子模块,直至满足预设结束条件,其中,所述预设结束条件包括针对所述转换参数的第一子条件;
234.关系确定子模块,用于根据最终转换参数,确定表征二维骨骼图像与所述配准板间位置关系的第三位置关系,其中,所述最终转换参数为:针对所述预设参数最后一次调整后的转换参数。
235.由以上可见,应用本公开实施例提供的方案对手术机器人进行导航定位时,对标记物的第二位置进行空间转换、投影变换等处理后,得到第四位置,并将第一位置和第四位置之间的位置误差作为损失值,对转换参数进行调整,直至满足预设结束条件,这样能够通过对转换参数不断迭代调整,提高满足预设结束条件时得到的最终转换参数的准确性,从而根据最终转换参数确定第三位置关系,能够提高第三位置关系的准确性,进而根据较为准确的第三位置关系对手术机器人进行导航定位,能够提高导航定位的准确性。
236.本发明的一个实施例中,所述标记物的数量大于3,所述误差计算子模块,包括:
237.误差计算单元,用于针对每一第五位置,分别计算该第五位置与各个第六位置之间的目标距离,根据计算得到的目标距离,获得该第五位置对应的子位置误差,其中,所述第五位置为:第一位置或第四位置,所述第六位置为:第一位置和第四位置中除第五位置外的位置;
238.误差确定单元,用于根据各个第五位置对应的子位置误差,确定所获得的第一位置与第四位置之间的位置误差。
239.由以上可见,应用本发明实施例提供的方案对手术机器人进行导航定位时,在标记物的数量大于3的情况下,可以结合各个标记物的第一位置和第四位置确定位置误差,这样能够提高所确定的位置误差的准确性,从而以较为准确的位置误差作为损失值,能够对转换参数进行准确调整,这样能够降低转换参数的调整次数,提高获得最终转换参数的效
率,从而提高对手术机器人进行导航定位的效率。
240.本发明的一个实施例中,所述误差计算单元,具体用于:
241.对计算得到的目标距离进行加权计算,得到该第五位置对应的子位置误差,其中,目标距离的权重根据目标距离大小确定。
242.本方案中,根据目标距离的大小,可以准确确定目标距离的权重,这样根据各个目标距离的权重,对目标距离进行加权计算,能够准确获得第四位置对应的子位置误差。
243.本发明的一个实施例中,所述误差计算单元,具体用于:
244.将计算得到的各个目标距离中的最小距离确定为该第五位置对应的子位置误差。
245.本方案中,各目标距离中的最小距离对应的第一位置对应的标记物通常与该第四位置对应的标记物为同一标记物,即各个目标距离中的最小距离为同一标记物的第一位置和第四位置之间的距离,这样将最小距离确定为该第四位置对应的子位置误差,能够提高子位置误差的准确性。
246.本发明的一个实施例中,在所述预设参数有多个的情况下,所述预设结束条件还包括针对预设参数的数量的第二子条件;
247.所述参数调整子模块,还用于在满足所述第一子条件且未满足所述第二子条件的情况下,将所述转换参数更新为未遍历的一个预设参数;
248.所述关系确定子模块,具体用于:
249.针对每一预设参数对应的最终转换参数,根据该最终转换参数,对标记物在所述配准板中的第二位置进行空间转换,得到标记物在所述手术对象所在空间中的第三位置;根据所述设备投影参数,对得到的第三位置进行投影变换处理,得到处理后的第四位置;计算所获得的第一位置与第四位置之间的位置误差;
250.在各个预设参数对应的最终转换参数中,确定所对应位置误差最小的目标转换参数;
251.根据所述目标转换参数,确定表征二维骨骼图像与所述配准板间位置关系的第三位置关系。
252.由以上可见,应用本公开实施例提供的方案对手术机器人进行导航定位时,在预设参数有多个的情况下,可以在调整转换参数的过程中,针对各个预设参数对应的最终转换参数,计算各个最终转换参数对应的位置误差,并根据所对应位置误差最小的目标转换参数,确定上述第三位置关系,由于最终转换参数对应的位置误差越小,说明最终转换参数越优,因此,所对应位置误差最小的目标转换参数可以看做是转换参数的全局最优解,这样根据目标转换参数确定上述第三位置关系,能够提高所确定第三位置关系的准确性,从而能够提高手术机器人导航定位的准确性。
253.本发明的一个实施例中,所述位姿调整模块,具体用于:
254.在所述位姿调整信息为针对所述三维位姿数据的调整信息的情况下,根据所述位姿调整信息,对所述三维位姿数据进行调整;
255.根据所述第一位置关系,对所获得的位姿数据进行空间转换,得到所述螺钉在各二维骨骼图像所对应的二维空间中的位姿数据,作为调整后的二维位姿数据。
256.本方案中,根据用户输入的位姿调整数据对三维位姿数据进行调整,能够提高三维位姿数据的准确性,从而根据第一位置关系,对调整后的三维位姿数据进行空间转换,得
到螺钉在各二维骨骼图像所对应的二维空间中的位姿数据,将其作为调整后的二维位姿数据,能够提高二维位姿数据的准确性,进而能够提高后续处理的准确性。
257.本发明实施例还提供了一种电子设备,如图7所示,包括处理器701、通信接口702、存储器703和通信总线704,其中,处理器701,通信接口702,存储器703通过通信总线704完成相互间的通信,
258.存储器703,用于存放计算机程序;
259.处理器701,用于执行存储器703上所存放的程序时,实现如下步骤:
260.获得图像采集设备在不同采集角度下针对手术对象采集的多张二维骨骼图像;
261.获得待置入所述手术对象的螺钉的三维位姿数据,其中,所述三维位姿数据基于预先获得的三维骨骼图像规划得到;
262.对各二维骨骼图像以及所述三维骨骼图像进行图像配准,得到各二维骨骼图像与所述三维骨骼图像之间的第一位置关系;
263.基于所得到的第一位置关系,对所述三维位姿数据进行空间转换,得到所述螺钉在各二维骨骼图像对应的二维空间中的二维位姿数据;
264.针对每一二维骨骼图像,渲染叠加有目标螺钉数据的该二维骨骼图像,其中,所述目标螺钉数据为:基于该二维骨骼图像对应的二维位姿数据设置的所述螺钉的数据;
265.获得所述用户基于所渲染的各二维骨骼图像输入的针对所述螺钉的位姿调整信息;
266.根据所述位姿调整信息,对二维位姿数据进行调整;
267.根据调整后的二维位姿数据,对所述手术机器人进行导航定位。
268.上述处理器701执行存储器703上存放的程序而实现手术机器人导航定位的其他方案,与前述方法实施例中提及的方案相同,这里不再赘述。
269.上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect,pci)总线或扩展工业标准结构(extended industry standard architecture,eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
270.通信接口用于上述电子设备与其他设备之间的通信。
271.存储器可以包括随机存取存储器(random access memory,ram),也可以包括非易失性存储器(non-volatile memory,nvm),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
272.上述的处理器可以是通用处理器,包括中央处理器(central processing unit,cpu)、网络处理器(network processor,np)等;还可以是数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
273.在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一手术机器人导航定位方法的步骤。
274.在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其
在计算机上运行时,使得计算机执行上述实施例中任一手术机器人导航定位方法。
275.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
276.需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
277.本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统、装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
278.以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

技术特征:
1.一种手术机器人导航定位方法,其特征在于,所述方法包括:获得图像采集设备在不同采集角度下针对手术对象采集的多张二维骨骼图像;获得待置入所述手术对象的螺钉的三维位姿数据,其中,所述三维位姿数据基于预先获得的三维骨骼图像规划得到;对各二维骨骼图像以及所述三维骨骼图像进行图像配准,得到各二维骨骼图像与所述三维骨骼图像之间的第一位置关系;基于所得到的第一位置关系,对所述三维位姿数据进行空间转换,得到所述螺钉在各二维骨骼图像对应的二维空间中的二维位姿数据;针对每一二维骨骼图像,渲染叠加有目标螺钉数据的该二维骨骼图像,其中,所述目标螺钉数据为:基于该二维骨骼图像对应的二维位姿数据设置的所述螺钉的数据;获得所述用户基于所渲染的各二维骨骼图像输入的针对所述螺钉的位姿调整信息;根据所述位姿调整信息,对二维位姿数据进行调整;根据位姿数据调整后的各个二维位姿数据,对所述手术机器人进行导航定位。2.根据权利要求1所述的方法,其特征在于,所述图像采集设备的视场范围内还包括带有标记物的配准板,所述配准板安装有示踪器;所述方法还包括:按照以下方式获得各二维骨骼图像对应的第二位置关系和第三位置关系:获得与二维骨骼图像同步采集的所述手术对象的对象位姿数据以及所述示踪器的示踪器位姿数据;根据所述对象位姿数据和示踪器位姿数据,获得表征所述手术对象与所述示踪器间位置关系的第二位置关系,其中,所述对象位姿数据与所述示踪器位姿数据为同一空间中的位姿数据;获得标记物在二维骨骼图像中的第一位置,根据所获得的第一位置以及标记物在所述配准板中的第二位置,确定表征二维骨骼图像与所述配准板间位置关系的第三位置关系;在所述获得待置入所述手术对象的螺钉的三维位姿数据之后,还包括:根据各二维骨骼图像对应的第一位置关系、第二位置关系、第三位置关系以及预先获得的第四位置关系,对所述三维位姿数据进行空间转换,得到所述螺钉在所述手术对象所在空间中的目标位姿数据,其中,所述第四位置关系表征所述配准板与所述示踪器间的位置关系;所述基于所得到的第一位置关系,对所述三维位姿数据进行空间转换,得到所述螺钉在各二维骨骼图像对应的二维空间中的二维位姿数据,包括:根据各个二维骨骼图像对应的第二位置关系、第三位置关系以及所述第四位置关系,对所述目标位姿数据进行空间转换,得到所述螺钉在各二维骨骼图像对应的二维空间的二维位姿数据。3.根据权利要求2所述的方法,其特征在于,所述根据所获得的第一位置以及所述标记物在所述配准板中的第二位置,确定表征二维骨骼图像与所述配准板间位置关系的第三位置关系,包括:根据转换参数,对标记物在所述配准板中的第二位置进行空间转换,得到标记物在所述手术对象所在空间中的第三位置,其中,所述转换参数的初始值为预设参数;根据所述图像采集设备采集二维骨骼图像时的设备投影参数,对得到的第三位置进行投影变换处理,得到处理后的第四位置;
计算所获得的第一位置与第四位置之间的位置误差;以所述位置误差为损失值,对所述转换参数进行调整,并返回所述根据转换参数,对标记物在所述配准板中的第二位置进行空间转换,得到标记物在所述手术对象所在空间中的第三位置的步骤,直至满足预设结束条件,其中,所述预设结束条件包括针对所述转换参数的第一子条件;根据最终转换参数,确定表征二维骨骼图像与所述配准板间位置关系的第三位置关系,其中,所述最终转换参数为:针对所述预设参数最后一次调整后的转换参数。4.根据权利要求3所述的方法,其特征在于,所述标记物的数量大于3,所述计算所获得的第一位置与第四位置之间的位置误差,包括:针对每一第五位置,分别计算该第五位置与各个第六位置之间的目标距离,根据计算得到的目标距离,获得该第五位置对应的子位置误差,其中,所述第五位置为:第一位置或第四位置,所述第六位置为:第一位置和第四位置中除第五位置外的位置;根据各个第五位置对应的子位置误差,确定所获得的第一位置与第四位置之间的位置误差。5.根据权利要求4所述的方法,其特征在于,所述根据计算得到的目标距离,获得该第五位置对应的子位置误差,包括:对计算得到的目标距离进行加权计算,得到该第五位置对应的子位置误差,其中,目标距离的权重根据目标距离大小确定;或将计算得到的各个目标距离中的最小距离确定为该第五位置对应的子位置误差。6.根据权利要求3-5中任一项所述的方法,其特征在于,在所述预设参数有多个的情况下,所述预设结束条件还包括针对预设参数的数量的第二子条件;在所述对所述转换参数进行调整之后,还包括:在满足所述第一子条件且未满足所述第二子条件的情况下,将所述转换参数更新为未遍历的一个预设参数;所述根据所述最终转换参数,确定表征二维骨骼图像与所述配准板间位置关系的第三位置关系,包括:针对每一预设参数对应的最终转换参数,根据该最终转换参数,对标记物在所述配准板中的第二位置进行空间转换,得到标记物在所述手术对象所在空间中的第三位置;根据所述设备投影参数,对得到的第三位置进行投影变换处理,得到处理后的第四位置;计算所获得的第一位置与第四位置之间的位置误差;在各个预设参数对应的最终转换参数中,确定所对应位置误差最小的目标转换参数;根据所述目标转换参数,确定表征二维骨骼图像与所述配准板间位置关系的第三位置关系。7.根据权利要求1-5中任一项所述的方法,其特征在于,所述根据所述位姿调整信息,对二维位姿数据进行调整,包括:在所述位姿调整信息为针对所述三维位姿数据的调整信息的情况下,根据所述位姿调整信息,对所述三维位姿数据进行调整;根据所述第一位置关系,对所获得的位姿数据进行空间转换,得到所述螺钉在各二维
骨骼图像所对应的二维空间中的位姿数据,作为调整后的二维位姿数据。8.一种手术机器人导航定位装置,其特征在于,所述装置包括:图像获得模块,用于获得图像采集设备在不同采集角度下针对手术对象采集的多张二维骨骼图像;位姿获得模块,用于获得待置入所述手术对象的螺钉的三维位姿数据,其中,所述三维位姿数据基于预先获得的三维骨骼图像规划得到;图像配准模块,用于对各二维骨骼图像以及所述三维骨骼图像进行图像配准,得到各二维骨骼图像与所述三维骨骼图像之间的第一位置关系;第一转换模块,用于基于所得到的第一位置关系,对所述三维位姿数据进行空间转换,得到所述螺钉在各二维骨骼图像对应的二维空间中的二维位姿数据;图像渲染模块,用于针对每一二维骨骼图像,渲染叠加有目标螺钉数据的该二维骨骼图像,其中,所述目标螺钉数据为:基于该二维骨骼图像对应的二维位姿数据设置的所述螺钉的数据;信息获得模块,用于获得所述用户基于所渲染的各二维骨骼图像输入的针对所述螺钉的位姿调整信息;位姿调整模块,用于根据所述位姿调整信息,对二维位姿数据进行调整;导航定位模块,用于根据位姿数据调整后的各个二维位姿数据,对所述手术机器人进行导航定位。9.根据权利要求8所述的装置,其特征在于,所述图像采集设备的视场范围内还包括带有标记物的配准板,所述配准板安装有示踪器;所述装置还包括:第一获得模块,用于针对每一二维骨骼图像,获得与该二维骨骼图像同步采集的所述手术对象的对象位姿数据以及所述示踪器的示踪器位姿数据;根据所述对象位姿数据和示踪器位姿数据,获得该二维骨骼图像对应的、表征所述手术对象与所述示踪器间位置关系的第二位置关系,其中,所述对象位姿数据与所述示踪器位姿数据为同一空间中的位姿数据;第二获得模块,用于针对每一二维骨骼图像,获得标记物在该二维骨骼图像中的第一位置,根据所获得的第一位置以及标记物在所述配准板中的第二位置,确定该二维骨骼图像对应的、表征二维骨骼图像与所述配准板间位置关系的第三位置关系;第二转换模块,用于在所述获得待置入所述手术对象的螺钉的三维位姿数据之后,根据各二维骨骼图像对应的第一位置关系、第二位置关系、第三位置关系以及预先获得的第四位置关系,对所述三维位姿数据进行空间转换,得到所述螺钉在所述手术对象所在空间中的目标位姿数据,其中,所述第四位置关系表征所述配准板与所述示踪器间的位置关系;所述第一转换模块,具体用于根据各个二维骨骼图像对应的第二位置关系、第三位置关系以及所述第四位置关系,对所述目标位姿数据进行空间转换,得到所述螺钉在各二维骨骼图像对应的二维空间的二维位姿数据。10.根据权利要求9所述的装置,其特征在于,所述第二获得模块,包括:空间转换子模块,用于根据转换参数,对标记物在所述配准板中的第二位置进行空间转换,得到标记物在所述手术对象所在空间中的第三位置,其中,所述转换参数的初始值为预设参数;
投影变换子模块,用于根据所述图像采集设备采集二维骨骼图像时的设备投影参数,对得到的第三位置进行投影变换处理,得到处理后的第四位置;误差计算子模块,用于计算所获得的第一位置与第四位置之间的位置误差;参数调整子模块,用于以所述位置误差为损失值,对所述转换参数进行调整,并触发所述空间转换子模块,直至满足预设结束条件,其中,所述预设结束条件包括针对所述转换参数的第一子条件;关系确定子模块,用于根据最终转换参数,确定表征二维骨骼图像与所述配准板间位置关系的第三位置关系,其中,所述最终转换参数为:针对所述预设参数最后一次调整后的转换参数。11.根据权利要求10所述的装置,其特征在于,所述标记物的数量大于3,所述误差计算子模块,包括:误差计算单元,用于针对每一第五位置,分别计算该第五位置与各个第六位置之间的目标距离,根据计算得到的目标距离,获得该第五位置对应的子位置误差,其中,所述第五位置为:第一位置或第四位置,所述第六位置为:第一位置和第四位置中除第五位置外的位置;误差确定单元,用于根据各个第五位置对应的子位置误差,确定所获得的第一位置与第四位置之间的位置误差。12.根据权利要求11所述的装置,其特征在于,所述误差计算单元,具体用于:对计算得到的目标距离进行加权计算,得到该第五位置对应的子位置误差,其中,目标距离的权重根据目标距离大小确定;或将计算得到的各个目标距离中的最小距离确定为该第五位置对应的子位置误差。13.根据权利要求10-12中任一项所述的装置,其特征在于,在所述预设参数有多个的情况下,所述预设结束条件还包括针对预设参数的数量的第二子条件;所述参数调整子模块,还用于在满足所述第一子条件且未满足所述第二子条件的情况下,将所述转换参数更新为未遍历的一个预设参数;所述关系确定子模块,具体用于:针对每一预设参数对应的最终转换参数,根据该最终转换参数,对标记物在所述配准板中的第二位置进行空间转换,得到标记物在所述手术对象所在空间中的第三位置;根据所述设备投影参数,对得到的第三位置进行投影变换处理,得到处理后的第四位置;计算所获得的第一位置与第四位置之间的位置误差;在各个预设参数对应的最终转换参数中,确定所对应位置误差最小的目标转换参数;根据所述目标转换参数,确定表征二维骨骼图像与所述配准板间位置关系的第三位置关系。14.根据权利要求8-12中任一项所述的装置,其特征在于,所述位姿调整模块,具体用于:在所述位姿调整信息为针对所述三维位姿数据的调整信息的情况下,根据所述位姿调整信息,对所述三维位姿数据进行调整;根据所述第一位置关系,对所获得的位姿数据进行空间转换,得到所述螺钉在各二维
骨骼图像所对应的二维空间中的位姿数据,作为调整后的二维位姿数据。15.一种手术机器人导航定位系统,其特征在于,所述系统包括:图像采集设备、上位机以及手术机器人;所述图像采集设备,用于在不同采集角度下采集手术对象的多张二维骨骼图像,并将所采集的二维骨骼图像发送给所述上位机;所述上位机,用于根据权利要求1所述的方法步骤,控制所述手术机器人进行导航定位。16.根据权利要求15所述的系统,其特征在于,所述系统还包括:三维导航追踪设备、带有标记物的配准板、安装于所述配准板的第一示踪器、用于示出所述手术对象的位姿数据的第二示踪器;所述配准板放置于所述图像采集设备的视场范围内;所述三维导航追踪设备,用于获得各个二维骨骼图像对应的采集时刻下所述第一示踪器示出的示踪器位姿数据以及所述第二示踪器示出的对象位姿数据,并向所述上位机发送所述示踪器位姿数据和对象位姿数据,其中,所述示踪器位姿数据和对象位姿数据为同一空间中的位姿数据;所述上位机,具体用于根据所述权利要求2-7中任一项所述的方法步骤,控制手术手术机器人进行导航定位。17.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一所述的方法步骤。18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。

技术总结
本发明实施例提供了一种手术机器人导航定位方法、装置及系统,涉及数据处理技术领域,上述方法包括:获得图像采集设备采集的多张二维骨骼图像;获得待置入手术对象的螺钉的三维位姿数据;对各二维骨骼图像以及三维骨骼图像进行图像配准,得到第一位置关系;基于第一位置关系,对三维位姿数据进行空间转换,得到二维位姿数据;渲染叠加有目标螺钉数据的二维骨骼图像;获得用户输入的针对螺钉的位姿调整信息;根据位姿调整信息,对二维位姿数据进行调整;根据位姿数据调整后的各个二维位姿数据,对手术机器人进行导航定位。应用本公开实施例提供的手术机器人导航定位方案,能够提高手术机器人导航定位的准确性。机器人导航定位的准确性。机器人导航定位的准确性。


技术研发人员:沈丽萍 张巍 方华磊 牛乾
受保护的技术使用者:杭州三坛医疗科技有限公司
技术研发日:2023.04.03
技术公布日:2023/7/25
版权声明

本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

航空之家 https://www.aerohome.com.cn/

飞机超市 https://mall.aerohome.com.cn/

航空资讯 https://news.aerohome.com.cn/

分享:

扫一扫在手机阅读、分享本文

相关推荐