三维实时图像的追踪方法、装置及存储介质与流程

1.本发明属于图像处理技术领域，具体涉及一种三维实时图像的追踪方法、装置及存储介质。


背景技术：

2.在外科手术中，常常需要将手术器械送至肉眼所不能看见的病灶部位，如穿刺手术中需要将穿刺针穿刺到指定的部位，为确保手术安全顺利完成，需要对手术器械进行准确定位。
3.现有技术中，较常用的方式是通过对患者的病灶部位拍摄电子计算机断层扫描（computed tomography，ct）图像，在将手术器械送至病灶部位的过程中，每隔一定距离进行一次ct扫描，并根据ct扫描结果校正手术器械。然而，采用这样的方式需要患者接收多次ct扫描，患者接受辐射较大，对患者的健康造成威胁。
4.因此，如何提供一种有效的方案，以便在对手术器械准确定位的同时，减少患者所收到的辐射已成为现有技术中一亟待解决的问题。


技术实现要素：

5.本发明的目的是提供一种三维实时图像的追踪方法、装置及存储介质，用以解决现有技术中存在的上述问题。
6.为了实现上述目的，本发明采用以下技术方案：第一方面，本发明提供了一种三维实时图像的追踪方法，包括：获取表面粘贴有定位标签的患者指定区域的三维扫描图像；建立医学影像坐标系，确定出所述定位标签在所述医学影像坐标系中的第一坐标；获取手术导航系统中所述定位标签在手术导航坐标系中的第二坐标；基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的转换矩阵；基于所述转换矩阵，将所述三维扫描图像展示在所述手术导航坐标系中，以便在手术过程中根据手术器械在所述手术导航坐标系中的实时坐标和所述三维扫描图像在所述手术导航坐标系中的坐标，生成手术过程中的三维实时图像并对生成的三维实时图像进行追踪。
7.基于上述公开的内容，本发明通过获取表面粘贴有定位标签的患者指定区域的三维扫描图像；建立医学影像坐标系，确定出定位标签在医学影像坐标系中的第一坐标；获取手术导航系统中定位标签在手术导航坐标系中的第二坐标；基于定位标签在医学影像坐标系中的第一坐标和定位标签在手术导航坐标系中的第二坐标，确定出医学影像坐标系中的坐标转换为手术导航坐标系中坐标的转换矩阵；最后基于转换矩阵，将三维扫描图像展示
在手术导航坐标系中，以便在手术过程中根据手术器械在所述手术导航坐标系中的实时坐标和三维扫描图像在手术导航坐标系中的坐标，生成手术过程中的三维实时图像并对生成的三维实时图像进行追踪。如此，可通过定位标签在医学影像坐标系中的坐标和在手术导航坐标系中的坐标，确定出将三维扫描图像展示在手术导航坐标系中的转换矩阵，从而可将三维扫描图像展示在手术导航坐标系中，进而可在手术过程中对手术器械进行准确定位的同时，避免由于多次ct扫描导致患者接受辐射过大的情况，在保障手术能够安全顺利完成的同时，避免对患者的健康造成威胁。
8.通过上述的设计，本发明可在手术过程中对手术器械进行准确定位的同时，避免由于多次ct扫描导致患者接受辐射过大的情况，在保障手术能够安全顺利完成的同时，避免对患者的健康造成威胁。
9.在一个可能的设计中，所述获取手术导航系统中所述定位标签在手术导航坐标系中的第二坐标，包括：获取将所述手术器械移动至所述定位标签所在位置时所述手术器械在所述手术导航坐标系中的坐标，得到所述定位标签在手术导航坐标系中的第二坐标。
10.在一个可能的设计中，所述基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的转换矩阵，包括：基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，通过迭代最近点算法确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的旋转矩阵和平移矩阵。
11.在一个可能的设计中，所述确定出所述定位标签在所述医学影像坐标系中的第一坐标，包括：通过轮廓识别，识别出所述三维扫描图像中与所述定位标签对应的标签图像；基于所述标签图像在医学影像坐标系中的坐标，得到所述定位标签在所述医学影像坐标系中的第一坐标。
12.在一个可能的设计中，所述定位标签为圆球形，所述确定出所述定位标签在所述医学影像坐标系中的第一坐标，包括：将所述三维扫描图像在所述医学影像坐标系中相互垂直的三个坐标面上进行投影，得到三个投影图像；识别出每个投影图像中与所述定位标签匹配的目标区域；基于每个投影图像中的目标区域中所对应的坐标，确定出所述定位标签在所述医学影像坐标系中的第一坐标。
13.在一个可能的设计中，所述三维扫描图像为电子计算机断层扫描图像或核磁共振图像。
14.在一个可能的设计中，所述定位标签上设置有内凹的二维码，所述二维码的凹陷程度沿二维码边缘至二维码中心方向渐变增加。
15.第二方面，本发明提供了一种三维实时图像的追踪装置，用于实现第一方面或第一方面任一可能设计所述三维实时图像的追踪方法，包括：获取单元，用于获取表面粘贴有定位标签的患者指定区域的三维扫描图像；
建立单元，用于建立医学影像坐标系；确定单元，用于确定出所述定位标签在所述医学影像坐标系中的第一坐标；所述获取单元还用于获取手术导航系统中所述定位标签在手术导航坐标系中的第二坐标；所述确定单元还用于基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的转换矩阵；展示单元，用于基于所述转换矩阵，将所述三维扫描图像展示在所述手术导航坐标系中，以便在手术过程中根据手术器械在所述手术导航坐标系中的实时坐标和所述三维扫描图像在所述手术导航坐标系中的坐标，生成手术过程中的三维实时图像并对生成的三维实时图像进行追踪。
16.第三方面，本发明提供了一种三维实时图像的追踪装置，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如上述第一方面所述的三维实时图像的追踪方法。
17.第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行第一方面所述的三维实时图像的追踪方法。
18.第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面所述的三维实时图像的追踪方法。
19.有益效果：本发明可在手术过程中对手术器械进行准确定位的同时，避免出现由于多次ct扫描导致患者接受辐射过大的情况，在保障手术能够安全顺利完成的同时，避免对患者的健康造成威胁，便于实际应用和推广。
附图说明
20.图1为本技术实施例提供的三维实时图像的追踪方法的流程图；图2为本技术实施例提供的定位标签的剖面图；图3为本技术实施例提供的定位标签的俯视图；图4为本技术实施例提供的三维实时图像的追踪装置的结构示意图；图5为本技术实施例提供的另一三维实时图像的追踪装置的结构示意图。
具体实施方式
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
22.应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元
不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
23.应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，单独存在b，同时存在a和b三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，a/和b，可以表示：单独存在a，单独存在a和b两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
24.为了在手术过程中对手术器械进行准确定位，本技术实施例提供了一种三维实时图像的追踪方法、装置及存储介质，该三维实时图像的追踪方法、装置及存储介质可在手术过程中对手术器械进行准确定位的同时，避免出现由于多次ct扫描导致患者接受辐射过大的情况。
25.本技术实施例提供的三维实时图像的追踪方法可应用于手术导航系统。可以理解，所述执行主体并不构成对本技术实施例的限定。
26.下面将对本技术实施例提供的三维实时图像的追踪方法进行详细说明。
27.如图1所示，是本技术实施例第一方面提供的三维实时图像的追踪方法的流程图，该三维实时图像的追踪方法可以但不限于包括如下步骤s101-s105。
28.步骤s101.获取表面粘贴有定位标签的患者指定区域的三维扫描图像。
29.本技术实施例中，所述定位标签可以采用在三维扫描图像显形的材料，其可以但不限于无磁性合金或无磁性金属等。
30.在外科手术中之前，可在患者的指定区域表面粘贴至少三给定位标签，然后获取该表面粘贴有定位标签的患者指定区域的三维扫描图像。其中，所述三维扫描图像可以但不限于是电子计算机断层扫描图像或核磁共振图像（magnetic resonance imaging，mri），所述指定区域可以是需要进行手术操作的区域，所述定位标签未处于同一直线上。
31.步骤s102.建立医学影像坐标系，确定出定位标签在医学影像坐标系中的第一坐标。
32.本技术实施例中，可在获取到患者指定区域的三维扫描图像后建立一医学影像坐标系，并在医学影像坐标系中展示该获取到的三维扫描图像。建立医学影像坐标系后，可确定出该定位标签在医学影像坐标系中的第一坐标。
33.在一个或多个实施例中，确定出定位标签在所述医学影像坐标系中的第一坐标，可以先通过轮廓识别，识别出三维扫描图像中与定位标签对应的标签图像，然后将该标签图像在医学影像坐标系中的坐标，作为定位标签在医学影像坐标系中的第一坐标。标签图像在医学影像坐标系中的坐标可以是标签图像的中心坐标，也可以是标签图像在医学影像坐标系中远离三维扫描图像中心点的一侧的顶点坐标或角点坐标等。
34.在一个或多个实施例中，定位标签为圆球形，确定出定位标签在所述医学影像坐标系中的第一坐标时，可以但不限于如下步骤s1021-s1023。
35.步骤s1021.将三维扫描图像在医学影像坐标系中相互垂直的三个坐标面上进行投影，得到三个投影图像。
36.本技术实施例中，可根据医学影像坐标系中的三个坐标轴（x、y、z轴）在医学影像
坐标系中划分三个相互垂直的坐标面（xoy平面、yoz平面和xoz平面），然后将三维扫描图像在医学影像坐标系中相互垂直的三个坐标面上进行投影，得到三个投影图像。
37.步骤s1022.识别出每个投影图像中与定位标签匹配的目标区域。
38.识别投影图像中与定位标签匹配的目标区域可以采用现有的图像识别算法，本技术实施例中不做具体说明。
39.步骤s1023.基于每个投影图像中的目标区域中所对应的坐标，确定出定位标签在医学影像坐标系中的第一坐标。
40.在xoy平面进行的投影图像为投影图像a，在yoz平面进行的投影图像为投影图像b，xoz平面进行的投影图像为投影图像c，在投影图像a中目标区域d所对应的坐标为（x1，y1），在投影图像b中目标区域d所对应的坐标为（y1，z1），在投影图像c中目标区域d所对应的坐标为（x1，z1），则目标区域d所对应的定位标签在医学影像坐标系中的第一坐标可以表示为（x1，y1，z1）。
41.在一个或多个实施例中，定位标签上可设置二维码，所述二维码可以是任意形状。如图2和图3所示，该定位标签上的二维码可设置为向内凹陷的形式，且沿二维码边缘至二维码中心方向的凹陷程度渐变增加，即二维码截面呈圆弧状，且截面的宽高比可以为1：0.06，圆弧与定位标签板的交界处切线与版面呈15
°
夹角，向内凹陷的设置可实现直视至75
°
斜视范围内二维码图案形态基本一致，明暗光线下，变换视觉时能够完整清晰地识别二维码，保证后续图像的实时精准配准与随动。
42.步骤s103.获取手术导航系统中定位标签在手术导航坐标系中的第二坐标。
43.手术导航系统可记录手术器械在手术导航坐标系中的坐标，因此本技术实施例中可通过控制手术器械移动至该定位标签所在位置，并记录下手术器械移动至该定位标签所在位置时手术器械在手术导航坐标系中的坐标，并将其作为定位标签在手术导航坐标系中的第二坐标。
44.步骤s104.基于定位标签在所述医学影像坐标系中的第一坐标和定位标签在手术导航坐标系中的第二坐标，确定出医学影像坐标系中的坐标转换为手术导航坐标系中坐标的转换矩阵。
45.具体的，可基于定位标签在所述医学影像坐标系中的第一坐标和定位标签在手术导航坐标系中的第二坐标，通过迭代最近点（iterative closest point，icp）算法确定出医学影像坐标系中的坐标转换为手术导航坐标系中坐标的转换矩阵，该转换矩阵包括旋转矩阵和平移矩阵。
46.其中，通过icp算法就散坐标转换的转换矩阵为现有技术，本技术实施例中不再详细说明。
47.步骤s105.基于转换矩阵，将三维扫描图像展示在手术导航坐标系中，以便在手术过程中根据手术器械在手术导航坐标系中的实时坐标和三维扫描图像在手术导航坐标系中的坐标，生成手术过程中的三维实时图像并对生成的三维实时图像进行追踪。
48.具体的，可根据转换矩阵将三维扫描图像中各像素点在医学影像坐标系中的坐标转换为在手术导航坐标系中的坐标，并得到三维扫描图像中各像素点在手术导航坐标系中的坐标，然后将三维扫描图像在手术导航坐标系中进行展示。
49.由此通过前述步骤s101-s105所述的三维实时图像的追踪方法，通过获取表面粘
贴有定位标签的患者指定区域的三维扫描图像；建立医学影像坐标系，确定出定位标签在医学影像坐标系中的第一坐标；获取手术导航系统中定位标签在手术导航坐标系中的第二坐标；基于定位标签在医学影像坐标系中的第一坐标和定位标签在手术导航坐标系中的第二坐标，确定出医学影像坐标系中的坐标转换为手术导航坐标系中坐标的转换矩阵；最后基于转换矩阵，将三维扫描图像展示在手术导航坐标系中，以便在手术过程中根据手术器械在所述手术导航坐标系中的实时坐标和三维扫描图像在手术导航坐标系中的坐标，生成手术过程中的三维实时图像并对生成的三维实时图像进行追踪。如此，可通过定位标签在医学影像坐标系中的坐标和在手术导航坐标系中的坐标，确定出将三维扫描图像展示在手术导航坐标系中的转换矩阵，从而可将三维扫描图像展示在手术导航坐标系中，进而可在手术过程中对手术器械进行准确定位的同时，避免由于多次ct扫描导致患者接受辐射过大的情况，在保障手术能够安全顺利完成的同时，避免对患者的健康造成威胁，便于实际应用和推广。
50.请参阅图4，本技术实施例第二方面提供了一种三维实时图像的追踪装置，用于实现第一方面所述三维实时图像的追踪方法，该三维实时图像的追踪装置包括：获取单元，用于获取表面粘贴有定位标签的患者指定区域的三维扫描图像；建立单元，用于建立医学影像坐标系；确定单元，用于确定出所述定位标签在所述医学影像坐标系中的第一坐标；所述获取单元还用于获取手术导航系统中所述定位标签在手术导航坐标系中的第二坐标；所述确定单元还用于基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的转换矩阵；展示单元，用于基于所述转换矩阵，将所述三维扫描图像展示在所述手术导航坐标系中，以便在手术过程中根据手术器械在所述手术导航坐标系中的实时坐标和所述三维扫描图像在所述手术导航坐标系中的坐标，生成手术过程中的三维实时图像并对生成的三维实时图像进行追踪。
51.本实施例第二方面提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
52.如图5所示，本技术实施例第三方面提供了另一种三维实时图像的追踪装置，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的三维实时图像的追踪方法。
53.具体举例的，所述存储器可以但不限于包括随机存取存储器（ram）、只读存储器（rom）、闪存（flash memory）、先进先出存储器（fifo）和/或先进后出存储器（filo）等等；所述处理器可以不限于采用型号为stm32f105系列的微处理器、arm（advanced risc machines）、x86等架构处理器或集成npu（neural-network processing units）的处理器；所述收发器可以但不限于为wifi（无线保真）无线收发器、蓝牙无线收发器、通用分组无线服务技术（general packet radio service，gprs）无线收发器、紫蜂协议（基于ieee802.15.4标准的低功耗局域网协议，zigbee）无线收发器、3g收发器、4g收发器和/或5g
收发器等。
54.本实施例第三方面提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
55.本实施例第四方面提供了一种存储包含有实施例第一方面所述的三维实时图像的追踪方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的三维实时图像的追踪方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(memory stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
56.本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的三维实时图像的追踪方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
57.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种三维实时图像的追踪方法，其特征在于，包括：获取表面粘贴有定位标签的患者指定区域的三维扫描图像；建立医学影像坐标系，确定出所述定位标签在所述医学影像坐标系中的第一坐标；获取手术导航系统中所述定位标签在手术导航坐标系中的第二坐标；基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的转换矩阵；基于所述转换矩阵，将所述三维扫描图像展示在所述手术导航坐标系中，以便在手术过程中根据手术器械在所述手术导航坐标系中的实时坐标和所述三维扫描图像在所述手术导航坐标系中的坐标，生成手术过程中的三维实时图像并对生成的三维实时图像进行追踪。2.根据权利要求1所述的三维实时图像的追踪方法，其特征在于，所述获取手术导航系统中所述定位标签在手术导航坐标系中的第二坐标，包括：获取将所述手术器械移动至所述定位标签所在位置时所述手术器械在所述手术导航坐标系中的坐标，得到所述定位标签在手术导航坐标系中的第二坐标。3.根据权利要求1所述的三维实时图像的追踪方法，其特征在于，所述基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的转换矩阵，包括：基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，通过迭代最近点算法确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的旋转矩阵和平移矩阵。4.根据权利要求1所述的三维实时图像的追踪方法，其特征在于，所述确定出所述定位标签在所述医学影像坐标系中的第一坐标，包括：通过轮廓识别，识别出所述三维扫描图像中与所述定位标签对应的标签图像；基于所述标签图像在医学影像坐标系中的坐标，得到所述定位标签在所述医学影像坐标系中的第一坐标。5.根据权利要求1所述的三维实时图像的追踪方法，其特征在于，所述定位标签为圆球形，所述确定出所述定位标签在所述医学影像坐标系中的第一坐标，包括：将所述三维扫描图像在所述医学影像坐标系中相互垂直的三个坐标面上进行投影，得到三个投影图像；识别出每个投影图像中与所述定位标签匹配的目标区域；基于每个投影图像中的目标区域中所对应的坐标，确定出所述定位标签在所述医学影像坐标系中的第一坐标。6.根据权利要求1所述的三维实时图像的追踪方法，其特征在于，所述三维扫描图像为电子计算机断层扫描图像或核磁共振图像。7.根据权利要求1所述的三维实时图像的追踪方法，其特征在于，所述定位标签上设置有内凹的二维码，所述二维码的凹陷程度沿二维码边缘至二维码中心方向渐变增加。8.一种三维实时图像的追踪装置，用于实现权利要求1-7任一项所述三维实时图像的
追踪方法，其特征在于，包括：获取单元，用于获取表面粘贴有定位标签的患者指定区域的三维扫描图像；建立单元，用于建立医学影像坐标系；确定单元，用于确定出所述定位标签在所述医学影像坐标系中的第一坐标；所述获取单元还用于获取手术导航系统中所述定位标签在手术导航坐标系中的第二坐标；所述确定单元还用于基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的转换矩阵；展示单元，用于基于所述转换矩阵，将所述三维扫描图像展示在所述手术导航坐标系中，以便在手术过程中根据手术器械在所述手术导航坐标系中的实时坐标和所述三维扫描图像在所述手术导航坐标系中的坐标，生成手术过程中的三维实时图像并对生成的三维实时图像进行追踪。9.一种三维实时图像的追踪装置，其特征在于，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7任意一项所述的三维实时图像的追踪方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7任意一项所述的三维实时图像的追踪方法。

技术总结
本发明公开了一种三维实时图像的追踪方法、装置及存储介质，涉及图像处理技术领域。该方法包括获取表面粘贴有定位标签的患者指定区域的三维扫描图像；建立医学影像坐标系，确定出定位标签在医学影像坐标系中的第一坐标；获取手术导航系统中定位标签在手术导航坐标系中的第二坐标；基于定位标签在医学影像坐标系中的第一坐标和定位标签在手术导航坐标系中的第二坐标，确定出医学影像坐标系中的坐标转换为手术导航坐标系中坐标的转换矩阵；基于转换矩阵，将三维扫描图像展示在手术导航坐标系中。本发明公开的三维实时图像的追踪方法、装置及存储介质可对手术器械进行准确定位的同时，避免多次CT扫描。避免多次CT扫描。避免多次CT扫描。


技术研发人员：罗恩 黄立维 朱照琨 张冬海
受保护的技术使用者：成都寻创信息技术有限公司
技术研发日：2023.08.14
技术公布日：2023/9/13