内窥镜摄像机装置和用于摄像机对准误差校正的方法与流程

1.本发明涉及内窥镜、特别是腹腔镜摄像机装置，并且涉及用于校正由腹腔镜摄像机装置捕获的图像的校准的方法。


背景技术：

2.腹腔镜摄像机通常具有适于放置在患者的身体内的刚性细长轴，用于在通常用腹腔镜器械执行的外科手术期间捕获实时图像。腹腔镜摄像机产生外科医生在外科手术期间可以观察的图像，用于执行和控制外科手术。
3.德国专利申请de 10 2018 121 711 a1公开了一种内窥镜摄像机，其具有细长轴，光学系统放置在其远端。光学系统包括物镜和电子图像转换器。
4.从公开号为us 2015/012081 a1的美国专利中可以获得侧视内窥镜摄像机。在视频内窥镜的轴的远端，提供了物镜，该物镜可相对于图像传感器围绕轴的纵轴移动。基于观察方向转换命令，观察方向可以从第一观察方向转换到第二观察方向。
5.日本专利公开jp 2010008483 a公开了一种成像设备，其能够在执行待检查物体（例如长管状结构）的远程视觉检查时显示位置信息和/或方位信息。加速度传感器和/或地磁传感器布置在成像部分。从传感器输出的位置和方位信息与来自成像部分的视频信号相结合。
6.此外，美国专利公开us 2005/027167 a1公开了一种装置，用于补偿当内窥镜移动通过各种定向时从内窥镜的视频摄像机系统获得的图像的显示。用图像传感器将接收到的光学图像转换成电信号。内窥镜摄像机系统包括惯性传感器，用于感测接收到的图像围绕内窥镜光轴的旋转。传感器的输出信号用于旋转图像或图像传感器。在图像传感器旋转的情况下，旋转传感器可以是陀螺仪或一对加速度计。
7.用于可变观察方向内窥镜的接口可以从us 2003/114730 a1获得。该接口具有用于接收来自用户的命令的输入设备、用于调节内窥镜的输出设备以及基于给定输入确定适当输出的电子处理设备。处理设备可以被配置成允许操作辅助特征，包括与当前观察对准的坐标系、与用户的周围环境对准的坐标系、与操作腔对准的坐标系、便于立即返回到用户选择的观察方向的存储器以及当前观察方向的清楚指示。
8.另外的现有技术可以从ep 1 692 996 a2、ep 2 429 376 a2、de 10 2008 057 734 b4、ep 3 539 457 a1获得。
9.在外科手术期间，外力可能作用在细长轴和光学系统上，并导致图像传感器中的图像错位。那些错位可能对手术结果的准确性产生不利影响。因此，本发明的目的是避免那些位错的不利影响。


技术实现要素：

10.本发明的概念提供了一种内窥镜，特别是腹腔镜摄像机装置，包括沿着中心轴从近端延伸到远端，并且适于被引入动物的或人类的身体内的细长轴。该轴包括位于其远端
的光入射窗，以及放置在轴的近端中或近端处、或者替代地放置在远端处的摄像机。摄像机包括图像转换器和光学耦合到图像转换器的物镜。图像转换器可以是适于将投影到芯片表面上的光学图像转换成电图像信号的摄像机芯片。根据本发明，至少一个光学标记放置在物镜的光路内，用于被投影到图像转换器上。
11.本发明的概念允许检测和校正在外科手术期间物镜相对于图像转换器可能经历的变形、错位和移动，无论是无意还是有意造成的。那些移动、变形或错位将在图像转换器处重新定位至少一个光学标记的图像。因此可以根据物镜相对于图像转换器的位置的改变来校正腹腔镜摄像机装置的数学投影模型。物镜位置的改变尤其可以是物镜或其部分围绕轴的纵轴的旋转，如同斜视或侧视物镜的情况。物镜的机械变形或错位将源自投影到图像转换器上的标记图像的重新定位，并用于校正由摄像机装置捕获的所有图像的位置数据。位置数据指示由腹腔镜摄像机成像的物体的空间位置。
12.该至少一个光学标记可以放置在物镜的像平面中，或者放置在放置于轴远端的光学系统的光入射窗处。优选地，光学系统定义深度定义，使得至少一个光学标记放置在其中。
13.在某些实施例中，物镜旋转地固定到图像转换器，然而在优选实施例中，物镜或其部分可以可移动地连接到图像转换器。特别地，物镜可以包括适配器，该适配器具有设置在其上的光入射窗，并且相对于图像转换器可旋转地固定。如果物镜是其光轴相对于轴的纵轴倾斜的“侧视”物镜，这是特别有用的。通过旋转物镜的远端部分或整个物镜，可以改变观察方向。本发明的概念允许在没有任何附加传感器的情况下确定观察方向的旋转位置。
14.本发明的摄像机装置优选地包括至少一个，优选地两个、三个、四个或更多个放置在视野内的光路中的光学标记。优选地，任何光学标记包括独特的图案，使得所有光学标记一起形成不对称结构。因此无论物镜或其部分旋转多远，标记都不会被混淆。标记可以并且优选地将彼此镜像对称放置，尽管它们本身彼此并不对称。优选地，在物镜位置改变期间（诸如物镜或其部分围绕轴的纵轴旋转），光学标记保持在视场内，如同斜视或侧视物镜的情况一样。
15.本发明关于增强现实应用和一些其他应用特别有用，这些应用通常需要精确的摄像机校准，以便减少总的目标配准误差，或者以便从腹腔镜图像中获得结构的精确位置。对于摄像机校准，通常，必须从多个姿态拍摄已知校准网格的大量图像，然后馈送给摄像机校准算法。摄像机校准基本上试图确定摄像机的数学模型，以便确定物理世界空间如何映射到摄像机图像传感器空间。摄像机的数学模型高度依赖于摄像机的光学元件。通常，摄像机校准算法假设摄像机的光学元件是严格固定的。然而，由于这不是倾斜的可旋转腹腔镜摄像机的情况，本发明提供了一种简单的摄像机校准方法。如果弯曲力作用在稍微柔性的腹腔镜轴上，也是如此。
16.可以使用光学耦合器将带有摄像机传感器的摄像机单元连接到腹腔镜。耦合器将把腹腔镜的轴可旋转地连接到摄像机单元。旋转轴将是必要的，特别是在轴的远端具有斜视或侧视的光学元件。在耦合器处不可避免地存在的机械运动（play）可能导致如何将物理世界空间映射到摄像机的图像转换器的不确定性。腹腔镜的光学元件的那些不确定性和/或旋转可以通过光学标记跟踪，从而可以调整适应或校正摄像机的数学模型。
17.腹腔镜可以包括牢固地连接到腹腔镜近端的三角测量标记或物体（例如包括一组
三角测量标记或物体的位置指示器），用于检测腹腔镜的位置和定向。
18.轴的任何柔性变形都会移动摄像机传感器上的图像，并且从而降低图像定位的精度。光学标记将有助于检测那些定位误差并校正它们。优选地，光学标记放置在光入射窗处或其附近，或者至少靠近轴的远端。因此可靠地检测由轴偏转引起的定位误差将成为可能。在任何情况下，光学标记将被放置成使得可能导致传感器上的图像错位的腹腔镜的任何部分将被放置在标记和图像传感器之间。那些部分可以是柔性轴和耦合器。
附图说明
19.本发明的摄像机装置的更多细节可以从说明书、权利要求书和附图中获得，在附图中：图1图示外科手术期间的摄像机布置和患者，图2a和2b图示腹腔镜摄像机装置的透视图，图3图示根据图2a的腹腔镜摄像机装置的远端的示意性纵向剖视图，图4图示如由图像转换器看到的没有失真的摄像机装置的光学标记，图5是如由图像转换器看到的光学标记，其中腹腔镜受到机械不准确性、机械运动和/或受到未决力的影响，图6是包括侧视的光入射窗的腹腔镜摄像机装置的远端的示意性纵向剖视图，图7是倾斜观察的物镜的示意性局部图示，图8是倾斜观察的腹腔镜摄像机的远端的透视图示，以及图9是物镜旋转和失真的光学图像转换器。
具体实施方式
20.图1图示手术现场，其中患者10躺在患者支撑台11上，其中腹腔镜摄像机12在腹腔镜外科手术期间放置在患者10的身体13内。腹腔镜器械14也可以放置在患者的身体13内，用于执行外科手术。腹腔镜摄像机12属于腹腔镜摄像机装置15，其包括腹腔镜摄像机12、处理单元16和显示单元17。显示单元17可以是用于显示由腹腔镜摄像机12拍摄的实时图像的屏幕。也可能使用虚拟现实装置（vr）代替屏幕来向外科医生呈现腹腔镜摄像机12的实时图像。
21.腹腔镜摄像机12可以连接到定位系统18，该定位系统18适于相对于患者10的位置定位腹腔镜摄像机12。定位系统18可以包括两个或更多个传感器19、20，用于检测摄像机12的空间位置。如图2a和2b中图示的，可以在摄像机12上提供位置指示器21，该指示器21可以通过三角测量定位在空间内。位置指示器21可以包括一组22指示器主体或三角测量标记（主体）21a-21d，用于明确地检测摄像机12的轴25的位置和定向。位置指示器21可以刚性地连接到轴25，特别是连接到轴25的近端25a。应当理解，可以使用任何其他类型的位置感测装置和方法来确定腹腔镜摄像机12的位置数据。
22.处理单元16可以从医学成像系统23接收数据，该数据表示执行外科手术的身体13的区域的医学扫描图像。替代地，数据可以表示感兴趣的关键结构（如恶性组织）的图形表示，或者扫描图像和图形表示的组合。处理单元16适于覆盖由医学成像系统23提供的医学图像和由腹腔镜摄像机12供应的实时图像。显示单元17可以再现实时图像，其中医学图像
或其结构与实时图像配准。处理单元16可以附加地或替代地适于覆盖实时图像和从医学图像导出的图形表示。图形表示可以指示感兴趣的特定组织结构。
23.为了配准成像系统23的实时图像和扫描图像（和/或图形表示），由摄像机12看到的结构的精确位置必须是已知的，并且对处理单元16是可用的。因此，摄像机12必须被校准。对于摄像机校准，可以出于多种目的拍摄已知校准网格的大量图像，然后馈送给摄像机校准算法，该算法可以在处理单元16上运行。摄像机校准算法产生摄像机的数学模型。
24.结果表明，在患者的身体13外的校准期间采用的数学模型在外科手术期间可能不完全有效。如果作用在物镜上的力引起某种变形或错位，情况尤其如此。此外，数学模型可能需要表征倾斜观察的物镜的观察方向的输入，即可旋转物镜的转动位置。
25.在另一个实施例中，可以使用本发明的腹腔镜摄像机装置15，而不用将实时图像与来自任何医学成像系统的数据配准。放置在远端的光学标记（该标记在图像传感器处成像）将指示由标记和图像传感器之间的项目的运动或偏转引起的任何机械不准确性。这将允许校正例如通过三角测量来测量位置指示器21的位置而获得的位置数据。如果将图像识别算法应用于用来检测生理结构的图像，则校正由轴的机械运动或偏转引起的成像故障将允许精确地确定所检测的组织结构的真实位置。
26.图2a图示腹腔镜摄像机12的一个实施例，其包括固定到轴25的手柄24，轴25在其远端具有摄像机系统26。摄像机系统26包括如图3或图6、7和8中图示的摄像机单元27。摄像机系统26可以具有可旋转地安装在轴25远端的部分28。旋转可以由拇指轮29控制，或者任何其他元件可以放置在手柄24上。另一拇指轮30可以设置在手柄24上，用于移动摄像机系统26的相应部分以便移动焦平面和/或用于通过在纵向方向上移动一个或多个光学元件来提供变焦功能。
27.图2b图示腹腔镜摄像机12的另一个实施例，其包括固定到轴25的手柄24，轴25在其远端具有摄像机系统26。摄像机系统26包括如图3或图6、7和8中图示的摄像机单元27。摄像机系统26可以具有可旋转地安装在轴25远端的部分28。旋转可以由拇指轮29控制，或者任何其他元件可以放置在手柄24上。另一拇指轮30可以设置在手柄24上，用于移动摄像机系统26的相应部分以便移动焦平面和/或用于通过在纵向方向上移动一个或多个光学元件来提供变焦功能。
28.摄像机系统26包括图像转换器31，例如用于将投影到其表面上的图像转成电信号的半导体芯片，该电信号经由电缆32或任何其他合适的传输装置馈送到处理单元16。
29.摄像机系统26包括物镜33，物镜33包括至少一个、优选两个或更多个透镜34、35，用于将真实物体36的图像投影到摄像机单元27的图像转换器31的表面上。物镜33可以包括几个透镜（34，35）、孔径37和靠近物体36的光入射窗38。此外，物镜可以包括放置在载体的外围区域中的光学标记39、40、41、42，使得标记39至42的图像被投影在图像转换器31上。标记39至34可以放置在光入射窗38上或者放置在单独载体处，该单独载体放置在例如实像平面43的位置处，其中实像存在于透镜34、35之间。如果标记39至42被放置在光入射窗38上，则光入射窗38优选地被布置在物镜33的景深区域中。优选地，标记39、40、41、42尽可能远离图像传感器31放置，例如放置在器械12的远端。
30.虽然根据图2a，摄像机系统26完全布置在器械12的远端，但是根据图2b，摄像机系统26可以包括放置在轴25的远端（和/或沿着轴）的物镜33，而具有图像转换器31的摄像机
单元27位于轴的近端。物镜33借助于布置在轴中的透镜光学连接到图像转换器31。图3和图6通过其基本原理图示物镜33和摄像机单元27，其可以与图2a的实施例一起工作，并且也可以与图2b的实施例一起工作。旋转接头联接器25b将摄像机单元27机械地耦合到轴的远端25a。
31.旋转接头联接器允许轴25围绕其纵轴a旋转。此外，旋转接头联接器25b将摄像机单元27可拆卸地连接到轴25。如对于本发明的所有实施例来说都是优选的，旋转接头联接器25b位于摄像机单元27和标记39、40、41、42之间。在图2b的实施例中，稍微柔性的轴25和旋转接头联接器25b两者都位于摄像机单元27和标记39、40、41、42之间。因此在摄像机单元27和标记39、40、41、42之间捕获了不准确性的所有相关源。
32.本发明的摄像机装置优选使用四个标记39至42，同时可以使用不同数量的标记，例如一个、两个、三个、五个或更多。基本上，任何数量的标记和任何类型的标记都可以工作。然而，高度优选的是使用独特的标记，使得每个标记39、40、41和42具有单独的设计，该设计既独特又指示其位置。换句话说，优选地，无论是通过移动还是通过旋转它，标记39至34都不与任何其他标记全等（congruent）。
33.如从图4中可以看出，标记39至42没有形成对称的图案。由于标记39至42的独特设计，无论从图4所示的垂直线43、还是从水平线44、还是从光轴45来看都没有对称性。任何标记39-42都可以是独特的qr码或aruco标记。然而，标记39-42的位置可以相对于线43和44对称定位，线43和44以直角彼此交叉。在另一个实施例中，标记39至42相对于线43、44不对称放置。标记39-42可以放置在矩形、正方形、菱形或梯形的角上。但是其他图案也是可能的。
34.本发明的系统操作如下：在手术期间，腹腔镜摄像机12将由定位系统18定位，并将拍摄实时图像，这些图像被传送到处理单元16以在显示单元17上再现。由医学成像系统23供应的医学扫描图像可以覆盖到扫描图像上，使得显示单元17显示器械14的工具的实时图像、实时组织和一个或多个结构s的实时再现，其可以取自医学扫描图像或者可以是在医学扫描图像中检测到的组织结构的图形表示。
35.由于机械运动、弯曲力或由于其他原因，腹腔镜摄像机12可能经历轴25的一些变形或图像转换器31相对于物镜33的一些不对准。如果弯曲力导致物镜33的位移，则标记39至42的图案将发生位移，如图5中图示的。标记39至42的位移可以形成用于检测和校正图像转换器31相对于物镜33的未对准的基础。可以计算单应矩阵并将其用于重新计算由图像转换器获取的图片。因此，图片将是正确的，其中失真被消除。
36.图5图示光轴45在图像中心的移动，这是由于图像转换器31相对于物镜33的未对准，其中建立了新的光轴45'。处理单元16检测标记39至42的位移，并校正摄像机12的数学模型。校正后的摄像机模型将允许实时图像与扫描图像的正确配准，使得外科医生将不会被未正确配准的扫描和实时图像所误导。
37.虽然为了演示的目的，根据图3的摄像机系统26是轴向定向的（即，看起来平行于轴向光轴45），并且虽然物镜33可以具有固定的焦距，但是有可能移动透镜中的一个或两个来改变焦距和/或通过转动拇指轮30来提供变焦效果。两者都可以改变标记39到42的位置，如图4中通过标记39'到42'所指示的。同样，处理单元16可以根据图像转换器31上标记39'至34'的投影的位移来修改摄像机模型。
38.虽然图3的物镜33是轴向定向的，但是本发明对于如图6、7和8中图示的侧向定向的物镜甚至更加有用。图6图示物镜33，其在光入射窗38附近具有反射镜46，用于侧向偏转光轴45。物镜33包括沿着轴25的长度放置的透镜l，用于在图像转换器31处产生物体o的图像，图像转换器31可以是摄像机芯片、ccd摄像机、cmos摄像机或任何其他图像获取系统。包括物镜33的轴25可以在平面p处转动。该平面p可以位于物镜33和图像转换器31之间。
39.这同样适用于图7的物镜33''，该物镜33''另外在图8中图示，并且包括至少一个光导48和至少一个用于照明物体o的光源49。物镜33''还包括在光入射窗38处的棱镜47，用于侧向定向腹腔镜摄像机的观察方向。透镜l沿着轴25的长度布置。轴25的任何扭曲或弯曲都会改变物体o的图像在图像转换器31上的定位。因此将改变标记39''到42''的定位，如图9中图示的。
40.如从图9中可以看出，现在将看到标记39''至42''相对于光轴45转动和/或移动，使得由标记39''至42''限定的矩形转动。此外，对称线43''和44''可以穿过新的光轴45''，而不是原始光轴45。图像处理单元16可以检测这些位移，并调整适应或校正数学摄像机模型，这将有助于配准医学图像和实时图像。所有这些都可以在不提供用于检测物镜旋转（或横向位移）的特定传感器的情况下完成。
41.增强现实应用和其他应用需要精确的摄像机校准，以便减少总的目标配准误差。摄像机校准确定摄像机的数学模型，以便确定物理世界空间如何映射到摄像机图像空间，并且因此高度依赖于摄像机的光学元件。摄像机校准算法通常假设摄像机的光学元件是严格固定的，事实上，至少对于如图6至图8中图示的倾斜腹腔镜摄像机来说并非如此。此外，物镜和图像转换器的元件之间的任何机械运动将使光学元件可变。根据本发明，标记39至42将被放置在腹腔镜摄像机12的视场内，这允许确定光学部分的旋转和机械未对准，而不需要或提供任何附加的传感器。
42.参考数字：10患者11患者支撑物12腹腔镜摄像机13患者10的身体14腹腔镜器械15腹腔镜摄像机装置16处理单元17显示单元18定位系统19、20传感器21位置表示器22一组指示器主体或三角测量标记22a-22d指示器主体23医学成像系统24手柄25轴
25a轴25的近端25b旋转接头联接器26摄像系统27摄像机单元28摄像机系统26的部分29，30拇指轮31图像转换器32电缆33物镜（还有33'、33''）34，35透镜36物体37孔径38光入射窗39
–
42（光学）标记39'
–
42'重新定位的（光学）标记s结构43，43'垂直对称线44，44'水平对称线45，45'光轴46反射镜p平面o物体l透镜47棱镜48光导49光源。

技术特征：
1.一种内窥镜，特别是腹腔镜摄像机装置（15），包括：细长轴（25），其沿着中心轴（45）从近端延伸到远端，并且适于被引入到动物或人类的身体（13）中，轴（25）包括在其远端的光入射窗（38），摄像机系统（26），包括在轴（25）的远端具有光入射窗（38）的物镜（33），并且包括具有图像转换器（31）的摄像机单元（27），所述图像转换器光学耦合到物镜（33）以接收光学图像，物镜（33）具有延伸穿过光入射窗（38）的光路，至少一个光学标记（39），放置在轴（25）远端的光路内，用于被描绘在图像转换器（31）上。2.根据权利要求1所述的摄像机装置，其中，所述至少一个光学标记（39）放置在光入射窗（38）上。3.根据前述权利要求中任一项所述的摄像机装置，其中，所述物镜（33）旋转固定到所述图像转换器（31）。4.根据权利要求1或2中任一项所述的摄像机装置，其中，其上设置有光入射窗（38）的物镜（33'，33''）相对于图像转换器（31）可旋转地安装。5.根据前述权利要求中任一项所述的摄像机装置，其中，光入射窗（38）是棱镜。6.根据前述权利要求中任一项所述的摄像机装置，其中，物镜（33）包括轴向光轴（45）。7.根据前述权利要求中任一项所述的摄像机装置，其中，物镜（33'，33''）包括侧向定向的光轴（45'）。8.根据前述权利要求中任一项所述的摄像机装置，其中，光入射窗（38）相对于细长轴（25）倾斜。9.根据前述权利要求中任一项所述的摄像机装置，其中，所述至少一个光学标记（39）被放置在离所述光路中心一定距离处、在所述物镜（33）的任何放大级别下都将被成像在所述图像传感器（31）上的位置中。10.根据前述权利要求中任一项所述的摄像机装置，其中，至少两个、三个或四个光学标记（39
ꢀ‑ꢀ
42）被放置在光路的外围。11.根据权利要求11所述的摄像机装置，其中，光学标记（39-42）中的任一个都包括独特的图案。12.根据权利要求11所述的摄像机装置，其中，所述光学标记（39-42）一起形成不对称结构。13.根据前述权利要求中任一项所述的摄像机装置，其中，所述轴连接至位置指示器（21）。14.根据前述权利要求中任一项所述的摄像机装置，其中，包括摄像机校正单元（16），用于确定扭转和失真参数中的至少一个，以应用于数学摄像机投影模型。15.一种用于校正由根据权利要求1所述的腹腔镜摄像机装置捕获的图像的方法：将放置在光路内的至少一个光学标记（39）投影到图像转换器（31）上，以及确定腹腔镜摄像机装置的数学投影模型。

技术总结
增强现实应用需要精确的摄像机校准，以便减少总的目标配准误差。摄像机校准确定摄像机的数学模型，以便确定物理世界空间如何映射到摄像机图像空间，并且因此高度依赖于摄像机的光学元件。摄像机校准算法通常假设摄像机的光学元件是严格固定的，事实上，至少对于如图6至图8中图示的倾斜腹腔镜摄像机来说并非如此。此外，物镜和图像转换器的元件之间的任何机械运动将使光学元件可变。根据本发明，标记（39）至（42）将被放置在腹腔镜摄像机（12）的视场内，这允许确定光学部分的旋转和机械未对准，而不需要或提供任何附加的传感器。需要或提供任何附加的传感器。需要或提供任何附加的传感器。


技术研发人员：S
受保护的技术使用者：爱尔博卓见有限责任公司
技术研发日：2022.10.25
技术公布日：2023/8/14