一种基于增强现实的视觉盲区手术引导系统的制作方法

一种基于增强现实的视觉盲区手术引导系统
【技术领域】
1.本发明涉及计算机技术领域，具体为一种基于增强现实的视觉盲区手术引导系统。


背景技术：

2.增强现实技术是一种将真实世界与虚拟信息融合的技术，通过实时计算摄像机的位姿并融合入计算机生成的文字、图像、三维模型、视频等虚拟信息实现对现实世界的增强。在手术过程中，增强现实的虚拟三维模型不会阻挡真实的环境，而是将虚拟信息叠加在真实环境上，在不干扰原始任务的情况下提供直观的指导。
3.虚拟现实技术是虚拟场景系统、知觉管理系统和用户之间的多重信号传导，使用户融入虚拟场景。计算机完成虚拟场景的设计、制作，vr设备实现用户的知觉反馈，这是虚拟现实的内容输入；用户接收知觉信号并通过捕捉设备将用户知觉输入计算机，完成场景响应，这是用户的信号输出；知觉管理系统将信号在虚拟场景系统和用户之间不断传导，形成完整的信号闭环。
4.医院常使用超声、ct、mri、x光、b超等成像设备产生的医学图像主要用于疾病的诊断，以二维显示器显示信息作为指导，这类方法所呈现的患者信息缺失严重、可读性差，特别是组织结构的空间位置和毗邻关系缺乏立体感。实施外科手术的医生往往存在有手眼不协调和深度感知丢失等问题。
5.由此可见，提供一种基于增强现实的视觉盲区手术引导系统及引导方法是本领域亟需解决的问题。


技术实现要素：

6.为解决上述问题，本发明提供一种基于增强现实的视觉盲区手术引导系统，其包括手术流程及场景展示单元、手术知识库存储单元、躯体数据图像存储单元、语音及文字存储单元、机器学习计算单元、图像采集单元；所述手术流程及场景展示单元与机器学习计算单元相连；所述机器学习计算单元与躯体数据图像存储单元及图像采集单元相连；机器学习计算单元与语音及文字存储单元及手术知识库存储单元相连。
7.进一步的，所述手术流程及场景展示单元包括头戴式增强现实设备、增强现实/虚拟现实显示接口和语音及文字输出单元，是整个系统的呈现单元，为使用者呈现机器学习计算单元处理结束后的信息，并主动控制机器学习单元调取手术知识库存储单元和躯体数据图像存储单元的数据信息。
8.进一步的，所述手术知识库存储单元存储手术的相关知识以及手术流程信息，以标签化的形式存储在数据库中，为手术流程及场景展示单元提供数据支持。
9.进一步的，所述手术知识库存储单元存储包括专家以往手术经验案例及案例实施流程、手术操作相关规范、标准手术操作流程、医疗器械使用方法及使用流程、医疗事故处置方案及流程。
10.进一步的，所述躯体数据图像存储单元存储手术涉及器官的三维图形信息，并根据手术特点增加图形信息，利于机器学习计算单元合成图形并提供给手术流程及场景展示单元。
11.进一步的，所述机器学习计算单元是整个系统的计算单元，处理图像采集单元和躯体数据图像存储单元的图像数据。
12.进一步的，所述机器学习计算单元包括智能计算模块、图形处理单元、信息匹配单元；智能计算模块负责图形处理单元与信息匹配单元的智能计算功能；图形处理单元提供包括通过相机定位坐标与ar相机的图像确定三维图像的显示位置的服务；信息匹配单元提供包括训练好的神经网络模型为收手术状态分析处理方案并提供手术下一步的处理方案、为生成方案提供自然语言处理生成语言、当前状态信息与手术知识存储单元信息的匹配功能。
13.进一步的，所述图像采集单元为系统提供手术进行的实时图像信息和手术工具的实时位置信息，为三维图形在手术流程及场景展示单元的生成提供基础。
14.进一步的，所述图像采集单元包括ar相机、相机定位设备，ar相机安装在手术设备上，为手术实施者提供ar图像，相机定位设备安装在相机上，为ar头戴式显示器提供相机定位服务。
15.再者，
【附图说明】
16.图1是本发明的系统框架图。
【具体实施方式】
17.本发明所提到的方向用语，例如「上」、「下」、「前」、「后」、「左」、「右」、「内」、「外」、「侧面」等，仅是附图中的方向，只是用来解释和说明本发明，而不是用来限定本发明的保护范围。
18.本发明的目的在于提供一种基于增强现实的视觉盲区手术引导系统及引导方法，可以为医护人员提供大型手术过程中有流程性引导，使医生在整个手术过程更加明确下一步的操作，同时支持多个医生同时看到手术实施医生的手术进展画面，达到提升手术安全性和提升新医生手术能力的目的。
19.参见图1，给出了本发明基于增强现实的视觉盲区手术引导系统的系统框架，所述引导系统包括手术流程及场景展示单元1、手术知识库存储单元2、躯体数据图像存储单元3、语音及文字存储单元4、机器学习计算单元5、图像采集单元6；所述手术流程及场景展示单元1与机器学习计算单元5相连；所述机器学习计算单元5与躯体数据图像存储单元3及图像采集单元6相连；机器学习计算单元5与语音及文字存储单元4及手术知识库存储单元2相连；所述手术流程及场景展示单元1是整个系统的呈现单元，为使用者呈现机器学习计算单元处理结束后的信息，并可以主动控制机器学习单元5调取手术知识库存储单元2、躯体数据图像存储单元3的数据信息；所述手术知识库存储单元2存储手术的相关知识以及手术流程信息等，以标签化的形式存储在数据库中，为手术流程及场景展示单元提供数据支持；所述躯体数据图像存储单元3存储手术涉及器官的三维图形信息，包括人体器官的形状、颜
色、器官功能、图形的三维坐标，并可以根据手术特点增加图形信息，利于后期机器学习计算单元5合成图形并提供给手术流程及场景展示单元1；所述机器学习计算单元5是整个系统的计算单元，处理图像采集单元6和躯体数据图像存储单元3的图像数据，并根据三维图形的坐标信息，将三维数据呈现在实时采集的图像数据上，并且在手术流程及场景展示单元1中呈现，同时机器学习计算单元5将采集图像中呈现的信息化为标准信息与手术知识库存储单元2比对，并提取手术知识库存储单元2中存储的数据，根据存储的手术步骤，生成下一步的操作步骤，通过语音及文字存储单元4调取的语言与声音信息呈现在手术流程及场景展示单元供使用者使用；所述图像采集单元6为系统提供手术进行的实时图像信息和手术工具的实时位置信息，为三维图形在手术流程及场景展示单元1的生成提供基础。
20.所述手术流程及场景展示单元1包括头戴式增强现实设备101、增强现实/虚拟现实显示接口102和语音及文字输出单元103；所述头戴式增强现实设备101为头戴式ar显示器，负责系统的显示功能及手术实施人员与系统的交互，包括显示经过机器学习计算单元处理后的与手术相关的语言信息、图像信息以及播放经过机器学习计算单元5处理后的与手术相关的语音信息；增强现实/虚拟现实显示接口102为提供系统的显示功能，使用者为手术参与人员及远程观测人员，协助手术实施者或观摩手术过程，显示经过机器学习计算单元5处理后的与手术相关的语言信息、图像信息以及播放经过机器学习计算单元处理后的与手术相关的语音信息，但不能实现与系统的交互功能；语音及文字输出单元103为戴式增强现实设备、增强现实/虚拟现实显示接口提供语音及文字输出功能。
21.所述手术知识库存储单元2包括可供编辑的手术流程库201、专家经验库202、手术知识库203、医疗知识库204、医疗事故库205，存储包括专家以往手术经验案例及案例实施流程、手术操作相关规范、标准手术操作流程、医疗器械使用方法及使用流程、医疗事故处置方案及流程；
22.所述躯体数据图像存储单元3存储手术涉及器官的三维图形信息，包括手术前建的人体器官模型301、人体构造三维图形302、人体结构定位坐标303。
23.所述语音及文字存储单元4包括语音信息输出单元401、语音设备输入单元402、文字信息输出单元403、文字信息输入单元404；存储汉语、英语文字及语音，提供给手术流程及场景展示单元展示机器学习内容时使用。
24.所述机器学习计算单元5负责获取图形信息的处理与数据库信息的匹配处理，其包括智能计算模块501、图形处理单元502、信息匹配单元503；所述智能计算模块501负责图形处理单元502与信息匹配单元503的智能计算功能；图形处理单元502提供包括通过相机定位坐标与ar相机的图像确定三维图像的显示位置的服务；信息匹配单元503提供包括训练好的神经网络模型为收手术状态分析处理方案并提供手术下一步的处理方案、为生成方案提供自然语言处理生成语言、当前状态信息与手术知识存储单元信息1的匹配功能；
25.所述图像采集单元6包括ar相机601、相机定位设备602，ar相机安装在手术设备上，为手术实施者提供ar图像，相机定位设备安装在相机上，为ar头戴式显示器提供相机定位服务。
26.此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员
可以理解的其他实施方式。

技术特征：
1.一种基于增强现实的视觉盲区手术引导系统，其特征在于，所述基于增强现实的视觉盲区手术引导系统包括手术流程及场景展示单元(1)、手术知识库存储单元(2)、躯体数据图像存储单元(3)、语音及文字存储单元(4)、机器学习计算单元(5)、图像采集单元(6)；所述手术流程及场景展示单元(1)与机器学习计算单元(5)相连；所述机器学习计算单元(5)与躯体数据图像存储单元(3)及图像采集单元(6)相连；机器学习计算单元(5)与语音及文字存储单元(4)及手术知识库存储单元(2)相连。2.根据权利要求1所述的一种基于增强现实的视觉盲区手术引导系统，其特征在于，所述手术流程及场景展示单元(1)包括头戴式增强现实设备(101)、增强现实/虚拟现实显示接口(102)和语音及文字输出单元(103)，是整个系统的呈现单元，为使用者呈现机器学习计算单元处理结束后的信息，并主动控制机器学习单元(5)调取手术知识库存储单元(2)和躯体数据图像存储单元(3)的数据信息。3.根据权利要求1所述的一种基于增强现实的视觉盲区手术引导系统，其特征在于，所述手术知识库存储单元(2)存储手术的相关知识以及手术流程信息，以标签化的形式存储在数据库中，为手术流程及场景展示单元提供数据支持。4.根据权利要求3所述的一种基于增强现实的视觉盲区手术引导系统，其特征在于，所述手术知识库存储单元(2)存储包括专家以往手术经验案例及案例实施流程、手术操作相关规范、标准手术操作流程、医疗器械使用方法及使用流程、医疗事故处置方案及流程。5.根据权利要求1所述的一种基于增强现实的视觉盲区手术引导系统，其特征在于，所述躯体数据图像存储单元(3)存储手术涉及器官的三维图形信息，并根据手术特点增加图形信息，利于机器学习计算单元(5)合成图形并提供给手术流程及场景展示单元(1)。6.根据权利要求1所述的一种基于增强现实的视觉盲区手术引导系统，其特征在于，所述机器学习计算单元(5)是整个系统的计算单元，处理图像采集单元(6)和躯体数据图像存储单元(3)的图像数据。7.根据权利要求6所述的一种基于增强现实的视觉盲区手术引导系统，其特征在于，所述机器学习计算单元(5)包括智能计算模块(501)、图形处理单元(502)、信息匹配单元(503)；智能计算模块(501)负责图形处理单元(502)与信息匹配单元(503)的智能计算功能；图形处理单元(502)提供包括通过相机定位坐标与ar相机的图像确定三维图像的显示位置的服务；信息匹配单元(503)提供包括训练好的神经网络模型为收手术状态分析处理方案并提供手术下一步的处理方案、为生成方案提供自然语言处理生成语言、当前状态信息与手术知识存储单元信息(1)的匹配功能。8.根据权利要求1所述的一种基于增强现实的视觉盲区手术引导系统，其特征在于，所述图像采集单元(6)为系统提供手术进行的实时图像信息和手术工具的实时位置信息，为三维图形在手术流程及场景展示单元(1)的生成提供基础。9.根据权利要求8所述的一种基于增强现实的视觉盲区手术引导系统，其特征在于，所述图像采集单元(6)包括ar相机(601)、相机定位设备(602)，ar相机安装在手术设备上，为手术实施者提供ar图像，相机定位设备安装在相机上，为ar头戴式显示器提供相机定位服务。

技术总结
一种基于增强现实的视觉盲区手术引导系统，其包括手术流程及场景展示单元、手术知识库存储单元、躯体数据图像存储单元、语音及文字存储单元、机器学习计算单元、图像采集单元；所述手术流程及场景展示单元与机器学习计算单元相连；所述机器学习计算单元与躯体数据图像存储单元及图像采集单元相连；机器学习计算单元与语音及文字存储单元及手术知识库存储单元相连；本发明可以为医护人员提供大型手术过程中有流程性引导，使医生在整个手术过程更加明确下一步的操作，同时支持多个医生同时看到手术实施医生的手术进展画面，达到提升手术安全性和提升新医生手术能力的目的。安全性和提升新医生手术能力的目的。安全性和提升新医生手术能力的目的。


技术研发人员：严宇 邵立 常壮
受保护的技术使用者：南京翱翔信息物理融合创新研究院有限公司
技术研发日：2023.04.11
技术公布日：2023/7/28