基于内窥镜成像的视频图像生成方法和装置及内窥镜系统与流程

1.本技术涉及医学影像技术，特别涉及一种基于内窥镜成像的视频图像生成方法、一种基于内窥镜成像的视频图像生成装置、以及一种内窥镜系统。


背景技术：

2.内窥镜常用于诸如微创手术等手术过程中，将内窥镜穿过人体腔道而探入至人体的体内病变处，可以实时采集手术工具在体内病变处的受控操作过程。
3.对于体内病变处存在诸如结石等硬质增生物的情况，手术工具在病变处的受控操作过程包括粉碎硬质增生物，例如，手术工具可以包括激光光纤头，以利用激光光纤头产生的钬激光粉碎硬质增生物。
4.然而，人体的体内会存在影响人眼观测的悬浮杂质(例如体液内的碎屑或飞沫，再例如体内的水汽，还例如体内病变处诸如结石等硬质增生物被激光光纤头的钬激光粉碎后产生的碎屑等等)。无论影响人眼观测的悬浮杂质是何种物质，若这些悬浮杂质出现在内窥镜的视野范围内，则，包含内窥镜视野图像的视频流将会模糊化呈现被施术者关注的视野场景特征(例如人体组织、以及诸如激光光纤头等手术工具)，以至于施术者难以准确了解手术工具在体内病变处的受控操作过程，进而引发手术风险(例如偏离于硬质增生物的激光光纤头产生的钬激光对人体组织产生诸如热损伤等操作误伤)。
5.可见，如何降低悬浮杂质对基于内窥镜成像的视频呈现效果的模糊化干扰，成为现有技术中有待解决的技术问题。


技术实现要素：

6.本技术的实施例提供了一种基于内窥镜成像的视频图像生成方法、一种基于内窥镜成像的视频图像生成装置、以及一种内窥镜系统，有助于降低悬浮杂质对基于内窥镜成像的视频呈现效果的模糊化干扰。
7.在本技术的一个实施例中，一种基于内窥镜成像的视频图像生成方法包括：
8.获取基于内窥镜成像的内窥镜视野图像，其中，所述内窥镜视野图像中包括所述内窥镜的视野范围内的视野场景特征；
9.基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，其中，所述图像优化用于在所述内窥镜视野图像中还包括引发所述视野场景特征的模糊化的悬浮杂质特征时，在对所述视野场景特征保真的基础上虚化所述悬浮杂质特征。
10.在一些示例中，可选地，所述基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，包括：基于对所述内窥镜视野图像的图像清晰化处理，生成清晰化图像；基于对所述清晰化图像的视野场景增强处理，生成所述视频图像；其中，所述图像清晰化处理用于增强所述悬浮杂质特征所在的图像区域的局部对比度，并且，所述视野场景增强处理用于增强所述视野场景特征的特征信息。
11.在一些示例中，可选地，还包括：基于获取到的人机交互指令，确定在预先设定的
至少两个清晰化等级中为所述清晰化处理当前选定的清晰化等级、以及在预先设定的至少两个增强等级中为所述视野场景增强处理当前选定的增强等级。
12.在一些示例中，可选地，所述基于对所述内窥镜视野图像的图像清晰化处理，生成清晰化图像，包括：对所述内窥镜视野图像进行以所述悬浮杂质特征为雾化特征的去雾处理，得到所述清晰化图像。
13.在一些示例中，可选地，所述对所述内窥镜视野图像进行以所述悬浮杂质特征为雾化特征的去雾处理，得到所述清晰化图像，包括：将所述内窥镜视野图像输入至预先训练的神经网络，其中，所述神经网络的训练样本中包括具有所述悬浮杂质特征的特征形态的雾化样本特征，并且，所述清晰化图像包括所述神经网络的输出图像。
14.在一些示例中，可选地，所述对所述内窥镜视野图像进行以所述悬浮杂质特征为雾化特征的去雾处理，得到所述清晰化图像，包括：对所述内窥镜视野图像进行光线性增强处理，基于预先设定的去雾算法对所述光线性增强处理得到的光线性增强图像进行去雾处理，以及，将所述去雾处理后得到的去雾图像进行所述光线性增强处理的逆向处理，得到所述清晰化图像。
15.在一些示例中，可选地，所述基于对所述清晰化图像的视野场景增强处理，生成所述视频图像，包括：对所述清晰化图像进行全局细节增强处理，得到全局细节增强图像；确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息；基于对所述全局细节增强图像中的所述匹配特征信息的凸显化处理，得到所述局部细节增强图像；基于所述清晰化图像和所述局部细节增强图像，生成所述视频图像。
16.在一些示例中，可选地，还包括：基于所述清晰化图像生成以所述视野场景特征为突显对象的显著图，和/或，获取所述视野场景特征在所述清晰化图像中的特征识别信息；所述确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息，包括：以所述显著图和/或所述特征识别信息为指示信息，确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息。
17.在一些示例中，可选地，所述基于所述清晰化图像，生成以所述视野场景特征为突显对象的显著图，包括：基于对所述清晰化图像进行多尺度均值滤波得到的均值滤波图像，确定所述清晰化图像在各尺度下的局部对比度；基于对所述清晰化图像在各尺度下的局部对比度的加权融合，得到所述显著图。
18.在一些示例中，可选地，所述基于所述清晰化图像和所述目标细节增强图像，生成所述视频图像，包括：对所述清晰化图像进行亮度均衡处理，得到亮度均衡图像；基于所述亮度均衡图像和所述局部细节增强图像的图像融合，生成所述视频图像。
19.在一些示例中，可选地，所述对所述清晰化图像进行亮度均衡处理，得到亮度均衡图像，包括：对所述清晰化图像进行光照估计；基于所述光照估计得到的光照估计数据，确定所述清晰化图像中以亮度阈值为界限划分的高亮度区域和低亮度区域；通过对所述清晰化图像的高亮度区域实施亮度抑制、以及对所述清晰化图像的低亮度区域实施亮度补偿，得到所述亮度均衡图像。
20.在一些示例中，可选地，所述对所述清晰化图像进行光照估计，包括：基于对所述清晰化图像进行多尺度均值滤波得到的均值滤波图像，生成对所述清晰化图像的光照估计数据。
21.在一些示例中，可选地，所述基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，包括：将所述内窥镜视野图像输入基于深度学习的端到端神经网络；其中，所述端到端神经网络用于实现从输入图像到输出图像的映射转换，所述映射转换包括以所述悬浮杂质特征为虚化目标的特征虚化，并且，所述视频图像为所述端到端神经网络的输出图像。
22.在一些示例中，可选地，还包括：利用图像样本集训练所述端到端神经网络，其中：所述图像样本集包括多组图像样本对，每一组所述图像样本对中的第一图像样本和第二图样样本中包括相同的悬浮杂质样本特征，所述悬浮杂质样本特征在所述第一图像样本中被呈现为高于预设辨识度阈值的显现状态，并且，所述悬浮杂质样本特征在所述第二图像样本中被呈现为低于所述预设辨识度阈值的虚化状态；所述端到端神经网络的训练目标被设定为：对每一组所述图像样本中的所述第一图像样本到所述第二图像样本的转换损失低于目标损失。
23.在一些示例中，可选地，所述端到端神经网络为循环生成式对抗网络，其中：在利用所述图像样本集对所述循环生成式对抗网络的训练过程中，所述循环生成式对抗网络循环实现每一组所述图像样本中的所述第一图像样本和所述第二图像样本之间的双向转换；当所述循环生成式对抗网络的循环一致性损失和循环感知一致性损失的加权值达到预设阈值时，所述训练过程由于达到所述训练目标而结束。
24.在一些示例中，可选地，所述基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，包括：基于获取到的人机交互指令，确定所述图像优化的优化模式，其中，所述优化模式包括被择一启用的第一优化模式和第二优化模式；在所述第一优化模式下，对所述内窥镜视野图像顺序执行图像清晰化处理和视野场景增强处理，所述图像清晰化处理用于增强所述悬浮杂质特征所在的图像区域的局部对比度，并且，所述视野场景增强处理用于增强所述视野场景特征的特征信息；在所述第二优化模式下，将所述内窥镜视野图像输入基于深度学习的端到端神经网络，所述端到端神经网络用于实现从输入图像到输出图像的映射转换，所述映射转换包括以所述悬浮杂质特征为虚化目标的特征虚化，并且，所述视频图像为所述端到端神经网络的输出图像。
25.在本技术的另一个实施例中，一种基于内窥镜成像的视频图像生成装置包括：
26.图像获取模块，用于获取基于内窥镜成像的内窥镜视野图像，其中，所述内窥镜视野图像中包括所述内窥镜的视野范围内的视野场景特征；
27.图像优化模块，用于基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，其中，所述图像优化用于在所述内窥镜视野图像中还包括引发所述视野场景特征的模糊化的悬浮杂质特征时，在对所述视野场景特征保真的基础上虚化所述悬浮杂质特征。
28.在一些示例中，可选地，所述图像优化模块包括：图像清晰化子模块，用于基于对所述内窥镜视野图像的图像清晰化处理，生成清晰化图像，其中，所述图像清晰化处理用于增强所述悬浮杂质特征所在的图像区域的局部对比度；视野场景增强子模块，用于基于对所述清晰化图像的视野场景增强处理，生成所述视频图像，其中，所述视野场景增强处理用于增强所述视野场景特征的特征信息。
29.在一些示例中，可选地，所述图像优化模块还包括：等级配置子模块，用于基于获
取到的人机交互指令，确定在预先设定的至少两个清晰化等级中为所述清晰化处理当前选定的清晰化等级、以及在预先设定的至少两个增强等级中为所述视野场景增强处理当前选定的增强等级。
30.在一些示例中，可选地，所述图像清晰化子模块被具体配置为：对所述内窥镜视野图像进行以所述悬浮杂质特征为雾化特征的去雾处理，得到所述清晰化图像。
31.在一些示例中，可选地，所述图像清晰化子模块被具体配置为：将所述内窥镜视野图像输入至预先训练的神经网络，其中，所述神经网络的训练样本中包括具有所述悬浮杂质特征的特征形态的雾化样本特征，并且，所述清晰化图像包括所述神经网络的输出图像。
32.在一些示例中，可选地，所述图像清晰化子模块被具体配置为：对所述内窥镜视野图像进行光线性增强处理，基于预先设定的去雾算法对所述光线性增强处理得到的光线性增强图像进行去雾处理，以及，将所述去雾处理后得到的去雾图像进行所述光线性增强处理的逆向处理，得到所述清晰化图像。
33.在一些示例中，可选地，所述视野场景增强子模块被具体配置为：对所述清晰化图像进行全局细节增强处理，得到全局细节增强图像；确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息；基于对所述全局细节增强图像中的所述匹配特征信息的凸显化处理，得到所述局部细节增强图像；基于所述清晰化图像和所述局部细节增强图像，生成所述视频图像。
34.在一些示例中，可选地，所述视野场景增强子模块被具体配置为：基于所述清晰化图像生成以所述视野场景特征为突显对象的显著图，和/或，获取所述视野场景特征在所述清晰化图像中的特征识别信息；以及，以所述显著图和/或所述特征识别信息为指示信息，确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息。
35.在一些示例中，可选地，所述视野场景增强子模块被具体配置为：基于对所述清晰化图像进行多尺度均值滤波得到的均值滤波图像，确定所述清晰化图像在各尺度下的局部对比度；基于对所述清晰化图像在各尺度下的局部对比度的加权融合，得到所述显著图。
36.在一些示例中，可选地，所述视野场景增强子模块被具体配置为：对所述清晰化图像进行亮度均衡处理，得到亮度均衡图像；基于所述亮度均衡图像和所述局部细节增强图像的图像融合，生成所述视频图像。
37.在一些示例中，可选地，所述视野场景增强子模块被具体配置为：对所述清晰化图像进行光照估计；基于所述光照估计得到的光照估计数据，确定所述清晰化图像中以亮度阈值为界限划分的高亮度区域和低亮度区域；通过对所述清晰化图像的高亮度区域实施亮度抑制、以及对所述清晰化图像的低亮度区域实施亮度补偿，得到所述亮度均衡图像。
38.在一些示例中，可选地，所述视野场景增强子模块被具体配置为：基于对所述清晰化图像进行多尺度均值滤波得到的均值滤波图像，生成对所述清晰化图像的光照估计数据。
39.在一些示例中，可选地，所述图像优化模块包括：模型调用子模块，用于将所述内窥镜视野图像输入基于深度学习的端到端神经网络，其中，所述端到端神经网络用于实现从输入图像到输出图像的映射转换，所述映射转换包括以所述悬浮杂质特征为虚化目标的特征虚化，并且，所述视频图像为所述端到端神经网络的输出图像。
40.在一些示例中，可选地，还包括：模型训练模块，用于利用图像样本集训练所述端
到端神经网络，其中：所述图像样本集包括多组图像样本对，每一组所述图像样本对中的第一图像样本和第二图样样本中包括相同的悬浮杂质样本特征，所述悬浮杂质样本特征在所述第一图像样本中被呈现为高于预设辨识度阈值的显现状态，并且，所述悬浮杂质样本特征在所述第二图像样本中被呈现为低于所述预设辨识度阈值的虚化状态；所述端到端神经网络的训练目标被设定为：对每一组所述图像样本中的所述第一图像样本到所述第二图像样本的转换损失低于目标损失。
41.在一些示例中，可选地，所述图像优化模块包括：模式使能子模块，用于基于获取到的人机交互指令，确定所述图像优化的优化模式，其中，所述优化模式包括被择一启用的第一优化模式和第二优化模式；在所述第一优化模式下被启用的图像清晰化子模块和视野场景增强子模块，用于对所述内窥镜视野图像顺序执行图像清晰化处理和视野场景增强处理，所述图像清晰化处理用于增强所述悬浮杂质特征所在的图像区域的局部对比度，并且，所述视野场景增强处理用于增强所述视野场景特征的特征信息；在所述第二优化模式下被启用的模型调用子模块，用于将所述内窥镜视野图像输入基于深度学习的端到端神经网络，所述端到端神经网络用于实现从输入图像到输出图像的映射转换，所述映射转换包括以所述悬浮杂质特征为虚化目标的特征虚化，并且，所述视频图像为所述端到端神经网络的输出图像。
42.在本技术的另一个实施例中，一种内窥镜系统包括：
43.内窥成像组件，包括内窥镜和摄像头，所述摄像头用于生成通过内窥镜成像的内窥镜视野图像；
44.处理器组件，用于执行前述实施例中的视频图像生成方法。
45.在本技术的另一个实施例中，一种非瞬时计算机可读存储介质，其存储指令，所述指令在由处理器执行时使得所述处理器执行前述实施例中的视频图像生成方法。
46.基于上述实施例，可以对基于内窥镜成像的内窥镜视野图像进行图像优化，若内窥镜视野图像中除了包括内窥镜的视野范围内的视野场景特征之外，还包括引发视野场景特征的模糊化的悬浮杂质特征，则，对内窥镜视野图像的图像优化通过对视野场景特征和悬浮杂质特征的差异化处理，可以在对视野场景特征保真的基础上虚化悬浮杂质特征，从而使得视野场景特征在图像优化后得到的视频图像中的清晰度高于在内窥镜视野图像中的清晰度，进而，有助于降低悬浮杂质对基于内窥镜成像的视频呈现效果的模糊化干扰，以降低手术过程中误伤人体组织、甚至发生手术事故的风险。
附图说明
47.以下附图仅对本技术做示意性说明和解释，并不限定本技术的范围：
48.图1为本技术的一个实施例中的内窥镜系统的系统架构示意图；
49.图2为如图1所示内窥镜系统的工作原理示意图；
50.图3为如图1所示内窥镜系统实现的图像优化的第一优化模式的原理图；
51.图4为如图3所示的第一优化模式中的等级调节的实例示意图；
52.图5为如图3所示的第一优化模式中的视野场景增强处理的基础实例示意图；
53.图6为如图3所示的第一优化模式中的视野场景增强处理的优化实例示意图；
54.图7为如图1所示内窥镜系统实现的图像优化的第二优化模式的原理图；
55.图8为如图7所示第二优化模式使用的端到端网络的训练实例示意图；
56.图9为如图3所示第一优化模式和如图7所示第二优化模式以择一方式共存的实例示意图；
57.图10为本技术的另一个实施例中基于内窥镜成像的视频图像生成方法的示例性流程示意图；
58.图11为如图10所示的视频生成方法在采用第一优化模式时的原理性流程示意图；
59.图12为如图10所示的视频生成方法在采用第二优化模式时的原理性流程示意图；
60.图13为如图10所示的视频生成方法用于兼容第一优化模式和第二优化模式的扩展流程示意图；
61.图14为本技术的另一个实施例中基于内窥镜成像的视频图像生成装置的示例性结构示意图；
62.图15为如图14所示的视频图像生成装置的优化结构示意图。
具体实施方式
63.为使本技术的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本技术进一步详细说明。
64.图1为本技术的一个实施例中的内窥镜系统的系统架构示意图。图2为如图1所示内窥镜系统的工作原理示意图。请参见图1和图2，在本技术的实施例中，内窥镜系统可以包括内窥成像组件10和主机设备30。
65.内窥成像组件10包括内窥镜11和摄像头12。其中，内窥镜11可以通过施术通道进入体内，例如从诸如输尿管等人体腔道进入人体的器官(诸如膀胱)内部，摄像头12可以用于生成通过内窥镜11成像的内窥镜视野图像。例如，摄像头12可以包括诸如电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal oxide semiconductor，cmos)等感光元件，并且，内窥成像组件10还可以包括诸如冷光光源等用于对内窥镜视野补光的光源(未在附图中示出)、以及诸如按钮等可操作元件(未在附图中示出)，该可操作元件可以用于响应于施术者对可操作元件的外部操作启动或停止内窥镜视野图像的成像过程。另外，图1中以内窥镜11选用电子镜为例进行图示表达，但可以理解的是，这样的图示表达并不意味着对本技术实施例中的内窥镜11的类型做出不必要的限制。
66.主机设备30包括处理器组件310、存储介质320以及人机交互组件330。
67.处理器组件310可以用于采集摄像头12通过内窥镜11成像的内窥镜视野图像，以及，实现对内窥镜视野图像进行图像处理、视频编码以及智能处理(诸如基于深度学习的特征分类、特征识别以及视频编码中的编码指示等)等功能，因此，图2中将处理器组件310表示为按照功能划分的多个功能单元：图像采集单元311、图像处理单元312、智能处理单元313、视频编码单元314以及主机控制单元315。另外，处理器组件310通过图像处理生成的视频图像，可以经视频编码处理后传输至显示设备40可视化呈现。
68.对于实现多种功能的处理器组件310，其可以包括诸如微控制单元(microcontroller unit，mcu)、复杂可编程逻辑器件(complex programmable logic device，cpld)、现场可编程门阵列(field programmable gate array，fpga)等电气控制元件，并且，还可以包括诸如中央处理单元(central processing unit，cpu)、图像信号处理
器(image signal processor，isp)、图形处理单元(graphic processing unit，gpu)等具有数据处理功能的数据处理元件。
69.存储介质320可以包括诸如闪存(flash)等非易失性存储介质，以及，诸如(随机访问存储器random access memory，ram)及其衍生存储介质等易失性存储介质，其中，非易失性存储介质中可以存储用于处理器组件310实现上述功能的指令，并且，易失性存储介质可以被配置为用于暂存中间数据的内存。
70.人机交互组件330可以包括诸如键盘、开关、档把、触摸屏等至少一种可用于主机设备30与操作者(例如施术者或其助手)进行接触式人机交互的可操作部件，和/或，人机交互组件330也可以包括诸如蓝牙接口等支持主机设备30与操作者(例如施术者或其助手)基于以终端设备为媒介的无线通信连接进行非接触式人机交互的接口部件。无论人机交互组件330包括何种部件，其都可以用于获取操作者输入的人机交互指令，并且，处理器组件310实现的上述功能可以参考人机交互组件330获取到的人机交互指令，例如，图2中示出的主机控制单元315可以基于人机交互指令控制其他功能单元。
71.在本技术的实施例中，为了降低悬浮杂质对基于内窥镜成像的视频呈现效果的模糊化干扰，可以对处理器组件310实现的图像处理实施改进，即，对图2中示出的图像处理单元312实施改进。
72.在此情况，处理器组件310的图像处理可以具体包括：
73.获取基于内窥镜成像的内窥镜视野图像，其中，内窥镜视野图像中至少包括内窥镜的视野范围内的视野场景特征(包括但不限于诸如人体组织等人体目标特征、以及诸如手术工具等手术辅助特征)；
74.基于对内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，其中，对内窥镜视野图像的图像优化用于在该内窥镜视野图像中还包括引发视野场景特征的模糊化的悬浮杂质特征(诸如体液内的碎屑或飞沫、体内的水汽以及硬质增生物被粉碎后产生的碎屑等至少一种)时，在对视野场景特征保真的基础上虚化悬浮杂质特征。
75.基于处理器组件310的上述图像处理方式，可以对基于内窥镜成像的内窥镜视野图像进行图像优化，若内窥镜视野图像中除了包括内窥镜的视野范围内的视野场景特征之外，还包括引发视野场景特征的模糊化的悬浮杂质特征，则，对内窥镜视野图像的图像优化通过对视野场景特征和悬浮杂质特征的差异化处理，可以在对视野场景特征保真的基础上虚化悬浮杂质特征，从而使得视野场景特征在图像优化后得到的视频图像中的清晰度高于在内窥镜视野图像中的清晰度，进而，有助于降低悬浮杂质对基于内窥镜成像的视频呈现效果的模糊化干扰，以降低手术过程中误伤人体组织、甚至发生手术事故的风险。
76.在本技术的实施例中，可以为内窥镜视野图像的图像优化提供两种优化模式，即，第一优化模式和第二优化模式，并且，处理器组件310在对内窥镜视野图像进行图像优化时，可以采用第一优化模式和第二优化模式中的任意一种。也就是，第一优化模式和第二优化模式可以被处理器组件310择一启用，其中，此处提及的“择一启用”可以包括两种情况：
77.情况1、处理器组件310的图像处理功能(例如图2中的图像处理单元312)的功能配置仅支持第一优化模式和第二优化模式中的其中一个，即，第一优化模式和第二优化模式的“择一启用”可以是通过功能配置实现的；
78.情况2、处理器组件310的图像处理功能(例如图2中的图像处理单元312)的功能配
置可以支持第一优化模式和第二优化模式，并且，第一优化模式和第二优化模式的“择一启用”可以是通过人机交互指令来控制的。
79.图3为如图1所示内窥镜系统实现的图像优化的第一优化模式的原理图。请参见图3，在本技术的实施例中，处理器组件310在第一优化模式下，可以被配置为通过如下方式实现对内窥镜视野图像510的图像优化：
80.基于对内窥镜视野图像510的图像清晰化处理s_clr，生成清晰化图像520；
81.基于对清晰化图像520的视野场景增强处理s_enh，生成视频图像550；
82.其中，图像清晰化处理s_clr用于增强内窥镜视野图像510中的悬浮杂质特征所在的图像区域的局部对比度，以使得清晰化图像520具有比内窥镜视野图像510更高的图像通透性；并且，视野场景增强处理s_enh用于增强视野场景特征在清晰化图像520中的特征信息。
83.对于如图3所示的第一优化模式，由于悬浮杂质特征的浓度可能会由于人体的病理差异存在不同，和/或，随着手术过程的进行而浮动变化，因此，第一优化模式可以支持图像清晰化处理s_clr的清晰化等级调节、和/或视野场景增强处理s_enh的增强等级调节，该调节可以通过人机交互指令来控制。
84.在此情况下，第一优化模式可以被看作是支持人机交互的手动模式，并且，处理器组件310可以进一步用于基于获取到的人机交互指令，控制对内窥镜视野图像510的图像优化，即，确定预先设定的至少两个清晰化等级中为清晰化处理s_clr当前选定的清晰化等级、以及预先设定的至少两个增强等级中为视野场景增强处理s_enh当前选定的增强等级。其中，此处提及的人机交互指令可以包括：
85.第一档位选择指令，用于在预先设定的至少两个清晰化等级中为清晰化处理s_clr确定当前选定的清晰化等级；
86.和/或，
87.第二档位选择指令，用于在预先设定的至少两个增强等级中为视野场景增强处理s_enh确定当前选定的增强等级。
88.相应地，处理器组件310可以被具体配置为：基于对内窥镜视野图像执行的当前选定清晰化等级的图像清晰化处理s_clr生成的清晰化图像，以及，基于对清晰化图像执行的当前选定增强等级的视野场景增强处理s_enh生成视频图像。
89.图4为如图3所示的第一优化模式中的等级调节的实例示意图。请参见图4，以清晰化处理s_clr具有三个可用的清晰化等级l1、l2、l3，并且，视野场景增强处理s_enh具有三个可用的增强等级s1、s2、s3为例，通过第一档位选择指令和第二档位选择指令的组合约束，第一优化模式下的图像优化可以具有共九种优化等级d1-d9。
90.从而，操作者可以根据视频图像550对视野场景特征的呈现效果，通过输入第一档位选择指令和/或第二档位选择指令，可以使视频图像550对视野场景特征的呈现清晰度达到可辨识的程度，并且，还可以在视频图像550对视野场景特征的呈现清晰度达到可辨识程度的基础上，进一步通过第一档位选择指令和/或第二档位选择指令而使视频图像对视野场景特征的呈现效果匹配施术者的人眼观测舒适区。
91.本技术的实施例并不试图对第一优化模式中的清晰化处理s_clr做出不必要的限定。例如，在本技术的实施例中，第一优化模式中的清晰化处理s_clr可以包括去雾处理，或
者，可用于通过提升悬浮杂质特征所在的图像区域的局部对比度而提高图像通透性的其他处理方式。
92.若第一优化模式中的清晰化处理s_clr包括去雾处理，则，处理器组件310可以被具体配置为：通过对内窥镜视野图像510进行以悬浮杂质特征为雾化特征的去雾处理，得到清晰化图像520。并且，若需要为清晰化处理s_clr设定至少两个清晰化等级，则，清晰化等级可以由去雾处理的去雾等级来确定。
93.其中，去雾处理可以由神经网络来实现，或者，也可以使用图像处理手段来实现。
94.例如，处理器组件310可以将内窥镜视野图像510输入至预先训练的神经网络，其中，该神经网络的训练样本中包括具有悬浮杂质特征的特征形态的雾化样本特征，并且，清晰化图像520可以包括所述神经网络的输出图像。用于进行去雾处理的神经网络，可以选用诸如以三色理论和颜色恒常性为理论基础的retinex(retina+cortex，视网膜和皮层)模型、或以大气散射原理为理论基础的大气散射模型、或任意一种卷积神经网路。
95.再例如，处理器组件310也可以利用诸如同态滤波、小波变换、直方图均衡化或者诸如暗通道先验去雾算法等任意一种去雾算法，对内窥镜视野图像510进行去雾处理。
96.假设处理器组件310使用去雾算法(例如暗通道先验去雾算法)对内窥镜视野图像510进行去雾处理，则，该去雾处理过程可以包括：
97.对内窥镜视野图像510进行光线性增强处理(例如反伽马变换)，并且，在进行光线性增强处理之前，可以先对内窥镜视野图像510进行诸如高斯滤波等图像去噪处理；
98.基于预先设定的去雾算法(例如暗通道先验去雾算法)对光线性增强处理得到的光线性增强图像进行去雾处理；
99.将去雾处理后得到的去雾图像进行光线性增强处理的逆向处理(例如伽马变换)，得到具有比内窥镜视野图像510具有更高的图像通透性的清晰化图像520。
100.本技术的实施例并不试图对第一优化模式中的视野场景增强处理s_enh做出不必要的限定。例如，在本技术的实施例中，第一优化模式中的视野场景增强处理s_enh可以包括细节增强处理，并且，细节增强处理可以采用全局细节增强与增强后的细节筛选相结合的方式来实现。
101.图5为如图3所示的第一优化模式中的视野场景增强处理的基础实例示意图。请参见图5，处理器组件310可以被具体配置为通过如下方式实现对清晰化图像520的视野场景增强处理s_enh：
102.对清晰化图像520进行全局细节增强处理s_enh_dtl，例如高斯高通滤波)，得到全局细节增强图像531，其中，若需要为视野场景增强处理s_enh设定至少两个增强等级，则，增强等级可以由全局细节增强处理(例如高斯高通滤波)的配置参数确定；
103.确定视野场景特征在全局细节增强图像531中的匹配特征信息；
104.基于对全局细节增强图像531中的匹配特征信息的凸显化处理s_enh_flt，例如弱化或删除全局细节增强图像531中除匹配特征之外的其他特征信息，得到凸显视野场景特征的匹配特征信息的局部细节增强图像532；
105.基于清晰化图像520和局部细节增强图像532，生成视频图像550，例如，可以基于清晰化图像520和局部细节增强图像532的图像融合生成视频图像550。
106.其中，为了提高确定上述匹配特征信息的准确性，处理器组件310可以进一步用
于：
107.基于清晰化图像520生成以视野场景特征为突显对象的显著图(saliency map)533，例如，先基于对清晰化图像520进行多尺度均值滤波得到的均值滤波图像，确定清晰化图像520在各尺度下的局部对比度，再基于对清晰化图像520在各尺度下的局部对比度的加权融合，生成显著图533；
108.和/或，
109.获取视野场景特征在清晰化图像520中的特征识别信息534，例如，图2中示出的智能处理单元315可以对包括人体组织、手术工具等视野场景特征进行特征识别，并且，智能处理单元315产生的特征识别信息534中可以包括诸如视野场景特征在清晰化图像520中的图像位置信息等；
110.在此情况下，处理器组件310可以以显著图533和/或特征识别信息534为指示信息，确定视野场景特征在全局细节增强图像531中的匹配特征信息、并进行对全局细节增强图像531中的匹配特征信息的凸显化处理s_enh_flt。
111.在本技术的实施例中，为了进一步提高视频图像550的图像质量，对清晰化图像520的视野场景增强处理s_enh可以进一步引入亮度均衡。
112.图6为如图3所示的第一优化模式中的视野场景增强处理的优化实例示意图。请参见图6，处理器组件310被具体配置为在对清晰化图像520的视野场景增强处理s_enh的过程中进一步用于：对清晰化图像520进行亮度均衡处理s_enh_bal，得到亮度均衡图像535。
113.例如，处理器组件310可以被具体配置为通过如下方式生成亮度均衡图像535：
114.对清晰化图像520进行光照估计，例如，可以基于前文提及的对清晰化图像520进行多尺度均值滤波得到的均值滤波图像，生成对清晰化图像520的光照估计数据；
115.基于对清晰化图像520进行光照估计得到的光照估计数据，确定清晰化图像520中以亮度阈值为界限划分的高亮度区域和低亮度区域，例如，该亮度阈值可以为基于清晰化图像520的平均亮度lm确定的动态阈值；
116.通过对清晰化图像520的高亮度区域实施亮度抑制(例如用于抑制高亮的第一非线性映射)、以及对清晰化图像520的低亮度区域实施亮度补偿(例如用于补偿低亮的第二非线性映射)，得到亮度均衡图像535。
117.在此情况下，处理器组件310基于清晰化图像520和局部细节增强图像532生成视频图像550的处理过程，可以以亮度均衡图像535替代清晰化图像520进行与局部细节增强图像532的图像融合，即：
118.基于亮度均衡图像535和局部细节增强图像532的图像融合，生成视频图像550。
119.由于亮度均衡图像535具有比清晰化图像520更优的亮度均衡特性，因此，在生成视频图像550的生成过程中，使用亮度均衡图像535替代清晰化图像520进行与局部细节增强图像532的图像融合，可以抑制视野场景增强处理s_enh过程中引发(例如由全局细节增强处理s_enh_dtl引发)的亮度失衡，从而，如图6所示的优化实例所生成的视频图像550可以由于如图5所示的基础实例。
120.以上是对本技术实施例中的图像优化的第一优化模式的举例说明，下文中将继续介绍该图像优化的第二优化模式。
121.图7为如图1所示内窥镜系统实现的图像优化的第二优化模式的原理图。请参见图
7，在本技术的实施例中，处理器组件310在第二优化模式下，可以被配置为通过如下方式实现对内窥镜视野图像510的图像优化：
122.将内窥镜视野图像510输入基于深度学习的端到端神经网络600；
123.其中，该端到端神经网络600用于实现从输入图像到输出图像的映射转换，该端到端神经网络600实现的映射转换包括以悬浮杂质特征为虚化目标的特征虚化，即，该映射转换被配置为从模糊化图像到去模糊化图像的两类图像之间的直接映射转换，并且，视频图像550为该端到端神经网络600的输出图像。
124.该端到端神经网络600可以是在完成训练之后被植入到内窥镜系统中，或者，该端到端神经网络600也可以是由处理器组件310辅助训练的，即，处理器组件310可以进一步用于利用图像样本集训练端到端神经网络600。无论该端到端神经网路600的训练过程的执行实体和完成时间如何，其训练过程使用的图像样本集都可以包括多组图像样本对，其中：
125.每一组图像样本对中的第一图像样本和第二图样样本中包括相同的悬浮杂质样本特征；
126.该悬浮杂质样本特征在第一图像样本中被呈现为高于预设辨识度阈值的显现状态，即，第一图像样本属于表征模糊化图像的第一图像域x；
127.该悬浮杂质样本特征在第二图像样本中被呈现为低于预设辨识度阈值的虚化状态，即，第二图像样本属于表征去模糊化图像的第二图像域y。
128.在此情况下，端到端神经网络600的训练目标被设定为：对每一组图像样本中的第一图像样本(即第一图像域x)到第二图像样本(即第二图像域y)的映射转换的转换损失低于目标损失，以便于在输入图像属于表征模糊化图像的第一图像域x时，可以自适应地发起映射转换。
129.也就是，端到端神经网络600具有对模糊化图像和去模糊化图像的鉴别能力，并且可以实现从模糊化图像到去模糊化图像的两类图像之间的直接映射转换，因此：
130.在内窥镜视野图像510中未包括悬浮杂质特征时，即，内窥镜视野图像510属于第二图像域y时，端到端神经网络600产生的输出图像也属于第二图像域y、并且可以与输入图像基本相同，即，此时的视频图像550可以与内窥镜视野图像510相同，以避免未包括悬浮杂质特征的内窥镜视野图像510由于被实施以虚化悬浮杂质特征为目标的额外处理而发生局部失真，即，未包括悬浮杂质特征的内窥镜视野图像510实施全局保真；
131.在内窥镜视野图像510中包括悬浮杂质特征时，即，内窥镜视野图像510属于第一图像域x时，端到端神经网络600可以产生属于第一图像域x的输入图像，即经上述映射转换后的去模糊化图像，以在对视野场景特征保真的基础上虚化悬浮杂质特征。
132.相比于第一优化模式，第二优化模式可以自动甄别内窥镜视野图像510是否属于模糊化图像，并且可以内窥镜视野图像510属于模糊化图像时自适应发起不涉及人工干预的上述映射转换，因此，第二优化模式可以被看作时自适应优化模式。
133.图8为如图7所示第二优化模式使用的端到端网络的训练实例示意图。请参见图8，以端到端神经网络600为cyclegan(cycle generative adversarial networks，循环生成式对抗网络)为例，在利用图像样本集对该cyclegan的训练过程中，cyclegan循环实现每一组图像样本中的第一图像样本和第二图像样本之间的双向转换。其中，图8中以第一图像域x的域标识“x”表示每一组图像样本中的第一图像样本，并且以第二图像域y的域标识“y”表
示每一组图像样本中的第二图像样本，因此，cyclegan的训练过程也可以看作是利用图像样本集循环实现第一图像样本所属的第一图像域x和第二图像样本所属的第二图像域y之间的图像域双向转换的训练过程。
134.具体地，如图8所示，cyclegan可以具体包括两条彼此独立的循环链路。第一循环链路中包括顺序排列的第一生成器g和第二生成器f，并且，第二循环链路中的第一生成器g和第二生成器f的排列方向与第一循环链路相反。第二循环链路在第二生成器f和第一生成器g之间的连接节点处设置有第一鉴别器dx，并且，第一循环链路在第一生成器g和第二生成器f之间的连接节点处设置有第二鉴别器dy。
135.其中，第一生成器g用于实现从第一图像域x向第二图像域y之间的单向转换的第一图像生成器g；第二生成器f用于实现从第二图像域y向第一图像域x之间的单向转换的第二图像生成器f；第一鉴别器dx用于鉴别第二循环链路的第二生成器f生成的图像是来自于第二图像域y，还是属于第一图像域x；第二鉴别器dy用于鉴别第一循环链路的第一生成器g生成的图像是来自于第一图像域x，还是否属于第二图像域y。
136.通过第一鉴别器dx和第二鉴别器dy的鉴别结果，可以确定cyclegan的循环一致性损失和循环感知一致性损失，并且，当cyclegan的循环一致性损失和循环感知一致性损失的加权值达到预设阈值时，可以认为达到前述的训练目标，并且结束训练过程。并且，在使用端到端神经网络600对内窥镜视野图像510进行图像优化时：
137.若内窥镜视野图像510中未包括悬浮杂质特征，则，属于第二图像域y的内窥镜视野图像510作为输入图像经过第二循环链路中的第二生成器f和第一生成器g的两次转换后，可以得到与输入图像同属于第二图像域y、且与输入图像(即未包括悬浮杂质特征的内窥镜视野图像510)基本相同的输出图像(即视频图像550)；
138.若内窥镜视野图像510中包括悬浮杂质特征，则，属于第一图像域x的内窥镜视野图像510作为输入图像可以被第一循环链路中的第一生成器g转换为属于第二图像域y的输出图像(即视频图像550)。
139.图9为如图3所示第一优化模式和如图7所示第二优化模式以择一方式共存的实例示意图。请参见图9，处理器组件310可以被具体配置为：
140.基于获取到的人机交互指令，确定对内窥镜视野图像510的图像优化的优化模式，其中，人机交互指令包括用于择一地启用第一优化模式和第二优化模式的模式使能指令sig_hc_mod，并且，并且，对内窥镜视野图像510的图像优化可以包括：
141.在第一优化模式下，对内窥镜视野图像510顺序执行前文描述的图像清晰化处理s_clr和视野场景增强处理s_enh；
142.在第二优化模式下，将内窥镜视野图像510输入前文描述的端到端神经网络600。
143.另外，图9中还示出了用于确定图像清晰化处理s_clr的清晰化等级的第一档位选择指令sig_hc_cl、以及用于确定视野场景增强处理s_enh的增强等级的第二档位选择指令sig_hc_el。
144.图10为本技术的另一个实施例中基于内窥镜成像的视频图像生成方法的示例性流程示意图。请参见图10，在本技术的实施例中，基于内窥镜成像的视频图像生成方法可以包括：
145.s1010：获取基于内窥镜成像的内窥镜视野图像，其中，内窥镜视野图像中包括内
窥镜的视野范围内的视野场景特征；
146.s1030，基于对内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，其中，对内窥镜视野图像的图像优化用于在内窥镜视野图像中还包括引发视野场景特征的模糊化的悬浮杂质特征时，在对视野场景特征保真的基础上虚化所述悬浮杂质特征。
147.基于上述的视频生成方法，可以对基于内窥镜成像的内窥镜视野图像进行图像优化，若内窥镜视野图像中除了包括内窥镜的视野范围内的视野场景特征之外，还包括引发视野场景特征的模糊化的悬浮杂质特征，则，对内窥镜视野图像的图像优化通过对视野场景特征和悬浮杂质特征的差异化处理，可以在对视野场景特征保真的基础上虚化悬浮杂质特征，从而使得视野场景特征在图像优化后得到的视频图像中的清晰度高于在内窥镜视野图像中的清晰度，进而，有助于降低悬浮杂质对基于内窥镜成像的视频呈现效果的模糊化干扰，以降低手术过程中误伤人体组织、甚至发生手术事故的风险。
148.如前文的描述，本技术的实施例可以为内窥镜视野图像的图像优化提供可选择的第一优化模式和第二优化模式，即，s1030可以以第一优化模式或第二优化模式实现对内窥镜视野图像的图像优化。
149.图11为如图10所示的视频生成方法在采用第一优化模式时的原理性流程示意图。如图11所示，若对内窥镜视野图像的图像优化采用第一优化模式，则，本技术实施例中的视频生成方法可以包括：
150.s1010：获取基于内窥镜成像的内窥镜视野图像，其中，内窥镜视野图像中包括内窥镜的视野范围内的视野场景特征；
151.s1031：基于对内窥镜视野图像的图像清晰化处理，生成清晰化图像，其中，图像清晰化处理用于增强悬浮杂质特征所在的图像区域的局部对比度；
152.s1033：基于对清晰化图像的视野场景增强处理，生成视频图像，其中，视野场景增强处理用于增强视野场景特征的特征信息。
153.为了提升在第一优化模式下的图像优化可以更好地适配悬浮杂质特征的不同浓度，以确保视频图像的呈现清晰度达到可辨识的程度、甚至进一步匹配施术者的人眼观测舒适区，作为一种优选的扩展方式，在s1031和s1033之前，该视频生成方法还可以包括：基于获取到的人机交互指令，确定预先设定的至少两个清晰化等级中为清晰化处理当前选定的清晰化等级、以及预先设定的至少两个增强等级中为视野场景增强处理当前选定的增强等级。其中，用于确定清晰化等级和增强等级的人机交互指令可以参见前文对第一档位选择指令和第二档位选择指令的描述，此处不再赘述。
154.在此情况下，s1031基于对内窥镜视野图像执行的当前选定清晰化等级的图像清晰化处理，生成的清晰化图像，并且，s1033基于对清晰化图像执行的当前选定增强等级的视野场景增强处理，生成视频图像。
155.在第一优化模式下，s1031的清晰化处理可以包括去雾处理，或者，可用于通过提升悬浮杂质特征所在的图像区域的局部对比度而提高图像通透性的其他处理方式，例如s1031可以具体包括：对内窥镜视野图像进行以悬浮杂质特征为雾化特征的去雾处理，得到清晰化图像，其中，s1031执行去雾处理的具体处理过程可以参见前文中的相关描述，此处不再赘述。
156.而且，在第一优化模式下，s1033的视野场景增强处理可以包括细节增强处理，并
且，细节增强处理可以采用全局细节增强与增强后的细节筛选相结合的方式来实现。例如，s1033可以具体包括：
157.对清晰化图像进行全局细节增强处理，得到全局细节增强图像；
158.确定视野场景特征在全局细节增强图像中的匹配特征信息，例如，以前文描述的显著图和/或特征识别信息为指示信息，确定视野场景特征在全局细节增强图像中的匹配特征信息，其中，显著图和特征识别信息的获取方式可以参照前文描述，此处不再赘述；
159.基于对全局细节增强图像中的匹配特征信息的凸显化处理，得到局部细节增强图像；
160.基于清晰化图像和局部细节增强图像，生成视频图像，例如，可以基于清晰化图像和局部细节增强图像的图像融合生成视频图像。
161.在本技术的实施例中，为了进一步提高视频图像的图像质量，s1033对清晰化图像的视野场景增强处理可以进一步引入亮度均衡，即，s1033可以进一步包括：对清晰化图像进行亮度均衡处理，得到亮度均衡图像。
162.例如，s1033通过均衡处理得到亮度均衡图像的过程可以具体包括：
163.对清晰化图像进行光照估计，生成对清晰化图像的光照估计数据，其中，光照估计的具体实现方式可以参见前文描述，此处不再赘述；
164.基于对清晰化图像进行光照估计得到的光照估计数据，确定清晰化图像中以亮度阈值为界限划分的高亮度区域和低亮度区域，例如，该亮度阈值可以为基于清晰化图像的平均亮度确定的动态阈值；
165.通过对清晰化图像的高亮度区域实施亮度抑制(例如用于抑制高亮的第一非线性映射)、以及对清晰化图像的低亮度区域实施亮度补偿(例如用于补偿低亮的第二非线性映射)，得到亮度均衡图像。
166.图12为如图10所示的视频生成方法在采用第二优化模式时的原理性流程示意图。若对内窥镜视野图像的图像优化采用第二优化模式，则，本技术实施例中的视频生成方法可以包括：
167.s1010：获取基于内窥镜成像的内窥镜视野图像，其中，内窥镜视野图像中包括内窥镜的视野范围内的视野场景特征。
168.s1035：将内窥镜视野图像输入基于深度学习的端到端神经网络，其中，该端到端神经网络用于实现从输入图像到输出图像的映射转换，映射转换包括以悬浮杂质特征为虚化目标的特征虚化，并且，视频图像为该端到端神经网络的输出图像。
169.其中，s1035使用的端到端神经网络的训练方式和实例结构可以参见前文描述，此处不再赘述。
170.图13为如图10所示的视频生成方法用于兼容第一优化模式和第二优化模式的扩展流程示意图。请参见图13，在本技术的实施例中，若支持第一优化模式和第二优化模式之间基于人机交互的切换，则，基于内窥镜成像的视频生成方法可以包括：
171.s1010：获取基于内窥镜成像的内窥镜视野图像，其中，内窥镜视野图像中包括内窥镜的视野范围内的视野场景特征；
172.s1020：检测图像优化的当前优化模式，其中，图像优化的优化模式是基于获取到的人机交互指令确定的，图像优化的优化模式包括被择一启用的第一优化模式和第二优化
模式，并且：
173.若人机交互指令指示第一优化模式，则，顺序执行s1031和s1033，以在第一优化模式下，对内窥镜视野图像顺序执行图像清晰化处理和视野场景增强处理。
174.若人机交互指令指示第二优化模式，则，跳转至s1035，即，将内窥镜视野图像输入基于深度学习的端到端神经网络。
175.图14为本技术的另一个实施例中基于内窥镜成像的视频图像生成装置的示例性结构示意图。请参见图14，在本技术的实施例中，基于内窥镜成像的视频图像生成装置可以包括：
176.图像获取模块1410，用于获取基于内窥镜成像的内窥镜视野图像，其中，内窥镜视野图像中包括内窥镜的视野范围内的视野场景特征；
177.图像优化模块1430，用于基于对内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，其中，对内窥镜视野图像的图像优化用于在内窥镜视野图像中还包括引发视野场景特征的模糊化的悬浮杂质特征时，在对视野场景特征保真的基础上虚化所述悬浮杂质特征。
178.基于上述的视频生成装置，可以对基于内窥镜成像的内窥镜视野图像进行图像优化，若内窥镜视野图像中除了包括内窥镜的视野范围内的视野场景特征之外，还包括引发视野场景特征的模糊化的悬浮杂质特征，则，对内窥镜视野图像的图像优化通过对视野场景特征和悬浮杂质特征的差异化处理，可以在对视野场景特征保真的基础上虚化悬浮杂质特征，从而使得视野场景特征在图像优化后得到的视频图像中的清晰度高于在内窥镜视野图像中的清晰度，进而，有助于降低悬浮杂质对基于内窥镜成像的视频呈现效果的模糊化干扰，以降低手术过程中误伤人体组织、甚至发生手术事故的风险。
179.如前文的描述，本技术的实施例可以为内窥镜视野图像的图像优化提供可选择的第一优化模式和第二优化模式，即，图像优化模块1430可以以第一优化模式或第二优化模式实现对内窥镜视野图像的图像优化。
180.图15为如图14所示的视频图像生成装置的优化结构示意图。请参见图15，在本技术的实施例中，图像优化模块1430可以包括：图像清晰化子模块1431和视野场景增强子模块1433，和/或，模型调用子模块1435。
181.图像清晰化子模块1431可以用于：基于对内窥镜视野图像的图像清晰化处理，生成清晰化图像，其中，图像清晰化处理用于增强悬浮杂质特征所在的图像区域的局部对比度，并且，图像清晰化处理的具体实现方式可以参见前文描述，此处不再赘述。
182.视野场景增强子模块1433可以用于：基于对清晰化图像的视野场景增强处理，生成视频图像，其中，视野场景增强处理用于增强视野场景特征的特征信息，并且，视野场景增强处理的具体实现方式可以参见前文描述，此处不再赘述。
183.模型调用子模块1435可以用于：将内窥镜视野图像输入基于深度学习的端到端神经网络，其中，该端到端神经网络用于实现从输入图像到输出图像的映射转换，映射转换包括以悬浮杂质特征为虚化目标的特征虚化，视频图像为该端到端神经网络的输出图像，并且，模型调用子模块1435使用的端到端神经网络的训练方式和实例结构可以参见前文描述，此处不再赘述。
184.在图15中，以图像优化模块1430同时包括图像清晰化子模块1431和视野场景增强
子模块1433、以及模型调用子模块1435为例进行图示表达，在此情况下，图像优化模块1430还可以包括模式使能子模块1437用于基于获取到的人机交互指令，确定图像优化模块1430对内窥镜视野图像进行图像优化时的优化模式，其中，图像清晰化子模块1431和视野场景增强子模块1433在第一优化模式下被择一地启用，并且，模型调用子模块1435在第二优化模式下被择一地启用。
185.可以理解的是，若图像优化模块1430仅包括图像清晰化子模块1431和视野场景增强子模块1433，或者仅包括模型调用子模块1435，则，图像优化模块1430可以不包括模式使能子模块1437。
186.在图像优化模块1430仅包括图像清晰化子模块1431和视野场景增强子模块1433，或者同时包括图像清晰化子模块1431和视野场景增强子模块1433、以及模型调用子模块1435的情况下，为了提升在第一优化模式下的图像优化可以更好地适配悬浮杂质特征的不同浓度，以确保视频图像的呈现清晰度达到可辨识的程度、甚至进一步匹配施术者的人眼观测舒适区，作为一种优选的扩展方式，图像优化模块1430还可以包括：
187.等级配置子模块1439，用于基于获取到的人机交互指令，确定预先设定的至少两个清晰化等级中为清晰化处理当前选定的清晰化等级、以及预先设定的至少两个增强等级中为视野场景增强处理当前选定的增强等级。其中，用于确定清晰化等级和增强等级的人机交互指令可以参见前文对第一档位选择指令和第二档位选择指令的描述，此处不再赘述。
188.另外，在图像优化模块1430仅包括模型调用子模块1435，或者同时包括图像清晰化子模块1431和视野场景增强子模块1433、以及模型调用子模块1435的情况下，若对端到端神经网络的训练由该视频生成装置承担，则，该视频生成装置还可以包括未在图示中示出的模型训练模块，用于利用图像样本集训练该端到端神经网络，具体的训练方式可以参照前文，此处不再赘述。
189.在本技术的另一个实施例中，还提供了一种非瞬时计算机可读存储介质，该非瞬时计算机可读存储介质存储指令，这些指令在由处理器执行时使得所述处理器执行前文描述的视频图像生成方法。
190.以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。

技术特征：
1.一种基于内窥镜成像的视频图像生成方法，其特征在于，包括：获取基于内窥镜成像的内窥镜视野图像，其中，所述内窥镜视野图像中包括所述内窥镜的视野范围内的视野场景特征；基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，其中，所述图像优化用于在所述内窥镜视野图像中还包括引发所述视野场景特征的模糊化的悬浮杂质特征时，在对所述视野场景特征保真的基础上虚化所述悬浮杂质特征。2.根据权利要求1所述的视频图像生成方法，其特征在于，所述基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，包括：基于对所述内窥镜视野图像的图像清晰化处理，生成清晰化图像；基于对所述清晰化图像的视野场景增强处理，生成所述视频图像；其中，所述图像清晰化处理用于增强所述悬浮杂质特征所在的图像区域的局部对比度，并且，所述视野场景增强处理用于增强所述视野场景特征的特征信息。3.根据权利要求2所述的视频图像生成方法，其特征在于，还包括：基于获取到的人机交互指令，确定在预先设定的至少两个清晰化等级中为所述清晰化处理当前选定的清晰化等级、以及在预先设定的至少两个增强等级中为所述视野场景增强处理当前选定的增强等级。4.根据权利要求2所述的视频图像生成方法，其特征在于，所述基于对所述内窥镜视野图像的图像清晰化处理，生成清晰化图像，包括：对所述内窥镜视野图像进行以所述悬浮杂质特征为雾化特征的去雾处理，得到所述清晰化图像。5.根据权利要求2所述的视频图像生成方法，其特征在于，所述基于对所述清晰化图像的视野场景增强处理，生成所述视频图像，包括：对所述清晰化图像进行全局细节增强处理，得到全局细节增强图像；确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息；基于对所述全局细节增强图像中的所述匹配特征信息的凸显化处理，得到所述局部细节增强图像；基于所述清晰化图像和所述局部细节增强图像，生成所述视频图像。6.根据权利要求5所述的视频图像生成方法，其特征在于，还包括：基于所述清晰化图像生成以所述视野场景特征为突显对象的显著图，和/或，获取所述视野场景特征在所述清晰化图像中的特征识别信息；所述确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息，包括：以所述显著图和/或所述特征识别信息为指示信息，确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息。7.根据权利要求5所述的视频图像生成方法，其特征在于，所述基于所述清晰化图像和所述目标细节增强图像，生成所述视频图像，包括：对所述清晰化图像进行亮度均衡处理，得到亮度均衡图像；基于所述亮度均衡图像和所述局部细节增强图像的图像融合，生成所述视频图像。8.根据权利要求7所述的视频图像生成方法，其特征在于，所述对所述清晰化图像进行亮度均衡处理，得到亮度均衡图像，包括：
对所述清晰化图像进行光照估计；基于所述光照估计得到的光照估计数据，确定所述清晰化图像中以亮度阈值为界限划分的高亮度区域和低亮度区域；通过对所述清晰化图像的高亮度区域实施亮度抑制、以及对所述清晰化图像的低亮度区域实施亮度补偿，得到所述亮度均衡图像。9.根据权利要求1所述的视频图像生成方法，其特征在于，所述基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，包括：将所述内窥镜视野图像输入基于深度学习的端到端神经网络；其中，所述端到端神经网络用于实现从输入图像到输出图像的映射转换，所述映射转换包括以所述悬浮杂质特征为虚化目标的特征虚化，并且，所述视频图像为所述端到端神经网络的输出图像。10.根据权利要求9所述的视频图像生成方法，其特征在于，还包括：利用图像样本集训练所述端到端神经网络，其中：所述图像样本集包括多组图像样本对，每一组所述图像样本对中的第一图像样本和第二图样样本中包括相同的悬浮杂质样本特征，所述悬浮杂质样本特征在所述第一图像样本中被呈现为高于预设辨识度阈值的显现状态，并且，所述悬浮杂质样本特征在所述第二图像样本中被呈现为低于所述预设辨识度阈值的虚化状态；所述端到端神经网络的训练目标被设定为：对每一组所述图像样本中的所述第一图像样本到所述第二图像样本的转换损失低于目标损失。11.根据权利要求10所述的视频图像生成方法，其特征在于，所述端到端神经网络为循环生成式对抗网络，其中：在利用所述图像样本集对所述循环生成式对抗网络的训练过程中，所述循环生成式对抗网络循环实现每一组所述图像样本中的所述第一图像样本和所述第二图像样本之间的双向转换；当所述循环生成式对抗网络的循环一致性损失和循环感知一致性损失的加权值达到预设阈值时，所述训练过程由于达到所述训练目标而结束。12.根据权利要求1所述的视频图像生成方法，其特征在于，所述基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，包括：基于获取到的人机交互指令，确定所述图像优化的优化模式，其中，所述优化模式包括被择一启用的第一优化模式和第二优化模式；在所述第一优化模式下，对所述内窥镜视野图像顺序执行图像清晰化处理和视野场景增强处理，所述图像清晰化处理用于增强所述悬浮杂质特征所在的图像区域的局部对比度，并且，所述视野场景增强处理用于增强所述视野场景特征的特征信息；在所述第二优化模式下，将所述内窥镜视野图像输入基于深度学习的端到端神经网络，所述端到端神经网络用于实现从输入图像到输出图像的映射转换，所述映射转换包括以所述悬浮杂质特征为虚化目标的特征虚化，并且，所述视频图像为所述端到端神经网络的输出图像。13.一种基于内窥镜成像的视频图像生成装置，其特征在于，包括：图像获取模块，用于获取基于内窥镜成像的内窥镜视野图像，其中，所述内窥镜视野图
像中包括所述内窥镜的视野范围内的视野场景特征；图像优化模块，用于基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，其中，所述图像优化用于在所述内窥镜视野图像中还包括引发所述视野场景特征的模糊化的悬浮杂质特征时，在对所述视野场景特征保真的基础上虚化所述悬浮杂质特征。14.根据权利要求13所述的视频图像生成装置，其特征在于，所述图像优化模块包括：图像清晰化子模块，用于基于对所述内窥镜视野图像的图像清晰化处理，生成清晰化图像，其中，所述图像清晰化处理用于增强所述悬浮杂质特征所在的图像区域的局部对比度；视野场景增强子模块，用于基于对所述清晰化图像的视野场景增强处理，生成所述视频图像，其中，所述视野场景增强处理用于增强所述视野场景特征的特征信息。15.根据权利要求14所述的视频图像生成装置，其特征在于，所述图像优化模块还包括：等级配置子模块，用于基于获取到的人机交互指令，确定在预先设定的至少两个清晰化等级中为所述清晰化处理当前选定的清晰化等级、以及在预先设定的至少两个增强等级中为所述视野场景增强处理当前选定的增强等级。16.根据权利要求13所述的视频图像生成装置，其特征在于，所述图像优化模块包括：模型调用子模块，用于将所述内窥镜视野图像输入基于深度学习的端到端神经网络，其中，所述端到端神经网络用于实现从输入图像到输出图像的映射转换，所述映射转换包括以所述悬浮杂质特征为虚化目标的特征虚化，并且，所述视频图像为所述端到端神经网络的输出图像。17.根据权利要求13所述的视频图像生成装置，其特征在于，所述图像优化模块包括：模式使能子模块，用于基于获取到的人机交互指令，确定所述图像优化的优化模式，其中，所述优化模式包括被择一启用的第一优化模式和第二优化模式；在所述第一优化模式下被启用的图像清晰化子模块和视野场景增强子模块，用于对所述内窥镜视野图像顺序执行图像清晰化处理和视野场景增强处理，所述图像清晰化处理用于增强所述悬浮杂质特征所在的图像区域的局部对比度，并且，所述视野场景增强处理用于增强所述视野场景特征的特征信息；在所述第二优化模式下被启用的模型调用子模块，用于将所述内窥镜视野图像输入基于深度学习的端到端神经网络，所述端到端神经网络用于实现从输入图像到输出图像的映射转换，所述映射转换包括以所述悬浮杂质特征为虚化目标的特征虚化，并且，所述视频图像为所述端到端神经网络的输出图像。18.一种内窥镜系统，其特征在于，包括：内窥成像组件，包括内窥镜和摄像头，所述摄像头用于生成通过内窥镜成像的内窥镜视野图像；处理器组件，用于执行如权利要求1至12中任一项所述的视频图像生成方法。19.一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质存
储指令，所述指令在由处理器执行时使得所述处理器执行如权利要求1至12中任一项所述的视频图像生成方法。

技术总结
本申请涉及基于内窥镜成像的视频图像生成方法和装置及内窥镜系统。基于本申请，可以对基于内窥镜成像的内窥镜视野图像进行图像优化，若内窥镜视野图像中除了包括内窥镜的视野范围内的视野场景特征之外，还包括引发视野场景特征的模糊化的悬浮杂质特征，则，对内窥镜视野图像的图像优化通过对视野场景特征和悬浮杂质特征的差异化处理，可以在对视野场景特征保真的基础上虚化悬浮杂质特征，从而使得视野场景特征在图像优化后得到的视频图像中的清晰度高于在内窥镜视野图像中的清晰度，进而，有助于降低悬浮杂质对基于内窥镜成像的视频呈现效果的模糊化干扰，以降低手术过程中误伤人体组织、甚至发生手术事故的风险。甚至发生手术事故的风险。甚至发生手术事故的风险。


技术研发人员：王金铭 刘恩毅 廖宇豪 杨宇辉
受保护的技术使用者：杭州海康慧影科技有限公司
技术研发日：2023.06.26
技术公布日：2023/9/20