图像处理方法及装置

1.本发明涉及图像处理领域，具体涉及一种图像处理方法及装置。


背景技术：

2.目前，良性前列腺增生(benign prostatic hyperplasia，bph)已成为影响中老年男性生活质量的最常见良性疾病之一。对此，经尿道前列腺电切术(trans urethral resection prostate，turp)被认为是治疗良性前列腺增生的常用方法，经尿道前列腺电切术可以通过剥离、切除或汽化等方式来去除前列腺包膜、精阜和膀胱颈上的增生腺体，以达到治疗良性前列腺增生的目的。
3.现有技术通常是由医师根据经验来去除前列腺包膜、精阜和膀胱颈上的增生腺体，然而，这种方式对于增生腺体去除边界的判定过于依赖医师经验，很容易出现增生腺体去除不充分问题，使患者症状得不到改善，或者在增生腺体切除期间使前列腺包膜破裂，导致前列腺包膜上的静脉丛被破坏，从而引起出血和其他并发症，严重影响患者健康。


技术实现要素：

4.有鉴于此,本发明实施例提供了一种图像处理方法及装置，以帮助医师提高对于所要切除部分的边界识别准确率和识别效率。
5.第一方面，本发明实施例提供了一种图像处理方法，所述方法包括：
6.获取待处理的图像数据；
7.将所述图像数据输入预先训练的分类模型，以在多个预设类别中确定所述图像数据中待分割对象所属的目标类别；
8.在预先训练的多个分割模型中确定与所述目标类别对应的目标分割模型，其中，各所述分割模型分别用于对对应预设类别的待分割对象进行图像分割；
9.将所述图像数据输入所述目标分割模型，以生成与所述待分割对象对应的特征掩码图；
10.根据所述特征掩码图对所述图像数据中待分割对象所处的像素区域进行标识。
11.进一步地，所述预设类别包括精阜、前列腺包膜和膀胱颈。
12.进一步地，所述方法还包括：
13.获取多个样本图像，各所述样本图像具有对应的区域标签和类别标签，所述区域标签用于对所述样本图像中待分割对象所处的像素区域进行标记，所述类别标签用于对所述样本图像中待分割对象所属的类别进行标记；
14.基于所述多个样本图像对第一神经网络进行训练，以得到所述分类模型。
15.进一步地，所述方法还包括：
16.根据所述类别标签将所述多个样本图像分为多个样本图像集合，各所述样本图像集合中样本图像具有相同的类别标签；
17.对于各所述样本图像集合，基于所述样本图像集合对第二神经网络进行训练以得
到对应的分割模型。
18.进一步地，各所述分割模型基于交叉熵损失函数训练获得；
19.其中，所述交叉熵损失函数l根据如下公式计算：
[0020][0021]
其中，n用于表征一副图像中的像素点总数，yi用于表征图像中第i个像素的标签，wi用于表征图像中第i个像素点的权重，pi用于表征对第i个像素点属于分割目标的预测概率。
[0022]
进一步地，所述根据所述特征掩码图对所述图像数据中待分割对象进行标识包括：
[0023]
根据所述特征掩码图在所述图像数据中确定所述待分割对象的轮廓；
[0024]
对所述轮廓内的像素区域进行渲染。
[0025]
进一步地，在对第一神经网络或第二神经网络进行训练之前，所述方法还包括：
[0026]
对所述多个样本图像进行图像预处理。
[0027]
第二方面，本发明实施例提供了一种图像处理装置，所述装置包括：
[0028]
获取单元，用于获取待处理的图像数据；
[0029]
类别确定单元，用于将所述图像数据输入预先训练的分类模型，以在多个预设类别中确定所述图像数据中待分割对象所属的目标类别；
[0030]
模型选择单元，用于在预先训练的多个分割模型中确定与所述目标类别对应的目标分割模型，其中，各所述分割模型分别用于对对应预设类别的待分割对象进行图像分割；
[0031]
分割单元，用于将所述图像数据输入所述目标分割模型，以生成与所述待分割对象对应的特征掩码图；
[0032]
标识单元，用于根据所述特征掩码图对所述图像数据中待分割对象所处的像素区域进行标识。
[0033]
第三方面，本发明实施例提供了一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面中任一项所述的方法。
[0034]
第四方面，本发明实施例提供了一种电子设备，所述设备包括：
[0035]
存储器，用于存储一条或多条计算机程序指令；
[0036]
处理器，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面中任一项所述的方法。
[0037]
本发明实施例的图像处理方法会基于预先训练的分类模型在多个预设类别中确定图像数据中待分割对象所属的目标类别，并在预先训练的多个分割模型中确定与所述目标类别对应的目标分割模型，再基于所述目标分割模型生成与待分割对象对应的特征掩码图，进而根据所述特征掩码图对图像数据中待分割对象所处的像素区域进行标识，通过所述方法可以帮助医师提高对于所要切除部分的边界识别准确率和识别效率。
附图说明
[0038]
通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和
优点将更为清楚，在附图中：
[0039]
图1为本发明实施例的图像处理方法的应用系统示意图；
[0040]
图2为本发明实施例的图像处理方法的流程图；
[0041]
图3为本发明实施例的分类模型训练方法的流程图；
[0042]
图4为本发明实施例的分割模型训练方法的流程图；
[0043]
图5为本发明实施例的图像数据的标识过程示意图；
[0044]
图6为本发明实施例的图像处理装置的示意图；
[0045]
图7为本发明实施例的电子设备的示意图。
具体实施方式
[0046]
以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
[0047]
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
[0048]
除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
[0049]
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0050]
图1为本发明实施例的图像处理方法的应用系统示意图。如图1所示，所述图像处理方法的应用系统中包括采集设备11和图像处理设备12。
[0051]
其中，所述采集设备11用于采集视频数据。在本实施例中，所述采集设备11可以在医师的操控下通过相应手术切口探入患者身体内部以采集待分割对象的视频数据，并将所采集到的视频数据实时传输给图像处理设备12。可选地，所述采集设备11具体可以是内窥镜。
[0052]
应当理解，所述待分割对象是指生长有所要切除部分的部位。在本实施例中，所要切除部分具体可以是增生腺体，所述待分割对象具体可以是生长有所述增生腺体的精阜、前列腺包膜和膀胱颈。
[0053]
所述图像处理设备12可以是通用的计算设备或数据处理设备或存储设备。在本实施例中，所述图像处理设备12可以接收所述采集设备11所传输的视频数据，并对所述视频数据进行处理，以在所述视频数据中将待分割对象所处的像素区域标识出来。
[0054]
具体地，采集设备11可以在医师的操控下探入患者体内以采集待分割对象的视频数据，并将所采集到的视频数据实时传输给图像处理设备12。图像处理设备12在接收到所述视频数据后，会对所述视频数据进行逐帧提取以获取多张图像数据。进一步地，对于每张图像数据，图像处理设备12都会基于分类模型在多个预设类别中确定所述图像数据中待分割对象所属的目标类别，并在多个分割模型中确定与所述目标类别对应的目标分割模型，再基于所述目标分割模型生成与待分割对象对应的特征掩码图，进而根据所述特征掩码图
对图像数据中待分割对象所处的像素区域进行标识。在对各图像数据中待分割对象所处的像素区域进行标识后，图像处理设备12会将各图像数据重新合成视频数据并输出展示给医师。
[0055]
本实施例通过对视频数据中待分割对象所处的像素区域进行标识，可以将待分割对象与增生腺体间的边界展示给医师，由此，可以使医师能够快速且准确地识别出增生腺体的去除边界，从而可以避免出现增生腺体去除不充分问题或在增生腺体切除期间使前列腺包膜破裂问题。
[0056]
可选地，本实施例中的分类模型和多个分割模型可以是预先训练好的神经网络模型。其中，所述分类模型用于在多个预设类别中确定图像数据中待分割对象所属的目标类别，各所述分割模型分别用于对对应预设类别的待分割对象进行图像分割，所述预设类别具体是指精阜、前列腺包膜和膀胱颈。具体来说，在前列腺增生腺体切除手术中，医师需要分别去除精阜、前列腺包膜和膀胱颈上的增生腺体。因此，本实施例中的分割模型需要能够对精阜、前列腺包膜和膀胱颈三者进行图像分割。但若利用同一个分割模型来同时实现对精阜、前列腺包膜和膀胱颈三者的图像分割，则会使分割模型的图像分割准确度降低，从而难以满足识别需求。对此，为了提高图像分割精准度，本实施例会分别训练出与各预设类别对应的分割模型，以通过各所述分割模型来对对应预设类别的待分割对象进行图像分割。相对应的，本实施例还会训练分类模型，以通过所述分类模型在多个预设类别中判断出当前图像中待分割对象所属的目标类别。
[0057]
可选地，为了将进行标识后的视频数据展示给医师，所述图像处理设备12还可以与相应的图像输出装置，例如可视屏幕等连接，以通过所述图像输出装置将图像数据展示给医师。
[0058]
可选地，采集设备11和图像处理设备12之间可以采用无线网络、有线网络或者无线网络与有线网络的组合等方式进行连接以实现数据交互。其中，所述无线网络可以包括5g移动通信网络技术(5th-generation，5g)系统、长期演进(long term evolution，lte)系统、全球移动通信系统(global system for mobile communication，gsm)、蓝牙(bluetooth，bt)、无线保真(wireless fidelity，wi-fi)、码分多址(code division multiple access，cdma)网络、宽带码分多址(wideband code division multiple access，wcdma)网络、远程无线通信(long range，lora)技术或紫蜂协议(zigbee)中的任意一种或组合。所述有线网络可以包括光纤通信网络或同轴电缆组成的网络等。
[0059]
应当理解，本实施例中的图像处理方法并不仅限于在前列腺增生腺体切除手术中进行应用，通过进行适应性调整，本实施例的图像处理方法同样可以在其它相关的切除手术中进行应用。例如通过将所要切除的部分确定为肿瘤，将待分割对象确定为肿瘤所生长的部位，并调整相关模型的训练数据，本实施例中的图像处理方法同样可以应用在肿瘤切除手术中。又例如通过将所要切除的部分确定为息肉，将待分割对象确定为息肉所生长的部位，并调整相关模型的训练数据，本实施例中的图像处理方法还可以应用在息肉切除手术中。
[0060]
应当理解，本实施例中的图像处理方法对于所应用的手术场景并不进行限制，具体来说，所述图像处理方法可以在开放性手术场景中进行应用，也可以在微创手术场景中进行应用。
[0061]
图2为本发明实施例的图像处理方法的流程图。如图2所示，所述图像处理方法具体可以包括如下步骤：
[0062]
应当理解，所述图像处理方法的执行主体具体可以为上述实施例中的图像处理设备。
[0063]
s100、获取待处理的图像数据。
[0064]
具体地，图像处理设备可以获取采集设备所采集到的视频数据，并对所述视频数据进行逐帧提取，以获取视频数据中的多张待处理的图像数据。
[0065]
应当理解，本实施例中的图像处理方法同样可以用于对单张图像数据中待分割对象所处像素区域进行标识，此时，图像处理设备在步骤s100中所获取的可以是单张待处理的图像数据。
[0066]
可选地，在对视频数据进行逐帧提取以获取各图像数据时，图像处理设备还可以记录与所提取各图像数据对应的时间戳，以便在后续步骤中能够根据所述时间戳将各图像数据重新合成视频数据。
[0067]
s200、将所述图像数据输入预先训练的分类模型，以在多个预设类别中确定所述图像数据中待分割对象所属的目标类别。
[0068]
其中，所述分类模型可以是预先训练的神经网络模型，所述分类模型用于在多个预设类别中确定所输入图像中待分割对象所属的类别，所述预设类别可以包括精阜、前列腺包膜和膀胱颈。
[0069]
具体地，在获取各图像数据后，对于每张图像数据，图像处理设备可以将图像数据输入分类模型，以通过所述分类模型在多个预设类别中确定出当前图像数据中待分割对象所属的目标类别。
[0070]
可选地，本实施例还提供了一种分类模型训练方法，所述分类模型训练方法可以用于训练所述分类模型。
[0071]
图3为本发明实施例的分类模型训练方法的流程图。如图3所示，所述分类模型训练方法具体可以包括如下步骤：
[0072]
s1000、获取多个样本图像。
[0073]
其中，所述样本图像为在历史手术过程中所获取的包含有待分割对象的图像，各所述样本图像可以具有对应的区域标签和类别标签，所述区域标签用于对所述样本图像中待分割对象所处的像素区域进行标记，所述类别标签用于对所述样本图像中待分割对象所属的类别进行标记。
[0074]
具体地，图像处理设备可以将在历史手术过程所获取的包含有待分割对象的图像作为原始样本图像，并由医师基于自身经验对各原始样本图像中待分割对象所属的类别进行标注以作为类别标签，以及对各原始样本图像中待分割对象所处的像素区域进行标注以作为区域标签，从而得到能够用于训练分类模型的样本图像。
[0075]
可选地，步骤s1000中所获取的样本图像也可以是由相关人员在其它设备上所获取并标注好的样本图像。
[0076]
可选地，本实施例可以由医师通过图像注释器对各原始样本图像进行标注。具体地，医师可以将image格式的原始样本图像导入图像注释器。在图像注释器中，医师可以对原始样本图像中待分割图像所属的类别进行标注，以及可以对原始样本图像中待分割图像
的轮廓进行标注。在完成标注后，医师可以通过图像注释器将标注好的样本图像以json格式进行输出。应当理解，医师所标注的类别即为该原始样本图像的类别标签，医师所标注的各轮廓坐标的位置信息即为该原始样本图像的区域标签。所述json格式的样本图像中可以存储医师所标注的类别标签信息和区域标签信息，由此，所述json格式的样本图像可以用于作为分类模型的训练数据。
[0077]
可选地，所述图像注释器具体可以采用vgg-16图像注释器。所述vgg-16是基于深度卷积神经网络(dynamic convolution neural network，dcnn)的深度学习图像注释工具。
[0078]
s2000、基于所述多个样本图像对第一神经网络进行训练，以得到所述分类模型。
[0079]
具体地，在获取并标注好图像样本后，图像处理设备可以基于多个样本图像对第一神经网络进行多轮训练，以得到所述分类模型。
[0080]
可选地，对模型进行训练的过程即是对模型的参数进行学习更新的过程。在步骤s2000中，图像处理设备每当完成一轮训练后，都可以保留一次模型参数。在完成预设轮数的训练后，图像处理设备可以对分类模型在各模型参数下的分类效果进行评估，并根据评估结果在多个模型参将能够使分类模型的分类效果达到最优的模型参数作为所述分类模型的最终模型参数，由此，可以提高所训练模型的分类效果。
[0081]
可选地，图像处理设备可以通过计算分类模型的全局准确度(global accuracy，ga)、对于各类别的分类准确度(class accuracy，ca)和平均准确度(mean accuracy，macc)来确定所述分类模型的分类效果。其中，所述全局准确度是指正确分类的样本图像与样本图像总数之比，所述分类准确度为正确预测是指当前类别的样本图像数与该类别实际样本图像数之比，所述平均准确度是指各类别的分类准确度之和与类别数之比。
[0082]
s300、在预先训练的多个分割模型中确定与所述目标类别对应的目标分割模型。
[0083]
其中，各所述分割模型可以是预先训练的神经网络模型，各所述分割模型分别用于对对应预设类别的待分割对象进行图像分割。
[0084]
具体地，在确定当前图像数据中待分割对象所属的目标类别后，图像处理设备可以在多个分割模型中确定与所述目标类别对应的目标分割模型。
[0085]
s400、将所述图像数据输入所述目标分割模型，以生成与所述待分割对象对应的特征掩码图。
[0086]
具体地，在确定目标分割模型后，图像处理设备可以将当前图像数据输入目标分割模型，以通过所述目标分割模型对当前图像数据中的待分割对象进行图像分割，以生成与所述待分割对象对应的特征掩码图。
[0087]
进一步地，所述目标分割模型中可以包括编码器部分和解码器部分。其中，所述编码器部分用于对输入的图像进行特征提取，所述解码器部分用于对编码特征提取图进行特征还原。具体来说，在将当前图像数据输入目标分割模型后，目标分割模型中的编码器部分会通过对输入图像进行多次卷积和池化操作，以对输入图像进行由浅至深的特征提取，从而得到相应的特征提取图。在得到所述特征提取图后，目标分割模型中的解码器部分会对特征提取图进行多次上采样操作，以对所述特征提取图进行特征还原，从而得到与输入图像尺寸相同的特征还原图。在得到所述特征还原图后，目标分割模型中的卷积预测层会根据所述特征还原图对图像中每个像素点进行遍历，以确定出各像素点属于前景的概率，再
将所述概率大于或等于预设阈值的像素点确定为前景像素点，以及将所述概率小于预设阈值的像素点确定为背景像素点，由此，可以得到所述特征掩码图。
[0088]
应当理解，所得到特征掩码图中包括灰度值为255的背景像素点和灰度值为0的前景像素点。其中，所述前景像素点用于表征属于待分割对象的像素点，所述背景像素点用于表征不属于待分割对象的像素点。
[0089]
可选地，所述分割模型的解码器与编码器的相应层级间还可以建立残差结构，所述残差结构可以在特征还原期间将相应层级的特征提取图与当前特征还原图进行叠加，由此，可以确保图像中的特征不会在特征提取过程中丢失。
[0090]
可选地，本实施例还提供了一种分割模型训练方法，所述分割模型训练方法可以用于训练所述分割模型。
[0091]
图4为本发明实施例的分割模型训练方法的流程图。如图4所示，所述分割模型训练方法具体可以包括如下步骤：
[0092]
s3000、根据所述类别标签将所述多个样本图像分为多个样本图像集合。
[0093]
其中，所述样本图像与训练分类模型的样本图像相同，在此不再赘述，各所述样本图像集合中样本图像具有相同的类别标签。
[0094]
具体地，对于各样本图像，图像处理设备可以根据类别标签将具有相同类别标签的样本图像确定到同一样本图像集合中，由此，图像处理设备可以将多个样本图像分为多个样本图像集合。
[0095]
s4000、对于各所述样本图像集合，基于所述样本图像集合对第二神经网络进行训练以得到对应的分割模型。
[0096]
具体地，对于每个样本图像集合，图像处理设备可以利用样本图像集合对第二神经网络进行多轮训练以得到对应的分割模型。
[0097]
应当理解，与分类模型的训练方法类似，在训练分割模型时，图像处理设备可以保留每一轮训练完成后的模型参数，并在完成预设轮数的训练后，对分割模型在各模型参数下的分割效果进行评估，并根据评估结果在多个模型参将能够使分割模型的分割效果达到最优的模型参数作为所述分割模型的最终模型参数。
[0098]
相较于分类模型，图像处理设备不仅可以通过计算分割模型的全局准确度、对于各类别的分类准确度和平均准确度来确定分割模型的分割效果，其还可以通过计算分割模型的相似性度量函数，也即dice系数、交并比(intersection over union，iou)和平均交并比(mean intersection over union，miou)来确定分割模型的分割效果。
[0099]
其中，相较于分类模型，分割模型的准确度是针对每个像素点来说的。具体地，分割模型的全局准确度是指为正确分类的像素点与像素点总数之比，所述分类准确度是指正确预测为当前类别的像素点与该类别实际像素点数之比，所述平均准确度是指前景像素点的分类准确度和背景像素点的分类准确度之和除以二，所述dice系数为正确预测为当前类别的像素点数的二倍与该类别实际像素点数和所预测的该类别像素点数之和的比，所述交并比为该类别实际像素点数和所预测的该类别像素点数的交集与并集之比，所述平均交并比为前景像素点的交并比和背景像素点的交并比之和除以二。
[0100]
可选地，损失函数常用于比较机器学习模型对样本的预测输出和样本的真实值(也可以称为监督值)之间区别的度量值，即用于衡量机器学习模型对样本的预测输出和样
本的真实值之间的区别，所述损失函数的具体数值可以用于在模型训练中确定模型参数的调整幅度。
[0101]
在本实施例中，各所述分割模型的损失函数(loss function)可以采用交叉熵损失函数，所述交叉熵损失函数l根据如下公式计算：
[0102][0103]
其中，n用于表征一副图像中的像素点总数，yi用于表征图像中第i个像素的标签，wi用于表征图像中第i个像素点的权重，pi用于表征对第i个像素点属于分割目标的预测概率。
[0104]
可选地，所述wi具体可以为第i个像素点所属类别的实际像素点数的倒数。
[0105]
可选地，图像处理设备在对第一神经网络或第二神经网络进行训练之前，还可以对多个样本图像进行图像预处理。具体来说，为了提高所训练模型的适应能力，以增强其鲁棒性，图像处理设备可以在训练模型之前，预先对模型的训练数据进行随机调整。其中，所述图像预处理可以包括随机调整图像的色相、随机调整图像的饱和度和亮度(hue saturation value，hsv)或随机调整图像的翻转、缩放及裁剪等操作中的任意一种或组合。应当理解，在进行图像预处理后，图像处理设备需要将各样本图像的图像大小调整到规定尺寸，例如调整到512像素*512像素。
[0106]
s500、根据所述特征掩码图对所述图像数据中待分割对象所处的像素区域进行标识。
[0107]
具体地，在确定特征掩码图后，图像处理设备可以根据特征掩码图对所述图像数据中待分割对象所处的像素区域进行标识。
[0108]
可选地，在步骤s500中，由于特征掩码图与所输入图像数据的尺寸相同，图像处理设备可以根据所述特征掩码图在图像数据中确定出待分割对象的轮廓。在确定所述待分割对象的轮廓后，图像处理设备可以对所述轮廓内的像素区域进行渲染，以在图像数据中对待分割对象所处的像素区域进行标识。
[0109]
图5为本发明实施例的图像数据的标识过程示意图。如图5所示，特征掩码图511、521和531为由相应分割模型所输出的特征掩码图。
[0110]
其中，所述特征掩码图511、521和531中待分割对象所属的类别分别为前列腺包膜、精阜和膀胱颈。所述特征掩码图511、521和531中由前景像素点所组成的白色区域用于表征待分割对象所处区域，由背景像素点所组成的黑色区域用于表征除待分割对象外的背景区域。
[0111]
图像处理设备在得到特征掩码图后，可以根据所述特征掩码图确定出对应图像数据中待分割对象的轮廓，如图像数据512、522和532中的轮廓5121、5221和5321所示。在确定出图像数据中待分割对象的轮廓后，图像处理设备可以根据所述轮廓对图像数据中待分割对象所处的像素区域进行标识，从而可以得到标识后的图像数据，如标识后的图像数据513、523和533所示。
[0112]
可选地，在对各图像数据中待分割对象所处的像素区域进行标识后，图像处理设备可以根据各图像数据所对应的时间戳，将标识后的各图像数据重新合成为视频数据并进
行输出展示。
[0113]
应当理解，当图像数据是由图像处理设备所获取的单张图像数据时，图像处理设备也可以直接将标识后的单张图像数据直接进行输出展示。
[0114]
本发明实施例的图像处理方法会基于预先训练的分类模型在多个预设类别中确定图像数据中待分割对象所属的目标类别，并在预先训练的多个分割模型中确定与所述目标类别对应的目标分割模型，再基于所述目标分割模型生成与待分割对象对应的特征掩码图，进而根据所述特征掩码图对图像数据中待分割对象所处的像素区域进行标识，通过所述方法可以帮助医师提高对于所要切除部分的边界识别准确率和识别效率。
[0115]
图6为本发明实施例的图像处理装置的示意图。如图6所示，本发明实施例的图像处理装置包括获取单元61、类别确定单元62、模型选择单元63、分割单元64和标识单元65。
[0116]
具体地，所述获取单元61用于获取待处理的图像数据；
[0117]
所述类别确定单元62用于将所述图像数据输入预先训练的分类模型，以在多个预设类别中确定所述图像数据中待分割对象所属的目标类别；
[0118]
所述模型选择单元63用于在预先训练的多个分割模型中确定与所述目标类别对应的目标分割模型，其中，各所述分割模型分别用于对对应预设类别的待分割对象进行图像分割；
[0119]
所述分割单元64用于将所述图像数据输入所述目标分割模型，以生成与所述待分割对象对应的特征掩码图；
[0120]
所述标识单元65用于根据所述特征掩码图对所述图像数据中待分割对象所处的像素区域进行标识。
[0121]
本发明实施例的图像处理装置会基于预先训练的分类模型在多个预设类别中确定图像数据中待分割对象所属的目标类别，并在预先训练的多个分割模型中确定与所述目标类别对应的目标分割模型，再基于所述目标分割模型生成与待分割对象对应的特征掩码图，进而根据所述特征掩码图对图像数据中待分割对象所处的像素区域进行标识，通过所述装置可以帮助医师提高对于所要切除部分的边界识别准确率和识别效率。
[0122]
图7为本发明实施例的电子设备的示意图。如图7所示，电子设备为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器71和存储器72。处理器71和存储器72通过总线73连接。存储器72适于存储处理器71可执行的指令或程序。处理器71可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器71通过执行存储器72所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线73将上述多个组件连接在一起，同时将上述组件连接到显示控制器74和显示装置以及输入/输出(i/o)装置75。输入/输出(i/o)装置75可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置75通过输入/输出(i/o)控制器76与系统相连。
[0123]
本领域的技术人员应明白，本技术的实施例可提供为方法、装置(设备)或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品。
[0124]
本技术是参照根据本技术实施例的方法、装置(设备)和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程。
[0125]
这些计算机程序指令可以存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现流程图一个流程或多个流程中指定的功能。
[0126]
也可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。
[0127]
本发明的另一实施例涉及一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。
[0128]
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指定相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0129]
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种图像处理方法，其特征在于，所述方法包括：获取待处理的图像数据；将所述图像数据输入预先训练的分类模型，以在多个预设类别中确定所述图像数据中待分割对象所属的目标类别；在预先训练的多个分割模型中确定与所述目标类别对应的目标分割模型，其中，各所述分割模型分别用于对对应预设类别的待分割对象进行图像分割；将所述图像数据输入所述目标分割模型，以生成与所述待分割对象对应的特征掩码图；根据所述特征掩码图对所述图像数据中待分割对象所处的像素区域进行标识。2.根据权利要求1所述的方法，其特征在于，所述预设类别包括精阜、前列腺包膜和膀胱颈。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取多个样本图像，各所述样本图像具有对应的区域标签和类别标签，所述区域标签用于对所述样本图像中待分割对象所处的像素区域进行标记，所述类别标签用于对所述样本图像中待分割对象所属的类别进行标记；基于所述多个样本图像对第一神经网络进行训练，以得到所述分类模型。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：根据所述类别标签将所述多个样本图像分为多个样本图像集合，各所述样本图像集合中样本图像具有相同的类别标签；对于各所述样本图像集合，基于所述样本图像集合对第二神经网络进行训练以得到对应的分割模型。5.根据权利要求4所述的方法，其特征在于，各所述分割模型基于交叉熵损失函数训练获得；其中，所述交叉熵损失函数l根据如下公式计算：其中，n用于表征一副图像中的像素点总数，yi用于表征图像中第i个像素的标签，w
i
用于表征图像中第i个像素点的权重，p
i
用于表征对第i个像素点属于分割目标的预测概率。6.根据权利要求1所述的方法，其特征在于，所述根据所述特征掩码图对所述图像数据中待分割对象进行标识包括：根据所述特征掩码图在所述图像数据中确定所述待分割对象的轮廓；对所述轮廓内的像素区域进行渲染。7.根据权利要求3或4中任一项所述的方法，其特征在于，在对第一神经网络或第二神经网络进行训练之前，所述方法还包括：对所述多个样本图像进行图像预处理。8.一种图像处理装置，其特征在于，所述装置包括：获取单元，用于获取待处理的图像数据；类别确定单元，用于将所述图像数据输入预先训练的分类模型，以在多个预设类别中
确定所述图像数据中待分割对象所属的目标类别；模型选择单元，用于在预先训练的多个分割模型中确定与所述目标类别对应的目标分割模型，其中，各所述分割模型分别用于对对应预设类别的待分割对象进行图像分割；分割单元，用于将所述图像数据输入所述目标分割模型，以生成与所述待分割对象对应的特征掩码图；标识单元，用于根据所述特征掩码图对所述图像数据中待分割对象所处的像素区域进行标识。9.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-7中任一项所述的方法。10.一种电子设备，其特征在于，所述设备包括：存储器，用于存储一条或多条计算机程序指令；处理器，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-7中任一项所述的方法。

技术总结
本发明实施例公开了一种图像处理方法及装置，所述方法会基于预先训练的分类模型在多个预设类别中确定图像数据中待分割对象所属的目标类别，并在预先训练的多个分割模型中确定与所述目标类别对应的目标分割模型，再基于所述目标分割模型生成与待分割对象对应的特征掩码图，进而根据所述特征掩码图对图像数据中待分割对象所处的像素区域进行标识，由此，通过对待分割对象所处的像素区域进行标识，可以帮助医师提高对于所要切除部分的边界识别准确率和识别效率。准确率和识别效率。准确率和识别效率。


技术研发人员：杨博宇 戴伊凝
受保护的技术使用者：首都医科大学附属北京友谊医院
技术研发日：2023.05.05
技术公布日：2023/7/7