一种图像处理方法、装置和存储介质与流程

1.本技术属于电数字数据处理技术领域，尤其涉及一种图像处理方法、装置和存储介质。


背景技术：

2.目前，深度学习在医学图像上得到了广泛应用，例如，可以通过深度学习分割出横断面的核磁图像上的前列腺区域。然而，现有的分割精度较低。为了提高分割精度，可以采取更复杂的神经网络结构(例如：各种神经网络的叠加、加入注意力机制等)，或者是增加输入特征的数目(例如：选用多个前列腺的核磁图像的横断面、矢状面、冠状面等共同用于深度学习模型的训练)。
3.然而，通过增加神经网络的复杂度来提升分割精度的方式会消耗更高的计算资源，增加输入特征项的方式会需要用到不同序列的图像数据，对前期数据集的整理要求较高。
4.针对上述问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本技术目的在于提供一种图像处理方法、装置和存储介质，以提升对目标对象边缘识别的准确率。
6.本技术提供一种图像处理方法、装置和存储介质是这样实现的：
7.一种图像处理方法，所述方法包括：
8.获取原始图像；
9.将所述原始图像按照至少两个尺寸进行剪裁，得到至少两个中间区域图像；
10.通过卷积神经网络，分别对所述原始图像和所述至少两个中间区域图像中的各像素点进行目标概率识别；
11.对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果。
12.在一个实施方式中，对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果，包括：
13.根据目标概率识别结果，将所述原始图像转换为第一分割结果矩阵，将所述至少两个中间区域图像转换为至少两个第二分割结果矩阵；
14.对所述至少两个第二分割结果矩阵，分别补零至与所述原始图像尺寸相同的第三分割结果矩阵；
15.对所述第一分割结果矩阵和得到的至少两个第三分割结果矩阵，对应的位置的结果进行比较，选择结果值最多的结果作为该位置的结果，以得到原始图像中目标对象的分割结果。
16.在一个实施方式中，根据目标概率识别结果，将所述原始图像转换为第一分割结
果矩阵，将所述至少两个中间区域图像转换为至少两个第二分割结果矩阵，包括：
17.按照如下方式将所述原始图像转换为第一分割结果矩阵，将所述至少两个中间区域图像转换为至少两个第二分割结果矩阵：
18.将图像中各位置点的目标概率值与预设阈值进行比较；
19.在目标概率值大于等于预设阈值的情况下，将该位置点置为1；
20.在目标概率值小于预设阈值的情况下，将该位置点置为0。
21.在一个实施方式中，对所述第一分割结果矩阵和得到的至少两个第三分割结果矩阵，对应的位置的结果进行比较，选择结果值最多的结果作为该位置的结果，以得到原始图像中目标对象的分割结果，包括：
22.在所述第一分割结果矩阵和得到的至少两个第三分割结果矩阵的总数量为偶数时，对原始图像的目标概率识别结果和倒数第二小尺寸的中间区域图像的目标概率识别结果，取平均，得到取平均结果；
23.将所述取平均结果，转换为第四分割结果矩阵；
24.对所述第四分割结果矩阵，补零至与所述原始图像尺寸相同的第五分割结果矩阵；
25.对所述第一分割结果矩阵、所述第五分割结果矩阵和得到的至少两个第三分割结果矩阵，对应的位置的结果进行比较，选择结果值最多的结果作为该位置的结果，以得到原始图像中目标对象的分割结果。
26.在一个实施方式中，将所述原始图像按照至少两个尺寸进行剪裁，得到至少两个中间区域图像，至少包括：
27.按照取原始图像中间1/9的尺寸，进行剪裁，得到一个中间区域图像；
28.按照取原始图像中间1/4的尺寸，进行剪裁，得到一个中间区域图像。
29.在一个实施方式中，在对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果，包括：
30.将所述投票结果保存在二值图；
31.对所述二值图进行边缘分割线坐标点选取，以确定出目标对象边缘的图像坐标。
32.在一个实施方式中，所述原始图像为前列腺的横断面的核磁图像序列。
33.在一个实施方式中，在对所述二值图进行边缘分割线坐标点选取，以确定出目标对象边缘的图像坐标之后，还包括：
34.将所述图像坐标转换为世界坐标，以获得所述前列腺的世界坐标；
35.将所述前列腺的世界坐标反馈至目标应用界面中，以对目标应用界面进行刷新，形成所述前列腺的轮廓线。
36.在一个实施方式中，还包括：设计对至少两个中间区域图像中的各像素点进行目标概率识别的卷积神经网络；其中，所述卷积神经网络包括：输入层、多个堆叠的卷积块、输出层；其中，所述卷积块包括：输入端、第一分支、第二分支、相加符、输出端，其中，第一分支的输入和第二分支的输入分别与所述输入端相连，第一分支包括：输入与输出的特征图数量一致的普通卷积、分组数为特征图数量一半且输出的特征图数量是输入的一半的分组卷积，第二分支包括：分组数为特征图数量一半且输入与输出的特征图数量一致的分组卷积、输出的特征图数量是输入的一半的普通卷积；所述输入端跳连至相加符与所述第一分支的
输出特征图和所述第二分支的输出特征图相加。
37.一种图像处理装置，包括：
38.获取模块，用于获取原始图像；
39.剪裁模块，用于将所述原始图像按照至少两个尺寸进行剪裁，得到至少两个中间区域图像；
40.识别模块，用于通过卷积神经网络，分别对所述原始图像和所述至少两个中间区域图像中的各像素点进行目标概率识别；
41.投票模块，用于对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果。
42.一种电子设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现如下步骤：
43.获取原始图像；
44.将所述原始图像按照至少两个尺寸进行剪裁，得到至少两个中间区域图像；
45.通过卷积神经网络，分别对所述原始图像和所述至少两个中间区域图像中的各像素点进行目标概率识别；
46.对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果。
47.一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如下步骤：
48.获取原始图像；
49.将所述原始图像按照至少两个尺寸进行剪裁，得到至少两个中间区域图像；
50.通过卷积神经网络，分别对所述原始图像和所述至少两个中间区域图像中的各像素点进行目标概率识别；
51.对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果。
52.本技术提供的图像处理方法，通过将原始图像按照不同尺寸进行剪切，以得到中间区域图像，然后对原始图像和中间区域图像分别进行目标对象点的概率识别，再对多个图像的识别结果进行投票，以确定出原始图像中的目标对象的外轮廓。通过上述方案解决了现有的对图像中目标对象的识别准确度较低的技术问题，达到了在有限计算资源的情况下，可以更为准确识别出目标对象轮廓的技术效果。
附图说明
53.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
54.图1是本技术提供的图像处理方法一种实施例的方法流程图；
55.图2是本技术提供的不同剪裁尺寸的图像示意图；
56.图3是本技术提供的从图像坐标转换为世界坐标的示意图；
57.图4是本技术提供的前列腺自动分割方法的流程逻辑示意图；
58.图5是本技术提供的对结果进行补零的逻辑示意图；
59.图6是本技术提供的对结果进行投票的逻辑示意图；
60.图7是本技术提供的对图像继续不同尺寸剪裁的示意图；
61.图8是本技术提供的为针对小尺寸图像(即，剪裁后的图像)设计的卷积块示意图；
62.图9是本技术提供的普通卷积示意图；
63.图10是本技术提供的分组卷积示意图；
64.图11是本技术提供的小尺寸图像的卷积神经网络结构示意图；
65.图12是本技术提供的获取前列腺区域的外围轮廓坐标点的图像示意图；
66.图13是本技术提供的一种图像处理方法的电子设备的硬件结构框图；
67.图14是本技术提供的一种图像处理装置的结构框图。
具体实施方式
68.为了使本技术领域的人员更好地理解本技术中的技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
69.考虑到现有的目标对象外轮廓识别准确度较低的问题，在本例中，提供了一种数据处理方法，在不增加原始数据量的前提下，通过改变目标对象在图像上的占比，设计卷积神经网络结构对多个裁剪图像进行分割，设计投票方式来确定最优的结果，降低裁剪尺寸过大将目标对象的部分区域去除的影响，并且允许低计算资源拆分实现多个裁剪图像的分割结果再汇总判断，整体实现较为简单，对资源的消耗较少，且可以节约大量图像数据造成的人力物力浪费。
70.图1是本技术提供的图像处理方法一种实施例的方法流程图。虽然本技术提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本技术实施例描述及附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至分布式处理环境)。
71.具体的，如图1所示，上述的图像处理方法可以包括如下步骤：
72.步骤101：获取原始图像；
73.步骤102：将所述原始图像按照至少两个尺寸进行剪裁，得到至少两个中间区域图像；
74.步骤103：通过卷积神经网络，分别对所述原始图像和所述至少两个中间区域图像中的各像素点进行目标概率识别；
75.步骤104：对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果。
76.在上例中，通过将原始图像按照不同尺寸进行剪切，以得到中间区域图像，然后对原始图像和中间区域图像分别进行目标对象点的概率识别，再对多个图像的识别结果进行投票，以确定出原始图像中的目标对象的外轮廓。通过上述方案解决了现有的对图像中目标对象的识别准确度较低的技术问题，达到了在有限计算资源的情况下，可以更为准确识别出目标对象轮廓的技术效果。
77.具体的，在对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果的时候，可以是：根据目标概率识别结果，将所述原始图像转换为第一分割结果矩阵，将所述至少两个中间区域图像转换为至少两个第二分割结果矩阵；对所述至少两个第二分割结果矩阵，分别补零至与所述原始图像尺寸相同的第三分割结果矩阵；对所述第一分割结果矩阵和得到的至少两个第三分割结果矩阵，对应的位置的结果进行比较，选择结果值最多的结果作为该位置的结果，以得到原始图像中目标对象的分割结果。
78.即，可以对原始图像(例如：图像1)和剪裁后的图像(例如：图像2和图像3)分别通过预先建立的神经网络进行处理识别，以识别得到每个像素点是目标对象的概率，例如，图像1中像素点x是目标对象的概率为0.8，基于这种方式，对每个像素点都进行概率识别，可以形成每个图像对应的概率识别结果，将概率识别结果与预设阈值进行比较，例如，预设阈值为0.7，那么可以将大于等于0.7的置为1，小于0.7的置为0，这样就可以得到图像对应的分割结果矩阵，对每个图像都进行这种处理，这样就可以得到图像1、图像2、图像3各自对应的分割结果矩阵。
79.在实现的时候，根据目标概率识别结果，将所述原始图像转换为第一分割结果矩阵，将所述至少两个中间区域图像转换为至少两个第二分割结果矩阵，可以包括：按照如下方式将所述原始图像转换为第一分割结果矩阵，将所述至少两个中间区域图像转换为至少两个第二分割结果矩阵：将图像中各位置点的目标概率值与预设阈值进行比较；在目标概率值大于等于预设阈值的情况下，将该位置点置为1；在目标概率值小于预设阈值的情况下，将该位置点置为0。即，对于尺寸补齐后的结果，进行对应位置比较，如果有两个以上的一致结果，则以该结果为最终的结果。具体的，如果裁剪出偶数个图像，则有偶数个特征提取结果，为此，可以将原图的概率值矩阵与倒数第二小的裁剪结果的概率值矩阵对应位置的概率值取平均，并与预设阈值进行比较，如果大于等于预设阈值，则相应位置赋1，如果小于预设阈值，则相应位置赋1，从而获得一个新的初步分割结果，然后再进行投票，从而避免最小尺寸剪裁导致的部分区域丢失的问题。
80.考虑到在对所述第一分割结果矩阵和得到的至少两个第三分割结果矩阵，对应的位置的结果进行比较，选择结果值最多的结果作为该位置的结果，以得到原始图像中目标对象的分割结果的时候，因为是0和1的矩阵，在进行比较的时候，就是看这个位置是0点多，还是1点多，但是如果对比对象是偶数个就会存在一般多的情况下，如果是奇数个则不会出现这种情况，为此，在本例中，针对偶数个对象进行对比会出现无法给出确定结果的问题，通过原始图像和一个尺寸图数据进行整合，得到一个新的分割结果矩阵的方式，来使得偶数个对比变成奇数个对比，从而得到有效对比结果。
81.具体的，对所述第一分割结果矩阵和得到的至少两个第三分割结果矩阵，对应的位置的结果进行比较，选择结果值最多的结果作为该位置的结果，以得到原始图像中目标
对象的分割结果，可以包括：在所述第一分割结果矩阵和得到的至少两个第三分割结果矩阵的总数量为偶数时，对原始图像的目标概率识别结果和倒数第二小尺寸的中间区域图像的目标概率识别结果，取平均，得到取平均结果；将所述取平均结果，转换为第四分割结果矩阵；对所述第四分割结果矩阵，补零至与所述原始图像尺寸相同的第五分割结果矩阵；对所述第一分割结果矩阵、所述第五分割结果矩阵和得到的至少两个第三分割结果矩阵，对应的位置的结果进行比较，选择结果值最多的结果作为该位置的结果，以得到原始图像中目标对象的分割结果。
82.对于小尺寸图像(即，上述的中间区域图像)，可以设计专门的卷积神经网络进行各像素点的目标概率识别，设计的卷积神经网络可以包括：输入层、多个堆叠的卷积块、输出层；其中，卷积块可以包括：输入端、第一分支、第二分支、相加符、输出端，其中，第一分支的输入和第二分支的输入分别与所述输入端相连，第一分支包括：输入与输出的特征图数量一致的普通卷积、分组数为特征图数量一半且输出的特征图数量是输入的一半的分组卷积，第二分支包括：分组数为特征图数量一半且输入与输出的特征图数量一致的分组卷积、输出的特征图数量是输入的一半的普通卷积；；所述输入端跳连至相加符与所述第一分支的输出特征图和所述第二分支的输出特征图相加。
83.上述的原始图像可以是前列腺的横断面的核磁图像序列。
84.对于前列腺的横断面的核磁图像序列，考虑到前列腺都是处于中间位置的，前列腺的t2w(t2 weighted，采用t2加权成像方式的一个核磁图像序列)的核磁图像数据，如图2中的a所示，原图中前列腺区域在图中的占有比例很小，而非前列腺区域占比很高；为此，将图片边缘部分等分裁剪去除，保留图的中间位置区域，按三等分保留中间位置(即，原图的1/9，如图2中的b所示)是可以完全包含前列腺区域，且前列腺区域在裁剪后的图像中占比很高；考虑到如果出现畸形前列腺(突入到上方膀胱区域)可能会超过三等分裁剪的中间位置，因此再加入一个四等分裁剪保留的中间位置(即，原图的1/4，如图2中的c所示)，是能完全保留所有情况下的前列腺区域，同时前列腺在该裁剪图像上的占比也很高。
85.具体的，将所述原始图像按照至少两个尺寸进行剪裁，得到至少两个中间区域图像，至少可以包括：按照取原始图像中间1/9的尺寸，进行剪裁，得到一个中间区域图像；按照取原始图像中间1/4的尺寸，进行剪裁，得到一个中间区域图像。
86.然而，值得注意的是，不管是1/3还是1/4的原则都是一种示例性表述，在实际实现的时候，可以根据目标对象在图像中的占比情况，以及机器的计算能力等，选择合适的切分比例。
87.例如，可以先将从医院获取的图像归为正常尺寸(例如320
×
320
×
16)，将其作为原图；再将其进行裁剪为(106
×
106
×
16和160
×
160
×
16)，最后分别对这三个图进行滤波算法，并转为输入特征(fea1，fea2，fea3)。
88.在实现的时候，在对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果的时候，可以将所述投票结果保存在二值图；对所述二值图进行边缘分割线坐标点选取，以确定出目标对象边缘的图像坐标。
89.在对所述二值图进行边缘分割线坐标点选取，以确定出目标对象边缘的图像坐标之后，还可以将所述图像坐标转换为世界坐标，以获得所述前列腺的世界坐标；将所述前列腺的世界坐标反馈至目标应用界面中，以对目标应用界面进行刷新，形成所述前列腺的轮
廓线。
90.如图3所示，为从图像坐标转换为世界坐标的示意图，x为切片(即，原始图像)上像素点的横轴坐标，从0、1、2
……
x；y为切片上像素点的纵轴坐标，从0、1、2
……
y；z可看为病人图像的切片数量，从0、1、2
……
z；图3中的右图为dicom(digital imaging and communications in medicine，医学数字成像和通信)，其在记录图像时会保存带有器官组织在世界空间中的信息，即体素间隔spacing[x,y,z](为像素间的实际距离)，通过体素间隔就可以知道世界坐标下两个点之间的实际距离；原始坐标origin[x,y,z](图像坐标系下的原点位置在世界坐标下的原点位置)，就可以知道每个点相对于世界坐标下原点的实际距离。
[0091]
因为需要将图像坐标转为世界坐标才能被软件利用，因此，在软件上显示出对前列腺的分割，其会将转换成的坐标保存为xml文件供软件读取。
[0092]
由读取输入图像的spacing[x,y,z]和origin[x,y,z]信息，即可将图像坐标转为世界坐标，转换关系w为：
[0093]
wx＝spacing[0]
×
x+origin[0]
[0094]
wy＝spacing[1]
×
y+origin[1]
[0095]
wz＝spacing[2]
×
z+origin[2]
[0096]
下面结合一个具体实施例对上述方法进行说明，然而，值得注意的是，该具体实施例仅是为了更好地说明本技术，并不构成对本技术的不当限定。
[0097]
在本例中，通过裁剪图像来突出前列腺区域在图像上的占比以及投票确定最优结果的方法提升原图像上前列腺的分割精度。具体的，可以仅利用前列腺的横断面t2w(t2 weighted，采用t2加权成像方式的一个核磁图像序列)的核磁图像数据，对t2w核磁图像中各个片层出现的前列腺，更加精确地勾勒出器官组织的轮廓线；同时在低计算资源的情况下，也能将整体结构拆开，实现对横断面上的前列腺分割精度提升；减少前期模型训练时需要消耗过多人力构建庞大数据集；适配在机器上时，能减少医生在术前规划消耗的时间，提高前列腺穿刺效率。
[0098]
具体的，可以包括如下几个方面：
[0099]
1)多位置信息表征前列腺区域：
[0100]
因为核磁图像的t2w上的前列腺总是处于图像的中间位置，而原图像上的前列腺区域相对于整个图像是很小的，尤其是前列腺的最前端和最尾端区域在图像上占比更小，这样势必会造成背景(非前列腺区域)大于前景(前列腺区域)，而影响深度学习模型对前列腺区域的特征提取。
[0101]
基于此，在本例中，以中间区域按一定比例裁剪出使前列腺区域更大的图像(即，通过改善区域占比，可以提升模型对前列腺的分割精度)，以突出显示所要预测的目标区域，再利用卷积神经网络分别对这些图像进行特征提取，得到多个不同占比图像上的前列腺结果，用不同裁剪图像的预测结果来改善不平衡问题造成的影响，以提高对前列腺的分割精度。
[0102]
2)投票确定最终分割区域：
[0103]
选用多个裁剪后的图像，对于不同裁剪尺寸的图像的输出结果，需要进行共同判断。具体的，在最终确定结果时，判断逻辑为如果该位置判断为前列腺的数量大于非前列
腺，则认为该位置是前列腺，这样的判断方式可以降低因为在裁剪图像时可能将畸形前列腺区域给去除的影响风险。如果是奇数分割结果，则只需要判断对应位置的表决数量；如果是偶数分割结果，则先将原图的分割结果与倒数第二裁剪尺寸的分割结果平均作为一个结果，再进行结果投票判断。通过上述方式，可以最大化利用大目标区域的结果，同时最小化可能出现的误裁剪出畸形前列腺部分。
[0104]
基于此，在本例中提供了一种前列腺自动分割方法，可以包括如下步骤：
[0105]
步骤1：图像处理：
[0106]
如图4所示，在得到原始图像后，将图像分别去除边缘的1/3区域保留中间位置，得到原图的1/9，去除边缘1/4的区域保留中间位置，得到原图的1/4。将原图的1/9、原图的1/4，以及原图，作为得到的三个前列腺区域在图像上不同占比的图像数据。
[0107]
这种选择主要是考虑到t2w上的前列腺都是处于中间位置的，前列腺的t2w核磁图像，原图中前列腺区域在图中的占有比例很小，而非前列腺区域占比很高；为此，将图片边缘部分等分裁剪去除，保留图的中间位置区域，按三等分保留中间位置(即，原图的1/9)是可以完全包含前列腺区域，且前列腺区域在裁剪后的图像中占比很高；考虑到如果出现畸形前列腺(突入到上方膀胱区域)可能会超过三等分裁剪的中间位置，因此再加入一个四等分裁剪保留的中间位置(即，原图的1/4)，是能完全保留所有情况下的前列腺区域，同时前列腺在该裁剪图像上的占比也很高。
[0108]
然而，值得注意的是不管是1/3还是1/4的原则都是一种示例性表述，在实际实现的时候，可以根据目标对象在图像中的占比情况，以及机器的计算能力等，选择合适的切分比例。
[0109]
例如，可以先将从医院获取的图像归为正常尺寸(例如320
×
320
×
16)，将其作为原图；再将其进行裁剪为(106
×
106
×
16和160
×
160
×
16)，最后分别对这三个图进行滤波算法，并转为输入特征(fea1，fea2，fea3)。
[0110]
步骤2：卷积特征提取：
[0111]
通过卷积神经网络结构(卷积神经网络1、卷积神经网络2、卷积神经网络3)，分别对上述三个不同占比的图像数据进行特征提取，将各个数据点转换为对应的是目标数据点的概率值，然后将得到的概率值与预设阈值进行比较，如果大于等于预设阈值，则相应位置赋1，如果小于预设阈值，则相应位置赋1，从而获得初步分割结果，在具体实现的时候，三个图像的卷积操作可以整体运行来获取结果，在计算能力低的时候，可以将其拆分为二个或三个逐步获取对应图像数据的结果；其中，对小尺寸图像的特征提取，在卷积神经网络的设计上，可以采用不同卷积的分支结构最大化对目标区域的分割效果，对于原始尺寸的图像的特征提取，可以采用基础的unet结构。
[0112]
例如，可以将fea1，fea2，fea3输入到卷积神经网络中，分别对不同图像的前列腺进行初步分割，然后，可以将预测概率大于等于0.7(即，预设阈值)的设为1，其余为0，得到(m1，m2，m3)预测结果；其中，不同卷积的分支结构可以是一个分支为分组卷积一个分支为标准卷积的卷积块堆叠而成，其中，分组卷积所用卷积核可以是3
×
3，标准卷积所用卷积核可以是3
×
3。
[0113]
步骤3：补零：
[0114]
对于步骤2中初步获取的三个分割结果，对于1/9和1/4的分割矩阵按原图矩阵的
尺寸大小，把外围的点用0补齐。
[0115]
步骤4：投票确定：
[0116]
将步骤3中尺寸补齐后的结果，进行对应位置比较，如果有两个以上的一致结果，则以该结果为最终的结果。具体的，如果裁剪出偶数个图像，则有偶数个特征提取结果，为此，可以将原图的概率值矩阵与倒数第二小的裁剪结果的概率值矩阵对应位置的概率值取平均，并与预设阈值进行比较，如果大于等于预设阈值，则相应位置赋1，如果小于预设阈值，则相应位置赋1，从而获得一个新的初步分割结果，然后再进行投票，从而避免最小尺寸剪裁导致的部分区域丢失的问题。
[0117]
例如：如图5所示，可以将裁剪后的图像分割出的结果(m2、m3)进行外围补0，其尺寸补为m1一致，即(m2’、m3’)；再如图6所示，比较m1、m2’、m3’上对应位置的值，即若该位置有大于两个值相同，就取此值为该位置上的最终值，即投票确定最优结果，最终输出结果m。其中，补零是因为裁剪丢弃的就是认为那些是没有目标的，因此补零作为背景，将分割出来的结果矩阵进行尺寸补充到输入原图大小，便于利用。
[0118]
步骤5：将步骤4的结果保存为二值图，其中白色区域即为模型自动分割出的前列腺区域。
[0119]
步骤6：将步骤5的二值图进行边缘分割线坐标点选取，获取前列腺的图像坐标。
[0120]
步骤7：将步骤6中图像坐标进行世界坐标转化，获取前列腺的世界坐标。
[0121]
步骤8：将世界坐标点反馈到软件界面中，重新刷新软件界面图像(即，规整后的图像)，生成前列腺的轮廓线。
[0122]
在实现的时候，还可以在软件界面上给出供选择的三种裁剪方式按钮，通过点击不同的按钮可以生成对应的结果，最终点击确定按钮，可以生成对前列腺自动勾勒的轮廓线。
[0123]
在上例中，考虑到畸形前列腺的影响，不单一采用取中间位置的最大化方式，可以在提高对目标区域利用的同时降低前列腺区域也被去除的风险，利用多个前列腺位置的表征，投票确定模型最终的输出，从而可以降低裁剪图像中可能会丢失部分前列腺区域的影响，同时大目标预测区域和小目标预测进行综合判断，提高了分割精度。且不需要大量的图像数据，可以降低前期人力准备数据集的损耗，同时也适用于低计算资源的机器部署实现。通过上述方式可以准确识别出前列腺的位置，从而可以减少医生术前准备工作的时间，也能推进深度学习技术在医疗行业中的应用。即，在不增加病人数据量的前提下，通过改变前列腺区域在图像上的占比，设计卷积神经网络结构对多个裁剪图像进行分割，设计投票方式来确定最优的结果，降低裁剪尺寸过大将畸形前列腺部分去除的影响，并且本方法可以允许低计算资源拆分实现多个裁剪图像的分割结果再汇总判断，整体实现较为简单，对资源的消耗较少，且可以节约大量图像数据造成的人力物力浪费。
[0124]
在实现的时候，例如，医院直接获取原始图像数据，然后对读入的图像进行多次裁剪，保留中间区域最大化，进而，将不同尺寸裁剪出来的图像数据分别进行处理变换再转为输入特征；再将输入特征分别输入到对应的卷积通道进行特征提取，将前一步得到的多个分割结果矩阵进行规整，即将小尺寸的矩阵进行边缘补零到原尺寸的矩阵；然后，将这些规整后的矩阵进行对应位置比较，即该矩阵位置上保留的为结果值最多的值，最终的结果图是综合多个结果投票而来；如果是裁剪出偶数个图像，即有偶数个分割结果，将原图的结果
与倒数第二小的裁剪结果对应位置平均作为一个结果，再进行投票选取最终的结果。
[0125]
如图7所示，因为核磁图像t2w上的前列腺都是处于中间位置。为此，将图片(尺寸为m
×m×
n)边缘部分等分裁剪去除，保留图的中间位置区域，按三等分保留中间位置(即原图的1/9，尺寸为(m/3)
×
(m/3)
×
n))是可以完全包含前列腺区域，且前列腺区域在裁剪后的图像中占比很高；考虑到如果出现畸形前列腺(突入到上方膀胱区域)可能会超过三等分裁剪的中间位置，因此再加入一个四等分裁剪保留的中间位置(即原图的1/4，尺寸为(m/2)
×
(m/2)
×
n))，是能完全保留所有情况下的前列腺区域，同时前列腺在该裁剪图像上的占比也很高。因为图像中占比高的区域是比较容易识别判断。
[0126]
上述剪裁方式的选择只是一种示例性表述，其余裁剪还可增加裁剪出来的图像，一般裁剪的图像越精细其分割的结果越准确；即本发明训练模型的时候的数据集的数量并未发生增减删除，只是对输入图像后进行了处理，来获取目标对象不同占比的预测结果通过不同尺寸的剪裁，可以有效规避因为裁剪图像过程中可能存在畸形区域而丢失部分区域，造成小尺寸裁剪图像对整个前列腺区域的分割误差，以最大化发挥裁剪图像的方式增强对目标对象的分割精度。
[0127]
如图8所示，为针对小尺寸图像(即，剪裁后的图像)设计的卷积块示意图，卷积块包括：3
×
3convolution(3
×
3的普通卷积，输入与输出的特征图数量一致)、3
×
3group＝c/2convolution(3
×
3，分组数为特征图数量一半的分组卷积，输入与输出的特征图数量一致)、3
×
3group＝c/2convolution out＝c/2(3
×
3，分组数为特征图数量一半的分组卷积，输出的特征图数量是输入的一半)、3
×
3convolution out＝c/2(3
×
3的普通卷积，输出的特征图数量是输入的一半)，圆圈加号表示将特征图进行对应位置相加。
[0128]
针对小尺寸的图像，在设计卷积块的时候，考虑到因为生成的特征图尺寸h
×
w较小，进而可以通过分支结构提高对输入特征的运算提取；同时考虑参数量的影响，在每个分支上都可以用一个分组卷积，且分组卷积的分组数为特征图数量的一半。之所以一个分支仅用一个分组卷积，主要是因为如果全用分组卷积会造成特征图之间没有交互，当神经网络层数加深则会影响精度，因此每个分支都只有一个，且可以增加了一个跳连利用输入特征，即，可以如图8所示，整体从输入x∈r^(h
×w×s×
c)得到输出y∈r_1^(h
×w×s×
c)的过程为：y＝x+σ(w1[x]+w2[x])，其中，σ是激活函数，w1和w2分别表示两个分支对输入x的卷积运算。
[0129]
如图9所示，为普通卷积的示意图，有六个特征图数量的特征，经过卷积运算后同样会得到六个特征图数量的特征，用几个卷积核会运算输出几个特征图，且每个卷积核都会运算输入的六个特征图，其参数量为：w
×h×s×6×
6。如图10所示，为分组卷积的示意图，输入六个特征图数量的特征，经过分组数为2的卷积运算也会生成六个特征图数量的特征；但是当用分组卷积时，会将输入特征图进行分组，同时每个卷积核只运算分组给它的特征图，再将这些特征图进行堆叠为整体，其参数量为：w
×h×s×3×2×
3。
[0130]
如图11所示，为小尺寸图像的卷积神经网络结构示意图，图像的输入特征输入至输入层，然后传送至卷积块中，结果在输入至输出层，从而得到小尺寸图像的分割结果。在本例中，考虑到小尺寸图像因为尺寸偏小不易在特征提取过程中对其进行尺度变换，放大会引入不必要的噪点信息，缩减则会降低卷积层对特征点周围信息的捕获能力，因此，对于小尺寸图像的特征提取不在过程中对特征尺寸进行变换，即输入特征的尺寸x∈r^(h
×w×s×
1)，由输入层对x用1
×
1的卷积进行特征图数量拉升升x^1∈r^(h
×w×s×
c)，再由设计的多个卷积块进行提取，其过程中的特征尺寸始终保持为h
×w×s×
c，最后通过输出层输出为y∈r^(h
×w×s×
1)，对其输出的概率矩阵进行阈值选择，转为0、1矩阵，即矩阵中为1的区域为预测出的目标对象的区域。对于其它尺寸的图像，可以采用基础的u型结构对进行特征提取。对图像的输入特征先经过1
×
1的卷积输入层将特征图数量拉升，再逐渐下采样特征图尺寸，再逐渐拉升特征图尺寸，对应尺寸大小的特征图进行拼接，最后拉升到原尺寸大小的特征图经3
×
3卷积输出层将特征图数量将为1，即为输出的概率矩阵。按阈值对概率矩阵进行选择，得到0、1矩阵，矩阵中为1的区域即为该卷积神经网络结构预测出的目标对象的区域。
[0131]
以对前列腺核磁图像的处理为例，可以首先在软件上选择需要进行运算的前列腺核磁图像导入，界面会显示导入的前列腺图像；然后点击自动勾勒按钮后，软件会调用自动分割模型进行运算，从输出前列腺的区域到区域的外围轮廓的图像坐标，再到世界坐标的xml文件；最后，软件会读取到xml文件中的外轮廓世界坐标，并重新刷新软件的显示界面，显示的前列腺图像会带有计算出的轮廓线；其中，自动勾勒按钮的下方会给出裁剪尺寸的按钮，即点击这些按钮会给出不同裁剪尺寸下的输出结果xml文件。
[0132]
对输出的分割区域进行处理获取前列腺区域的外围轮廓坐标点的时候，测试集中可以是任意选取的一个病例图像生成的，如图12所示，image为输入图像(图12中a)，label为真实区域(图12中b)，output为模型预测输出的区域(图12中c)，6则为整个序列图像中的第六张切片，即，通过二值图圈定出前列腺区域。对分割出来的前列腺区域，就可以用阈值分割算法找到这个二值图像的外轮轮廓坐标，该坐标为图像坐标，应用在手术机器人上需要转换为世界坐标。
[0133]
在实现的时候，在软件界面可以加载出通过本例的方法自动勾勒出的轮廓，点击自动建模按钮，可以运算得到投票结果，并将生成的坐标在图像上显示；可以通过0表示原始图像的输出坐标，3表示九等分裁剪的输出坐标，2表示四等分裁剪的输出坐标，点击这些按钮，会读取对应生成的坐标，刷新界面，显示生成的轮廓线。
[0134]
在上例中，通过裁剪图像来突出目标对象在图像上的占比以及投票确定最优结果的方法提升原图像上的分割精度。以前列腺图像为例，可以仅利用前列腺的横断面t2w的核磁图像数据，对t2w核磁图像中各个片层出现的前列腺，更加精确地勾勒出器官组织的轮廓线；同时在低计算资源的情况下，也能将整体结构拆开，实现对横断面上的前列腺分割精度提升；减少前期模型训练时需要消耗过多人力构建庞大数据集；适配在机器上时，能减少医生在术前规划消耗的时间，提高前列腺穿刺效率。
[0135]
本技术上述实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在电子设备上为例，图13是本技术提供的一种图像处理方法的电子设备的硬件结构框图。如图13所示，电子设备10可以包括一个或多个(图中仅示出一个)处理器02(处理器02可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器04、以及用于通信功能的传输模块06。本领域普通技术人员可以理解，图13所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备10还可包括比图13中所示更多或者更少的组件，或者具有与图13所示不同的配置。
[0136]
存储器04可用于存储应用软件的软件程序以及模块，如本技术实施例中的图像处
理方法对应的程序指令/模块，处理器02通过运行存储在存储器04内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的图像处理方法。存储器04可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器04可进一步包括相对于处理器02远程设置的存储器，这些远程存储器可以通过网络连接至电子设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0137]
传输模块06用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备10的通信供应商提供的无线网络。在一个实例中，传输模块06包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块06可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
[0138]
在软件层面，上述图像处理装置可以如图14所示，包括：
[0139]
获取模块1401，用于获取原始图像；
[0140]
剪裁模块1402，用于将所述原始图像按照至少两个尺寸进行剪裁，得到至少两个中间区域图像；
[0141]
识别模块1403，用于通过卷积神经网络，分别对所述原始图像和所述至少两个中间区域图像中的各像素点进行目标概率识别；
[0142]
投票模块1404，用于对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果。
[0143]
在一个实施方式中，对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果，可以包括：根据目标概率识别结果，将所述原始图像转换为第一分割结果矩阵，将所述至少两个中间区域图像转换为至少两个第二分割结果矩阵；对所述至少两个第二分割结果矩阵，分别补零至与所述原始图像尺寸相同的第三分割结果矩阵；对所述第一分割结果矩阵和得到的至少两个第三分割结果矩阵，对应的位置的结果进行比较，选择结果值最多的结果作为该位置的结果，以得到原始图像中目标对象的分割结果。
[0144]
在一个实施方式中，根据目标概率识别结果，将所述原始图像转换为第一分割结果矩阵，将所述至少两个中间区域图像转换为至少两个第二分割结果矩阵，包括：按照如下方式将所述原始图像转换为第一分割结果矩阵，将所述至少两个中间区域图像转换为至少两个第二分割结果矩阵：将图像中各位置点的目标概率值与预设阈值进行比较；在目标概率值大于等于预设阈值的情况下，将该位置点置为1；在目标概率值小于预设阈值的情况下，将该位置点置为0。
[0145]
在一个实施方式中，对所述第一分割结果矩阵和得到的至少两个第三分割结果矩阵，对应的位置的结果进行比较，选择结果值最多的结果作为该位置的结果，以得到原始图像中目标对象的分割结果，可以包括：在所述第一分割结果矩阵和得到的至少两个第三分割结果矩阵的总数量为偶数时，对原始图像的目标概率识别结果和倒数第二小尺寸的中间区域图像的目标概率识别结果，取平均，得到取平均结果；将所述取平均结果，转换为第四分割结果矩阵；对所述第四分割结果矩阵，补零至与所述原始图像尺寸相同的第五分割结果矩阵；对所述第一分割结果矩阵、所述第五分割结果矩阵和得到的至少两个第三分割结
果矩阵，对应的位置的结果进行比较，选择结果值最多的结果作为该位置的结果，以得到原始图像中目标对象的分割结果。
[0146]
在一个实施方式中，将所述原始图像按照至少两个尺寸进行剪裁，得到至少两个中间区域图像，至少可以包括：按照取原始图像中间1/9的尺寸，进行剪裁，得到一个中间区域图像；按照取原始图像中间1/4的尺寸，进行剪裁，得到一个中间区域图像。
[0147]
在一个实施方式中，对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果，可以包括：将所述投票结果保存在二值图；对所述二值图进行边缘分割线坐标点选取，以确定出目标对象边缘的图像坐标。
[0148]
在一个实施方式中，所述原始图像为前列腺的横断面的核磁图像序列。
[0149]
在一个实施方式中，在对所述二值图进行边缘分割线坐标点选取，以确定出目标对象边缘的图像坐标之后，还可以包括：将所述图像坐标转换为世界坐标，以获得所述前列腺的世界坐标；将所述前列腺的世界坐标反馈至目标应用界面中，以对目标应用界面进行刷新，形成所述前列腺的轮廓线。
[0150]
在一个实施方式中，上述图像处理装置还可以设计对至少两个中间区域图像中的各像素点进行目标概率识别的卷积神经网络；其中，所述卷积神经网络包括：输入层、多个堆叠的卷积块、输出层；其中，所述卷积块包括：输入端、第一分支、第二分支、相加符、输出端，第一分支包括：输入与输出的特征图数量一致的普通卷积、分组数为特征图数量一半且输出的特征图数量是输入的一半的分组卷积，第二分支包括：分组数为特征图数量一半且输入与输出的特征图数量一致的分组卷积、输出的特征图数量是输入的一半的普通卷积；所述输入端跳连至相加符与所述第一分支的输出特征图和所述第二分支的输出特征图相加。
[0151]
本技术的实施例还提供能够实现上述实施例中的图像处理方法中全部步骤的一种电子设备的具体实施方式，所述电子设备具体包括如下内容：处理器(processor)、存储器(memory)、通信接口(communications interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的图像处理方法中的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
[0152]
步骤1：获取原始图像；
[0153]
步骤2：将所述原始图像按照至少两个尺寸进行剪裁，得到至少两个中间区域图像；
[0154]
步骤3：通过卷积神经网络，分别对所述原始图像和所述至少两个中间区域图像中的各像素点进行目标概率识别；
[0155]
步骤4：对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果。
[0156]
本技术的实施例还提供能够实现上述实施例中的图像处理方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的图像处理方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
[0157]
步骤1：获取原始图像；
[0158]
步骤2：将所述原始图像按照至少两个尺寸进行剪裁，得到至少两个中间区域图像；
[0159]
步骤3：通过卷积神经网络，分别对所述原始图像和所述至少两个中间区域图像中的各像素点进行目标概率识别；
[0160]
步骤4：对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果。
[0161]
从上述描述可知，本技术实施例通过将原始图像按照不同尺寸进行剪切，以得到中间区域图像，然后对原始图像和中间区域图像分别进行目标对象点的概率识别，再对多个图像的识别结果进行投票，以确定出原始图像中的目标对象的外轮廓。通过上述方案解决了现有的对图像中目标对象的识别准确度较低的技术问题，达到了在有限计算资源的情况下，可以更为准确识别出目标对象轮廓的技术效果。
[0162]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0163]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0164]
虽然本技术提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
[0165]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0166]
虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方
法、产品或者设备中还存在另外的相同或等同要素。
[0167]
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0168]
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0169]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0170]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0171]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0172]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0173]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0174]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何
其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0175]
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0176]
本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0177]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0178]
以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。

技术特征：
1.一种图像处理方法，其特征在于，所述方法包括：获取原始图像；将所述原始图像按照至少两个尺寸进行剪裁，得到至少两个中间区域图像；通过卷积神经网络，分别对所述原始图像和所述至少两个中间区域图像中的各像素点进行目标概率识别；对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果。2.根据权利要求1所述的方法，其特征在于，对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果，包括：根据目标概率识别结果，将所述原始图像转换为第一分割结果矩阵，将所述至少两个中间区域图像转换为至少两个第二分割结果矩阵；对所述至少两个第二分割结果矩阵，分别补零至与所述原始图像尺寸相同的第三分割结果矩阵；对所述第一分割结果矩阵和得到的至少两个第三分割结果矩阵，对应的位置的结果进行比较，选择结果值最多的结果作为该位置的结果，以得到原始图像中目标对象的分割结果。3.根据权利要求2所述的方法，其特征在于，根据目标概率识别结果，将所述原始图像转换为第一分割结果矩阵，将所述至少两个中间区域图像转换为至少两个第二分割结果矩阵，包括：按照如下方式将所述原始图像转换为第一分割结果矩阵，将所述至少两个中间区域图像转换为至少两个第二分割结果矩阵：将图像中各位置点的目标概率值与预设阈值进行比较；在目标概率值大于等于预设阈值的情况下，将该位置点置为1；在目标概率值小于预设阈值的情况下，将该位置点置为0。4.根据权利要求2所述的方法，其特征在于，对所述第一分割结果矩阵和得到的至少两个第三分割结果矩阵，对应的位置的结果进行比较，选择结果值最多的结果作为该位置的结果，以得到原始图像中目标对象的分割结果，包括：在所述第一分割结果矩阵和得到的至少两个第三分割结果矩阵的总数量为偶数时，对原始图像的目标概率识别结果和倒数第二小尺寸的中间区域图像的目标概率识别结果，取平均，得到取平均结果；将所述取平均结果，转换为第四分割结果矩阵；对所述第四分割结果矩阵，补零至与所述原始图像尺寸相同的第五分割结果矩阵；对所述第一分割结果矩阵、所述第五分割结果矩阵和得到的至少两个第三分割结果矩阵，对应的位置的结果进行比较，选择结果值最多的结果作为该位置的结果，以得到原始图像中目标对象的分割结果。5.根据权利要求1所述的方法，其特征在于，将所述原始图像按照至少两个尺寸进行剪裁，得到至少两个中间区域图像，至少包括：按照取原始图像中间1/9的尺寸，进行剪裁，得到一个中间区域图像；按照取原始图像中间1/4的尺寸，进行剪裁，得到一个中间区域图像。
6.根据权利要求1所述的方法，其特征在于，对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果包括：将所述投票结果保存在二值图；对所述二值图进行边缘分割线坐标点选取，以确定出目标对象边缘的图像坐标。7.根据权利要求6所述的方法，其特征在于，所述原始图像为前列腺的横断面的核磁图像序列；在对所述二值图进行边缘分割线坐标点选取，以确定出目标对象边缘的图像坐标之后，还包括：将所述图像坐标转换为世界坐标，以获得所述前列腺的世界坐标；将所述前列腺的世界坐标反馈至目标应用界面中，以对目标应用界面进行刷新，形成所述前列腺的轮廓线。8.根据权利要求1所述的方法，其特征在于，还包括：设计对至少两个中间区域图像中的各像素点进行目标概率识别的卷积神经网络；其中，所述卷积神经网络包括：输入层、多个堆叠的卷积块、输出层；其中，所述卷积块包括：输入端、第一分支、第二分支、相加符、输出端，其中，第一分支的输入和第二分支的输入分别与所述输入端相连，第一分支包括：输入与输出的特征图数量一致的普通卷积、分组数为特征图数量一半且输出的特征图数量是输入的一半的分组卷积，第二分支包括：分组数为特征图数量一半且输入与输出的特征图数量一致的分组卷积、输出的特征图数量是输入的一半的普通卷积；所述输入端跳连至相加符与所述第一分支的输出特征图和所述第二分支的输出特征图相加。9.一种图像处理装置，其特征在于，包括：获取模块，用于获取原始图像；剪裁模块，用于将所述原始图像按照至少两个尺寸进行剪裁，得到至少两个中间区域图像；识别模块，用于通过卷积神经网络，分别对所述原始图像和所述至少两个中间区域图像中的各像素点进行目标概率识别；投票模块，用于对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果。10.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1至8中任一项所述方法。

技术总结
本申请提供了一种图像处理方法、装置和存储介质，其中，该方法包括：获取原始图像；将所述原始图像按照至少两个尺寸进行剪裁，得到至少两个中间区域图像；通过卷积神经网络，分别对所述原始图像和所述至少两个中间区域图像中的各像素点进行目标概率识别；对所述原始图像和所述至少两个中间区域图像的目标概率识别结果，进行投票，确定出原始图像中目标对象的分割结果。通过上述方案解决了现有的对图像中目标对象的识别准确度较低的技术问题，达到了在有限计算资源的情况下，可以更为准确识别出目标对象轮廓的技术效果。出目标对象轮廓的技术效果。出目标对象轮廓的技术效果。


技术研发人员：请求不公布姓名
受保护的技术使用者：上海介航机器人有限公司
技术研发日：2023.03.06
技术公布日：2023/8/14