基于空谱双流网络的高光谱图像语义分割方法和装置

1.本发明属于医学图像处理领域技术领域，具体涉及一种基于空谱双流网络的高光谱图像语义分割方法和装置。


背景技术：

2.医学高光谱成像是一种新兴的成像方式，它可以为彩色医学图像带来丰富的光谱信息。通常，一个医学高光谱图像被表示为一个超立方体，在光谱维度上有数百个连续的光谱波段，在空间维度上有数千个像素。但是，高空间高光谱维度使得针对光谱和空间信息特征很难进行有效的提取，为高光谱图像分割任务带来了挑战。
3.在过去的几年里，为了高效精准的高光谱图像特征提取和分割方法，已经做了大量的研究工作。参照图2(a)基于二维(2d)深度卷积神经网络对hsi进行特征提取和分割的方法是将高光谱图像视为二维数据输入到2d网络，将其光谱维度视为输入通道维度；参照图2(b)结合主成分分析(pca)将高光谱图像降维后输入2d网络。但这类基于2d网络的方法会在第一个卷积层混合的光谱和空间信息，使得高光谱图像的光谱间相关性信息没有得到充分挖掘。参照图2(c)基于3d网络的高光谱图像特征提取方法可以较好的同时构建空谱特征，但3d网络通常计算复杂度远高于2d网络，影响模型在临床中的实际应用。
4.由于空间和光谱特征的信息量不同，不需要同时处理空间和光谱信息，就像三维网络中所处理的方法。参照图2(d)，可以设计一个双流策略来分别处理空间与光谱特征，一些高光谱图像分类网络试图设计双流结构，分别处理空间结构和光谱特征。但是，这些网络只是在最后一层中添加或连接了双流特征。这种特征融合算法是不成熟的。如何有效地探索高空间光谱维度下的空间光谱特征交互作用还没有建立起来，而且将这些分类网络架构迁移到分割网络中并不容易。
5.高空间高光谱维度使得对高光谱图像进行全面的分析是困难的。在hsi中，存在两种相关性，一个是相邻像素中的光谱相关性。参照图3所示，局部阳性(癌症)区域和阴性(正常)区域的幅值与光谱波段高度相关。另一个是相邻波段之间的空间相关性。参照图3绘制了所有波段间的空间相似性，显示了附近波段间的余弦相似度较大，长距离波段间的余弦相似度较小。这种相关性在表征空间特征时具有光谱冗余，在学习光谱特征时具有空间冗余。


技术实现要素：

6.本发明旨在解决现有技术的不足，提出一种具有更好的分割效果、且减少计算消耗的基于空谱双流网络的高光谱图像语义分割方法和装置，克服现有的基于2d网络解决方案中对空谱信息提取不足和3d网络解决方案中计算效率低下的不足。
7.为实现上述目的，本发明提供了如下方案：
8.一种基于空谱双流网络的高光谱图像语义分割方法，包括以下步骤：
9.步骤s1、获取高光谱图像语义分割标准数据集；
10.步骤s2、将所述高光谱图像语义分割标准数据集输入到空谱双流网络进行掩膜预测训练，得到预测网络；
11.步骤s3、将待处理的高光谱图像输入到所述预测网络进行目标语义掩膜预测。
12.作为优选，所述高光谱图像语义分割标准数据集包含：病理显微高光谱胆管癌数据集和光谱胃癌数据集。
13.作为优选，步骤s2包括：
14.将高光谱图像语义分割标准数据集的训练集中的高光谱图像输入到空谱双流网络得到其预测掩膜；
15.计算空谱双流网络输出掩膜与训练集中的已标注的标准掩膜间的差距得到损失并返回梯度进行网络的参数更新，如此反复直至训练次数达到预先设定的数量，以完成掩膜预测训练，得到所述预测网络。
16.作为优选，步骤s2中，空谱双流网络采用双流并行的网络结构，包含一个解耦空间与一个光谱域的编码器和融合空谱特征的解码器，编码器和解码器之间存在四个横向连接跨尺度特征；其中，所述进行语义掩膜预测训练具体为：所述高光谱图像语义分割标准数据集首先解耦空间和光谱域分别输入到空谱双流的编码器，经过编码器的空间与光谱特征在四个不同空间尺寸上进行融合后输入到四个多尺度解码器，经过不同尺度的解码器得到的特征逐级解码到与原始图像相同尺度，得到预测掩膜。
17.作为优选，所述编码器由两支即空间和光谱编码器构成，空间编码器由多层卷积模块构成；光谱编码器由多层非线性层构成。
18.作为优选，在空谱双流网络训练过程中，计算损失时，训练集中的高光谱图像会分别解耦空间和光谱域，之后输入到双流编码器和解码器，解码器输出预测掩膜同时与标注的真实掩膜计算得到损失。
19.本发明还提供一种基于空谱双流网络的高光谱图像语义分割装置，包括：
20.获取模块，用于获取高光谱图像语义分割标准数据集；
21.训练模块，用于将所述高光谱图像语义分割标准数据集输入到空谱双流网络进行掩膜预测训练，得到预测网络；
22.分割模块，用于将待处理的高光谱图像输入到所述预测网络进行目标语义掩膜预测。
23.作为优选，所述高光谱图像语义分割标准数据集包含：病理显微高光谱胆管癌数据集和光谱胃癌数据集。
24.作为优选，空谱双流网络采用双流并行的网络结构，包含一个解耦空间与一个光谱域的编码器和融合空谱特征的解码器，编码器和解码器之间存在四个横向连接跨尺度特征。
25.与现有技术相比，本发明的有益效果为：
26.本发明从解耦高光谱空间与光谱信息的角度出发，提出了dual-stream高光谱语义分割网络，通过分编码空间域和光谱域的信息的方式达到对空谱信息的高效利用。进一步，结合2d-u型网络结构和注意力机制，有效地融合空间和光谱信息并进行解码，同时实现精度和计算效率的提升。
附图说明
27.为了更清楚地说明本发明的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明实施例基于空谱双流网络的快速高光谱图像语义分割方法的流程示意图；
29.图2为传统高光谱图像处理方法示意图；
30.图3为高光谱图像空间冗余性和光谱稀疏性可视化示意图；
31.图4为本发明的空谱双流网络模型示意图；
32.图5为空谱双流网络测试数据示例示意图。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
35.实施例1：
36.本发明实施例提供一种基于空谱双流网络的高光谱图像语义分割方法，包括以下步骤：
37.步骤s1、获取高光谱图像语义分割标准数据集；
38.步骤s2、将所述高光谱图像语义分割标准数据集输入到空谱双流网络进行掩膜预测训练，得到预测网络；
39.步骤s3、将待处理的高光谱图像输入到所述预测网络进行目标语义掩膜预测。
40.作为本发明实施是例的一种实施方式，所述高光谱图像语义分割标准数据集包含：病理显微高光谱胆管癌数据集和光谱胃癌数据集。
41.作为本发明实施是例的一种实施方式，步骤s2包括：
42.将高光谱图像语义分割标准数据集的训练集中的高光谱图像输入到空谱双流网络得到其预测掩膜；
43.计算空谱双流网络输出掩膜与训练集中的已标注的标准掩膜间的差距得到损失并返回梯度进行网络的参数更新，如此反复直至训练次数达到预先设定的数量，以完成掩膜预测训练，得到所述预测网络。
44.作为本发明实施的一种实施方式，步骤s2中，空谱双流网络采用双流并行的网络结构，包含一个解耦空间与一个光谱域的编码器和融合空谱特征的解码器，编码器和解码器之间存在四个横向连接跨尺度特征；其中，所述进行语义掩膜预测训练具体为：所述高光谱图像语义分割标准数据集首先解耦空间和光谱域分别输入到空谱双流的编码器，经过编码器的空间与光谱特征在四个不同空间尺寸上进行融合后输入到四个多尺度解码器，经过不同尺度的解码器得到的特征逐级解码到与原始图像相同尺度，得到预测掩膜。
45.作为本发明实施的一种实施方式，所述编码器由两支即空间和光谱编码器构成，空间编码器由多层卷积模块构成；光谱编码器由多层非线性层构成。
46.作为本发明实施的一种实施方式，在空谱双流网络训练过程中，计算损失时，训练集中的高光谱图像会分别解耦空间和光谱域，之后输入到双流编码器和解码器，解码器输出预测掩膜同时与标注的真实掩膜计算得到损失。
47.本发明结合了高光谱图像的光谱信息与空间信息，能够通过解耦光谱和空间信息有效地降低模型的计算复杂度并提升模型预测效率。
48.本发明实施例创新点在于空谱双流网络的设计。高光谱图像语义分割任务需要在图像处理过程同时提取空间和光谱特征，然而目前主流的3d卷积网络同时获取空谱特征的方法如hypernet与3d-unet等存在着诸如计算时间长、显存消耗巨大等问题，而且目前主流深度神经网络所聚焦的的仍为高光谱图像的空间信息，高光谱图像的光谱信息是目前医学高光谱图像所忽视的。空谱双流网络成功将特征的空间信息和光谱信息融入了卷积神经网络，增加了模型对于光谱信息的获取与处理，提升了模型的性能，减轻了计算代价。
49.实施例2：
50.如图1所示，本发明实施例提供一种基于空谱双流网络的高光谱图像语义分割方法包括：网络训练阶段和网络预测阶段；其中，
51.网络的训练阶段包含以下步骤：
52.1.获取高光谱图像语义分割数据集，所述数据集高光谱图像语义分割数据集为：病理显微高光谱胆管癌数据集(mdc)和高光谱胃癌数据集(plgc)；
53.2.对高光谱图像语义分割数据集进行预处理，在将高光谱图像语义分割数据集输入空谱双流网络训练之前先将数据在空间上降采样4倍，mdc数据集图像为256
×
320大小，plgc数据集图像为512
×
640图像大小，并进行随机水平上下翻转；
54.3.将高光谱图像语义分割数据集的训练集中的高光谱图像输入空谱双流网络得到其估计出的可能的目标语义掩膜空谱双流。
55.4.计算空谱双流网络输出图像与训练集中的清晰图像间的差距得到损失并返回梯度进行网络的参数更新，如此反复直至训练次数达到预先设定的数量。本发明在各个数据集的训练集上所采用的训练配置继承于，优化器采用adam，梯度下降策略为余弦退火策略(cosine annealing strategy)，一次训练的样本数为8张，初始学习率为1e-4，最终学习率为1e-6，共训练100轮。计算损失时，训练集中的高光谱图像会分别解耦到空间和光谱域到双流编码器和解码器，解码器输出预测掩膜同时与标注的真实掩膜计算得到损失。网络训练的损失函数为dice loss和cross-entropy loss的联合损失：
56.1))dice loss:
[0057][0058]
2)cross-entropy loss:
[0059][0060]
最终的损失函数如下：
[0061]
l＝l
dice
+al
ce
[0062]
其中，α和∈为超参数，分别设为1.0与0.001。pi和yi分别表示模型的预测结果和真是掩膜标注，l为dice loss和cross-entropy loss的联合损失。
[0063]
网络的预测阶段：将待处理的高光谱图像输入到所述预测网络进行目标语义掩膜预测。
[0064]
进一步，参照图4，空谱双流网络(dual-stream)采用双流并行网络结构，包含了一个解耦空间与光谱域的编码器和融合空谱特征的解码器，编码器和解码器之间存在四个横向连接四个跨尺度连接。高光谱图像语义分割数据集首先解耦空间和光谱域分别输入到空谱双流的编码器，经过编码器的空间与光谱特征在四个不同空间尺寸上进行融合后输入到四个多尺度解码器，经过不同尺度的解码器得到的特征逐级解码到与原始图像相同尺度，最终得到目标预测掩膜。本发明主要设计了空间和光谱编码器以及空谱注意力融合模块，这三个模块是即插即用的，可适用于不同分割架构和空间骨干编码器。参照图4，我们使用以unet结构为骨干的2d卷积神经网络。图中的2d卷积神经网络是一个示例，可以代表所有广泛使用的二维架构。它代表了一个空间编码器，侧重于从高光谱中提取空间特征。对于光谱编码器，为了产生一个可以有效地包含空间的多层表征，我们提出了一个块(patch)融合层减少光谱信息在空间上的冗余。为了整合来自空间光谱维度的信息，我们提出了一个s
2-fusion模块。参照图4，在第二和第四编码器层之后，s
2-fusion模块应用于两次,然后应用se模块对融合特征的通道之间的相互依赖进行建模，以融合模块空间和光谱特征。
[0065]
通过上述操作，本发明对所有空间和光谱的信息和相关性完成了建模。然后经过多层级联的最终输出通过一个卷积网络计算得到分割预测掩膜。
[0066]
参照图5，是不同高光谱分割模型对高光谱图像的两个示例的预测结果：resnet34-unet、pca-resnet34-unet、3d-unet、nnunet、hypernet、unetr,空谱双流网络(dual-stream)的预测结果对应数字为量化指标dsc(dice指数)。通过dual-stream的结果与其他同类方法对比，可以说明本发明能够有效地提升卷积神经网络对高光谱图像空间和光谱特征提取能力，相比于目前主流3d卷积神经网络，dual-stream在计算速度上有更大的优势。
[0067]
除此以外，本发明实施例还提供了一个具体的实例辅助证明：
[0068]
采用mdc和plgc训练集训练resnet34-unet、pca-resnet34-unet、3d-unet、nnunet、hypernet、unetr和空谱双流网络(dual-stream)，在测试集进行验证。各个网络的dsc(dice指数)和模型推理速度(throughput)的指标结果如表1所示，在mdc数据集中，dual-stream在模型推理速度提升24倍的情况下，比nnunet的分割精度dsc高出0.95％；在plgc数据集中，dual-stream在模型推理速度提升9.53倍的情况下，比hypernet网络的分割精度dsc高出2.36。所以dual-stream模型在速度和精度上都超越了之前的模型。
[0069]
表1
[0070][0071]
实施例3：
[0072]
本发明实施例还提供一种基于空谱双流网络的高光谱图像语义分割装置，包括：
[0073]
获取模块，用于获取高光谱图像语义分割标准数据集；
[0074]
训练模块，用于将所述高光谱图像语义分割标准数据集输入到空谱双流网络进行掩膜预测训练，得到预测网络；
[0075]
分割模块，用于将待处理的高光谱图像输入到所述预测网络进行目标语义掩膜预测。
[0076]
作为本发明实施是例的一种实施方式，所述高光谱图像语义分割标准数据集包含：病理显微高光谱胆管癌数据集和光谱胃癌数据集。
[0077]
作为本发明实施是例的一种实施方式，空谱双流网络采用双流并行的网络结构，包含一个解耦空间与一个光谱域的编码器和融合空谱特征的解码器，编码器和解码器之间存在四个横向连接跨尺度特征。
[0078]
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

技术特征：
1.一种基于空谱双流网络的高光谱图像语义分割方法，其特征在于，包括以下步骤：步骤s1、获取高光谱图像语义分割标准数据集；步骤s2、将所述高光谱图像语义分割标准数据集输入到空谱双流网络进行掩膜预测训练，得到预测网络；步骤s3、将待处理的高光谱图像输入到所述预测网络进行目标语义掩膜预测。2.如权利要求1所述的基于空谱双流网络的高光谱图像语义分割方法，其特征在于，所述高光谱图像语义分割标准数据集包含：病理显微高光谱胆管癌数据集和光谱胃癌数据集。3.如权利要求2所述的基于空谱双流网络的高光谱图像语义分割方法，其特征在于，步骤s2包括：将高光谱图像语义分割标准数据集的训练集中的高光谱图像输入到空谱双流网络得到其预测掩膜；计算空谱双流网络输出掩膜与训练集中的已标注的标准掩膜间的差距得到损失并返回梯度进行网络的参数更新，如此反复直至训练次数达到预先设定的数量，以完成掩膜预测训练，得到所述预测网络。4.如权利要求3所述的基于空谱双流网络的高光谱图像语义分割方法，其特征在于，步骤s2中，空谱双流网络采用双流并行的网络结构，包含一个解耦空间与一个光谱域的编码器和融合空谱特征的解码器，编码器和解码器之间存在四个横向连接跨尺度特征；其中，所述进行语义掩膜预测训练具体为：所述高光谱图像语义分割标准数据集首先解耦空间和光谱域分别输入到空谱双流的编码器，经过编码器的空间与光谱特征在四个不同空间尺寸上进行融合后输入到四个多尺度解码器，经过不同尺度的解码器得到的特征逐级解码到与原始图像相同尺度，得到预测掩膜。5.如权利要求4所述的基于空谱双流网络的高光谱图像语义分割方法，其特征在于，所述编码器由两支即空间和光谱编码器构成，空间编码器由多层卷积模块构成；光谱编码器由多层非线性层构成。6.如权利要求5所述的基于空谱双流网络的高光谱图像语义分割方法，其特征在于，在空谱双流网络训练过程中，计算损失时，训练集中的高光谱图像会分别解耦空间和光谱域，之后输入到双流编码器和解码器，解码器输出预测掩膜同时与标注的真实掩膜计算得到损失。7.一种基于空谱双流网络的高光谱图像语义分割装置，其特征在于，包括：获取模块，用于获取高光谱图像语义分割标准数据集；训练模块，用于将所述高光谱图像语义分割标准数据集输入到空谱双流网络进行掩膜预测训练，得到预测网络；分割模块，用于将待处理的高光谱图像输入到所述预测网络进行目标语义掩膜预测。8.如权利要求7所述的基于空谱双流网络的高光谱图像语义分割装置，其特征在于，所述高光谱图像语义分割标准数据集包含：病理显微高光谱胆管癌数据集和光谱胃癌数据集。9.如权利要求8所述的基于空谱双流网络的高光谱图像语义分割装置，其特征在于，空谱双流网络采用双流并行的网络结构，包含一个解耦空间与一个光谱域的编码器和融合空
谱特征的解码器，编码器和解码器之间存在四个横向连接跨尺度特征。

技术总结
本发明公开了一种基于空谱双流网络的高光谱图像语义分割方法和装置，包括以下步骤：步骤S1、获取高光谱图像语义分割标准数据集；步骤S2、将所述高光谱图像语义分割标准数据集输入到空谱双流网络进行语义掩膜预测训练，得到预测网络；步骤S3、将待处理的高光谱图像输入到所述预测网络进行目标语义掩膜预测。采用本发明的技术方案，克服现有的基于2D网络解决方案中对空谱信息提取不足和3D网络解决方案中计算效率低下的不足。中计算效率低下的不足。中计算效率低下的不足。


技术研发人员：王妍 贠博祥 李庆利
受保护的技术使用者：华东师范大学
技术研发日：2023.04.26
技术公布日：2023/8/6