一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法

1.本发明属于人体健康检测技术领域，涉及生物医学光子学领域，涉及图像处理、计算机视觉等领域。


背景技术：

2.糖尿病足是糖尿病患者常见的并发症之一，主要由微循环病变引起。糖尿病患者血液中持续的高血糖水平会导致血管内皮细功能异常和基底膜增厚，使微血管病变和微循环受损，从而引起血液微循环障碍，出现足部组织缺氧缺血、营养不良等状况。糖尿病足通常表现为下肢溃疡、感染和坏疽等病变，严重时可能导致截肢甚至死亡，具有高复发率、治疗周期长、治疗费用高的特点。及时筛查、早期干预，是降低糖尿病足溃疡程度、提高患者生活质量的关键。
3.目前，糖尿病足的预测方法主要包括了激光多普勒技术、红外热成像技术、高光谱成像技术。其中，激光多普勒技术使用激光和探头探测血液在微血管中的流速和血流量，定量分析血流速度、血流量、容积和血流分布等指标来判断局部区域的微循环灌注情况，进而实现糖尿病足的预测。然而这种方法通常需要在皮肤表面放置传感器，容易受测量位置的限制，且无法评估特定区域深层组织的微循环状态。其次，激光多普勒设备的高成本、操作的复杂性都限制了其在某些临床环境中的应用。红外热成像技术可以实时地显示皮肤表面的温度分布，通过皮肤温度的变化来间接评估局部微循环功能。但这种方法只能测量皮肤表面的温度分布，不能直接观察皮肤下深层组织的微循环情况，并且它对测量环境(温度、湿度等)的变化较敏感，可能导致测量结果的不准确性。近年来，高光谱技术作为一种先进的、非接触式的生物光子学成像技术，在糖尿病足的预测和评估中显示出了巨大的潜力。高光谱技术具有高灵敏度和高分辨率的优点，可以提供足部组织的光学信息，从而帮助研究者了解足部组织的生理状态。通过高光谱技术，可以获得局部组织的反射光谱，并从中提取多个生理参数，如血氧饱和度、组织氧饱和度、血红蛋白浓度等。这些生理参数可以反映足部微循环状态和组织代谢水平，从而用于预测糖尿病足的愈合情况。然而，利用高光谱预测糖尿病足愈合大多是通过量化组织中脱氧血红蛋白和含氧血红蛋白的浓度反映组织的氧合状态，预测模型的输入参数较为单一，需要进一步提高预测的准确性；其次，预测模型的性能通常受限于训练数据的数量和多样性，由于缺少相关公开的、统一标准的高光谱数据集，使得预测结果的泛化能力较低。
4.针对上述问题，本发明提出了一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法，该方法通过可见光相机和高光谱相机对特定足部皮肤区域分别进行可见光成像和高光谱成像，制作成一一匹配的数据集，使用深度学习完成从可见光图像到高光谱图像的超分辨率重建；然后从重建高光谱中提取能反应微循环功能的特征参数，将这些特征参数与相关临床数据结合，最后使用全连接神经网络建立特征值与糖尿病足愈合情况的回归模型，完成对糖尿病愈合情况的预测。


技术实现要素：

5.本发明提出了一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法。在可见光波段光源照明条件下，分别用可将光相机和高光谱相机获取糖尿病患者同一角度下的足部溃疡图片，完成从可见光图像到高光谱图像的超分辨率重建，再从重建高光谱中提取与微循环相关的生理参数，随后将上述特征参数结合病患的相关临床数据作为模型的输入建立糖尿病足愈合情况的神经网络回归模型。
6.所述拍摄设备距离患者足部20-40cm，实现了非接触式测量，避免了接触式仪器的使用带来的感染风险。
7.所述光源为白光光源。
8.所述超分辨率重建包括但不限于使用了残差密集结构的生成对抗网神经网络、mst++网络、分层回归网络。
9.所述与微循环相关的生理参数包括但不限于组织氧饱和度、血液容积分数、组织血红蛋白指数等。
10.所述相关临床数据包括但不限于年龄、性别、abi、血糖水平、溃疡大小和深度等。
11.所述预测模型包括但不限于多元线性回归或全连接神经网络。
12.所述从高光谱图像提取特征参数预测糖尿病足愈合情况包含以下步骤：
13.步骤1、采集数据集训练超分辨重建网络；
14.1)、启动白光光源，照射到糖尿病患者足部溃疡部位。
15.2)、启动工业相机与高光谱相机，保证无其他光线射入影响成像设备采集数据。
16.3)、调整两个相机的相对角度使拍摄到的图像画面大致一致。
17.4)、将足部待测区域放置在光源与成像设备夹角的位置，使皮肤组织的漫反射光刚好进入相机，保持静止10s左右，同时采集rgb图像与高光谱图像。
18.5)、将rgb图像和高光谱图像分别作为神经网络的输入和输出，训练重建网络。
19.步骤2、从重建高光谱中提取与微循环有关的生理参数；
20.1)、确定漫反射光谱模拟所需的光学模型和皮肤组织模型，其中光学模型包括光的传输、散射和吸收等物理传输过程，皮肤组织模型包括不同病情阶段的糖尿病患者足部组织的分布和组成等信息，在这一步需要考虑足部组织的生理结构、组织中的血液分布、脱氧血红蛋白和含氧血红蛋白含量等因素。
21.2)、使用蒙特卡洛方法建立光在足部组织中传输的正向模型，生成多组高光谱模拟数据。
22.3)、利用反演算法反演组织的生理参数。反演算法基于计算机模型和数学方法，将高光谱图像的光谱信息与组织生理参数进行关联，通过最小化实际测量光谱和模拟光谱之间的差异，反演出组织生理参数的值。
23.步骤3、根据特征参数建立预测模型；
24.1)、建立基于全连接神经网络的预测模型。
25.2)、用步骤2得到的特征值融合相关临床数据作为回归模型的输入，预测糖尿病足患者的愈合情况。
26.3)、将多组预测值与真值进行对照，计算出准确率、特异性和敏感度。
27.较佳的，融合数据过程中还可以结合红外热成像的数据。
28.有益效果
29.1.本发明的一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法不需要与患者皮肤接触，避免了接触式测量带来的伤口感染的风险。
30.2.本发明的一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法融合了多尺度的信息，能量化局部微循环功能，使得预测效果更准确。
31.3.本发明的一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法的输入设备只需要一个普通工业相机，无需额外设备，成本较低。
附图说明
32.图1是本发明所述方法的实验装置示意图。
33.图2是本发明所述基于图基于高光谱重建的预测糖尿病足愈合方法的流程图。
34.其中，1-白光光源，2-高光谱图像成像设备，3-工业相机，4-信号采集处理设备，3-被测对象。
具体实施方式
35.为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明提出的一种基于高光谱重建的预测糖尿病足愈合的方法作进一步详细说明。需要说明的是：附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的，附图所展示的结构是实际结构的一部分；本发明图像信号的获取部位不局限于人体足部部分，其他部位同样适用。本发明中所采用的高光谱图像重建算法不局限于某种算法。本发明所采用的回归预测算法也不局限于某种算法。
36.本发明实施例以糖尿病患者作为受试者。
37.本实施例公开的一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法，图像采集示意图如图1所示，执行流程如附图2所示，具体内容如下。
38.步骤1，用高光谱相机和普通工业相机同时采集多个糖尿病患者的足部皮肤组织的高光谱图像和rgb图像，训练超分辨重建模型；
39.步骤1-1，隔绝杂光后启动白色光源，测试者保持静止，确定光源均匀地照射在足部溃疡区域(没有溃疡则选取较易成像的足部区域)上。
40.步骤1-2，同时启动工业相机与高光谱相机，对焦至最清晰处，对高光谱相机进行白板校准。
41.步骤1-3，将足部放于指定位置，与高光谱相机及工业相机保持20-40cm距离，静止10-15s，同时采集高光谱图像与rgb图像。
42.步骤1-4，将采集到的rgb图像与高光谱图像经预处理后作为训练集，输入超分辨模型。高光谱图像和rgb图像的映射关系可以表示为：
[0043][0044]
式中：sr(k)、sg(k)、sb(k)对应rgb和高光谱图像不同通道的转换矩阵。高光谱图像到rgb图像可以简化表示为一个积分过程：
[0045]
i＝si
h (2)
[0046]
式中：代表含有rgb三通道值的向量；代表含有高光谱n个通道像素值的向量；代表两者转换的转换矩阵。根据公式2可以看出，通过rgb图像进行高光谱重建的过程可以表示为：
[0047]
ih＝s-1
i＝ti (3)
[0048]
由公式3可知用rgb图像重建高光谱图像就是求解t矩阵。
[0049]
对重建的高光谱数据与源数据进行对比评价，一般有如下四种评价指标：
[0050][0051][0052][0053][0054]
其中g(x)为生成的高光谱图像，y为原图像，r为相机的响应函数，n为重建高光谱图像的像素数。mrae是平均相对绝对误差，rmse是均方根误差，bprmse是反向映射均方根误差，代表了真实值和重建值反向投影后的均方根误差，bpssim反应了真实值和重建值反向投影后图片的结构相似度，式中t(k)和r(k)分别为原始高光谱图像和重建高光谱图像在空域中的离散傅里叶变换系数，和为它们的相位角。bpssim值越接近1，表示重建高光谱图像质量越好。
[0055]
步骤2，从重建高光谱中提取能反映微循环功能的参数；
[0056]
步骤2-1，使用蒙特卡洛分析模拟足部高光谱，获得不同组织氧饱和度、血液容积分数、血红蛋白浓度下的漫反射谱。
[0057]
步骤2-2，通过比较实际测量的高光谱图像与蒙特卡洛正向模型模拟的光谱图像，建立反演算法，反演出组织中的吸收系数、散射系数等光学参数。
[0058]
步骤2-3，根据反演出的光学参数反推出所需的生理参数。
[0059]
步骤3，建立与微循环功能有关的特征参数与糖尿病足愈合情况的神经网络回归模型；
[0060]
步骤3-1，使用一个全连接网络作为预测模型，将特征参数结合临床数据作为网络的输入，糖尿足患者的愈合结果作为网络的输出。
[0061]
步骤3-2，不断调整模型的参数，以达到一个较好的准确率。
[0062]
步骤3-3，从灵敏度、特异性和受试者工作特征曲线等多角度评价预测模型的效果。
[0063]
综上所述，以上仅为本发明所提供的较佳实施例而已，并非用于限定本发明的保护范围。凡在发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法，其特征在于，该方法由光谱超分辨重建模型、基于蒙特卡洛分析的生理参数提取模型与回归预测模型构成，其基本步骤如下：步骤1：采集数据集训练超分辨重建网络；步骤2：从重建高光谱中提取与微循环有关的生理参数；步骤3：根据特征参数建立预测模型。2.如权利要求1所述的一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法，其特征在于，所述采集数据集训练超分辨重建网络的具体实现步骤为：(1)启动白光光源，照射到糖尿病患者足部溃疡部位；(2)启动工业相机与高光谱相机，保证无其他光线射入影响成像设备采集数据；(3)调整两个相机的相对角度使拍摄到的图像画面大致一致；(4)将足部待测区域放置在光源与成像设备夹角的位置，使皮肤组织的漫反射光刚好进入相机，保持静止10s左右，同时采集rgb图像与高光谱图像(5)将rgb图像和高光谱图像分别作为神经网络的输入和输出，训练超分辨重建网络。3.如权利要求1所述的一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法，其特征在于，所述从重建高光谱中提取与微循环有关的生理参数的具体实现步骤为：(1)确定漫反射光谱模拟所需的光学模型和皮肤组织模型，其中光学模型包括光的传输、散射和吸收等物理传输过程，皮肤组织模型包括不同病情阶段的糖尿病患者足部组织的分布和组成等信息，在这一步需要考虑足部组织的生理结构、组织中的血液分布、脱氧血红蛋白和含氧血红蛋白含量等因素；(2)使用蒙特卡洛方法建立光在足部组织中传输的正向模型，生成多组高光谱模拟数据；(3)利用反演算法反演组织的生理参数。反演算法基于计算机模型和数学方法，将高光谱图像的光谱信息与组织生理参数进行关联，通过最小化实际测量光谱和模拟光谱之间的差异，反演出组织生理参数的值。4.如权利要求1所述的一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法，其特征在于，所述根据特征参数建立预测模型的具体实现步骤为：(1)建立基于全连接神经网络的预测模型；(2)用步骤2得到的特征值融合相关临床数据作为回归模型的输入，预测糖尿病足患者的愈合情况；(3)将多组预测值与真值进行对照，计算出准确率、特异性和敏感度。

技术总结
本发明涉及一种基于高光谱重建的多尺度信息融合的糖尿病足预测方法，属于生理信号检测领域。其方法特征是：所述光谱超分辨重建算法数据采集由普通工业相机与高光谱相机及镜头完成；所述照明光源为白光光源。本发明在可见光波段光源照明条件下，分别用可将光相机和高光谱相机获取糖尿病患者同一角度下的足部溃疡图片，使用深度学习的方法完成从可见光图像到高光谱图像的超分辨率重建，再从重建高光谱中提取与微循环相关的生理参数，随后将上述特征参数结合病患的相关临床数据作为模型的输入建立糖尿病足愈合情况的神经网络预测模型。型。型。


技术研发人员：董立泉 赵露霞 孔令琴 赵跃进 褚旭红
受保护的技术使用者：北京理工大学长三角研究院（嘉兴）
技术研发日：2023.06.29
技术公布日：2023/10/8