基于神经网络模型的压力性损伤分期识别系统和存储介质

1.本发明属于医学诊断技术领域，具体涉及一种基于神经网络模型的压力性损伤分期识别系统和存储介质。


背景技术：

2.压力性损伤是由于压力或压力结合剪切力对皮肤和/或受累组织造成的局部损伤，常发生在骨骼突出部位，也可能与医疗器械或其他器物相关，对压力性损伤的预防与处理反应出临床护理质量。压力性损伤可能出现在各个科室，由于压力性损伤的分期与识别主要由经过专业培训的伤口护士进行，普通临床护士常常难以对压力性损伤进行正确识别与分期，这会耽误后续的伤口治疗，影响患者预后结局。因此，开发智能系统以辅助临床护士正确地对压力性损伤进行分期，有利于后续伤口治疗，改善患者预后结局。
3.目前现有技术中已经有一些针对压力性损伤智能识别的常识，例如专利申请“cn202011022448.5 压疮图片自动分析系统、方法、设备和介质”，公开了利用机器学习模型分析压疮图片的方法和系统。然而，这些现有技术是通过神经网络模型进行压疮分期识别，往往只通过压疮图片单一模态来进行训练和推理，这种方式会受图片像素、对比度和白平衡等图片本身质量问题影响，导致模型的准确率难以提升。这对人工智能在压力性损伤分析中的应用具有不利的影响。


技术实现要素：

4.针对现有技术的问题，本发明提供一种基于神经网络模型的压力性损伤分期识别系统和存储介质，目的在于：基于多模态融合的压疮分期识别与分类卷积神经网络模型，通过融合伤口图像和护理病理记录、体温等多模态数据来提升压疮识别模型的准确率和有效性。
5.一种基于神经网络模型的压力性损伤分期识别系统，包括：输入模块，用于输入压疮图像、护理记录和体温数据；特征提取模块，用于采用图像特征提取网络提取压疮图像中的特征，采用文本特征提取网络提取护理记录中的特征，采用时序特征提取网络提取体温数据中的特征，将特征进行融合后得到多模态特征；多层感知网络模块，用于将所述多模态特征输入多层感知网络，得到压力性损伤分期识别结果。
6.优选的，所述图像特征提取网络选自卷积神经网络。
7.优选的，所述文本特征提取网络选自nlp模型。
8.优选的，所述时序特征提取网络选自循环神经网络。
9.优选的，所述多层感知网络中包括卷积神经网络、残差网络、池化网络和多层感知器、循环神经网络和注意力网络。
10.优选的，所述多层感知网络包括若干个分类卷积神经网络模型和一个多结果投票
模块；每个所述分类卷积神经网络模型得到一个压力性损伤分期的预测结果，所述多结果投票模块采用投票法确定最终的预测。
11.优选的，所述若干个分类卷积神经网络模型的网络层数和/或网络类型具有差异，所述差异为如下网络配置参数中的至少一种不同：神经网络的层数、每层网络单元数、池化网络类型、dropout概率、卷积核大小、卷积步长和残差连接与否。
12.优选的，所述若干个分类卷积神经网络模型是采用一个原始数据集构建的多数据集分别进行训练得到的，所述多数据集的构建方法包括如下步骤：步骤1，对于每一待生成的数据集，首先生成一个随机向量(p
1,
p
2,
p
3,
p
4,
p
5,v1,v2,
v3), 其中所述随机向量中各参数来自于均匀分布的随机采样，，，，，，，，；步骤2，将所述原始数据集中的原始图片按照步骤1生成的随机向量进行数据变换得到随机变换的图片，其中随机向量中的pi用于控制数据增强是否执行，各原始图片变换步骤执行的条件为pi》0.5；vi用于控制变换的程度，其中v1用于控制对比度变换的对比度，v2用于控制随机旋转的角度，v3用于控制缩放变换的缩放倍率；pi为p1、p2、p3、p4或p5，vi为v1、v2或v3；步骤3，重复步骤1和步骤2 n次，得到由n个数据集构成的多数据集。
13.优选的，还包括模型训练模块，用于对所述多层感知网络进行模型训练。
14.本发明还提供一种计算机可读存储介质，其上存储有：用于实现上述基于神经网络模型的压力性损伤分期识别系统的计算机程序。
15.本发明针对压力性损伤分期识别的任务，提供了一种预测系统，本发明的系统以压疮图像、护理记录和体温数据等数据作为输入，构建了一种对多模态数据进行特征提取，并采用多模态模型和多结果投票法进行结果预测的系统。多模态模型和多结果投票法的应用使得本发明的预测结果更加准确。
16.在优选方案中，本发明在模型训练阶段对原始数据集进行变化，得到多数据集的训练数据，能够训练得到更多卷积神经网络模型构成的多模态模型，从而在降低对标注数据量的需求的前提下，提升数据特征的多元性，进一步提升模型的预测性能。
17.因此，本发明具有很好的应用前景。
18.显然，根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，还可以做出其它多种形式的修改、替换或变更。
19.以下通过实施例形式的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。凡基于本发明上述内容所实现的技术均属于本发明的范围。
附图说明
20.图1为本发明实施例1的流程示意图；图2为本发明实施例1中多数据集生成步骤的流程示意图；图3为本发明实施例1中多模态模型的结构示意图；
图4为本发明实施例1中多模型预测步骤的流程示意图；图5为本发明实施例1中多结果投票的流程示意图。
具体实施方式
21.需要特别说明的是，实施例中未具体说明的数据采集、传输、储存和处理等步骤的算法，以及未具体说明的硬件结构、电路连接等均可通过现有技术已公开的内容实现。
22.实施例1基于神经网络模型的压力性损伤分期识别系统本实施例的系统包括：输入模块，用于输入压疮图像、护理记录和体温数据；特征提取模块，用于采用图像特征提取网络提取压疮图像中的特征，采用文本特征提取网络提取护理记录中的特征，采用时序特征提取网络提取体温数据中的特征，将特征进行融合后得到多模态特征；多层感知网络模块，用于将所述多模态特征输入多层感知网络，得到压力性损伤分期识别结果；模型训练模块，用于对所述多层感知网络进行模型训练。
23.采用本实施例的系统进行压力性损伤分期识别的方法如图1所示，包括两个阶段，分别是训练阶段：训练阶段用于建立基于多模态输入的多个神经网络分类模型，通过数据增强的方式，利用专家标注的原始数据生成多个数据集，对各个神经网络分类模型进行训练。训练阶段主要过程包括多数据集生成、多模态模型构建和多模型训练。
24.推理阶段：推理阶段则是将待预测的原始数据（压疮图像、护理记录和体温数据）输入到训练阶段得到的多个神经网络分类模型中进行推理，通过投票法综合各模型的预测结果得到最终的预测结果。推理阶段主要过程包括多模型预测和多结果投票得到最终分类结果。
25.各步骤具体如下：1、多数据集生成多数据集生成的目的包括两个：一是增强专家标注数据，扩充训练数据集规模；二是通过控制不同的数据增强参数，形成多个训练数据集来训练多个分类模型。主要过程如图2所示，包括：步骤1，对于每一待生成的数据集，首先生成一个随机向量(p
1,
p
2,
p
3,
p
4,
p
5,v1,v2,
v3), 其中所述随机向量中各参数来自于均匀分布的随机采样，，，，，，，，；步骤2，将所述原始数据集中的原始图片按照步骤1生成的随机向量进行数据变换得到随机变换的图片，其中随机向量中的pi用于控制数据增强是否执行，各原始图片变换步骤执行的条件为pi》0.5（pi是一个标量。对于第i个变换，pi大于0.5则执行该变化，若pi小于等于0.5，则不执行该变换）；vi用于控制变换的程度，其中vi用于控制变换的程度，v1用于控制对比度变换的对比度，v2用于控制随机旋转的角度，v3用于控制缩放变换的缩放倍率；
pi为p1、p2、p3、p4或p5，vi为v1、v2或v3；步骤3，重复步骤1和步骤2 n次，得到由n个数据集构成的多数据集。
26.2、多模态模型构建如图3所示，构建基于压疮图像、护理记录和体温数据等多模态数据输入的多分类神经网络模型。针对不同类型的数据，使用不同的特征提取方法，使用卷积神经网络来提取图像特征，使用nlp模型来提取文本特征、使用循环神经网络来提取时序特征，并将不同类型的特征进行融合，以构建一个综合的多模态特征表示。最后将多模态特征输入到一个多层感知网络，并在图像特征、文本特征和时序特征中加入注意力网络，最终得到分类的结果。
27.3、多模型训练针对n个数据集初始化n个卷积神经网络分类模型，对于n个卷积神经网络分类模型的训练过程如下：步骤a，按照“多数据集生成”部分所述的方法将专家标注的原始数据生成n个训练数据集；步骤b，构建n个卷积神经网络分类模型。对于第i个训练数据集di，构建卷积神经网络分类模型neti。在网络结构的选择上，对网络层数和网络类型差异化，保证第i个卷积神经网络的和其他卷积神经网络差异明显。通过设置不同的神经网络的层数、每层网络单元数、池化网络类型、dropout概率、卷积核大小、卷积步长、残差连接与否等网络配置参数即可获得不同的卷积神经网络模型。
28.步骤c，对各个神经网络分类模型进行训练，最终得到n个训练好的卷积神经网络。
29.此外，可选的：护理记录为文本数据，作为任务输入之一，通过文本特征提取网络（例如循环神经网络或者transformer网络）来提取关键文本特征；该类数据可作为可选，可提升图像识别网络的准确率；温度数据为时序数据，作为任务输入之一，通过时序特性提取网络（一般可用循环神经网络或者transformer网络来提取关键时序特征；该类数据可作为可选，可提升图像识别网络的准确率。
30.4、多模型预测多模型预测是利用模型训练阶段得到的n个神经网络分类模型分别预测待识别的图片（护理记录、温度数据作为可选数据源输入），得到n个预测结果。其过程如图4所示。
31.5、多结果投票为提高分类预测结果的准确性，通过投票法来确定最终的分类结果。其过程如图5所示。其中第i个模型neti的预测结果为，其中m为压疮图像分类的类别数，代表第i个模型neti将压疮图像预测为类别j的概率大小，所以，则第i个模型预测的类别为maxidx(pi),即预测结果中概率最大的下标值。
32.将n个神经网络分类模型预测的类别利用投票法确定最终的预测类型。将各神经网络分类模型的预测类型进行统计，预测类型最多的类型即为最终的预测类别，对于最多类型有相同的情况按照随机选择的方式确定最终的预测类别。
33.通过上述实施例可以看到，本发明构建了一种基于多模态融合的神经网络模型的压力性损伤分期识别，预测性能良好，具有很好的应用前景。

技术特征：
1.一种基于神经网络模型的压力性损伤分期识别系统，其特征在于，包括：输入模块，用于输入压疮图像、护理记录和体温数据；特征提取模块，用于采用图像特征提取网络提取压疮图像中的特征，采用文本特征提取网络提取护理记录中的特征，采用时序特征提取网络提取体温数据中的特征，将特征进行融合后得到多模态特征；多层感知网络模块，用于将所述多模态特征输入多层感知网络，得到压力性损伤分期识别结果。2.按照权利要求1所述的基于神经网络模型的压力性损伤分期识别系统，其特征在于：所述图像特征提取网络选自卷积神经网络。3.按照权利要求1所述的基于神经网络模型的压力性损伤分期识别系统，其特征在于：所述文本特征提取网络选自nlp模型。4.按照权利要求1所述的基于神经网络模型的压力性损伤分期识别系统，其特征在于：所述时序特征提取网络选自循环神经网络。5.按照权利要求1所述的基于神经网络模型的压力性损伤分期识别系统，其特征在于：所述多层感知网络中包括卷积神经网络、残差网络、池化网络和多层感知器、循环神经网络和注意力网络。6.按照权利要求1所述的基于神经网络模型的压力性损伤分期识别系统，其特征在于：所述多层感知网络包括若干个分类卷积神经网络模型和一个多结果投票模块；每个所述分类卷积神经网络模型得到一个压力性损伤分期的预测结果，所述多结果投票模块采用投票法确定最终的预测。7.按照权利要求6所述的基于神经网络模型的压力性损伤分期识别系统，其特征在于：所述若干个分类卷积神经网络模型的网络层数和/或网络类型具有差异，所述差异为如下网络配置参数中的至少一种不同：神经网络的层数、每层网络单元数、池化网络类型、dropout概率、卷积核大小、卷积步长和残差连接与否。8.按照权利要求6所述的基于神经网络模型的压力性损伤分期识别系统，其特征在于：所述若干个分类卷积神经网络模型是采用一个原始数据集构建的多数据集分别进行训练得到的，所述多数据集的构建方法包括如下步骤：步骤1，对于每一待生成的数据集，首先生成一个随机向量(p
1, p
2, p
3, p
4, p
5, v
1, v
2, v3), 其中所述随机向量中各参数来自于均匀分布的随机采样，，，，，，，，；步骤2，将所述原始数据集中的原始图片按照步骤1生成的随机向量进行数据变换得到随机变换的图片，其中随机向量中的p
i
用于控制数据增强是否执行，各原始图片变换步骤执行的条件为p
i
>0.5；v
i
用于控制变换的程度，其中v1用于控制对比度变换的对比度，v2用于控制随机旋转的角度，v3用于控制缩放变换的缩放倍率；p
i
为p1、p2、p3、p4或p5，v
i
为v1、v2或v3；步骤3，重复步骤1和步骤2 n次，得到由n个数据集构成的多数据集。9.按照权利要求1所述的基于神经网络模型的压力性损伤分期识别系统，其特征在于：
还包括模型训练模块，用于对所述多层感知网络进行模型训练。10.一种计算机可读存储介质，其特征在于，其上存储有：用于实现权利要求1-9任一项所述的基于神经网络模型的压力性损伤分期识别系统的计算机程序。

技术总结
本发明属于医学诊断技术领域，具体涉及一种基于神经网络模型的压力性损伤分期识别系统和存储介质。本发明的系统包括：输入模块，用于输入压疮图像、护理记录和体温数据；特征提取模块，用于采用图像特征提取网络提取压疮图像中的特征，采用文本特征提取网络提取护理记录中的特征，采用时序特征提取网络提取体温数据中的特征，将特征进行融合后得到多模态特征；多层感知网络模块，用于将所述多模态特征输入多层感知网络，得到压力性损伤分期识别结果。本发明系统的预测性能良好，具有很好的应用前景。用前景。用前景。


技术研发人员：蒋艳 曹华 冯尘尘 陈佳丽 雷常彬 樊朝凤 段丽娟
受保护的技术使用者：四川大学华西医院
技术研发日：2023.07.12
技术公布日：2023/8/13