一种辅助复诊的皮肤状态警示系统的制作方法

1.本发明涉及辅助复诊领域，特别是涉及一种辅助复诊的皮肤状态警示系统。


背景技术：

2.在许多医学应用领域，如口腔矫正、肝癌治疗等领域，由于当前复诊方式大多为线下医院/诊所，定期复诊受到较大的时空限制。所以目前已经有成型的复诊监测管理系统，一般包括拍摄端和处理端。对于拍摄端，先由专门的硬件设备由患者自己进行拍摄。然后对于处理端，系统用诸如图像锐化、3d模型重建等图像算法进行处理。在完成图像处理之后，向医生返回处理后的图像和建议复诊的结果。
3.然而，在皮肤病领域，尚无这样的复诊管理系统。由于大部分皮肤病呈现慢性、轻症、反复发作的特征，患者的线下复诊系统可以大大减轻医院方的压力，还能让医院获得对患者病症发展的动态了解。
4.在皮肤病的治疗之中，由于大部分皮肤病呈现慢性、轻症、反复发作的特征，所以患者不需要住院，即使病情恶化往往也会选择更换医院，而不是进行预后的反馈。故医院科室无法进行长期的追踪观察，对于疗效的检测往往不足，既无法对患者进行针对性的长期治疗，也无法根据以往病例的疗效，提升疗法的质量。研发新的皮肤病复诊工具可以将实现皮肤病病例的回流，对于皮肤科有着重要的医学和科研价值。当前许多其他科室采用了专门的设备进行复诊研究。然而暂时没有针对皮肤病的复诊系统。


技术实现要素：

5.本发明的目的是提供一种辅助复诊的皮肤状态警示系统，可实时监测患者的皮肤状态，动态调整用药方案，提高复诊效率。
6.为实现上述目的，本发明提供了如下方案：
7.一种辅助复诊的皮肤状态警示系统，包括：
8.皮肤图像获取单元，用于采集原始图像并根据所述原始图像确定目标皮肤图像；
9.病灶检测单元，与所述皮肤图像获取单元连接，用于基于目标检测模型，检测所述目标皮肤图像中的病灶候选框；所述目标检测模型为预先采用第一训练样本集对centernet网络进行训练得到的；所述第一训练样本集中包括多张第一样本图像及各第一样本图像中的病灶候选框；
10.分类单元，与所述病灶检测单元连接，用于根据所述原始图像及所述原始图像中的病灶候选框，基于双通道分类模型，确定各病灶候选框处的皮肤病类型；所述双通道分类模型为预先采用第二训练样本集对卷积神经网络进行训练得到的；所述第二训练样本集中包括多张第二样本图像、各第二样本图像中的病灶候选框及各病灶候选框的真实皮肤病类型；
11.警示单元，与所述分类单元连接，用于根据各病灶候选框处的皮肤病类型，确定皮肤状态严重程度数值。
12.可选地，所述皮肤图像获取单元包括：
13.图像采集模块，用于采集原始图像；
14.图像质检模块，与所述图像采集模块连接，用于判断所述原始图像的亮度是否满足设定范围且所述原始图像边缘的锐利程度是否大于设定阈值，若是，则保留所述原始图像，否则重新采集原始图像；
15.皮肤识别模块，与所述图像之间模块连接，用于基于皮肤分割模型，从所述原始图像中确定目标皮肤图像；所述皮肤分割模型为采用第三训练样本集对unet进行训练得到的；所述第三训练样本集中包括多张第三样本图像及各第三样本图像中皮肤区域的标记。
16.可选地，所述图像质检模块采用边缘算子提取所述原始图像的边缘，并确定边缘的锐利程度。
17.可选地，所述皮肤图像获取单元还包括：
18.定时模块，与所述图像采集模块连接，用于控制所述图像采集模块按设定时段采集原始图像。
19.可选地，所述辅助复诊的皮肤状态警示系统还包括：
20.样本获取单元，用于获取第二训练样本集；
21.预测单元，与所述样本获取单元连接，用于针对任一第二样本图像，将所述第二样本图像及所述第二样本图像中的病灶候选框输入卷积神经网络，得到各病灶候选框的预测类型；
22.训练单元，与所述预测单元连接，用于根据各第二样本图像中各病灶候选框的预测类型及真实皮肤病类型，确定损失函数，并基于所述损失函数，采用随机梯度下降及反向求导方法对卷积神经网络进行训练，直至损失函数收敛，得到双通道分类模型。
23.可选地，所述损失函数为交叉熵损失函数。
24.可选地，所述皮肤病类型包括黑头、白头、粉刺、丘疹、结节、脓疱、痘印及囊肿。
25.可选地，所述辅助复诊的皮肤状态警示系统还包括：
26.医疗建议单元，与所述警示单元连接，用于根据所述皮肤状态严重程度数值，基于知识图谱，确定相应的医疗建议；所述知识图谱为严重程度数值与对应的医疗建议的映射表。
27.根据本发明提供的具体实施例，本发明公开了以下技术效果：
28.通过皮肤图像获取单元采集原始图像并根据原始图像确定目标皮肤图像，病灶检测单元基于目标检测模型检测目标皮肤图像中的病灶候选框，分类单元根据原始图像及原始图像中的病灶候选框，基于双通道分类模型确定各病灶候选框处的皮肤病类型，警示单元根据各病灶候选框处的皮肤病类型，确定皮肤状态严重程度数值。严重程度数值能够更好地监测患者的皮肤状态，动态调整用药方案，进而提高了复诊效率。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
30.图1为本发明辅助复诊的皮肤状态警示系统的模块示意图。
31.符号说明：
32.皮肤图像获取单元-1，病灶检测单元-2，分类单元-3，警示单元-4，医疗建议单元-5。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.本发明的目的是提供一种辅助复诊的皮肤状态警示系统，通过返回皮肤状态的严重程度数值，医生能够动态地调整用药方案，达到针对性用药的目的，并且可以获得患者全病程变化的数据，提高复诊效率。
35.大多数皮肤病诊断不需要专门的病理切片，只需要皮肤表面的照片即可进行诊断，本发明可以追踪患者在特定皮肤病上的发展阶段，帮助医院收集监测患者的疾病变化动态，从而给出更有针对性的长期治疗方案，提升科室的科研水平。
36.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
37.如图1所示，本发明辅助复诊的皮肤状态警示系统包括：皮肤图像获取单元1、病灶检测单元2、分类单元3及警示单元4。
38.皮肤图像获取单元1用于采集原始图像并根据所述原始图像确定目标皮肤图像。
39.具体地，皮肤图像获取单元1包括：图像采集模块、图像质检模块及皮肤识别模块。
40.其中，图像采集模块用于采集原始图像。
41.图像质检模块与所述图像采集模块连接，图像质检模块用于判断所述原始图像的亮度是否满足设定范围且所述原始图像边缘的锐利程度是否大于设定阈值，若是，则保留所述原始图像，否则重新采集原始图像。具体地，图像质检模块采用边缘算子提取所述原始图像的边缘，并确定边缘的锐利程度。如果图像边界不够锐利，则判定为模糊图片，以防图片过度模糊以至于检测不出病灶。
42.具体地，为了保证输入图像的质量，面部区域内图像的亮度不能过亮也不能过暗，以保证画面整体光亮处于便于后续模型识别的范围内，否则光照不足和光照过曝的图像会使得接下来的目标检测模型及双通道分类模型变得难以实现，因此本发明通过检测原始图像的亮度来实现对光照的质检。
43.皮肤识别模块与所述图像之间模块连接，皮肤识别模块用于基于皮肤分割模型，从所述原始图像中确定目标皮肤图像。所述皮肤分割模型为采用第三训练样本集对unet进行训练得到的。所述第三训练样本集中包括多张第三样本图像及各第三样本图像中皮肤区域的标记。皮肤识别模块防止用户误上传非皮肤图像。
44.皮肤分割模型的损失函数是交叉熵的变形：
45.e＝σ
x∈ω
w(x)log(p
l(x)
(x))；
46.其中，e为皮肤分割模型的损失函数值，ω为第三训练样本集，w(x)是一个和重叠
面积相关的系数，p
l(x)
为皮肤分割模型输出的第三样本图像x为正类的概率。
47.通过图像之间模块及皮肤识别模块可获得患者当前不同角度的光照适中、清晰的皮肤病灶图像。
48.进一步地，皮肤图像获取单元1还包括定时模块。定时模块与所述图像采集模块连接，定时模块用于控制所述图像采集模块按设定时段采集原始图像。
49.具体地，对于参与复诊的患者，定时模块会根据患者和医生事先设定的时间间隔，定时向患者发送用药提醒，并同时提醒患者完成测肤，以监测患者当前皮肤状态。患者亦可选择在面部皮肤病发病时，自行发起额外的测肤过程。值得注意的是，在皮肤病领域，测肤一般不用于复诊。对于复诊，将诊断后的用药和测肤流程放置在一起可以减轻患者对于信息采集的抵触心理。在得到用药及检测提醒后，患者在拍摄角度的提示下拍摄一张患处的照片，即原始图像。
50.病灶检测单元2与所述皮肤图像获取单元1连接，病灶检测单元2用于基于目标检测模型，检测所述目标皮肤图像中的病灶候选框(包含病灶位置)。所述目标检测模型为预先采用第一训练样本集对centernet网络进行训练得到的。所述第一训练样本集中包括多张第一样本图像及各第一样本图像中的病灶候选框。
51.分类单元3与所述病灶检测单元2连接，分类单元3用于根据所述原始图像及所述原始图像中的病灶候选框，基于双通道分类模型，确定各病灶候选框处的皮肤病类型。所述双通道分类模型为预先采用第二训练样本集对卷积神经网络进行训练得到的。所述第二训练样本集中包括多张第二样本图像、各第二样本图像中的病灶候选框及各病灶候选框的真实皮肤病类型。
52.双通道分类模型根据皮肤病的局部信息(病灶候选框)和全局信息(原始图像)通过前向推导分类结果，确认分类的病种情况。对于每一个病灶候选框，都可以通过将其与原始图像一起输入双通道分类模型，从而获得其分类结果。比如将目标皮肤图像输入目标检测模型之后，划出了三个病灶候选框，即模型输出的疑似病灶区域。接着将病灶候选框分别与原始图像一起输入双通道分类模型，可以获得最终结果。
53.警示单元4与所述分类单元3连接，警示单元4用于根据各病灶候选框处的皮肤病类型，确定皮肤状态严重程度数值。
54.在双通道分类模型的训练方面，本发明辅助复诊的皮肤状态警示系统还包括：样本获取单元、预测单元及训练单元。
55.其中，样本获取单元用于获取第二训练样本集。
56.预测单元与所述样本获取单元连接，预测单元用于针对任一第二样本图像，将所述第二样本图像及所述第二样本图像中的病灶候选框输入卷积神经网络，得到各病灶候选框的预测类型。
57.训练单元与所述预测单元连接，训练单元用于根据各第二样本图像中各病灶候选框的预测类型及真实皮肤病类型，确定损失函数，并基于所述损失函数，采用随机梯度下降及反向求导方法对卷积神经网络进行训练，直至损失函数收敛，得到双通道分类模型。其中，损失函数为交叉熵损失函数：
58.59.其中，n为第二样本图像的数量，m为病灶候选框类型的数量，pic为第i个样本分类为c的模型输出的样本概率，当第i个样本分到c类为正确时，yic为1，否则为0。
60.在本实施例中，皮肤病类型包括黑头、白头、粉刺、丘疹、结节、脓疱、痘印及囊肿。
61.为了进一步提高复诊的效率，本发明辅助复诊的皮肤状态警示系统还包括医疗建议单元5。医疗建议单元5与所述警示单元4连接，医疗建议单元5用于根据所述皮肤状态严重程度数值，基于知识图谱，确定相应的医疗建议。所述知识图谱为严重程度数值与对应的医疗建议的映射表。
62.在获得病灶候选框的位置及其分类结果后，本发明会根据丘疹、结节、脓疱的数目、痘坑痘印的个数以及囊肿的面积大小，通过加权计算，得到病情的严重程度数值。并且通过当前各种病灶征象的数值，查询知识图谱向患者返回相应的医疗建议。同时，本发明也会将各病灶候选框的位置及其分类结果发送给医生作为治疗的参考。通过返回给整理后的严重程度数值和整理后的过往用药方案，医生可以更好地监测患者的皮肤状态，动态地调整用药方案，从而达到针对性用药的目的。知识图谱是一个根据不同特征严重程度的映射表。当白头、黑头较为严重的时候，就自动调取含白头黑头文章的数据库。
63.严重程度数值的计算公式采用改良后的gags(global acne grading system，痤疮分级系统)。发现黑头或白头或粉刺记一分；发现丘疹记两分；发现脓疱记三分；发现囊肿记四分。然后将得分按位置乘以位置权重，鼻权重为1，额头、脸颊、下巴权重为2，其他部位权重为3。加总分数1-18为轻微，19-30为中度，31-38为重度，39以上为极重度。
64.相比于gags，本发明去除了按照部位区分的权重，引入痘坑痘印个数和囊肿面积大小作为权重，其中痘坑痘印个数按照对数函数做平滑，而囊肿面积大小则会取开根号后的数值。最终严重程度数值的计算公式为：
[0065][0066]
其中，x1～x4分别为黑头/白头/粉刺、丘疹、结节、脓疱的个数，y1～y2分别为痘印区域和囊肿区域的面积，α1～α4和β1～β4为调整系数。阈值则是通过经验设置出来的。
[0067]
本发明整个复诊流程均可以在线上完成，无需到院就诊，极大的提高了复诊的效率。
[0068]
比如，一个重度痤疮的患者，因为各种原因，无法天天去医院门诊，所以选择在线上监测自己的病情。每日患者会根据本发明的提醒定期上传患处的图像，或者在病情严重之时上传患处的图像。本发明会送出医生既往的用药建议，并发起皮肤病检测流程。患者上传的图像会先通过质检，随后再通过目标检测模型筛选出病灶候选框。接着通过双通道分类模型返回病灶的分类结果。比如本发明发现患者有三处病灶，分别为囊肿、痘印和脓疱。最后本发明会将得到的疑似病灶结果总结成数值，并发送给医生，提醒他做出针对性的动态的治疗方案。
[0069]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的系统及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种辅助复诊的皮肤状态警示系统，其特征在于，所述辅助复诊的皮肤状态警示系统包括：皮肤图像获取单元，用于采集原始图像并根据所述原始图像确定目标皮肤图像；病灶检测单元，与所述皮肤图像获取单元连接，用于基于目标检测模型，检测所述目标皮肤图像中的病灶候选框；所述目标检测模型为预先采用第一训练样本集对centernet网络进行训练得到的；所述第一训练样本集中包括多张第一样本图像及各第一样本图像中的病灶候选框；分类单元，与所述病灶检测单元连接，用于根据所述原始图像及所述原始图像中的病灶候选框，基于双通道分类模型，确定各病灶候选框处的皮肤病类型；所述双通道分类模型为预先采用第二训练样本集对卷积神经网络进行训练得到的；所述第二训练样本集中包括多张第二样本图像、各第二样本图像中的病灶候选框及各病灶候选框的真实皮肤病类型；警示单元，与所述分类单元连接，用于根据各病灶候选框处的皮肤病类型，确定皮肤状态严重程度数值。2.根据权利要求1所述的辅助复诊的皮肤状态警示系统，其特征在于，所述皮肤图像获取单元包括：图像采集模块，用于采集原始图像；图像质检模块，与所述图像采集模块连接，用于判断所述原始图像的亮度是否满足设定范围且所述原始图像边缘的锐利程度是否大于设定阈值，若是，则保留所述原始图像，否则重新采集原始图像；皮肤识别模块，与所述图像之间模块连接，用于基于皮肤分割模型，从所述原始图像中确定目标皮肤图像；所述皮肤分割模型为采用第三训练样本集对unet进行训练得到的；所述第三训练样本集中包括多张第三样本图像及各第三样本图像中皮肤区域的标记。3.根据权利要求2所述的辅助复诊的皮肤状态警示系统，其特征在于，所述图像质检模块采用边缘算子提取所述原始图像的边缘，并确定边缘的锐利程度。4.根据权利要求2所述的辅助复诊的皮肤状态警示系统，其特征在于，所述皮肤图像获取单元还包括：定时模块，与所述图像采集模块连接，用于控制所述图像采集模块按设定时段采集原始图像。5.根据权利要求1所述的辅助复诊的皮肤状态警示系统，其特征在于，所述辅助复诊的皮肤状态警示系统还包括：样本获取单元，用于获取第二训练样本集；预测单元，与所述样本获取单元连接，用于针对任一第二样本图像，将所述第二样本图像及所述第二样本图像中的病灶候选框输入卷积神经网络，得到各病灶候选框的预测类型；训练单元，与所述预测单元连接，用于根据各第二样本图像中各病灶候选框的预测类型及真实皮肤病类型，确定损失函数，并基于所述损失函数，采用随机梯度下降及反向求导方法对卷积神经网络进行训练，直至损失函数收敛，得到双通道分类模型。6.根据权利要求5所述的辅助复诊的皮肤状态警示系统，其特征在于，所述损失函数为交叉熵损失函数。
7.根据权利要求1所述的辅助复诊的皮肤状态警示系统，其特征在于，所述皮肤病类型包括黑头、白头、粉刺、丘疹、结节、脓疱、痘印及囊肿。8.根据权利要求1所述的辅助复诊的皮肤状态警示系统，其特征在于，所述辅助复诊的皮肤状态警示系统还包括：医疗建议单元，与所述警示单元连接，用于根据所述皮肤状态严重程度数值，基于知识图谱，确定相应的医疗建议；所述知识图谱为严重程度数值与对应的医疗建议的映射表。

技术总结
本发明提供一种辅助复诊的皮肤状态警示系统，属于辅助复诊领域，皮肤状态警示系统包括：皮肤图像获取单元，用于采集原始图像并根据原始图像确定目标皮肤图像；病灶检测单元，用于基于目标检测模型检测目标皮肤图像中的病灶候选框；目标检测模型为预先采用第一训练样本集对CenterNet网络进行训练得到的；分类单元，用于根据原始图像及原始图像中的病灶候选框，基于双通道分类模型确定各病灶候选框处的皮肤病类型；双通道分类模型为预先采用第二训练样本集对卷积神经网络进行训练得到的；警示单元，用于根据各病灶候选框处的皮肤病类型，确定皮肤状态严重程度数值。能够更好地监测患者的皮肤状态，动态调整用药方案，提高了复诊效率。复诊效率。复诊效率。


技术研发人员：李寰宇 吕君蔚 胡锟 沈玥 朱玲
受保护的技术使用者：李寰宇
技术研发日：2023.03.31
技术公布日：2023/8/21