一种基于深度学习的线粒体分割与分类方法

1.本发明属于生物医学图像处理技术领域，具体涉及一种基于深度学习的线粒体超分辨图像的分割与分类方法。


背景技术：

2.线粒体是真核细胞中最重要的细胞器之一，它通过产生三磷酸腺苷(adenosine triphosphate，atp)来执行重要的细胞功能，被称为细胞的发电站。与此同时，它在细胞的生命活动，包括疾病状态的调节过程中发挥着重要作用。细胞内线粒体的分布存在显著的异质性，且线粒体形态的变化与多种重要细胞功能和细胞死亡途径有关。线粒体的形态特征可以从复杂分支的丝状结构演变为圆形结构，这一分裂过程与吞噬作用的增强、解偶联增加和活性氧(reactive oxygen species，ros)的产生增加有关。线粒体形态和结构的改变可能预示肿瘤进展的早期事件和癌症的发生；且分裂过后零散的线粒体会导致癌细胞的增殖和转移，这表明线粒体表型和形态可能作为癌症诊断、癌细胞代谢状态分析、抗肿瘤治疗靶点和反应的重要依据。
3.活细胞中的线粒体结构是高度动态的。显微镜的点扩散函数会导致三维模糊，使得离焦结构以不同的强度和模糊轮廓出现在焦点上，图像的信噪比较差。而且，线粒体运动的可变性以及多个重叠结构产生的高强度斑点，都会让图像中包含的信息进一步复杂化。这些因素导致对细胞内线粒体结构进行超分辨荧光成像后难以直接进行具象化的分析，所以需要对线粒体进行图像分割并对其空间分布和形态进行量化。然而，人工手动分割细胞中的小而动态的大量线粒体是一项十分耗时耗力的艰巨任务。此外，图像中的线粒体个数较多且形态各异，很难主观量化线粒体的健康状况，且人工分析海量的生物医学影像耗时耗力。
4.近年来，研究人员运用多种自动图像处理和分析技术来分割、量化和分析大量生成显微镜图像中的线粒体，但目前仍缺乏一种较为完善的方法来实现线粒体超分辨图像的定性与定量分析，用于探究其形态学变化与细胞生命活动之间的规律，助力细胞器功能障碍相关疾病(如肿瘤、糖尿病、神经退行性疾病等)预、诊、疗等方面的研究。


技术实现要素：

5.深度学习算法在生物医学图像分析方面取得了巨大成功，深度学习建立类似于人脑进行分析学习的神经网络，并模仿人脑的机制来解释数据。这一特性对于通常具有复杂纹理和由于不同细胞特征以及样本处理中的批次变化而呈现出极大差异的生物医学图像特别重要。但是由于深度学习提取特征的过程是“黑箱难题”——人们无法理解和了解其背后的数据逻辑和代码逻辑，其是具有一定的不可解释性。
6.有鉴于此，本发明为解决现有进行线粒体形态学分析处理的技术方法和模型存在的鲁棒性和准确性较低，以及无法定性与定量分析的问题，探究了一种基于深度学习的线粒体超分辨图像的分割与分类方法，旨在提升医护人员及科技工作者的工作效率与准确
与“理性分析”相结合往往达到更好的效果。
25.s7：得到搭建并训练好的基于深度学习的线粒体超分辨图像的分割与分类模型。
26.进一步地，所述改进模型u-rnet+包括104个卷积层和16个池化层，且模型分为前半部分的下采样(downsampling)部分和紧随其后的上采样(upsampling)部分；
27.其中，下采样部分是典型的卷积神经网络结构，重复5次采用了两个卷积层和一个池化层的组合结构；在其每个卷积层之后加入并改进了残差单元的结构，一个改进的残差单元由一个改进的卷积残差块和两个改进的恒等残差块组成；其中，改进的卷积残差块中将主路和侧路的步长为2的卷积层均替换为由步长为1的卷积层和池化层构成的组合层，改进的恒等残差块中侧路的输入层替换为步长为1的卷积层；
28.上采样部分先进行转置卷积的操作，然后通过拼接对应左侧通道同一维度的特征图，重新组成一个新的特征图，再采用两个卷积层进行特征提取，重复这一结构4次；
29.此外，由于u-rnet+模型的跳跃连接跨度逐渐增加，对最外层特征图在混合维度(convolutional block attention module，cbam)、即空间维度和通道维度增加注意力机制(attention module)。在最后的输出层，将特征图映射成输出结果图；
30.所述改进模型cnn-11包括5个卷积层，3个池化层，2个全连接层和1个softmax回归层；设置顺序为：1.卷积层、2.池化层、3.卷积层、4.池化层、5.卷积层、6.卷积层、7.卷积层、8.池化层、9.全连接层10.全连接层、11.softmax回归层；
31.其中，卷积层用于减少图像噪声，提取图像的特征；
32.池化层用于进行特征降维，去除冗余信息，保持特征图像的平移不变性、旋转不变性和尺度不变性；
33.全连接层用于将前层计算得到的特征空间映射整合成值输出；
34.softmax回归层则对输出值进行分类；
35.所述图像融合模型xgboost所使用的特征向量包括通过cnn-11获取的线粒体类别的预测及分数和基于图像处理算法获取的线粒体图像的形态学参数指标。
36.进一步地，所述改进模型u-rnet+训练的实现条件为：
37.编程的实现语言为python，使用的高级神经网络api为keras，配置了用于实现该任务的虚拟环境mitounet，其中主要用到的python工具包及对应版本为libtiff＝4.2.0，matplotlib＝3.0.3，opencv＝4.5.4，pandas＝1.2.4，numpy＝1.19.5，keras-preprocessing＝1.1.2，tensorflow＝2.5.0，tensorflow-gpu＝2.5.0；
38.超参数具体为：激励函数是relu，优化器设置为adam，损失函数为二元交叉熵函数，批次大小设置为2，学习率为1
×
10-4
，迭代次数为0.5
×
103次；
39.改进模型cnn-11训练的实现条件为：
40.编程的实现语言为python，使用的高级神经网络api为tensorflow，配置了用于实现该任务的虚拟环境mitocnn，其中主要用到的python工具包及对应版本为matplotlib＝3.3.4，numpy＝1.19.0，pandas＝1.1.5，opencv＝4.5.5，tensorflow＝1.9.0，tensorflow-gpu＝1.9.0；
41.超参数具体为：激励函数为sigmoid，优化器设置为adam，损失函数为mean squared error，批次大小设置为32，学习率为1
×
10-5
，迭代次数为1
×
105次。
42.上述两个模型的训练参数均可以调整更新，但以上参数均目前优选的参数。在模
型训练时，以模型收敛为目标，其评价指标为改进模型cnn-11超参数中的损失函数，当模型训练集的损失函数值下降至趋于稳定且波动较小，代表模型达到收敛状态，即训练好。
43.获取线粒体形态学参数指标图像处理算法实现条件为：
44.编程的实现语言为python，主要使用的python工具包包及对应版本为numpy＝1.18.0，matplotlib＝3.5.2，opencv＝3.4.2，scikit-image＝0.19.2，scipy＝1.4.1，mkl-random＝1.2.2，backport.shutil-which＝3.5.2，pandas＝1.13.0，request＝2.27.1；
45.图像融合模型xgboost训练实现条件为：
46.编程的实现语言为python，使用的机器学习库为scikit-learn。配置了用于实现该任务的虚拟环境mitoxgb，其中主要用到的python工具包及对应版本为xgboost＝1.5.0，matplotlib＝3.5.2，numpy＝1.21.5，xlwt＝1.3.0，pandas＝1.4.4，scikit-learn＝1.1.1；
47.参数具体为：booster＝gbtree，eta＝0.3，max_depth＝5，min_child_weight＝3，gamma＝0.1，subsample＝0.7，lambda＝3，objective＝reg:gamma，colsample_bytree＝0.7，seed＝0，nthread＝4，迭代次数为5
×
103。
48.进一步地，s1具体步骤如下：
49.将细胞内线粒体进行染色并制成荧光样品(即荧光染料染色法)，使用sim显微成像设备对线粒体进行成像，拍摄采集至少1000张2048
×
2048分辨率的线粒体超分辨荧光图像。
50.进一步地，步骤2)具体为：
51.s2.1使用python编程批量化将s1得到的线粒体超分辨荧光图像按照固定像素尺寸的滑动窗口裁切为若干512
×
512分辨率的图像块(将原图进行裁剪目的有二：1.增加了总的训练图像数量，同时减少了单张图像的数据标记工作量，有利于模型的训练；2.单张图像中的无效背景信息和噪点存在一定的占比，将其进行裁切和筛选有利于保证训练数据的质量和单张图像的信息含量占比。利用裁剪工具进行裁剪，可大大提升处理效率)，并筛除无效背景信息和噪点占比高的图像块，剩余的具有形态学代表意义的高质量图像图像块组成用于图像分割模型训练的数据集，并按比例(4:1:5)划分成训练集、验证集以及测试集；
52.s2.2使用labelme图像标注软件对训练集和验证集进行线粒体轮廓的手动标注，标注完成后生成相应数量的json文件；比如：400张训练集和100张验证集进行手动标注后，生成对应的500个json文件；
53.s2.3使用编写的test.bat脚本批量化地提取json文件中的信息，包括原图、标记图、标签名称、代表标记内容的yaml文件；标记图中的黑色代表背景、白色为标记的线粒体轮廓；
54.s2.4使用python编程将上述原图和标记图按顺序逐个提取并按特定的规则命名(可按照0，1，2，3，4，5...的数字顺序命名)，并各自归类到data和label文件夹中。
55.进一步地，所述s4具体步骤如下：
56.使用python编程将s3获取的二值化分割图像中线粒体像素值小于3％的图像筛除，使用顺时针旋转和垂直翻转的数据增广策略扩充数据，最终获得数量扩充的训练集和测试集；
57.标注过程是将健康且大部分呈丝状的线粒体图像和病变且大部分呈圆形的线粒
体图像进行命名，最终各自归类到fusion和fission文件夹中。
58.进一步地，s6具体步骤如下：
59.s6.1基于opening area算法实现线粒体分割图像的形态学去噪；
60.s6.2基于图像处理算法，获取线粒体图像的102种形态学参数指标，包括线粒体平均面积，中位数面积，面积标准差，平均离心率，中位数离心率，离心率标准差，平均等径线，中位数等径线，等径线标准差，平均欧拉数，中位数欧拉数，欧拉数标准差，平均延展度，中位数延展度，延展度标准差，平均主轴长度，中位数主轴长度，主轴长度标准差，平均次轴长度，中位数次轴长度，次轴长度标准差，平均方向，中位数方向，方向标准差，平均周长，中位数周长，周长标准差，平均凸度，中位数凸度，凸度标准差，重心x坐标平均值，重心x坐标中位数，重心x坐标标准差，重心y坐标平均值，重心y坐标中位数，重心y坐标标准差，距离平均值，距离中位数，距离标准差，加权重心x坐标平均值，加权重心x坐标中位数，加权重心x坐标标准差，平均加权中心y坐标，中位数加权中心y坐标，加权中心y坐标标准差，平均加权距离，中位数加权距离，加权距离标准差，平均形态因子，中位数形态因子，形态因子标准差，平均圆度，中位数圆度，圆度标准差，平均分支计数，中位数分支计数，分支计数标准差，平均分支长度，中位数分支长度，分支长度标准差，平均总分支长度，中位数总分支长度，总分支长度标准差，平均中位分支长度，中位数中位分支长度，中位分支长度标准差，分支长度标准差，平均加权分支角度，中位数加权分支角度，分支角度标准差，平均中位分支角度，中位数中位分支角度，中位分支角度标准差，平均分支角度标准差，中位数分支角度标准差，分支角度标准差标准差，平均总密度，中位数总密度，总密度标准差，平均平均密度，中位数平均密度，平均密度标准差，平均中位密度，中位数中位密度，中位密度标准差，峰度x，加权峰度x，峰度y，加权峰度y，峰度平方，加权峰度平方，偏度x，加权偏度x，偏度y，加权偏度y，偏度平方，加权偏度平方，网络方向(度)，网络主轴(像素)，网络次轴(像素)，网络离心率，网络有效范围，网络有效实心度，网络分形维数；
61.s6.3将以上获得的线粒体形态学参数和s5输出的结果共同输入至xgboost模型进行分析，获得线粒体类别的预测及分数。
62.同时，本发明提供了一种基于深度学习的线粒体分割与分类模型，其特殊之处在于，采用上述方法搭建训练得到。
63.以及，一种基于深度学习的线粒体分割与分类方法，其特殊之处在于：使用权利要求1-7任一方法建立得到的模型进行线粒体分割与分类，将待处理的线粒体超分辨荧光图像输入至该模型中，获得线粒体类别的预测及分数。
64.一种计算机可读存储介质及电子设备，其上存储有计算机程序，其特殊之处在于：所述计算机程序被处理器执行时实现上述方法的步骤。
65.本发明的原理：
66.本发明通过sim显微镜拍摄并获取大量线粒体超分辨荧光显微图像；使用python编程对图像进行预处理并使用labelme软件进行图像标注，作为模型训练时所使用的数据集；搭建并训练了u-net改进模型u-rnet+，用于超分辨荧光图像中线粒体的形态分割、生成相应伪彩图并量化其荧光强度；在分割图像的基础上，搭建并训练了cnn改进模型cnn-11模型，并与xgboost模型融合进一步优化了模型，用于线粒体分割图像的形态学分类。
67.本发明与现有技术相比，具有如下的优点：
68.1.本发明通过图像分割和图像分类结合的“分割-分类”思路实现了对线粒体超分辨图像的定性与定量分析。其中，图像分割部分体现出了定量，深度学习可以量化每个图像中线粒体的形态轮廓，并量化线粒体伪彩色图像的荧光强度。图像分类部分体现出了定性和定量，深度学习可以将不同形态的线粒体分类从而定性(圆形或丝状)，并统计圆形线粒体的占比从而量化当前细胞内线粒体的整体病变程度。具体地，本发明融合u-net模型、改进的残差网络和注意力机制相结合实现线粒体超分辨图像分割的方法，通过python编程与u-rnet+模型融合批量生成的兼顾原始图像色彩信息和分割图像轮廓信息的线粒体伪彩图，并且使用融合cnn模型和xgboost模型实现线粒体分割图像分类的方法，具有一定的可解释性，且分割时借用工具，效率以及准确度均大幅提升。
69.2.本发明提供的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：本发明提升了线粒体超分辨图像分割的分割性能，无论是在轮廓信息的保留、噪点的去除、轮廓的清晰及连续程度上均更加优秀，且能正确分割出特殊形态(如圆环形)的线粒体。本发明可以做到运行一次处理数以千计的图像，且平均处理一张图像仅需约0.6s，具有高通量、快速的特点。
70.3.本发明使用u-rnet+与cnn-11+xgboost实现的线粒体超分辨图像的分割与分类具有很高的应用潜力与应用价值。cnn-11+xgboost的融合模型的拟合效果比单独使用cnn-11模型或xgboost模型更好。cnn-11模型模拟大脑工作，代表着“感性思考”，xgboost模型使用数学统计学方法，代表着“理性分析”，在实际应用中将“感性思考”与“理性分析”相结合往往达到更好的效果。
71.4.通过本发明对线粒体损伤程度进行预测与评估，其结果与相关生物测试实验结果较为吻合。这表明可以通过本发明辅助生物实验从而减少大量繁琐细胞实验，相较于目前处于国际前沿的线粒体图像分割工具，本发明在图像分割的质量、通量和效率上均展现出了优势，此外，本发明通过分类实现了对线粒体的定量和定性分析，并为后期线粒体检测、线粒体治疗、线粒体植入等前沿生物医学应用提供评估工具。
72.5.本发明可以实现高通量、快速且自动化的图像分割，并获得兼顾原始图像色彩信息和分割图像轮廓信息的伪彩图及其荧光强度的量化评估。
附图说明
73.图1为本发明提供的基于深度学习的线粒体图像的分割与分类方法流程图；
74.图2为本发明提供的分割模型的训练图像预处理及标注流程图；
75.图3为本发明提供的用于线粒体超分辨图像分割的u-net模型架构图；
76.图4为本发明提供的改进模型u-rnet+中的改进残差单元；
77.图5为本发明提供的改进模型u-rnet+中的cbam注意力机制；
78.图6为本发明提供的改进模型u-rnet+与基础u-net模型的分割结果对比，改进模型u-rnet+在轮廓信息的保留、噪点的去除、轮廓的清晰及连续程度均优于u-net模型；
79.图7为本发明提供的兼顾了原始图像色彩信息和分割图像轮廓信息的伪彩图及其荧光强度的量化评估；
80.图8为本发明提供的分类模型的训练图像预处理及标注流程图；
81.图9为本发明提供的用于线粒体分割图像分类的cnn-11模型架构图；
82.图10为本发明提供的用于获取线粒体形态学指标的图像处理算法以及cnn-11与xgboost融合算法；
83.图11为本发明提供的药物作用剂量关系下预测拟合曲线与实际mmp损伤情况的对比；
84.图12为本发明提供的药物作用时间关系下预测拟合曲线与实际mmp损伤情况的对比。
具体实施方式
85.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
86.以下结合附图和具体实施例对本发明的内容作进一步的详细描述：
87.一种基于深度学习的线粒体超分辨图像的分割与分类方法，如图1所示，具体包括part1数据集制作步骤，part2模型搭建及训练步骤，part3模型应用步骤和part4应用评估步骤。
88.part1数据集制作步骤，如图2所示，具体包括以下3个步骤：
89.s1：采用荧光染料染色等方法对细胞内线粒体进行染色并制成荧光样品，使用sim显微成像设备对线粒体进行成像，拍摄采集共计约1.1
×
103张2048
×
2048分辨率的线粒体超分辨荧光图像。
90.s2：使用python编程批量化将线粒体超分辨荧光图像按照固定像素尺寸的滑动窗口裁切为若干512
×
512分辨率的图像块，并筛除无效背景信息和噪点占比较高的图像块，剩余的1
×
103张具有形态学代表意义的高质量图像图像块组成用于图像分割模型的数据集，并划分成400张训练集，100张验证集和500张测试集。
91.s3：使用labelme图像标注软件对400张训练集和100张验证集进行线粒体轮廓的手动标注，共计标注超1
×
105个线粒体，标注完成后生成对应的500个json文件。使用编写的test.bat脚本批量化地提取json文件中的信息，包括原图、标记图、标签名称、代表标记内容的yaml文件等。标记图中的黑色代表背景、白色为标记的线粒体轮廓。使用python编程将这些信息中的原图和标记图按顺序逐个提取并按特定的规则命名，并各自归类到data和label文件夹中。
92.part2模型搭建及训练步骤主要包括以下4个步骤：
93.s1：将part1步骤制作的数据集对u-net改进模型u-rnet+进行训练，训练过程的输入为图像数据，学习目标为线粒体的空间分布和形状轮廓，输出结果为包含线粒体空间分布和形状轮廓的二值化分割图像；
94.s2：将通过u-rnet+模型得到的二值化分割图像，使用python编程将图像自动筛选和扩充实现数据增广，并给将不同形态的线粒体分别归类到对应的标签文件夹之中。
95.s3：使用s2标注的数据集对cnn改进模型cnn-11进行训练，训练过程的输入为s2制作的数据集(图像分割模型得到的二值化分割图像结果)，学习目标为线粒体的形状类别，输出结果为线粒体类别的预测及分数；
96.s4：使用xgboost模型进行训练，训练过程的输入为s3图像分类模型得到的线粒体类别的预测及分数和基于图像处理算法获取的线粒体图像的形态学参数指标，学习目标为线粒体的形状类别，输出结果为线粒体类别的预测及分数。
97.具体：
98.s1中改进模型u-rnet+图像分割模型的基础模型是u-net，如图3所示。前半部分(即图3中左半部分)的下采样(downsampling)过程是典型的卷积神经网络结构，重复5次采用了2个卷积层(conv2d)和1个池化层(maxpooling)的组合结构。后半部分(即图3中右半部分)的上采样(upsampling)过程，首先进行转置卷积进行特征还原，然后通过跳跃连接(skip connection)对应下采样过程中同一维度的特征进行维度拼接(concatenate)，再采用两个典型的卷积层进行特征提取。重复“特征还原—维度拼接—特征提取”的结构4次。
99.其中，转置卷积的作用是对高维度的抽象特征进行降维还原，恢复上采样过程中丢失的位置信息，补充了图像的细节，使特征图的大小逐步还原到初始大小。由于上采样过程只能恢复图像的大小而不能恢复图像的细节部分，所以通过跳跃连接将多尺度特征融合在一起，将上采样过程中的大尺度特征和对应左侧通道同一维度的位置特征进行拼接重组，增加该维度描述图像的信息含量。这一做法充分考虑了图像的位置和维度关系，使得结果具有空间一致性。在最后的输出层，u-net丢弃了传统的全连接层，用两个卷积层将特征图映射为二维输出图和一维矩阵。
100.s1中改进模型u-rnet+图像分割模型是在u-net基础网络的每个卷积层之后加入改进后的残差网络。由于基础模型u-net的网络层数较浅，提取的特征较为简单。理论上当想要提取更深层次的特征时，需要加深网络层数，但同时会遇到梯度消失和梯度爆炸的问题。针对这一问题的传统解决方案是对数据进行正则化，但该方法会导致模型性能的退化。残差网络(residual networks)的出现有助于解决梯度消失和梯度爆炸问题，且在网络层数加深后仍然能保持较好的性能。一个改进的残差单元由一个改进的卷积残差块和两个改进的恒等残差块组成。其中，改进的卷积残差块中主路和侧路的步长为2的卷积层均替换为步长为1的卷积层和池化层组合，改进的恒等残差块中侧路的输入层替换为步长为1的卷积层，如图4所示。该部分加入池化层是为了增加图像特征的平移不变性，使得高层特征具有更大的感受野(receptive field)，并保持了图像的纹理特征，且池化的逐点操作相比卷积层的加权和更有利于优化求解。
101.s1中改进模型u-rnet+图像分割模型增加了cbam(convolutional block attention module)机制，如图5所示。随着网络层数的加深，u-rnet+模型的跳跃连接跨度也逐渐增加。且由于最外层跳跃连接所使用特征图的信息最多，最容易在维度拼接的过程中出现错误。因而对u-rnet+最外层跳跃连接传递的特征图在混合维度、即空间维度和通道维度增加注意力机制(attention module)，能够从大量的信息中筛选出重要的部分。cbam将通道注意力机制和空间注意力机制进行结合，它会对输入特征分别进行通道注意力机制的处理和空间注意力机制的处理。通道注意力机制的实现是对输入特征分别进行全局平均池化和全局最大池化。空间注意力机制会对输入特征在每一个特征点的通道上取最大值和平均值，将它们进行堆叠并利用卷积调整通道数，最后将获得的输入特征每一个特征点的权值与原输入特征层相乘即可。
102.s1中u-rnet+模型模型由104个卷积层(conv2d)、16个池化层(maxpooling)组成。
模型由前半部分的下采样(downsampling)部分和后半部分的上采样(upsampling)部分组成。下采样部分是典型的卷积神经网络结构，它重复5次采用了2个具有3
×
3卷积核、批归一化处理和relu激活函数的卷积层(黄色长方体)和1个最大池化层(橙色长方体)的组合结构。5次下采样过程分别得到大小为256
×
256
×
64、64
×
64
×
128、16
×
16
×
256、4
×4×
512和2
×2×
1024的特征图。上采样部分先进行两次转置卷积(蓝色长方体)的操作以及基于双线性插值的上采样模块(橙色长方体)，然后通过跳跃连接拼接对应左侧通道同一维度的特征图，恢复了下采样过程中空间信息的损失，重新组成一个新的特征图(绿色长方体)，再采用两个卷积层进行特征提取，重复这一结构4次。4次上采样过程分别得到大小为8
×8×
512、32
×
32
×
256、128
×
128
×
128和512
×
512
×
64的特征图。在最后的输出层，使用一个具有1
×
1卷积核、批归一化处理和sigmoid激活函数的卷积层得到大小为512
×
512
×
1的输出，使用softmax层来预测输出中两类标签(线粒体和背景)的概率，并将特征图映射成输出结果图。
103.s1中u-rnet+模型的训练过程采用的激励函数是relu，优化器设置为adam，损失函数为二元交叉熵函数，批次大小设置为2，学习率为1
×
10-4
，迭代次数为0.5
×
103次，保存模型训练后的权重参数并用于测试集。
104.s2中通过python编程实现了顺时针旋转和垂直翻转的数据增广策略用于扩充数据，最终获得约7
×
103张训练集，将丝状的线粒体图像和圆状线粒体图像按特定的规则命名，并各自归类到fusion和fission文件夹中，如图6所示。在图像分类任务中，数据增广是一种常用的正则化方法，其目的为扩增数据集数量，尽可能丰富数据集的多样性，从而增强训练模型的泛化能力。这样的数据预处理操作可以让模型在训练过程中学习到更多与线粒体形态分布有关的知识，显著的提升模型的性能，并防止模型过拟合。
105.s3中改进模型cnn-11具体包括5个卷积层，3个池化层，2个全连接层和1个softmax回归层，如图7所示。以上11层网络进行训练后分别得到大小为30
×
30
×
48、15
×
15
×
48、8
×8×
128、4
×4×
128、4
×4×
192、4
×4×
192、4
×4×
128、2
×2×
128、2048
×
1、1024
×
1和2
×
1的特征图。在卷积层中，前一层的特征图和左上角的过滤器进行卷积的操作，将相应的数字相乘，然后将它们相加。滤波器平滑地滑动，直到所有的特征计算完毕后构成该层特征图。池化层位于两个卷积层之间，有助于特征降维，去除冗余信息，保持特征图像的平移不变性、旋转不变性和尺度不变性。它将输入特征图划分为不同的区域，通过池化操作降低每个区域的图像分辨率，并消除图像中信息的偏移和扭曲。全连接层与前一层的输出特征图连接紧密相连，从而将多维的输出转化为一维的向量，把卷积层和池化层提取的不同特征进行整合和归纳，最终通过softmax回归层实现分类。
106.s3中cnn-11模型的训练过程采用的激励函数为sigmoid，优化器设置为adam，损失函数为mean squared error，批次大小设置为32，学习率为1
×
10-5
，迭代次数为1
×
105次。保存模型训练后的权重参数并用于测试集。
107.part3模型应用步骤主要包括以下4个步骤：
108.s1：将提前筛选的500张测试集输入至已经训练好的改进模型u-rnet+中，从分割得到的结果图可知改进模型u-rnet+在轮廓信息的保留、噪点的去除、轮廓的清晰及连续程度均优于其他两种模型，如图8所示。
109.s2：对线粒体图像分割结果建立评价系统，将像素准确率(accuracy)、特异性
(specificity)、查全率(sensitivity)、查准率(precision)和dice系数作为评价指标。这五个指标分别代表了检测所有像素预测的准确度、检测背景的能力、检测线粒体的能力、检测线粒体的准确度、所有预测结果与实际结果的相似度。分割的结果只有两类，计为正例positive(线粒体)和负例negative(背景)分别是：
110.(1)tp：被正确地划分为正例的个数，即实际为正例且被深度学习模型划分为正例的实例数；
111.(2)fp：被错误地划分为正例的个数，即实际为负例但被深度学习模型划分为正例的实例数；
112.(3)fn：被错误地划分为负例的个数，即实际为正例但被深度学习模型划分为负例的实例数；
113.(4)tn：被正确地划分为负例的个数，即实际为负例且被深度学习模型划分为负例的实例数。
114.判断分割图像中每个像素的归属情况，要么属于线粒体，要么属于背景。若都能正确划分，则线粒体就能被正确地分割出来。因此统计如上所述的4个指标tp，fp，fn和tn，并计算如下的5个指标：
[0115][0116][0117][0118][0119][0120]
u-net基础模型的像素准确率为95.18％，特异性为99.66％，查全率为94.58％，查准率为70.97％，dice系数为0.8291；本发明提出的u-rnet+分割模型的像素准确率达到了97.51％，特异性为98.06％，查全率为93.36％，查准率为86.45％，dice系数为0.8977。改进模型u-rnet+的像素准确率比u-net高，代表该模型检测所有像素的正确率更高。两个模型的特异性都较高且相差不大。改进模型u-rnet+的查全率比u-net低，这虽然说明改进模型u-rnet+的灵敏度最低，但是另一方面也说明了其抗干扰能力更强，不容易受到噪点的影响，这一点在进行线粒体图像分割的过程中尤为关键。改进模型u-rnet+的查准率比u-net高，这说明了改进模型u-rnet+对于线粒体的分割准确度更高，其分割的线粒体轮廓更清晰。改进模型u-rnet+的dice系数比u-net高，该指标是查全率和查准率的加权调和平均值，当查全率和查准率的指标出现矛盾时，就需要通过dice系数进行综合评估，这说明了改进模型u-rnet+的综合评估效果比u-net更好。
[0121]
s3：按图像荧光强度与rgb的映射关系，通过编写python程序实现了对原图像的伪彩色处理，并与通过u-rnet+得到的分割结果图相乘，得到了兼顾了原始图像色彩信息和分割图像轮廓信息的伪彩图，并按照0％到100％的标准对python+u-rnet+生成的伪彩图进行了荧光强度的量化评估，如图9所示。本发明可以做到批量化生成线粒体伪彩图，且颜色可以根据编写的程序随时进行调整。
[0122]
s4：将提前筛选的1000张测试集(包括500张cccp(carbonyl cyanide3-chlorophenylhydrazone，线粒体氧化磷酸化解偶联剂)处理后的线粒体和正常的线粒体)输入已训练的cnn-11模型中进行测试。最终，在500张cccp处理后的线粒体分割图像中，cnn-11模型将495张归类为fission、5张归类为fusion，即对于cccp处理后的线粒体分割图像的分类准确率为99.0％；在500张正常的线粒体分割图像中，cnn-11模型将497张归类为fusion、3张归类为fission，即对于正常的线粒体分割图像的分类准确率为99.4％。由于在图像分割过程中使用的u-rnet+模型层数较深、分割效果优异，得到的线粒体分割图的信息特征相对明确。
[0123]
part4模型应用步骤主要包括以下2个步骤：
[0124]
s1：首先基于opening area算法实现线粒体分割图像的形态学去噪，其次基于图像处理算法，获取线粒体图像的102种形态学参数指标，如图10所示。xgboost是一种高效的梯度提升决策树模型，其思想是将多个弱分类器通过一定的方法集成在一起形成一个强分类器。基于u-rnet+分割后，将以上获得的线粒体形态学参数和cnn-11获得的结果共同输入xgboost模型进行文本分析并进行曲线拟合。
[0125]
s2：通过s1的方法对不同实验条件下分批次拍摄的线粒体图像中fission图像进行预测与评估，分别探究药物作用剂量关系和药物作用时间关系，并与线粒体膜电位(mitochondrial membrane potential，mmp)测试实验结果进行对比，结果呈现出相似的增长趋势，如图11和图12所示。这表明本发明可以对线粒体损伤程度进行预测通过深度学习辅助生物实验从而减少大量繁琐细胞实验，并为后期线粒体治疗、线粒体探针、线粒体植入等前沿生物医学应用提供评估工具。同时本发明探究了线粒体形态与药物作用时间、药物作用浓度的关系，预测了药物作用下线粒体膜电位的变化趋势，在疾病诊断、药效评估等应用上具有良好潜力。
[0126]
根据本技术实施例的方法和计算机程序产品的流程图和/或框图描述了本技术的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0127]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0128]
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产
生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0129]
附图中的流程图和框图显示了根据本技术的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0130]
注意，除非另有直接说明，否则本说明书(包含任何所附权利要求摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
[0131]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于深度学习的线粒体超分辨图像的分割与分类模型的建立方法，其特征在于：该模型自输入至输出包括图像分割模型和图像分类融合模型；所述图像分割模型为u-net改进模型u-rnet+；所述图像分类融合模型包括先后设置的图像分类模型和图像融合模型；其中，图像分类模型为cnn改进模型cnn-11；所述图像融合模型为xgboost；该模型通过以下步骤建立：s1：获取训练样本数据使用结构光照明超分辨荧光显微镜拍摄用于图像分割模型训练的线粒体超分辨荧光图像；s2：图像分割模型的训练图像预处理及标注将s1得到的线粒体超分辨荧光图像裁切和筛选后，对线粒体超分辨荧光图像进行标注，包括线粒体在图像中的区域以及具体的轮廓；s3：基于深度学习的图像分割模型训练使用s2标注的数据集对图像分割模型进行训练，训练过程的输入为标注后的线粒体超分辨荧光图像，学习目标为线粒体的空间分布和形状轮廓，输出结果为包含线粒体空间分布和形状轮廓的二值化分割图像，并得到可量化的兼顾了原始图像的色彩信息和分割图像的轮廓信息的线粒体伪彩图；s4：图像分类模型的训练图像预处理及标注将s3获取的二值化分割图像进行筛选和扩充，并将不同形态的线粒体分别归类到对应的标签文件夹之中进行标注；s5：基于深度学习的图像分类模型训练使用s4标注的数据集对图像分类模型进行训练，训练过程的输入为s4预处理及标注后的s3的二值化分割图像，学习目标为线粒体的形状类别，输出结果为线粒体类别的预测及分数；s6：基于深度学习的图像分类融合模型训练对图像融合模型进行训练，训练过程的输入为s5图像分类模型得到的线粒体类别的预测及分数和基于图像处理算法获取的线粒体图像的形态学参数指标，学习目标为线粒体的形状类别，输出结果为线粒体类别的预测及分数；s7：得到搭建并训练好的基于深度学习的线粒体超分辨图像的分割与分类模型。2.根据权利要求1所述建立方法，其特征在于：所述改进模型u-rnet+包括104个卷积层和16个池化层，且模型分为前半部分的下采样部分和后半部分的上采样部分；其中，下采样部分是典型的卷积神经网络结构，重复5次采用了两个卷积层和一个池化层的组合结构；在其每个卷积层之后加入并改进了残差单元的结构，一个改进的残差单元由一个改进的卷积残差块和两个改进的恒等残差块组成；其中，改进的卷积残差块中将主路和侧路的步长为2的卷积层均替换为步长为1的卷积层和池化层组合，改进的恒等残差块中侧路的输入层替换为步长为1的卷积层；上采样部分先进行转置卷积的操作，然后通过拼接对应左侧通道同一维度的特征图，重新组成一个新的特征图，再采用两个卷积层进行特征提取，重复这一结构4次；
此外，由于u-rnet+模型的跳跃连接跨度逐渐增加，对最外层特征图在混合维度、即空间维度和通道维度增加注意力机制；在最后的输出层，将特征图映射成输出结果图；所述改进模型cnn-11包括5个卷积层，3个池化层，2个全连接层和1个softmax回归层；其中，卷积层用于减少图像噪声，提取图像的特征；池化层用于进行特征降维，去除冗余信息，保持特征图像的平移不变性、旋转不变性和尺度不变性；全连接层用于将前层计算得到的特征空间映射整合成值输出；softmax回归层则对输出值进行分类；所述图像融合模型xgboost所使用的特征向量包括通过cnn-11获取的线粒体类别的预测及分数和基于图像处理算法获取的线粒体图像的形态学参数指标。3.根据权利要求1或2所述建立方法，其特征在于，s1具体步骤如下：将细胞内线粒体进行染色并制成荧光样品，使用sim显微成像设备对线粒体进行成像，拍摄采集至少1000张2048
×
2048分辨率的线粒体超分辨荧光图像。4.根据权利要求3所述建立方法，其特征在于，步骤2)具体为：s2.1使用python编程批量化将s1得到的线粒体超分辨荧光图像按照固定像素尺寸的滑动窗口裁切为若干512
×
512分辨率的图像块，并筛除无效背景信息和噪点占比高的图像块，剩余的具有形态学代表意义的高质量图像图像块组成用于图像分割模型训练的数据集，并按比例划分成训练集、验证集以及测试集；s2.2使用labelme图像标注软件对训练集和验证集进行线粒体轮廓的手动标注，标注完成后生成相应数量的json文件；s2.3使用编写的test.bat脚本批量化地提取json文件中的信息，包括原图、标记图、标签名称、代表标记内容的yaml文件；标记图中的黑色代表背景、白色为标记的线粒体轮廓；s2.4使用python编程将上述原图和标记图按顺序逐个提取，并各自归类到data和label文件夹中。5.根据权利要求4所述建立方法，其特征在于，所述s4具体步骤如下：使用python编程将s3获取的二值化分割图像中线粒体像素值小于3％的图像筛除，使用顺时针旋转和垂直翻转的数据增广策略扩充数据，最终获得数量扩充的训练集和测试集；标注过程是将健康且大部分呈丝状的线粒体图像和病变且大部分呈圆形的线粒体图像进行命名，最终各自归类到fusion和fission文件夹中。6.根据权利要求5所述建立方法，其特征在于，s6具体步骤如下：s6.1基于opening area算法实现线粒体分割图像的形态学去噪；s6.2基于图像处理算法，获取线粒体图像的102种形态学参数指标，包括线粒体数量，总面积，平均面积，中位数面积，面积标准差，平均离心率，中位数离心率，离心率标准差，平均等径线，中位数等径线，等径线标准差，平均欧拉数，中位数欧拉数，欧拉数标准差，平均延展度，中位数延展度，延展度标准差，平均主轴长度，中位数主轴长度，主轴长度标准差，平均次轴长度，中位数次轴长度，次轴长度标准差，平均方向，中位数方向，方向标准差，平均周长，中位数周长，周长标准差，平均凸度，中位数凸度，凸度标准差，重心x坐标平均值，重心x坐标中位数，重心x坐标标准差，重心y坐标平均值，重心y坐标中位数，重心y坐标标准
差，距离平均值，距离中位数，距离标准差，加权重心x坐标平均值，加权重心x坐标中位数，加权重心x坐标标准差，平均加权中心y坐标，中位数加权中心y坐标，加权中心y坐标标准差，平均加权距离，中位数加权距离，加权距离标准差，平均形态因子，中位数形态因子，形态因子标准差，平均圆度，中位数圆度，圆度标准差，平均分支计数，中位数分支计数，分支计数标准差，平均分支长度，中位数分支长度，分支长度标准差，平均总分支长度，中位数总分支长度，总分支长度标准差，平均中位分支长度，中位数中位分支长度，中位分支长度标准差，分支长度标准差，平均加权分支角度，中位数加权分支角度，分支角度标准差，平均中位分支角度，中位数中位分支角度，中位分支角度标准差，平均分支角度标准差，中位数分支角度标准差，分支角度标准差标准差，平均总密度，中位数总密度，总密度标准差，平均平均密度，中位数平均密度，平均密度标准差，平均中位密度，中位数中位密度，中位密度标准差，峰度x，加权峰度x，峰度y，加权峰度y，峰度平方，加权峰度平方，偏度x，加权偏度x，偏度y，加权偏度y，偏度平方，加权偏度平方，网络方向(度)，网络主轴(像素)，网络次轴(像素)，网络离心率，网络有效范围，网络有效实心度，网络分形维数；s6.3将以上获得的线粒体形态学参数和s5输出的结果共同输入至xgboost模型进行分析，获得线粒体类别的预测及分数。7.根据权利要求6所述建立方法，其特征在于：步骤3)中，改进模型u-rnet+训练的实现条件为：编程的实现语言为python，使用的高级神经网络api为keras，配置了用于实现该任务的虚拟环境mitounet，其中主要用到的python工具包及对应版本为libtiff＝4.2.0，matplotlib＝3.0.3，opencv＝4.5.4，pandas＝1.2.4，numpy＝1.19.5，keras-preprocessing＝1.1.2，tensorflow＝2.5.0，tensorflow-gpu＝2.5.0；超参数具体为：激励函数是relu，优化器设置为adam，损失函数为二元交叉熵函数，批次大小设置为2，学习率为1
×
10-4
，迭代次数为0.5
×
103次；步骤5)中，改进模型cnn-11训练的实现条件为：编程的实现语言为python，使用的高级神经网络api为tensorflow，配置了用于实现该任务的虚拟环境mitocnn，其中主要用到的python工具包及对应版本为matplotlib＝3.3.4，numpy＝1.19.0，pandas＝1.1.5，opencv＝4.5.5，tensorflow＝1.9.0，tensorflow-gpu＝1.9.0；超参数具体为：激励函数为sigmoid，优化器设置为adam，损失函数为mean squared error，批次大小设置为32，学习率为1
×
10-5
，迭代次数为1
×
105次；步骤6)中，获取线粒体形态学参数指标图像处理算法实现条件为：编程的实现语言为python，主要使用的python工具包包及对应版本为numpy＝1.18.0，matplotlib＝3.5.2，opencv＝3.4.2，scikit-image＝0.19.2，scipy＝1.4.1，mkl-random＝1.2.2，backport.shutil-which＝3.5.2，pandas＝1.13.0，request＝2.27.1；图像融合模型xgboost训练实现条件为：编程的实现语言为python，使用的机器学习库为scikit-learn；配置了用于实现该任务的虚拟环境mitoxgb，其中主要用到的python工具包及对应版本为xgboost＝1.5.0，matplotlib＝3.5.2，numpy＝1.21.5，xlwt＝1.3.0，pandas＝1.4.4，scikit-learn＝1.1.1；
参数具体为：booster＝gbtree，eta＝0.3，max_depth＝5，min_child_weight＝3，gamma＝0.1，subsample＝0.7，lambda＝3，objective＝reg:gamma，colsample_bytree＝0.7，seed＝0，nthread＝4，迭代次数为5
×
103次。8.一种基于深度学习的线粒体分割与分类模型，其特征在于：采用权利要求1-7任一方法建立得到。9.一种基于深度学习的线粒体分割与分类方法，其特征在于：使用权利要求1-7任一方法建立得到的模型进行线粒体分割与分类，将待处理的线粒体超分辨荧光图像输入至该模型中，获得线粒体类别的预测及分数。10.一种计算机可读存储介质及电子设备，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求9所述方法的步骤。

技术总结
本发明提供了一种基于深度学习的线粒体分割与分类方法，解决现有进行线粒体形态学分析处理的技术方法和模型存在的鲁棒性和准确性较低，以及无法定性与定量分析的问题通过图像分割和图像分类结合的“分割-分类”思路实现了对线粒体超分辨图像的定性与定量分析，其中，图像分割部分体现出了定量，深度学习可以量化每个图像中线粒体的形态轮廓，并量化线粒体伪彩色图像的荧光强度。图像分类部分体现出了定性和定量，深度学习可以将不同形态的线粒体分类从而定性(圆形或丝状)，并统计圆形线粒体的占比从而量化当前细胞内线粒体的整体病变程度。变程度。变程度。


技术研发人员：彭勃 李林 丁阳 李锦涛 柏桦 张佳欣 黄维
受保护的技术使用者：西北工业大学宁波研究院
技术研发日：2023.06.25
技术公布日：2023/9/23