基于自监督学习图像去噪的超分辨SIM-FRET成像方法与系统

基于自监督学习图像去噪的超分辨sim-fret成像方法与系统
技术领域
1.本发明属于荧光共振能量转移(fret)检测的技术领域，特别是涉及一种基于自监督学习图像去噪的超分辨sim-fret成像方法与系统。


背景技术：

2.荧光共振能量转移技术(fret)已经成为观察活细胞内生物大分子之间相互作用的重要手段，fret可以反映两个分子之间(距离1-10nm)的灵敏变化，被广泛应用于研究细胞信号转导、分子构象变化和蛋白质分子间相互作用等细胞生物学事件。但由于光学衍射极限的存在，常规的荧光显微镜不能观察到200nm以下的细胞中的精细结构；而超分辨荧光显微镜成像技术打破了光学衍射极限的限制，为生命科学研究细胞内部的微观结构提供了更为精确和深入的工具。超分辨结构光照明显微术(super-resolution structured illumination microscopy,sr-sim)与fret成像术结合(sim-fret)，可以揭示活细胞中精细结构上的fret信号，进而实现更加准确地揭示生物分子的功能和调控机制。
3.在进行活细胞超分辨sim-fret成像过程中，噪声对fret定量分析产生显著影响。定量sim-fret分析中的噪声源包括原始图像采集和传输过程产生的噪声，这些噪声会在超分辨重建过程中放大进而产生随机噪声伪像，导致超分辨sim-fret成像的成像质量下降、精准度降低，进而影响定量fret分析。目前荧光显微图像去噪的方法主要包括基于空频域滤波的图像去噪方法、基于传统数理模型图像去噪方法和基于深度学习的图像去噪方法。基于空频域滤波的图像去噪方法，例如基于滤波器方法和基于小波变换方法，但在去除噪声的同时，可能会对图像细节进行平滑处理导致图像细节的丢失；基于传统数理模型的图像去噪方法，通过建立确定图像的能量函数，并对能量函数的最小化工作使得图像达到平滑状态来实现噪声滤除，但此类方法计算复杂度较高并且也可能会损失一些高频信息；基于深度学习的图像去噪方法利用深度学习模型学习从有噪声图像到无噪声图像的映射，其中基于有监督学习图像去噪方法通常需要大量的低信噪比-高信噪比对应的图像对来实现模型训练，这样的图像对在活细胞超分辨sim-fret成像过程中难以获得，因此有监督学习模型无法很好地捕捉sim-fret图像中的噪声特征，导致去噪效果不佳。


技术实现要素：

4.本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于自监督学习图像去噪的超分辨sim-fret成像方法与系统，无需像有监督学习图像去噪方法那样需要大量高信噪比-低信噪比匹配好的图像对，而仅需原始荧光显微图像本身就可以实现神经网络的训练和预测，从而可以在低信噪比、低荧光条件下对活体生物样本进行超分辨sim-fret成像，提高超分辨sim-fret成像质量和定量fret分析的准确度。
5.本发明第一目的在于提供一种基于自监督学习图像去噪的超分辨sim-fret成像方法，所述方法包括下述步骤：
6.s1、利用光学成像系统获取活体生物样本的fret三通道原始图像组；所述fret三
通道原始图像组包括供体激发供体发射dd通道原始图像组、供体激发受体发射da通道原始图像组以及受体激发受体发射aa通道原始图像组；
7.s2、基于u型编码器解码器结构的神经网络构建三个自监督学习去噪神经网络，分别从dd通道原始图像组、da通道原始图像组和aa通道原始图像组中随机选取单幅原始图像，分别输入三个自监督学习去噪神经网络中，并对三个自监督学习去噪神经网络进行迭代训练，分别得到dd通道去噪模型、da通道去噪模型和aa通道去噪模型；
8.s3、利用dd通道去噪模型、da通道去噪模型和aa通道去噪模型对fret三通道原始图像组进行去噪处理，分别得到dd通道去噪图像组、da通道去噪图像组和aa通道去噪图像组；
9.s4、对dd通道去噪图像组、da通道去噪图像组和aa通道去噪图像组进行结构光超分辨sim重建，分别得到dd通道超分辨图像、da通道超分辨图像和aa通道超分辨图像；
10.s5、对fret三通道超分辨图像进行数据对齐并进行背景识别与扣除；再采用受体敏化的通道方法测量得到fret效率e和供受体浓度比rc。
11.作为优选的技术方案，所述光学成像系统包括激发光路以及探测光路；
12.其中，激发光路包括激发物镜及用于产生激发光束的光学组件；所述激发光束透过激发物镜射出，以便在活体生物样本上激发出荧光；
13.探测光路包括探测物镜及用于成像的光学组件，用于接收和探测活体生物样本所激发出的荧光以成像；
14.所述激发物镜和探测物镜为同一物镜或不同物镜。
15.作为优选的技术方案，步骤s1中，所述fret三通道原始图像组获取步骤为：
16.s101、制备适合观测的活体生物样本；
17.s102、根据结构光照明对成像过程的影响及结构光照明编码的频谱特性，对多个不同的传统照明编码进行空域叠加生成复合结构光照明编码；所述传统照明编码包括正弦函数编码、非线性荧光编码和随机编码；
18.s103、依据复合结构光照明编码生成照明结构光照射活体生物样本，进行活体生物样本成像，得到活体生物样本的fret三通道原始图像组：供体激发供体发射dd通道原始图像组、供体激发受体发射da通道原始图像组以及受体激发受体发射aa通道原始图像组；
19.所述每个原始图像组中包含若干个不同结构光方向角、每个结构光方向角包含不同相位差的宽场荧光显微图像。
20.作为优选的技术方案，所述自监督学习去噪神经网络包括编码器和解码器；
21.所述编码器包括多个依次连接的特征提取层，每个特征提取层包含卷积层和最大池化层；
22.所述解码器包括多个依次连接的上采样层，每个上采样层包含卷积层和转置卷积层；
23.所述卷积层由2个步长和卷积核大小相同的卷积核和激活函数构成；
24.所述编码器与解码器呈对称形式，通过编码器最后一个特征提取层与解码器最后一个上采样层进行连接；
25.所述编码器特征提取层中的卷积层与对应的解码器上采样层中的卷积层进行跳跃连接。
26.作为优选的技术方案，步骤s2中，所述对三个自监督学习去噪神经网络进行迭代训练，具体为：
27.s201、分别从dd通道原始图像组、da通道原始图像组和aa通道原始图像组中随机选取单幅原始图像；
28.s202、设置自监督学习去噪神经网络的超参数、损失函数和优化器；
29.所述超参数包括自监督学习去噪神经网络的深度、批量大小、初始学习率和最大迭代次数；所述损失函数包括均方误差损失函数、平均绝对误差损失函数、结构相似性损失函数、多尺度结构相似损失函数及其加权组合的损失函数；所述优化器包括adam优化器和sgd优化器；
30.s203、将选取的三张单幅原始图像分别输入三个自监督学习去噪神经网络中，基于优化器分别对自监督学习去噪神经网络进行优化训练，直至损失函数收敛或达到最大迭代次数为止，得到dd通道去噪模型、da通道去噪模型和aa通道去噪模型。
31.作为优选的技术方案，所述对自监督学习去噪神经网络进行优化训练，具体为：
32.1)从dd通道原始图像组中随机选取单幅dd通道原始图像，随机裁剪出多个大小相同的dd通道补丁，并按比例将dd通道补丁划分为训练集和验证集；
33.2)随机在训练集中选取一dd通道补丁以概率p进行伯努利采样，添加噪声图像，选取不同的像素进行扣除，并将抠除像素的值置为0；所述伯努利采样表示为：
[0034][0035]
其中，为该dd通道补丁y进行伯努利采样后像素i的像素值，y[i]为该dd通道补丁y中像素i的像素值；
[0036]
3)将抠除像素后的dd通道补丁作为某一自监督学习去噪神经网络的输入图像，该dd通道补丁作为目标；
[0037]
4)设该dd通道补丁被抠除像素的位置为中心像素，使用中心像素周围的像素值确定中心像素的无噪声值，得到dd通道去噪补丁；
[0038]
5)计算dd通道去噪补丁与该dd通道补丁损失值，优化自监督学习去噪神经网络参数；
[0039]
6)将去噪后的dd通道补丁进行拼接得到dd通道去噪图像；
[0040]
7)迭代执行2)-6)，直至该自监督学习去噪神经网络收敛，使用验证补丁对自监督学习去噪神经网络进行验证，得到dd通道去噪模型；
[0041]
同理，得到da通道去噪模型和aa通道去噪模型。
[0042]
作为优选的技术方案，步骤4)中，所述使用中心像素周围的像素值确定中心像素的无噪声值，具体为：
[0043]
设该dd通道补丁y中第i个中心像素si周围的像素集合为y
rf(i)
，将y
rf(i)
作为确定中心像素无噪声值的感受野输入自监督学习去噪神经网络中，输出中心像素的无噪声值表示为：
[0044][0045]
其中，f(*)为自监督学习去噪神经网络，θ表示为自监督学习去噪神经网络的参数
向量；
[0046]
所述自监督学习去噪神经网络从相同的dd通道原始图像中提取输入的dd通道补丁y和对应的中心像素的无噪声值通过最小化经验风险函数来训练自监督学习去噪神经网络，得到dd通道去噪模型；所述最小化经验风险函数表示为：
[0047][0048]
其中，为dd通道原始图像中第j个dd通道补丁第i个中心像素对应的无噪声值，为dd通道原始图像中第j个dd通道补丁第i个中心像素的感受野，l为损失函数；
[0049]
同理，da通道补丁和aa通道补丁执行相同的操作。
[0050]
作为优选的技术方案，步骤s5具体为：
[0051]
s501、对fret三通道超分辨图像进行数据对齐：
[0052]
以aa通道超分辨图像为基准获得的dd通道超分辨图像进行仿射变换，实现fret三通道超分辨图像的逐像素对齐；
[0053]
s502、对数据对齐后的fret三通道超分辨图像进行背景识别与扣除：
[0054]
对数据对齐后的fret每个通道获得的超分辨图像进行逐像素的灰度值统计，绘制灰度直方图；将灰度直方图中的第一个峰值所对应的灰度值视为背景的灰度值，对图像进行背景修正，用超分辨图像逐像素减去背景的灰度值，并将负的像素灰度值置零；
[0055]
s503、对背景识别和扣除后的fret三通道超分辨图像，采用受体敏化发射的通道方法测量得到fret效率e和供受提浓度比rc：
[0056]
所述fret效率e公式为：
[0057][0058]
所述供受体浓度比rc公式为：
[0059][0060]
其中，i
dd
为供体激发下供体通道的荧光强度，g为敏化淬灭因子，i
aa
为受体激发下受体通道的荧光强度，k为浓度校正因子，fc为受体敏化荧光信号，表示为：
[0061]
fc＝i
da-a(i
aa-ci
dd
)-d(i
dd-bi
aa
)
[0062]
其中，i
da
为供体激发下受体通道的荧光强度；a为供体的激发串扰系数，b为供体的发射串扰系数、c为受体的激发串扰系数和d受体的发射串扰系数。
[0063]
本发明第二目的在于提供一种基于自监督学习图像去噪的超分辨sim-fret成像系统，应用于上述的基于自监督学习图像去噪的超分辨sim-fret成像方法，所述系统包括fret成像模块、模型构建模块、图像去噪模块、图像重建模块及图像处理模块；
[0064]
所述fret成像模块用于利用光学成像系统获取活体生物样本的fret三通道原始图像组；所述fret三通道原始图像组包括供体激发供体发射dd通道原始图像组、供体激发受体发射da通道原始图像组以及受体激发受体发射aa通道原始图像组；
[0065]
所述模型构建模块用于基于u型编码器解码器结构的神经网络构建三个自监督学
习去噪神经网络，分别从dd通道原始图像组、da通道原始图像组和aa通道原始图像组中随机选取单幅原始图像，分别输入三个自监督学习去噪神经网络中，并对三个自监督学习去噪神经网络进行迭代训练，分别得到dd通道去噪模型、da通道去噪模型和aa通道去噪模型；
[0066]
所述图像去噪模块用于利用dd通道去噪模型、da通道去噪模型和aa通道去噪模型对fret三通道原始图像组进行去噪处理，分别得到dd通道去噪图像组、da通道去噪图像组和aa通道去噪图像组；
[0067]
所述图像重建模块用于对dd通道去噪图像组、da通道去噪图像组和aa通道去噪图像组进行结构光超分辨sim重建，分别得到dd通道超分辨图像、da通道超分辨图像和aa通道超分辨图像；
[0068]
所述图像处理模块用于对fret三通道超分辨图像进行数据对齐并进行背景识别与扣除；再采用受体敏化的通道方法测量得到fret效率e和供受体浓度比rc。
[0069]
本发明还一目的在于提供一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现上述的基于自监督学习图像去噪的超分辨sim-fret成像方法。
[0070]
本发明与现有技术相比，具有如下优点和有益效果：
[0071]
1、本发明可以实现fret三通道原始荧光图像从低信噪比到高信噪比的映射，且仅需要原始荧光显微图像本身就可以完成自监督学习去噪神经网络的训练，解决了提高荧光光子数与损害活细胞之间的矛盾，特别适用于低信噪比、低荧光条件下活体生物样本实现活细胞超分辨sim-fret的定量分析。
[0072]
2、本发明通过对fret三通道原始荧光显微图像去噪后再进行超分辨sim重建，解决了活细胞超分辨sim-fret成像过程中的固有噪声和随机噪声的干扰，减少了超分辨sim重建的伪影，提高超分辨sim-fret成像质量，对fret定量分析中检测荧光分子流动性、提高灵敏度、降低假阳性率都起到显著作用。
[0073]
3、本发明具备良好的可持续发展性，针对不同类型的生物样本，可以对自监督学习去噪神经网络输入的新图像数据进行训练，提高模型的去噪准确度和对不同样本的精细结构的保留能力。
[0074]
4、本发明训练好的自监督学习去噪神经网络在无需任何迭代的情况下，即可对不同尺寸的原始荧光显微图像实现快速高性能的去噪，具有去噪效果好、成像清晰等优点。
附图说明
[0075]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0076]
图1为本发明实施例中基于自监督学习图像去噪的超分辨sim-fret成像方法的流程图。
[0077]
图2为本发明实施例中自监督学习去噪神经网络的结构示意图。
[0078]
图3为本发明实施例中自监督学习去噪神经网络进行优化训练的流程图。
[0079]
图4为本发明实施例中在不同噪声强度时，仿真fret三通道原始图像进行fret定量分析的结果示意图。
inc.,new york,usa)、带通滤光片1(et530/30x,chroma inc.,bellows falls,vt,usa)和带通滤光片2(u-mrfphqba570-625,01ympus inc.,tokyo,japan)。
[0093]
采用光学成像系统获取fret三通道原始图像组的步骤为：
[0094]
s101、制备适合观测的活体生物样本；
[0095]
s102、根据结构光照明对成像过程的影响及结构光照明编码的频谱特性，对多个不同的传统照明编码进行空域叠加生成复合结构光照明编码；传统照明编码包括但不限于正弦函数编码、非线性荧光编码和随机编码等。
[0096]
s103、依据复合结构光照明编码生成照明结构光照射活体生物样本，进行活体生物样本成像，得到活体生物样本的fret三通道原始图像组：供体激发供体发射dd通道原始图像组、供体激发受体发射da通道原始图像组以及受体激发受体发射aa通道原始图像组；
[0097]
每个原始图像组中包含若干个不同结构光方向角、每个结构光方向角包含不同相位差的宽场荧光显微图像。
[0098]
本实施例中选用荧光蛋白对gfp-mcherry作为受体对，其中供体激发光采用488nm的激光，供体发射通道采用525
±
15nm的波段作为供体的发射荧光探测通道，受体激发光采用561nm的激光，受体发射通道采用600
±
15nm的波段作为受体的发射荧光探测通道；共获得27张fret三通道原始图像，其中，供体激发供体发射dd通道原始图像组包含9张，供体激发受体发射da通道原始图像组包含9张，受体激发受体发射aa通道原始图像组包含9张；每组原始图像数据包含三个不同的结构光方向角θ1、θ2和θ3，每个结构光方向角包含三个不同相位差n1、n2和n3，采集得到共27张结构光调制的宽场荧光图像。
[0099]
具体的，步骤s2中，自监督学习去噪神经网络的输入和输出有同样的尺寸，自监督学习去噪神经网络基于u型编码器解码器结构进行构建，包括编码器和解码器；编码器包括多个依次连接的特征提取层，每个特征提取层包含卷积层和最大池化层；解码器包括多个依次连接的上采样层，每个上采样层包含卷积层和转置卷积层；其中卷积层由2个步长和卷积核大小相同的卷积和激活函数构成；如图2所示，编码器与解码器呈对称形式，通过编码器最后一个特征提取层与解码器最后一个上采样层进行连接；编码器特征提取层中的卷积层与对应的解码器上采样层中的卷积层进行跳跃连接，更具体的，图2中编码器和解码器按从上至下进行排序，则编码器的第一卷积层与解码器的第一卷积层进行跳跃连接，编码器的第二卷积层与解码器的第二卷积层进行跳跃连接，依次类推；
[0100]
本实施例中，自监督学习去噪神经网络采用u-net网络进行构建，编码器采用4个依次连接的特征提取层，解码器采用4个依次连接的上采样层，卷积层由2个步长为2，大小3*3的卷积核和激活函数relu构成；最大池化层和转置卷积层中卷积核大小为2*2、步长为2；每经过一次特征提取层，输出特征图尺寸减半；每经过一次上采样层，输出特征图尺寸翻倍。
[0101]
具体的，在自监督学习去噪神经网络中，输入大小为h*w的补丁，经过第一特征提取层后得到1/2h*1/2w的特征图，依次经过第二特征提取层、第三特征提取层和第四特征提取层后得到1/16h*1/16w的特征图；经过第四上采样层后得到1/8*1/8的特征图，依次经过第三上采样层、第二上采样层和第一上采样层后得到大小为h*w的去噪补丁，其与输入补丁大小保持一致；其中，h为补丁的高，w为补丁的宽。
[0102]
特别说明的，本实施例中u型编码器解码器结构包括但不限于u-net网络、
attention u-net网络、inception u-net网络、residual u-net网络、recurrent u-net网络、dense u-net网络、u-net++网络等；卷积核大小包括但不限于3*3、5*5、7*7等；激活函数包括但不限于relu激活函数、glu激活函数等。
[0103]
构建好三个自监督学习去噪神经网络后进行迭代训练，具体为：
[0104]
s201、分别从dd通道原始图像组、da通道原始图像组和aa通道原始图像组中随机选取单幅原始图像；
[0105]
s202、设置自监督学习去噪神经网络的超参数、损失函数和优化器；
[0106]
其中，超参数包括自监督学习去噪神经网络的深度、批量大小、初始学习率和最大迭代次数；损失函数包括但不限于均方误差(mse)、平均绝对误差(mae)、结构相似性(ssim)、多尺度结构相似(ms-ssim)、以及它们的加权组合等；优化器包括但不限于adam优化器、sgd优化器等；
[0107]
s203、将选取的三张单幅原始图像分别输入三个自监督学习去噪神经网络中，基于优化器分别对自监督学习去噪神经网络进行优化训练，直至损失函数收敛或达到最大迭代次数为止，得到dd通道去噪模型、da通道去噪模型和aa通道去噪模型。
[0108]
本实施例中，自监督学习去噪神经网络的深度为4，初始学习率为0.0001，最大迭代次数为100；另外，本实施例模型的损失函数采用均方误差(mse)损失函数；优化器使用adam优化器。在迭代次数达到最大后，会保存训练过程中验证集中损失函数表现最好的网络模型参数，当然也可以保存最后一次迭代的网络模型参数，整个训练过程基于pytorch框架。
[0109]
进一步的，步骤s203中对自监督学习去噪神经网络进行优化训练，如图3所示，以dd通道去噪模型为例，步骤为：
[0110]
1)从dd原始图像组中随机选取单幅dd原始图像，随机裁剪出多个大小相同的dd通道补丁，并按比例将dd通道补丁划分为训练集和验证集；
[0111]
2)随机在训练集中选取一dd通道补丁以概率p进行伯努利采样，添加一系列的噪声图像以防止模型输入过少引起过拟合的问题，选取不同的像素进行扣除，并将抠除像素的值置为0；其中，伯努利采样公式为：
[0112][0113]
其中，为该dd通道补丁y进行伯努利采样后像素i的像素值，y[i]为该dd通道补丁y中像素i的像素值；
[0114]
具体的，补丁中抠除的中心像素可为补丁边缘或者补丁中心；补丁的大小根据输入图像的大小以及模型的复杂程度可为32*32、64*64或128*128等像素。
[0115]
3)将抠除像素后的dd通道补丁作为某一去噪神经网络模型的输入图像，该dd通道补丁作为目标；
[0116]
4)设该dd通道补丁被抠除像素的位置为中心像素，使用中心像素周围的像素值确定中心像素的无噪声值，得到dd通道去噪补丁；
[0117]
5)计算dd通道去噪补丁与该dd通道补丁损失值，优化自监督学习去噪神经网络参数；
[0118]
6)将去噪后的dd通道补丁进行拼接得到dd通道去噪图像；
[0119]
7)迭代执行2)-6)，直至该去噪神经网络模型收敛，使用验证补丁对去噪神经网络进行验证，得到dd通道去噪模型；
[0120]
同理，得到da通道去噪模型和aa通道去噪模型。
[0121]
具体的，本实施例中fret三通道原始图像组的原始图像大小为512*512；每副原始图像随机提取512个大小为64*64的补丁，并将95％的补丁作为训练集用于对去噪神经网络模型进行训练，5％的补丁作为验证集用于验证模型性能；训练集以p＝0.3的概率进行伯努利采样。
[0122]
具体的，由于图像中像素点都不是独立存在的，每一个像素点都与其他像素点尤其是它周围的像素点一起构成图像的局部结构，随机噪声服从随机独立分布，很难找到从周围的像素点到噪声的映射关系；在给定信号的条件下噪声是服从随机独立分布的，因此模型可以从周围像素值预测实际的像素值，但无法预测噪声值，原理如下：
[0123]
设fret三通道原始图像组中原始图像表示为y＝s+n，其中s为有用信号，n为噪声，则使用联合概率分布表示原始图像为：
[0124]
p(n,s)＝p(n)p(n|s0
[0125]
其中，p(n,s)为原始图像中包含噪声和有用信号的概率，p(s)为原始图像中包含有用信号的概率，p(n|s)为原始图像中有用信号上包含噪声的概率；
[0126]
对于原始图像中一定半径范围内的两个像素si、sj，满足p(si,sj)≠p(si)，其中p(si,sj)为原始图像中一定半径范围内像素i和像素j同时为有用信号的概率，p(si)为原始图像中一定半径范围内像素i为有用信号的概率，即两个像素在统计上是不相互独立的；设原始图像中相邻的像素不携带中心像素的噪声分量ni的信息，即在给定信号的条件下，噪声ni是相互独立的，表示为：
[0127][0128]
其中，p(ni,si)为原始图像中第i个像素包含噪声和有用信号的概率；
[0129]
假设噪声分量的平均值为0，则噪声分量的期望：此时原始图像y中像素i的期望即获取到同一个信号的不同噪声图像，对其取平均，结果接近真正的信号；其中，为原始图像中像素i包含有用信息的期望。
[0130]
基于此，优化训练步骤4)中，使用中心像素周围的像素值确定中心像素的无噪声值，具体为：
[0131]
设该dd通道补丁y中第i个中心像素si周围的像素集合为y
rf(i)
，将y
rf(i)
作为确定中心像素无噪声值的感受野输入自监督学习去噪神经网络中，输出中心像素的无噪声值表示为：
[0132][0133]
其中，f(*)为自监督学习去噪神经网络，θ表示为自监督学习去噪神经网络的参数向量；
[0134]
根据信号包含依赖统计性，自监督学习去噪神经网络可以通过观察其周围环境来估计像素的信号，因此，自监督学习去噪神经网络从相同的dd通道原始图像中提取输入的
dd通道补丁y和对应的中心像素的无噪声值通过最小化经验风险函数来训练自监督学习去噪神经网络，得到dd通道去噪模型；最小化经验风险函数表示为：
[0135][0136]
其中，为dd通道原始图像中第j个dd通道补丁第i个中心像素对应的无噪声值，为dd通道原始图像中第j个dd通道补丁第i个中心像素的感受野，l为损失函数；
[0137]
同理，da通道补丁和aa通道补丁执行相同的操作。
[0138]
进一步的，步骤s5具体为：
[0139]
s501、对fret三通道超分辨图像进行数据对齐：以aa通道超分辨图像为基准获得的dd通道超分辨图像进行仿射变换，实现fret三通道超分辨图像的逐像素对齐；
[0140]
s502、对数据对齐后的fret三通道超分辨图像进行背景识别与扣除：对数据对齐后的fret每个通道获得的超分辨图像进行逐像素的灰度值统计，绘制灰度直方图；将灰度直方图中的第一个峰值所对应的灰度值视为背景的灰度值，对图像进行背景修正，用超分辨图像逐像素减去背景的灰度值，并将负的像素灰度值置零；
[0141]
s503、对背景识别和扣除后的fret三通道超分辨图像，采用受体敏化发射的通道方法测量得到fret效率e和供受提浓度比rc，其中fret效率e公式为：
[0142][0143]
供受体浓度比rc公式为：
[0144][0145]
其中，i
dd
为供体激发下供体通道的荧光强度，g为敏化淬灭因子，i
aa
为受体激发下受体通道的荧光强度，k为浓度校正因子，fc为受体敏化荧光信号，表示为：
[0146]
fc＝i
da-a(i
aa-ci
dd
)-d(i
dd-bi
aa
)
[0147]
其中，i
da
为供体激发下受体通道的荧光强度；a为供体的激发串扰系数，b为供体的发射串扰系数、c为受体的激发串扰系数和d受体的发射串扰系数。
[0148]
在本实施例中，通过预先测得a＝0.080625801、b＝0.015753265、c＝0.066790707、d＝0.166357699、g＝0.581469602、k＝1.344915388。
[0149]
为进一步展示出基于自监督学习图像去噪对fret测量的效果，本实施例通过模拟宽场荧光显微成像的真实过程，通过放射状星型图案呈现中心密集到边缘稀疏的空间分布。
[0150]
使用fret效率e和供受体浓度比rc已知的宽场荧光显微图像，根据fret三通道参数来仿真宽场显微下fret原始通道图像数据组，对原始通道数据组分别添加强度为1％和10％的高斯-泊松混合噪声。图4中给出了fret三通道原始图像数据组噪声强度为0％、1％、10％的情况下，经过fret定量分析的结果对比，可以看出噪声对fret测量影响时非常大的。
[0151]
如图5所示，本发明基于自监督学习图像去噪的超分辨sim-fret成像方法在包含强度为10％的高斯-泊松混合噪声的效果示意图；其中，仿真图像为0％噪声强度下测量
fret效率e的结果，其视为ground-truth来作为参考；仿真加噪为10％噪声强度测量fret效率e的结果；仿真去噪为10％噪声强度下，使用本发明方法去噪后测量fret效率e的结果；可见本发明的基于自监督学习图像去噪的超分辨sim-fret成像方法对低信噪比情况下具备较好的假阳性信号过滤和精细结构保留的能力，表现出本发明基于自监督学习图像去噪的超分辨sim-fret成像方法的鲁棒性。
[0152]
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
[0153]
实施例2
[0154]
如图6所示，本发明另一个实施例提供了一种基于自监督学习图像去噪的超分辨sim-fret成像系统，包括fret成像模块、模型构建模块、图像去噪模块、图像重建模块及图像处理模块；
[0155]
其中，fret成像模块用于利用光学成像系统获取活体生物样本的fret三通道原始图像组包括：供体激发供体发射dd通道原始图像组、供体激发受体发射da通道原始图像组以及受体激发受体发射aa通道原始图像组；
[0156]
模型构建模块用于基于u型编码器解码器结构的神经网络构建三个自监督学习去噪神经网络，分别从dd通道原始图像组、da通道原始图像组和aa通道原始图像组中随机选取单幅原始图像，分别输入三个自监督学习去噪神经网络中，并对三个自监督学习去噪神经网络进行迭代训练，分别得到dd通道去噪模型、da通道去噪模型和aa通道去噪模型；
[0157]
图像去噪模块用于利用dd通道去噪模型、da通道去噪模型和aa通道去噪模型对fret三通道原始图像组进行去噪处理，分别得到dd通道去噪图像组、da通道去噪图像组和aa通道去噪图像组；
[0158]
图像重建模块用于对dd通道去噪图像组、da通道去噪图像组和aa通道去噪图像组进行结构光超分辨sim重建，分别得到dd通道超分辨图像、da通道超分辨图像和aa通道超分辨图像；
[0159]
图像处理模块用于对fret三通道超分辨图像进行数据对齐并进行背景识别与扣除；再采用受体敏化的通道方法测量得到fret效率e和供受体浓度比rc。
[0160]
需要说明的是，本发明的基于自监督学习图像去噪的超分辨sim-fret成像系统与本发明的基于自监督学习图像去噪的超分辨sim-fret成像方法一一对应，在上述基于自监督学习图像去噪的超分辨sim-fret成像方法的实施例阐述的技术特征及其有益效果均适用于基于自监督学习图像去噪的超分辨sim-fret成像系统的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
[0161]
实施例3
[0162]
如图7所示，在一个实施例中，提供了一种计算机可读存储介质，存储有程序于存储器中，所述程序被处理器执行时，实现所述的基于自监督学习图像去噪的超分辨sim-fret成像方法，具体为：
[0163]
s1、利用光学成像系统获取活体生物样本的fret三通道原始图像组；所述fret三通道原始图像组包括供体激发供体发射dd通道原始图像组、供体激发受体发射da通道原始图像组以及受体激发受体发射aa通道原始图像组；
[0164]
s2、基于u型编码器解码器结构的神经网络构建三个自监督学习去噪神经网络，分别从dd通道原始图像组、da通道原始图像组和aa通道原始图像组中随机选取单幅原始图像，分别输入三个自监督学习去噪神经网络中，并对三个自监督学习去噪神经网络进行迭代训练，分别得到dd通道去噪模型、da通道去噪模型和aa通道去噪模型；
[0165]
s3、利用dd通道去噪模型、da通道去噪模型和aa通道去噪模型对fret三通道原始图像组进行去噪处理，分别得到dd通道去噪图像组、da通道去噪图像组和aa通道去噪图像组；
[0166]
s4、对dd通道去噪图像组、da通道去噪图像组和aa通道去噪图像组进行结构光超分辨sim重建，分别得到dd通道超分辨图像、da通道超分辨图像和aa通道超分辨图像；
[0167]
s5、对fret三通道超分辨图像进行数据对齐并进行背景识别与扣除；再采用受体敏化的通道方法测量得到fret效率e和供受体浓度比rc。
[0168]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0169]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0170]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：
1.基于自监督学习图像去噪的超分辨sim-fret成像方法，其特征在于，所述方法包括下述步骤：s1、利用光学成像系统获取活体生物样本的fret三通道原始图像组；所述fret三通道原始图像组包括供体激发供体发射dd通道原始图像组、供体激发受体发射da通道原始图像组以及受体激发受体发射aa通道原始图像组；s2、基于u型编码器解码器结构的神经网络构建三个自监督学习去噪神经网络，分别从dd通道原始图像组、da通道原始图像组和aa通道原始图像组中随机选取单幅原始图像，分别输入三个自监督学习去噪神经网络中，并对三个自监督学习去噪神经网络进行迭代训练，分别得到dd通道去噪模型、da通道去噪模型和aa通道去噪模型；s3、利用dd通道去噪模型、da通道去噪模型和aa通道去噪模型对fret三通道原始图像组进行去噪处理，分别得到dd通道去噪图像组、da通道去噪图像组和aa通道去噪图像组；s4、对dd通道去噪图像组、da通道去噪图像组和aa通道去噪图像组进行结构光超分辨sim重建，分别得到dd通道超分辨图像、da通道超分辨图像和aa通道超分辨图像；s5、对fret三通道超分辨图像进行数据对齐并进行背景识别与扣除；再采用受体敏化的通道方法测量得到fret效率e和供受体浓度比r
c
。2.根据权利要求1所述的基于自监督学习图像去噪的超分辨sim-fret成像方法，其特征在于，所述光学成像系统包括激发光路以及探测光路；其中，激发光路包括激发物镜及用于产生激发光束的光学组件；所述激发光束透过激发物镜射出，以便在活体生物样本上激发出荧光；探测光路包括探测物镜及用于成像的光学组件，用于接收和探测活体生物样本所激发出的荧光以成像；所述激发物镜和探测物镜为同一物镜或不同物镜。3.根据权利要求1所述的基于自监督学习图像去噪的超分辨sim-fret成像方法，其特征在于，步骤s1中，所述fret三通道原始图像组获取步骤为：s101、制备适合观测的活体生物样本；s102、根据结构光照明对成像过程的影响及结构光照明编码的频谱特性，对多个不同的传统照明编码进行空域叠加生成复合结构光照明编码；所述传统照明编码包括正弦函数编码、非线性荧光编码和随机编码；s103、依据复合结构光照明编码生成照明结构光照射活体生物样本，进行活体生物样本成像，得到活体生物样本的fret三通道原始图像组：供体激发供体发射dd通道原始图像组、供体激发受体发射da通道原始图像组以及受体激发受体发射aa通道原始图像组；所述每个原始图像组中包含若干个不同结构光方向角、每个结构光方向角包含不同相位差的宽场荧光显微图像。4.根据权利要求1所述的基于自监督学习图像去噪的超分辨sim-fret成像方法，其特征在于，所述自监督学习去噪神经网络包括编码器和解码器；所述编码器包括多个依次连接的特征提取层，每个特征提取层包含卷积层和最大池化层；所述解码器包括多个依次连接的上采样层，每个上采样层包含卷积层和转置卷积层；所述卷积层由2个步长和卷积核大小相同的卷积核和激活函数构成；
所述编码器与解码器呈对称形式，通过编码器最后一个特征提取层与解码器最后一个上采样层进行连接；所述编码器特征提取层中的卷积层与对应的解码器上采样层中的卷积层进行跳跃连接。5.根据权利要求1所述的基于自监督学习图像去噪的超分辨sim-fret成像方法，其特征在于，步骤s2中，所述对三个自监督学习去噪神经网络进行迭代训练，具体为：s201、分别从dd通道原始图像组、da通道原始图像组和aa通道原始图像组中随机选取单幅原始图像；s202、设置自监督学习去噪神经网络的超参数、损失函数和优化器；所述超参数包括自监督学习去噪神经网络的深度、批量大小、初始学习率和最大迭代次数；所述损失函数包括均方误差损失函数、平均绝对误差损失函数、结构相似性损失函数、多尺度结构相似损失函数及其加权组合的损失函数；所述优化器包括adam优化器和sgd优化器；s203、将选取的三张单幅原始图像分别输入三个自监督学习去噪神经网络中，基于优化器分别对自监督学习去噪神经网络进行优化训练，直至损失函数收敛或达到最大迭代次数为止，得到dd通道去噪模型、da通道去噪模型和aa通道去噪模型。6.根据权利要求5所述的基于自监督学习图像去噪的超分辨sim-fret成像方法，其特征在于，所述对自监督学习去噪神经网络进行优化训练，具体为：1)从dd通道原始图像组中随机选取单幅dd通道原始图像，随机裁剪出多个大小相同的dd通道补丁，并按比例将dd通道补丁划分为训练集和验证集；2)随机在训练集中选取一dd通道补丁以概率p进行伯努利采样，添加噪声图像，选取不同的像素进行扣除，并将抠除像素的值置为0；所述伯努利采样表示为：其中，为该dd通道补丁y进行伯努利采样后像素i的像素值，y[i]为该dd通道补丁y中像素i的像素值；3)将抠除像素后的dd通道补丁作为某一自监督学习去噪神经网络的输入图像，该dd通道补丁作为目标；4)设该dd通道补丁被抠除像素的位置为中心像素，使用中心像素周围的像素值确定中心像素的无噪声值，得到dd通道去噪补丁；5)计算dd通道去噪补丁与该dd通道补丁损失值，优化自监督学习去噪神经网络参数；6)将去噪后的dd通道补丁进行拼接得到dd通道去噪图像；7)迭代执行2)-6)，直至该自监督学习去噪神经网络收敛，使用验证补丁对自监督学习去噪神经网络进行验证，得到dd通道去噪模型；同理，得到da通道去噪模型和aa通道去噪模型。7.根据权利要求6所述的基于自监督学习图像去噪的超分辨sim-fret成像方法，其特征在于，步骤4)中，所述使用中心像素周围的像素值确定中心像素的无噪声值，具体为：设该dd通道补丁y中第i个中心像素s
i
周围的像素集合为y
rf(i)
，将y
rf(i)
作为确定中心像
素无噪声值的感受野输入自监督学习去噪神经网络中，输出中心像素的无噪声值表示为：其中，f(*)为自监督学习去噪神经网络，θ表示为自监督学习去噪神经网络的参数向量；所述自监督学习去噪神经网络从相同的dd通道原始图像中提取输入的dd通道补丁y和对应的中心像素的无噪声值通过最小化经验风险函数来训练自监督学习去噪神经网络，得到dd通道去噪模型；所述最小化经验风险函数表示为：其中，为dd通道原始图像中第j个dd通道补丁第i个中心像素对应的无噪声值，为dd通道原始图像中第j个dd通道补丁第i个中心像素的感受野，l为损失函数；同理，da通道补丁和aa通道补丁执行相同的操作。8.根据权利要求1所述的基于自监督学习图像去噪的超分辨sim-fret成像方法，其特征在于，步骤s5具体为：s501、对fret三通道超分辨图像进行数据对齐：以aa通道超分辨图像为基准获得的dd通道超分辨图像进行仿射变换，实现fret三通道超分辨图像的逐像素对齐；s502、对数据对齐后的fret三通道超分辨图像进行背景识别与扣除：对数据对齐后的fret每个通道获得的超分辨图像进行逐像素的灰度值统计，绘制灰度直方图；将灰度直方图中的第一个峰值所对应的灰度值视为背景的灰度值，对图像进行背景修正，用超分辨图像逐像素减去背景的灰度值，并将负的像素灰度值置零；s503、对背景识别和扣除后的fret三通道超分辨图像，采用受体敏化发射的通道方法测量得到fret效率e和供受提浓度比r
c
：所述fret效率e公式为：所述供受体浓度比r
c
公式为：其中，i
dd
为供体激发下供体通道的荧光强度，g为敏化淬灭因子，i
aa
为受体激发下受体通道的荧光强度，k为浓度校正因子，f
c
为受体敏化荧光信号，表示为：f
c
＝i
da-a(i
aa-c/
dd
)-d(i
dd-b/
aa
)其中，i
da
为供体激发下受体通道的荧光强度；a为供体的激发串扰系数，b为供体的发射串扰系数、c为受体的激发串扰系数和d受体的发射串扰系数。9.基于自监督学习图像去噪的超分辨sim-fret成像系统，其特征在于，应用于权利要求1所述的基于自监督学习图像去噪的超分辨sim-fret成像方法，所述系统包括fret成像
模块、模型构建模块、图像去噪模块、图像重建模块及图像处理模块；所述fret成像模块用于利用光学成像系统获取活体生物样本的fret三通道原始图像组；所述fret三通道原始图像组包括供体激发供体发射dd通道原始图像组、供体激发受体发射da通道原始图像组以及受体激发受体发射aa通道原始图像组；所述模型构建模块用于基于u型编码器解码器结构的神经网络构建三个自监督学习去噪神经网络，分别从dd通道原始图像组、da通道原始图像组和aa通道原始图像组中随机选取单幅原始图像，分别输入三个自监督学习去噪神经网络中，并对三个自监督学习去噪神经网络进行迭代训练，分别得到dd通道去噪模型、da通道去噪模型和aa通道去噪模型；所述图像去噪模块用于利用dd通道去噪模型、da通道去噪模型和aa通道去噪模型对fret三通道原始图像组进行去噪处理，分别得到dd通道去噪图像组、da通道去噪图像组和aa通道去噪图像组；所述图像重建模块用于对dd通道去噪图像组、da通道去噪图像组和aa通道去噪图像组进行结构光超分辨sim重建，分别得到dd通道超分辨图像、da通道超分辨图像和aa通道超分辨图像；所述图像处理模块用于对fret三通道超分辨图像进行数据对齐并进行背景识别与扣除；再采用受体敏化的通道方法测量得到fret效率e和供受体浓度比r
c
。10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-8任一项所述的基于自监督学习图像去噪的超分辨sim-fret成像方法。

技术总结
本发明公开了一种基于自监督学习图像去噪的超分辨SIM-FRET成像方法与系统，方法为：利用光学成像系统获取活体生物样本的FRET三通道原始图像组；基于U型编码器解码器结构的神经网络构建自监督学习去噪神经网络，分别从FRET三通道原始图像组中随机选取单幅原始图像，输入自监督学习去噪神经网络中进行迭代训练得到FRET三通道去噪模型；利用FRET三通道去噪模型对FRET三通道原始图像组进行去噪处理得到FRET三通道去噪图像组；对FRET三通道去噪图像组进行结构光超分辨SIM重建得到FRET三通道超分辨图像；再进行数据对齐及背景识别与扣除；采用受体敏化的通道方法测量得到FRET效率E和供受体浓度比R


技术研发人员：罗泽伟 李旭 王灵芝 陈同生
受保护的技术使用者：华南师范大学
技术研发日：2023.05.22
技术公布日：2023/9/14