一种基于深度学习的自然图像自动对焦方法与流程

1.本发明涉及图像处理技术领域，更具体地，涉及一种基于深度学习的自然图像自动对焦方法。


背景技术：

2.自动对焦系统在显微镜成像中具有重要作用。它能够确保获得高质量和清晰度的图像，提高工作效率并简化操作。自动对焦系统可分为基于硬件的自动对焦和基于图像的自动对焦。基于硬件的自动对焦需要安装距离传感器来测量散焦距离，而基于图像的自动对焦则仅依靠图像本身来预测散焦距离。
3.基于自然图像的自动对焦方法通过分析图像特征和指标来确定最佳的焦点位置。其中包括：图像对比度法，通过对比度变化来确定焦点；焦平面扫描法，通过比较不同焦平面上的清晰度来确定焦点；频域法，通过分析图像的频域特征来确定焦点位置。然而，这些方法均需采集多张图像才能实现对焦，导致对焦速度慢并不具有实时性，且其对焦精度受到移动步长的影响。
4.针对上述基于自然图像的自动对焦方法需要采集多张图像而导致对焦速度慢的问题，开发高性能的自动对焦算法，使得其具有实时、高精度和高鲁棒的特性。


技术实现要素：

5.针对上述基于自然图像的显微镜自动对焦存在的技术问题，本发明提供了一种基于深度学习的自然图像自动对焦方法，以解决现有显微镜无法实时自动对焦，精度低和鲁棒性差等技术问题。
6.作为本发明的第一个方面，提供一种基于深度学习的自然图像自动对焦方法，包括如下步骤：
7.步骤s1：在显微镜当前位置采集自然图像；
8.步骤s2：提取所述自然图像中感兴趣区域所在的图像子块；
9.步骤s3：利用训练好的深度学习模型预测所述图像子块的散焦距离；
10.步骤s4：根据预测后的散焦距离，移动物镜至目标位置，以完成显微镜自动对焦。
11.进一步地，所述提取所述自然图像中感兴趣区域所在的图像子块，包括：
12.选取所述自然图像中想要聚焦清晰的感兴趣区域，并从所述感兴趣区域中提取出大小为320
×
320的图像子块。
13.进一步地，所述利用训练好的深度学习模型预测所述图像子块的散焦距离之前，包括：
14.构建轻量级的深度学习模型；
15.制作用于训练深度学习模型的数据集；
16.根据所述数据集对所述轻量级的深度学习模型进行训练，以生成所述训练好的深度学习模型。
17.进一步地，所述制作用于训练深度学习模型的数据集，包括：
18.定步长和定行程以同时采集芯片上各个焦平面的自然图像和裂像图像，并提取所有自然图像和裂像图像中感兴趣区域所在的图像子块，得到自然图像的焦点堆栈和裂像图像的焦点堆栈；
19.根据裂像图像的焦点堆栈来确定每组自然图像的焦点堆栈对应的基准图像子块，标注其散焦距离为0μm，并按照所述步长为每组自然图像的焦点堆栈中的其他图像子块标注真实的散焦距离，制作出带有标签的数据集。
20.进一步地，所述根据所述数据集对所述轻量级的深度学习模型进行训练，以生成所述训练好的深度学习模型，还包括：
21.将所述带有标签的数据集中的散焦图像输入到所述轻量级的深度学习模型中，输出该散焦图像的预测散焦距离；
22.根据每张散焦图像的预测散焦距离及其对应的真实散焦距离，得到两者之间的均方差损失函数；
23.根据均方差损失函数更新所述轻量级的深度学习模型的网络参数，重复上述过程，直至训练好模型。
24.进一步地，所述根据裂像图像的焦点堆栈来确定每组自然图像的焦点堆栈对应的基准图像子块，包括：
25.利用相似度算法估计每组焦点堆栈中所有裂像图像的上下裂像图案的相对像素距离，确定相对像素距离最小的裂像图像所在的位置；
26.根据标定差值和相对像素距离最小的裂像图像所在的位置，选取相对应的自然图像子块作为每组焦点堆栈的基准图像子块。
27.进一步地，所述标定差值，包括：
28.定步长和定行程以同时采集高分辨率标定板上各个焦平面的自然图像和裂像图像，并分别提取自然图像和裂像图像中感兴趣区域所在的图像子块，得到自然图像的焦点堆栈和裂像图像的焦点堆栈；
29.利用相似度算法估计焦点堆栈中裂像图像的上下裂像图案的相对像素距离，确定焦点堆栈中相对像素距离最小的裂像图像所在的位置；
30.利用清晰度评价算子评估焦点堆栈中自然图像的对比度，确定焦点堆栈中对比度最大的自然图像所在的位置；
31.焦点堆栈中相对像素距离最小的裂像图像所在的位置与对比度最大的自然图像所在的位置之间的距离即为标定差值。
32.进一步地，所述利用训练好的深度学习模型预测所述图像子块的散焦距离，还包括：
33.所述训练好的深度学习模型将输入的当前图像子块先通过5次下采样提取图像特征，然后经过全连接层将提取的图像特征进行整合，最终输出所述当前图像子块的单个预测散焦距离。
34.进一步地，所述训练好的深度学习模型的网络结构包括五种基础块，分别为第一基础块、第二基础块、第三基础块、第四基础块、第五基础块，还包括：
35.将输入的单张图像子块先经过所述第一基础块进行浅层特征提取得到大小为128
×
128
×
c1的特征图；而后经过由一个所述第二基础块和两个所述第三基础块组成的第一串联结构调整该特征图的通道数为c2；紧接着再经过两个第一串联结构得到大小为32
×
32
×
c4的特征图；然后经过由一个所述第二基础块和两个所述第四基础块组成的第二串联结构提取得到大小为16
×
16
×
c5的特征图；紧接着再经过两个所述第二串联结构进行高维特征提取，得到大小为8
×8×
c7的特征图；之后再经过所述第一基础块和全局平均池化对其在二维图像层面进行特征整合，并由所述第一基础块调整通道数得到大小为1
×1×
c8的特征图；最后由三个所述第五基础块以全连接层的形式对高维特征进行整合并输出预测结果。
36.进一步地，所述第一基础块包括一个卷积层后接批归一化处理和激活函数；所述第二基础块由逆残差结构组成，分别执行1
×
1的升维卷积、3
×
3的深度可分离卷积和1
×
1的降维卷积；所述第三基础块由逆残差结构组成，分别执行1
×
1的升维卷积、3
×
3的深度可分离卷积、自注意力机制和1
×
1的降维卷积，在施加自注意力机制之前，需要将由所述3
×
3深度可分离卷积提取的特征通过卷积的方式调整成大小为16
×
16
×
c的特征图，而后进行通道融合，得到大小为256
×
c的特征向量，并由多头注意力机制提取全局特征，最后通过全局最大池化的方式来计算出每个通道的权重并作用于原特征图；所述第四基础块由逆残差结构组成，分别执行1
×
1的升维卷积、3
×
3的深度可分离卷积和1
×
1的降维卷积，同时将输入和输出通过残差边连接；所述第五基础块包含一个全连接层和一个激活函数，将前面层提取的高维特征进行整合，并调整输出特征的维度。
37.本发明提供的一种基于深度学习的自然图像自动对焦方法具有以下有益效果：
38.(1)本发明通过单个模型即可实现从单张自然图像中预测散焦距离，并将该模型利用gpu进行加速推理，可实现实时的自动对焦，摆脱了传统需要采集多张图像而导致对焦速度慢的弊端；
39.(2)本发明采用裂像图像的焦点堆栈来确定自然图像的焦点堆栈对应的基准图像子块，克服了清晰度评价算子本身存在的局限性，提高数据集整体的制作精度；
40.(3)本发明搭建了一个轻量级的深度学习模型，来进一步提高对焦的精度和鲁棒性。
附图说明
41.附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
42.图1为本发明提供的基于深度学习的自然图像自动对焦方法的流程图。
43.图2为本发明提供的深度学习模型的网络结构图。
44.图3为本发明提供的标定差值过程示意图。
45.图4为本发明提供的基于深度学习的自然图像自动对焦方法的具体实现效果流程图。
46.图5为本发明提供的不同散焦图像的预测结果示意图。
具体实施方式
47.为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合
附图及较佳实施例，对依据本发明提出的一种基于深度学习的自然图像自动对焦方法其具体实施方式、结构、特征及其功效，详细说明如后。显然，所描述的实施例为本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
48.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
49.在本实施例中提供了一种基于深度学习的自然图像自动对焦方法，如图1所示，请同时参照图4，所述基于深度学习的自然图像自动对焦方法，包括如下步骤：
50.步骤s1：在显微镜当前位置采集自然图像；
51.步骤s2：提取所述自然图像中感兴趣区域所在的图像子块；
52.优选地，所述提取所述自然图像中感兴趣区域所在的图像子块，包括：
53.选取所述自然图像中想要聚焦清晰的感兴趣区域，并从所述感兴趣区域中提取出大小为320
×
320的图像子块。
54.步骤s3：利用训练好的深度学习模型预测所述图像子块的散焦距离；
55.优选地，所述利用训练好的深度学习模型预测所述图像子块的散焦距离之前，包括：
56.构建轻量级的深度学习模型；
57.制作用于训练深度学习模型的数据集；
58.具体地，所述制作用于训练深度学习模型的数据集，包括：
59.定步长和定行程以同时采集芯片上各个焦平面的自然图像和裂像图像，并提取所有自然图像和裂像图像中感兴趣区域所在的图像子块，得到自然图像的焦点堆栈和裂像图像的焦点堆栈；其中，每张图像子块的大小为320
×
320，分别得到240组自然图像的焦点堆栈和240组裂像图像的焦点堆栈；
60.根据裂像图像的焦点堆栈来确定每组自然图像的焦点堆栈对应的基准图像子块，标注其散焦距离为0μm，并按照所述步长为每组自然图像的焦点堆栈中的其他图像子块标注真实的散焦距离，制作出带有标签的数据集。将数据集按照8:1:1的比例随机划分为训练集、验证集和测试集。
61.具体地，所述根据裂像图像的焦点堆栈来确定每组自然图像的焦点堆栈对应的基准图像子块，包括：
62.利用相似度算法估计每组焦点堆栈中所有裂像图像的上下裂像图案的相对像素距离，确定相对像素距离最小的裂像图像所在的位置；
63.根据标定差值和相对像素距离最小的裂像图像所在的位置，选取相对应的自然图像子块作为每组焦点堆栈的基准图像子块。
64.具体地，所述标定差值，包括：
65.定步长和定行程以同时采集高分辨率标定板上各个焦平面的自然图像和裂像图
像，并分别提取自然图像和裂像图像中感兴趣区域所在的图像子块，得到自然图像的焦点堆栈和裂像图像的焦点堆栈；
66.利用归一化互相关相似度算法估计焦点堆栈中裂像图像的上下裂像图案的相对像素距离，确定焦点堆栈中相对像素距离最小的裂像图像所在的位置；
67.具体地，归一化互相关相似度算法(ncc)可以表示为：
[0068][0069][0070][0071]
其中，m和n为从上裂像图像中选取的像素坐标值集合，t为该集合的总像素数，l(x,y)和分别为下裂像图像的像数值和像素平均值，u(w,h)和分别为上裂像图像的像素值和像素平均值。
[0072]
利用清晰度评价算子评估焦点堆栈中自然图像的对比度，确定焦点堆栈中对比度最大的自然图像所在的位置；
[0073]
具体地，选用tenengrad清晰度评价算子评估焦点堆栈中自然图像的对比度，确定焦点堆栈中对比度最大的自然图像所在的位置。tenengrad可表示为：gi(i,j)＝i(i-1,j+1)+2i(i,j+1)+i(i+1,j+1)-i(i-1,j-1)-2i(i,j-1)-i(i+1,j-1)
[0074]gj
(i,j)＝i(i-1,j-1)+2i(i-1,j)+i(i-1,j+1)-i(i+1,j-1)-2i(i+1,j)-i(i+1,j+1)
[0075][0076]
其中，i(i,j)为像素(i,j)处的灰度值，gi(i,j)表示像素(i,j)沿x方向的梯度值，gj(i,j)表示像素(i,j)沿y方向的梯度值，s(i,j)表示在像素(i,j)处的清晰度评估值。
[0077]
焦点堆栈中利用ncc计算的相对像素距离最小的裂像图像所在的位置与利用tenengrad计算的对比度最大的自然图像所在的位置之间的距离即为标定差值，如图3所示。
[0078]
根据所述数据集对所述轻量级的深度学习模型进行训练，以生成所述训练好的深度学习模型。
[0079]
具体地，所述根据所述数据集对所述轻量级的深度学习模型进行训练，以生成所述训练好的深度学习模型，还包括：
[0080]
将所述带有标签的数据集中的散焦图像输入到所述轻量级的深度学习模型中，输出该散焦图像的预测散焦距离；
[0081]
根据每张散焦图像的预测散焦距离及其对应的真实散焦距离，得到两者之间的均方差损失函数；
[0082]
根据均方差损失函数更新所述轻量级的深度学习模型的网络参数，重复上述过程，直至训练好模型。
[0083]
具体地，模型的均方差损失函数表示为：
[0084][0085]
其中，ii为输入散焦图像，为输入图像的真实散焦距离，n表示批次的大小，g(*)为网络模型。
[0086]
优选地，所述利用训练好的深度学习模型预测所述图像子块的散焦距离，还包括：
[0087]
所述训练好的深度学习模型将输入的当前图像子块先通过5次下采样提取图像特征，然后经过全连接层将提取的图像特征进行整合，最终输出所述当前图像子块的单个预测散焦距离。
[0088]
具体地，如图2所示，所述训练好的深度学习模型的网络结构包括五种基础块，分别为第一基础块、第二基础块、第三基础块、第四基础块、第五基础块，还包括：
[0089]
将输入的单张图像子块先经过所述第一基础块(block_1)进行浅层特征提取得到大小为128
×
128
×
c1的特征图；而后经过由一个所述第二基础块(block_2)和两个所述第三基础块(block_3)组成的第一串联结构(series_1)调整该特征图的通道数为c2；紧接着再经过两个第一串联结构(series_1)得到大小为32
×
32
×
c4的特征图；然后经过由一个所述第二基础块(block_2)和两个所述第四基础块(block_4)组成的第二串联结构(series_2)提取得到大小为16
×
16
×
c5的特征图；紧接着再经过两个所述第二串联结构(series_2)进行高维特征提取，得到大小为8
×8×
c7的特征图；之后再经过所述第一基础块(block_1)和全局平均池化(gap)对其在二维图像层面进行特征整合，并由所述第一基础块(block_1)调整通道数得到大小为1
×1×
c8的特征图；最后由三个所述第五基础块(block_5)以全连接层的形式对高维特征进行整合并输出预测结果。
[0090]
具体地，所述第一基础块(block_1)包括一个卷积层(conv2d)后接批归一化处理(bn)和激活函数(relu)；所述第二基础块(block_2)由逆残差结构组成，分别执行1
×
1的升维卷积(conv2d,bn,relu)、3
×
3的深度可分离卷积(dw,bn,relu)和1
×
1的降维卷积(conv2d,bn)；所述第三基础块(block_3)也由逆残差结构组成，分别执行1
×
1的升维卷积(conv2d,bn,relu)、3
×
3的深度可分离卷积(dw,bn,relu)、自注意力机制和1
×
1的降维卷积(conv2d,bn)，在其中引入自注意力机制使得模型可以通过对所有空间位置进行自我比较，计算每个位置与其他位置之间的相似度得分来动态地决定每个位置地重要性，实现对全局特征的提取。在施加自注意力机制之前，需要将由所述3
×
3深度可分离卷积提取的特征通过卷积(conv2d)的方式调整成大小为16
×
16
×
c的特征图，而后进行通道融合(reshape)，得到大小为256
×
c的特征向量，并由多头注意力机制提取全局特征，最后通过全局最大池化(gap)的方式来计算出每个通道的权重并作用于原特征图；所述第四基础块(block_4)由逆残差结构组成，分别执行1
×
1的升维卷积(conv2d,bn,relu)、3
×
3的深度可分离卷积(dw,bn,relu)和1
×
1的降维卷积(conv2d,bn)，同时将输入和输出通过残差边连接；所述第五基础块(block_5)包含一个全连接层(linear)和一个激活函数(leakyrelu)，将前面层提取的高维特征进行整合，并调整输出特征的维度。
[0091]
步骤s4：根据预测后的散焦距离，移动物镜至目标位置，以完成显微镜自动对焦。
[0092]
实验分析：
[0093]
本发明的实验环境配置：windows10系统，cpu为intel(r)core(tm)i7-10750h cpu@2.60ghz，16.0gb内存。一块nvidia 1650显卡，python3.7，使用tensorflow框架。实验中，batch size设置为12，运行36个epoch，并且学习率每5个epoch下降一半，整个深度学习模型使用adam优化器进行优化。
[0094]
为了证明本发明的自动对焦性能，选用目前三种主流的方法进行对比：有序回归模型、分类模型和在频域下的回归模型。对比结果如表1所示。从表1中可以看出，本发明的自动对焦方法与其他三种主流方法相比在对焦精度上有一定的提升。本发明的自动对焦方法的平均绝对误差(mae)为0.422μm，相比较于精度最高的分类方法0.534μm提升了20％。从均方根误差(rmse)来看，本发明将分类模型的0.731μm提升到了0.528μm，说明其具有更好的鲁棒性。因此，本发明基于深度学习的自然图像自动对焦方法具有更高的精度和鲁棒性，图5列举了一些不同散焦图像的预测结果。将本发明模型通过tensorrt部署到本地服务器，利用gpu进行加速推理，可达到44ms每张图像的预测速度。
[0095]
表1本发明与三种主流方法的对比结果
[0096]
algorithmrmse(μm)mae(μm)ordinal regression model1.2050.863classification model0.7310.534regression model(frequency domain)3.8441.478ours0.5280.422
[0097]
综上，本发明通过单个模型即可实现从单张自然图像中预测散焦距离，摆脱了传统需要采集多张图像而导致对焦速度慢的弊端。采用裂像图像的焦点堆栈来确定自然图像的焦点堆栈对应的基准图像子块，克服了清晰度评价算子本身存在的局限性，提高数据集整体的制作精度。将本发明模型通过tensorrt进行部署，利用gpu进行加速推理，可实现实时的自动对焦。
[0098]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

技术特征：
1.一种基于深度学习的自然图像自动对焦方法，其特征在于，包括如下步骤：步骤s1：在显微镜当前位置采集自然图像；步骤s2：提取所述自然图像中感兴趣区域所在的图像子块；步骤s3：利用训练好的深度学习模型预测所述图像子块的散焦距离；步骤s4：根据预测后的散焦距离，移动物镜至目标位置，以完成显微镜自动对焦。2.根据权利要求1所述的一种基于深度学习的自然图像自动对焦方法，其特征在于，所述提取所述自然图像中感兴趣区域所在的图像子块，包括：选取所述自然图像中想要聚焦清晰的感兴趣区域，并从所述感兴趣区域中提取出大小为320
×
320的图像子块。3.根据权利要求1所述的一种基于深度学习的自然图像自动对焦方法，其特征在于，所述利用训练好的深度学习模型预测所述图像子块的散焦距离之前，包括：构建轻量级的深度学习模型；制作用于训练深度学习模型的数据集；根据所述数据集对所述轻量级的深度学习模型进行训练，以生成所述训练好的深度学习模型。4.根据权利要求3所述的一种基于深度学习的自然图像自动对焦方法，其特征在于，所述制作用于训练深度学习模型的数据集，包括：定步长和定行程以同时采集芯片上各个焦平面的自然图像和裂像图像，并提取所有自然图像和裂像图像中感兴趣区域所在的图像子块，得到自然图像的焦点堆栈和裂像图像的焦点堆栈；根据裂像图像的焦点堆栈来确定每组自然图像的焦点堆栈对应的基准图像子块，标注其散焦距离为0μm，并按照所述步长为每组自然图像的焦点堆栈中的其他图像子块标注真实的散焦距离，制作出带有标签的数据集。5.根据权利要求4所述的一种基于深度学习的自然图像自动对焦方法，其特征在于，所述根据所述数据集对所述轻量级的深度学习模型进行训练，以生成所述训练好的深度学习模型，还包括：将所述带有标签的数据集中的散焦图像输入到所述轻量级的深度学习模型中，输出该散焦图像的预测散焦距离；根据每张散焦图像的预测散焦距离及其对应的真实散焦距离，得到两者之间的均方差损失函数；根据均方差损失函数更新所述轻量级的深度学习模型的网络参数，重复上述过程，直至训练好模型。6.根据权利要求4所述的一种基于深度学习的自然图像自动对焦方法，其特征在于，所述根据裂像图像的焦点堆栈来确定每组自然图像的焦点堆栈对应的基准图像子块，包括：利用相似度算法估计每组焦点堆栈中所有裂像图像的上下裂像图案的相对像素距离，确定相对像素距离最小的裂像图像所在的位置；根据标定差值和相对像素距离最小的裂像图像所在的位置，选取相对应的自然图像子块作为每组焦点堆栈的基准图像子块。7.根据权利要求6所述的一种基于深度学习的自然图像自动对焦方法，其特征在于，所
述标定差值，包括：定步长和定行程以同时采集高分辨率标定板上各个焦平面的自然图像和裂像图像，并分别提取自然图像和裂像图像中感兴趣区域所在的图像子块，得到自然图像的焦点堆栈和裂像图像的焦点堆栈；利用相似度算法估计焦点堆栈中裂像图像的上下裂像图案的相对像素距离，确定焦点堆栈中相对像素距离最小的裂像图像所在的位置；利用清晰度评价算子评估焦点堆栈中自然图像的对比度，确定焦点堆栈中对比度最大的自然图像所在的位置；焦点堆栈中相对像素距离最小的裂像图像所在的位置与对比度最大的自然图像所在的位置之间的距离即为标定差值。8.根据权利要求1所述的一种基于深度学习的自然图像自动对焦方法，其特征在于，所述利用训练好的深度学习模型预测所述图像子块的散焦距离，还包括：所述训练好的深度学习模型将输入的当前图像子块先通过5次下采样提取图像特征，然后经过全连接层将提取的图像特征进行整合，最终输出所述当前图像子块的单个预测散焦距离。9.根据权利要求8所述的一种基于深度学习的自然图像自动对焦方法，其特征在于，所述训练好的深度学习模型的网络结构包括五种基础块，分别为第一基础块、第二基础块、第三基础块、第四基础块、第五基础块，还包括：将输入的单张图像子块先经过所述第一基础块进行浅层特征提取得到大小为128
×
128
×
c1的特征图；而后经过由一个所述第二基础块和两个所述第三基础块组成的第一串联结构调整该特征图的通道数为c2；紧接着再经过两个第一串联结构得到大小为32
×
32
×
c4的特征图；然后经过由一个所述第二基础块和两个所述第四基础块组成的第二串联结构提取得到大小为16
×
16
×
c5的特征图；紧接着再经过两个所述第二串联结构进行高维特征提取，得到大小为8
×8×
c7的特征图；之后再经过所述第一基础块和全局平均池化对其在二维图像层面进行特征整合，并由所述第一基础块调整通道数得到大小为1
×1×
c8的特征图；最后由三个所述第五基础块以全连接层的形式对高维特征进行整合并输出预测结果。10.根据权利要求9所述的一种基于深度学习的自然图像自动对焦方法，其特征在于，所述第一基础块包括一个卷积层后接批归一化处理和激活函数；所述第二基础块由逆残差结构组成，分别执行1
×
1的升维卷积、3
×
3的深度可分离卷积和1
×
1的降维卷积；所述第三基础块由逆残差结构组成，分别执行1
×
1的升维卷积、3
×
3的深度可分离卷积、自注意力机制和1
×
1的降维卷积，在施加自注意力机制之前，需要将由所述3
×
3深度可分离卷积提取的特征通过卷积的方式调整成大小为16
×
16
×
c的特征图，而后进行通道融合，得到大小为256
×
c的特征向量，并由多头注意力机制提取全局特征，最后通过全局最大池化的方式来计算出每个通道的权重并作用于原特征图；所述第四基础块由逆残差结构组成，分别执行1
×
1的升维卷积、3
×
3的深度可分离卷积和1
×
1的降维卷积，同时将输入和输出通过残差边连接；所述第五基础块包含一个全连接层和一个激活函数，将前面层提取的高维特征进行整合，并调整输出特征的维度。

技术总结
本发明涉及图像处理技术领域，具体公开了一种基于深度学习的自然图像自动对焦方法，包括：在显微镜当前位置采集自然图像；提取所述自然图像中感兴趣区域所在的图像子块；利用训练好的深度学习模型预测所述图像子块的散焦距离；根据预测后的散焦距离，移动物镜至目标位置，以完成显微镜自动对焦。本发明提供的基于深度学习的自然图像自动对焦方法，通过单个模型即可实现从单张自然图像中预测散焦距离，极大地缩短了预测流程，同时将模型通过TensorRT进行部署，利用GPU的并行计算能力来加速模型的推理过程，实现实时自动对焦。实现实时自动对焦。实现实时自动对焦。


技术研发人员：华智捷 张旭 浦栋麟
受保护的技术使用者：江苏集萃华科智能装备科技有限公司
技术研发日：2023.06.28
技术公布日：2023/9/13