一种基于三维卷积神经网络的白光干涉信号解调方法

1.本发明属于微纳测量领域，特别涉及一种基于三维卷积神经网络的白光干涉信号解调方法。


背景技术：

2.微纳检测技术是当前微纳领域的一个热点研究方向，也是微纳领域进一步发展的基本保障。微纳器件由于其在微观尺度下所表现的独特性能，在航空航天、生物医药、半导体制造等众多高新技术领域有着广泛的应用。而微纳器件的设计、生产制造、测试等一系列过程都离不开微纳检测技术，三维微纳结构快速测量技术是微纳检测领域的一个重点发展趋势，在实际生产生活中发挥着十分重要的作用。
3.当前对三维微纳结构的测量方法主要有结构光显微测量技术和数字全息测量技术。基于结构光显微测量技术具有高精度、全视场、非接触性等特点。1997年，neil利用相移法求解结构光显微系统中的轴向响应曲线，调制度最大值会出现在被测表面刚好处于物镜焦平面上时，于是被测表面的高度可以根据调制度最大值出现的位置与扫描步距获得，以此实现表面形貌的测量。1999年，tsai在结构光显微测量中引入了双扫描方法，利用调制度响应曲线的线性区域实现快速形貌测量。然而由于调制度响应曲线与材料本身特性有关，难以适用与多材料物体的精确测量，这一缺点极大地限制了该方法的使用范围。数字全息测量技术是利用光的干涉原理与衍射理论将照射在物体表面反射回的光波以干涉条纹的形式保存为全息图，全息图中包含有被测物体的波前信息，通过对所记录的全息图进行数值重构可以恢复出被测物体的相位以及振幅信息，完成被测物体的三维形貌重构。当前，数字全息技术已经在无标记生物细胞检测、材料表面度量以及微结构表面检测等领域有了广泛应用。然而，对于大粗糙度表面，由于难以产生连续的干涉条纹，使得在进行三维重构时无法获取相位和振幅信息，该方法使用受限。
4.白光干涉测量技术是利用干涉原理将照射在待测表面的测量光束与照射在参考平面的参考光束之间产生干涉条纹，将光程差以干涉条纹的形式记录下来，干涉条纹中包含了被测表面的形貌信息，通过白光干涉信号处理算法，可以从干涉条纹图中将高度信息提取出来，完成被测表面的三维形貌恢复。当前，当前主流的白光干涉信号解调方法为相移法，当测量相同材料的物体时，每个像素点的初始相位是一致的，相移法可以把它当作一个全局误差，每个点的相对高度保持不变。然而，当测量多种材料的物体时，每个材料位置的反射光的相位变化是不同的，导致每个材料位置的白光干涉信号的初始相位不同。此时，传统的相移法会出现偏差，无法准确恢复出待测物体的表面三维形貌。而且该方法解调速度慢，且不适用于多种材料物体的测量，所以在一定情况下限制了该方法的使用。


技术实现要素：

5.为了克服上述当前技术的不足，本发明提出了一种基于三维卷积神经网络的白光干涉信号解调方法，该方法利用三维卷积神经网络对采集到的垂直扫描白光干涉信号进行
解调，通过三维卷积神经网络的计算解调之后，可直接获得对应的三维形貌信息。本发明提出的基于三维卷积神经网络的白光干涉信号解调方法采用并行计算的方式，具有更快的解调速度，可适用于不同的倍率的光学系统设置，且能够准确测量不同材料物体的表面三维形貌，即本发明的方法具有快速、准确、适应性强的特点。
6.为了实现上述目的，本发明一种基于三维卷积神经网络的白光干涉信号解调方法，该方法的步骤如下：
7.步骤一：通过分析物理成像过程，研究不同材料表面对反射光相位的影响，提出不同材料表面的白光干涉信号物理模型；
8.步骤二：使用仿真数据作为三维卷积神经网络的数据训练集，首先构建出随机面型数据集，然后根据上述提出的白光干涉信号物理模型，生成对应的白光干涉信号数据集，以上两者共同构成了三维卷积神经网络的数据训练集；
9.步骤三：结合白光干涉的物理成像特性，搭建三维卷积神经网络模型，利用上述数据训练集训练该三维卷积神经网络；
10.步骤四：对实际采集到的图片进行预处理，去除图片中的高频噪声，并对白光干涉信号进行归一化处理；
11.步骤五：将经过归一化处理后的白光干涉信号堆叠数据直接输入到训练好的三维卷积神经网络中，即可获得待测样品的表面三维形貌信息。
12.进一步地，每个像素点的白光干涉信号表示为：
[0013][0014]
其中，i0为背景光强，i1是白光干涉条纹的调制度，lc为相干长度，λ0为白光光源的中心波长，h是零光程差点所在的位置，z为待测物体表面所在位置，通过定位零光程差点可求得待测物体表面的三维形貌，是每个像素点白光干涉信号的初始相位，与待测物体表面材料有关；
[0015]
从空气-表面界面反射的光矢量垂直于入射表面分量的反射系数rs和平行于入射表面分量的反射系数r
p
为：
[0016][0017][0018]
其中，
[0019][0020][0021]
[0022][0023]
上式中，复数的模(|rs|和|r
p
|)表示反射波和入射波的实振幅之比，复数的幅角(φs和φ
p
)表示反射时的位相变化，θ是光线的入射角，n是光在介质中传播时的折射率，k是光在介质中传播时的衰减系数，e是指数exp，i是虚数，n,k是定义的参数，其值由以下公式计算：
[0024][0025][0026]
由于反射光的两个分量是相干的，反射光的总相位变化是这两个分量的组合矢量的相位角：
[0027]
φ(θ)＝arg[|rs|exp(iφs)+|r
p
|exp(iφ
p
)]
ꢀꢀ
(10)
[0028]
在光的垂直入射下，反射光的相位变化表示为：
[0029][0030]
式中，ν为波长，通过以上方式构成白光干涉信号物理模型。
[0031]
进一步地，通过确定白光干涉垂直扫描系统参数，构建随机面型数据集，作为三维卷积神经网络的输出，随机面型数据集之间的主要差异包括峰和谷的数量、峰和谷的大小、倾斜程度和表面粗糙度，然后利用上述的白光干涉信号物理模型生成对应的白光干涉信号数据集，作为三维卷积神经网络的输入，以上两者共同构成了三维卷积神经网络的数据训练集。
[0032]
进一步地，本发明采用的三维卷积神经网络结合了垂直扫描白光干涉系统的物理特性，使用1
×1×
3的卷积核，更符合白光干涉像素点间信号无串扰的特性，且该设置可以有效的减少计算量，同时可使神经网络的训练收敛得更快。
[0033]
进一步地，利用卷积神经网络快速并行计算的特点，可实现多个白光干涉信号的快速解调，三维形貌的重建时间大大缩短，可大幅提升检测效率。
[0034]
进一步地，本发明提出的卷积神经网络可适用于不同的光学系统设置，在10倍、20倍和50倍干涉物镜下都可正常工作，泛化能力强，具有良好的适应性。
[0035]
进一步地，本发明在白光干涉物理模型中考虑了不同材料相位损失不同带来的影响，因此可实现对不同材料表面的准确高度测量，适应范围广。
[0036]
本发明的原理在于：本发明通过白光干涉物理模型建立仿真训练集，利用该训练集训练神经网络，训练好的神经网络可直接输出待测样品的三维信息。
[0037]
本发明与现有技术相比，其优点在于：本发明利用了神经网络强大的特征拟合及快速并行计算的能力，可以快速准确的解调白光干涉信号，且可完成不同材料样品以及不同光学系统设置的测量，即本发明具有更快的速度，更强的适应性。
附图说明
[0038]
图1为本发明一种基于三维卷积神经网络的白光干涉信号解调方法流程图。
[0039]
图2为本发明一种基于三维卷积神经网络的白光干涉信号解调方法的光路图；其中，201为卤素照明光源，202为准直镜，203为分光镜，204为显微干涉物镜，205为pzt压电陶瓷，206为tube透镜，207为ccd相机。
[0040]
图3为本发明采用的三维卷积神经网络示意图。
[0041]
图4为10倍镜头下实验得到的不同材料光栅的白光干涉原始图像(a)，传统相移法恢复的表面三维形貌图(b)，本发明提出的基于三维卷积神经网络恢复的表面三维形貌图(c)，两种方法的三维形貌的截面图对比(d)。
[0042]
图5为20倍镜头下不同材料光栅的神经网络恢复的三维形貌结果(a)，20倍镜头下相移法与神经网络法恢复的三维形貌的截面图对比(b),50倍镜头下不同材料光栅的神经网络恢复的三维形貌结果(c)，50倍镜头下相移法与神经网络法恢复的三维形貌的截面图对比(d)。
具体实施方式
[0043]
为了更好地说明本发明的具体过程，下面结合附图做进一步地详细描述。
[0044]
如图1所示，一种基于三维卷积神经网络的白光干涉信号解调方法，具体步骤如下：
[0045]
步骤一：通过分析物理成像过程，研究不同材料表面对反射光相位的影响，提出不同材料表面的白光干涉信号物理模型；
[0046]
步骤二：使用仿真数据作为神经网络的训练集，首先构建出随机面型数据集，然后根据上述提出的白光干涉信号物理模型，生成对应的白光干涉信号数据集，以上两者共同构成了三维卷积神经网络的数据训练集；
[0047]
步骤三：结合白光干涉的物理成像特性，搭建三维卷积神经网络模型，利用上述数据训练集训练该神经网络；
[0048]
步骤四：对实际采集到的图片进行预处理，去除图片中的高频噪声，并对白光干涉信号进行归一化处理；
[0049]
步骤五：将经过归一化处理后的白光干涉信号堆叠数据直接输入到训练好的三维卷积神经网络中，即可获得待测样品的表面三维形貌信息。
[0050]
本发明中，主要的器件包括：卤素照明光源201，准直镜202，tube透镜206，一个分光镜203，一个ccd相机207，显微干涉物镜204，pzt压电陶瓷205。其中，卤素照明光源用于为测量系统提供光源，ccd相机207位于tube透镜206焦面处，用于采集图像。显微干涉物镜204用于对待测物体表面进行成像，分光镜203用于分离光束，pzt压电陶瓷205用于驱动物体进行轴向扫描，待测样品位于干涉物镜206的焦面处。
[0051]
其中，每个像素点的白光干涉信号可表示为：
[0052][0053]
其中，i0为背景光强，i1是白光干涉条纹的调制度，lc为相干长度，λ0为白光光源的
中心波长，h是零光程差点所在的位置，z为待测物体表面所在位置，通过定位零光程差点可求得待测物体表面的三维形貌，是每个像素点白光干涉信号的初始相位，与待测物体表面材料有关。
[0054]
当测量相同材料的物体时，每个像素点的初始相位是一致的。反射光的相位变化与材料表面的反射系数和衰减系数有关。根据菲涅尔公式，可以推导出从空气-表面界面反射的光矢量垂直于入射表面分量的反射系数rs和平行于入射表面分量的反射系数r
p
为：
[0055][0056][0057]
其中，
[0058][0059][0060][0061][0062]
上式中，复数的模(|rs|和|r
p
|)表示反射波和入射波的实振幅之比，复数的幅角(φs和φ
p
)表示反射时的位相变化，θ是光线的入射角，n是光在介质中传播时的折射率，k是光在介质中传播时的衰减系数，e是指数exp的意思，i是虚数，两者都随入射光的波长变化。n,k是定义的参数，其值由以下公式计算：
[0063][0064][0065]
由于反射光的两个分量是相干的，反射光的总相位变化是这两个分量的组合矢量的相位角：
[0066]
φ(θ)＝arg[|rs|exp(iφs)+|r
p
|exp(iφ
p
)]
ꢀꢀ
(10)
[0067]
在光的垂直入射下，反射光的相位变化可以表示为：
[0068][0069]
式中，ν为波长，传统的相移方法没有考虑到不同材料表面的相位损失的影响。本发明可通过以上物理模型生成白光干涉训练集，并利用深度学习技术对白光信号进行解调。
[0070]
图3为本发明所采用的卷积神经网络架构，该架构以unet和vggnet为基础，结合白光干涉的物理特性优化而成，所采用的卷积核大小为1
×1×
3。应用中实验数据将被输入3d-unet网络进行下采样和上采样，并输出32
×
32
×
64
×
4大小的特征图。然后，这些特征图将被送入3d-vgg进行计算，并输出32
×
32
×1×
128大小的特征图。最后，通过三维卷积进行特征融合，输出一个32
×
32的三维形貌图。
[0071]
图4为10倍干涉物镜下的测量结果。其中，(a)为待测二维光栅结构(高度121nm)，上表面为金属铬，下表面为二氧化硅。(b)为相移法恢复三维形貌结果。(c)为本发明所提出的深度学习法恢复的三维形貌。(d)为两种方法的剖面对比图。图中相移法恢复高度为77.6nm,深度学习法恢复高度为122.7nm，说明传统相移法不能准确恢复其高度，而本发明可准确恢复不同材料结构物体的表面三维形貌。
[0072]
图5为20倍和50倍干涉物镜下的测量结果(待测物体与图4相同，高度121nm)。其中，(a)为20倍镜头下深度学习法恢复的表面三维形貌。(b)为20倍镜头下，深度学习法(高度123.4nm)与相移法(高度77.5nm)的恢复三维形貌的剖面图对比。(c)为50倍镜头下深度学习法恢复的表面三维形貌。(d)为50倍镜头下，深度学习法(高度117.4nm)与相移法(高度82.8nm)的恢复三维形貌的剖面图对比。说明本发明具有良好的适应性。在不同的光学系统设置下都能准确恢复出表面三维形貌。
[0073]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于三维卷积神经网络的白光干涉信号解调方法，其特征在于，该方法的步骤如下：步骤一：通过分析物理成像过程，研究不同材料表面对反射光相位的影响，提出不同材料表面的白光干涉信号物理模型；步骤二：使用仿真数据作为三维卷积神经网络的数据训练集，首先构建出随机面型数据集，然后根据上述提出的白光干涉信号物理模型，生成对应的白光干涉信号数据集，以上两者共同构成了三维卷积神经网络的数据训练集；步骤三：结合白光干涉的物理成像特性，搭建三维卷积神经网络模型，利用上述数据训练集训练该三维卷积神经网络；步骤四：对实际采集到的图片进行预处理，去除图片中的高频噪声，并对白光干涉信号进行归一化处理；步骤五：将经过归一化处理后的白光干涉信号堆叠数据直接输入到训练好的三维卷积神经网络中，即可获得待测样品的表面三维形貌信息。2.根据权利要求1所述的一种基于三维卷积神经网络的白光干涉信号解调方法，其特征在于：其中，步骤一包括：每个像素点的白光干涉信号表示为：其中，i0为背景光强，i1是白光干涉条纹的调制度，l
c
为相干长度，λ0为白光光源的中心波长，h是零光程差点所在的位置，z为待测物体表面所在位置，通过定位零光程差点可求得待测物体表面的三维形貌，是每个像素点白光干涉信号的初始相位，与待测物体表面材料有关；从空气-表面界面反射的光矢量垂直于入射表面分量的反射系数r
s
和平行于入射表面分量的反射系数r
p
为：为：其中，其中，其中，其中，
上式中，复数的模(|r
s
|和|r
p
|)表示反射波和入射波的实振幅之比，复数的幅角(φ
s
和φ
p
)表示反射时的位相变化，θ是光线的入射角，n是光在介质中传播时的折射率，k是光在介质中传播时的衰减系数，e是指数exp，i是虚数，n,k是定义的参数，其值由以下公式计算：介质中传播时的衰减系数，e是指数exp，i是虚数，n,k是定义的参数，其值由以下公式计算：由于反射光的两个分量是相干的，反射光的总相位变化是这两个分量的组合矢量的相位角：φ(θ)＝arg[|r
s
|exp(iφ
s
)+|r
p
|exp(iφ
p
)]
ꢀꢀꢀꢀꢀꢀ
(10)在光的垂直入射下，反射光的相位变化表示为：式中，ν为波长，通过以上方式构成白光干涉信号物理模型。3.根据权利要求1所述的一种基于三维卷积神经网络的白光干涉信号解调方法，其特征在于：其中，步骤二中，通过确定白光干涉垂直扫描系统参数，构建随机面型数据集，作为三维卷积神经网络的输出，随机面型数据集之间的差异包括峰和谷的数量、峰和谷的大小、倾斜程度和表面粗糙度，然后利用上述的白光干涉信号物理模型生成对应的白光干涉信号数据集，作为三维卷积神经网络的输入，以上两者共同构成了三维卷积神经网络的数据训练集。4.根据权利要求1所述的一种基于三维卷积神经网络的白光干涉信号解调方法，其特征在于：其中，步骤三中，以u-net和vgg-net为基础架构，构建了三维卷积神经网络模型，设置卷积核大小为1
×1×
3。5.根据权利要求1所述的一种基于三维卷积神经网络的白光干涉信号解调方法，其特征在于：其中，步骤四中，使用高斯滤波器去除图片中的高频噪声，然后将图片堆叠到一起，提取出图片各像素点的白光干涉信号并做归一化处理。

技术总结
本发明公开了一种基于三维卷积神经网络的白光干涉信号解调方法。该方法利用三维卷积神经网络对采集到的垂直扫描白光干涉信号进行解调，白光干涉图片通过预处理后将堆叠为三维矩阵的形式，通过三维卷积神经网络的计算解调之后，可直接获得对应的三维形貌信息。本发明提出的基于三维卷积神经网络的白光干涉信号解调方法采用并行计算的方式，具有更快的解调速度，可适用于不同的倍率的光学系统设置，且能够准确测量不同材料物体的表面三维形貌，即本发明的方法具有快速、准确、适应性强的特点。点。点。


技术研发人员：成小龙 唐燕 韩陈浩磊 龙宇亮 向前进
受保护的技术使用者：中国科学院光电技术研究所
技术研发日：2023.07.03
技术公布日：2023/10/5