基于机器视觉的晶圆缺陷精准识别方法与流程

1.本发明涉及图像分析领域，具体涉及一种基于机器视觉的晶圆缺陷精准识别方法。


背景技术：

2.晶圆在经过光刻等工序后，进行切割和封装，便得到市面上的芯片。因此，对光刻后的晶圆进行检测，及早发现缺陷并剔除，对芯片的生产和加工尤为重要。
3.由于不像ate（automatic test equipment，集成电路自动测试机）的cp测试（chip probing test，晶圆测试）需要使用探针，且编程复杂，图像检测成为晶圆缺陷检测的主要方法。针对光源而言，晶圆图像检测主要分为明场检测和暗场检测两种。暗场检测是用单一波长的激光，通常使用深紫外激光照射晶圆，并基于散射成像原理获取图像，图像中无缺陷处为暗色，缺陷处为亮色，该方法对于被测晶圆表面的颗粒、划痕等缺陷非常灵敏，适合大量晶圆的高速检测；明场检测是用宽波段的等离子体光源照射晶圆，并摄取图像，图像中无缺陷处为明色，缺陷处为暗色，该方法往往需要高分辨率图像采集设备，对光学镜片要求极高，适用于对晶圆上的电路进行详细检测。
4.对于明场检测和暗场检测，无缺陷处和缺陷处之间都存在巨大的亮度差异，因此现有技术通常在明场和暗场中二者选其一，直接对图像灰度值进行阈值判断，以发现缺陷。然而，一方面，图像采集设备会存在随机位置的椒盐噪声，被误判为晶圆缺陷，另一方面，先进制程的电路图形形状差异会导致不是缺陷的地方差异较缺陷差异更小，使得传统方法极容易出现误检。


技术实现要素：

5.针对现有技术中的上述不足，本发明提供的基于机器视觉的晶圆缺陷精准识别方法解决了现有光刻后晶圆的图像检测技术检测精度不足，容易出现误检的问题。
6.为了达到上述发明目的，本发明采用的技术方案为：一种基于机器视觉的晶圆缺陷精准识别方法，包括以下步骤：s1、分别采集各待测晶圆至少3张且数量为奇数的暗场检测图像，并通过用于椒盐噪声抑制的递归运算处理得到各待测晶圆暗场去噪图像；s2、提取各待测晶圆暗场去噪图像中像素值差异大于缺陷分类阈值的像素点，并将其对应晶圆区域标记为候选晶圆缺陷区；s3、分别采集各候选晶圆缺陷区至少3张且数量为奇数的明场检测图像，并通过用于椒盐噪声抑制的递归运算处理得到各候选晶圆缺陷区明场去噪图像；s4、通过多层多通道混合加权二分类网络识别各候选晶圆缺陷区明场去噪图像，得出各真实晶圆缺陷区。
7.本发明的有益效果为：通过递归运算抑制了暗场图像和明场图像的椒盐噪声，大大避免了图像数据采集错误对识别结果的影响；利用晶圆暗场检测灵敏度高的特点，对晶
圆进行快速初筛；并使用多层多通道混合加权二分类网络，有效地构建混合注意力，精准获取候选晶圆缺陷区的明场图像特征，对真实晶圆缺陷进行高精度判断，适用于各种不同的集成电路工艺。
8.进一步地，所述s1和s3中用于椒盐噪声抑制的递归运算的表达式为：，，其中，为第k次递归得到的图像，为第k-1次递归得到的图像，为第1次递归得到的图像，为第k张参与递归运算的图像，为第1张参与递归运算的图像，α为递归系数，k为闭区间[2，k]内的正整数，k为参与递归运算的图像总数。
[0009]
上述进一步方案的有益效果为：椒盐噪声是图像采集和生成过程中在不同像素点随机出现的一种脉冲噪声，使得图像中出现随机白点或黑点。由于晶圆暗场检测中，缺陷为亮色，明场检测中，缺陷为暗色，因此椒盐噪声对晶圆缺陷检测的影响极大。本发明基于椒盐噪声位置的随机性和晶圆缺陷位置的确定性，对晶圆进行多次拍摄，并使用递归迭代运算，在不减弱晶圆缺陷特征的情况下有效制约椒盐噪声，大大避免了图像数据采集错误对识别结果的影响。
[0010]
进一步地，不同集成电路工艺库采用对应的缺陷分类阈值。
[0011]
进一步地，各集成电路工艺库对应的缺陷分类阈值的率定方法相同，均包括以下步骤：a1、使用ate对晶圆样片进行cp测试，得出各真实晶圆缺陷区；a2、将下式作为缺陷分类阈值寻优目标函数，在最大暗场像素值和最小暗场像素值构成的闭区间内进行全局搜索，得到缺陷分类阈值：，其中，为缺陷分类阈值寻优目标函数，为虚警值，为漏警值，为缺陷分类阈值，为寻找在漏警值为0时使虚警值最小的缺陷分类阈值的函数，所述虚警值为晶圆区域无缺陷却被判为有缺陷的数目，所述漏警值为晶圆区域有缺陷却被判为无缺陷的数目。
[0012]
上述进一步方案的有益效果为：不同的集成电路工艺库中有效电路和缺陷的差异不同，因此需要针对性地训练缺陷分类阈值。缺陷分类阈值越小，虚警概率越大，但漏警概率越小；缺陷分类阈值越大，漏警概率越大，但虚警概率越小。因在本发明中，暗场阈值检测用于粗筛，宁错勿漏，故使用漏警值为0，虚警值尽量小作为寻优目标，针对不同集成电路工艺库进行各自的参数寻优。
[0013]
进一步地，所述多层多通道混合加权二分类网络包括：多层多通道混合加权特征提取子网络，用于提取各候选晶圆缺陷区明场去噪图像的纹理特征，得到各候选晶圆缺陷区特征向量；二分类子网络，用于分析各候选晶圆缺陷区特征向量，得到真实缺陷和误缺陷的分类结果。
[0014]
进一步地，所述多层多通道混合加权特征提取子网络包括：第一卷积层至第n卷积层、特征融合层和矩阵变换层；第一卷积层至第n卷积层均有m个卷积核；n和m均为大于1的正整数；
第一卷积层的m个卷积核均对输入多层多通道混合加权特征提取子网络的图像进行卷积运算，得到第一卷积层第1至第m卷积输出图像；第二卷积层至第n卷积层各自的第j卷积核均分别对其前一层第j卷积输出图像进行卷积运算，得到第二卷积层至第n卷积层第j卷积输出图像，j为闭区间[1，m]内的正整数；特征融合层对各卷积层的各卷积输出图像进行混合加权，得到特征图像；矩阵变换层对特征图像进行矩阵变换，得到特征向量。
[0015]
进一步地，所述特征融合层的混合加权表达式为：，其中，为特征融合层输出的特征图像，为第i卷积层第j卷积输出图像，为第i卷积层的第j卷积核加权系数，为第i卷积层加权系数。
[0016]
上述进一步方案的有益效果为：本发明构建了多层多通道的卷积网络对明场图像进行深度特征融合提取；本发明的混合的特征加权机制，使得该网络同时具有通道注意力和空间注意力能力，但却比现有通道注意力网络和空间注意力网络更简洁，无需额外的全局池化层和参数传递链路，提高了网络的稳定性和鲁棒性，具有高度智能的机器视觉能力。
[0017]
进一步地，不同集成电路工艺库采用对应的多层多通道混合加权二分类网络参数。
[0018]
进一步地，各集成电路工艺库对应的多层多通道混合加权二分类网络参数的训练方法相同，均包括以下步骤：b1、使用ate对各候选晶圆缺陷区样品进行cp测试，并根据测试结果为各候选晶圆缺陷区样品打上真假分类标签；b2、将下式作为多层多通道混合加权二分类网络训练目标函数，根据打上标签的各候选晶圆缺陷区样品的明场去噪图像，训练多层多通道混合加权二分类网络参数：，其中，为多层多通道混合加权二分类网络训练目标函数，ξ为候选晶圆缺陷区是否为真实晶圆缺陷区的分类标签，ln()为自然对数函数，r为多层多通道混合加权二分类网络的识别结果。
[0019]
上述进一步方案的有益效果为：不同的集成电路工艺库中有效电路和缺陷的差异不同，而先进制程的电路图形形状差异会导致不是缺陷的地方差异较缺陷差异更小，而多层多通道混合加权二分类网络的参数调整灵活，还兼具通道注意力和空间注意力，通过样品标签训练参数，可适配不同的集成电路工艺库，精准识别晶圆缺陷。
附图说明
[0020]
图1为本发明实施例提供的基于机器视觉的晶圆缺陷精准识别方法的流程图；图2为本发明实施例的多层多通道混合加权二分类网络的结构图。
具体实施方式
[0021]
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，
只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
[0022]
如图1所示，在本发明的一个实施例中，基于机器视觉的晶圆缺陷精准识别方法，包括以下步骤：s1、分别采集各待测晶圆至少3张且数量为奇数的暗场检测图像，并通过用于椒盐噪声抑制的递归运算处理得到各待测晶圆暗场去噪图像。
[0023]
s2、提取各待测晶圆暗场去噪图像中像素值差异大于缺陷分类阈值的像素点，并将其对应晶圆区域标记为候选晶圆缺陷区。
[0024]
s3、分别采集各候选晶圆缺陷区至少3张且数量为奇数的明场检测图像，并通过用于椒盐噪声抑制的递归运算处理得到各候选晶圆缺陷区明场去噪图像。
[0025]
s4、通过多层多通道混合加权二分类网络识别各候选晶圆缺陷区明场去噪图像，得出各真实晶圆缺陷区。
[0026]
s1和s3中用于椒盐噪声抑制的递归运算的表达式为：，，其中，为第k次递归得到的图像，为第k-1次递归得到的图像，为第1次递归得到的图像，为第k张参与递归运算的图像，为第1张参与递归运算的图像，α为递归系数，k为闭区间[2，k]内的正整数，k为参与递归运算的图像总数。
[0027]
椒盐噪声是图像采集和生成过程中在不同像素点随机出现的一种脉冲噪声，使得图像中出现随机白点或黑点。由于晶圆暗场检测中，缺陷为亮色，明场检测中，缺陷为暗色，因此椒盐噪声对晶圆缺陷检测的影响极大。本发明基于椒盐噪声位置的随机性和晶圆缺陷位置的确定性，对晶圆进行多次拍摄，并使用递归迭代运算，在不减弱晶圆缺陷特征的情况下有效制约椒盐噪声，大大避免了图像数据采集错误对识别结果的影响。
[0028]
不同集成电路工艺库采用对应的缺陷分类阈值。各集成电路工艺库对应的缺陷分类阈值的率定方法相同，均包括以下步骤：a1、使用ate对晶圆样片进行cp测试，得出各真实晶圆缺陷区；a2、将下式作为缺陷分类阈值寻优目标函数，在最大暗场像素值和最小暗场像素值构成的闭区间内进行全局搜索，得到缺陷分类阈值：，其中，为缺陷分类阈值寻优目标函数，为虚警值，为漏警值，为缺陷分类阈值，为寻找在漏警值为0时使虚警值最小的缺陷分类阈值的函数，所述虚警值为晶圆区域无缺陷却被判为有缺陷的数目，所述漏警值为晶圆区域有缺陷却被判为无缺陷的数目。
[0029]
不同的集成电路工艺库中有效电路和缺陷的差异不同，因此需要针对性地训练缺陷分类阈值。缺陷分类阈值越小，虚警概率越大，但漏警概率越小；缺陷分类阈值越大，漏警概率越大，但虚警概率越小。因在本发明中，暗场阈值检测用于粗筛，宁错勿漏，故使用漏警值为0，虚警值尽量小作为寻优目标，针对不同集成电路工艺库进行各自的参数寻优。
[0030]
如图2所示，多层多通道混合加权二分类网络包括：多层多通道混合加权特征提取子网络，用于提取各候选晶圆缺陷区明场去噪图像
的纹理特征，得到各候选晶圆缺陷区特征向量；二分类子网络，用于分析各候选晶圆缺陷区特征向量，得到真实缺陷和误缺陷的分类结果。
[0031]
多层多通道混合加权特征提取子网络包括：第一卷积层至第n卷积层、特征融合层和矩阵变换层；第一卷积层至第n卷积层均有m个卷积核；n和m均为大于1的正整数；第一卷积层的m个卷积核均对输入多层多通道混合加权特征提取子网络的图像进行卷积运算，得到第一卷积层第1至第m卷积输出图像；第二卷积层至第n卷积层各自的第j卷积核均分别对其前一层第j卷积输出图像进行卷积运算，得到第二卷积层至第n卷积层第j卷积输出图像，j为闭区间[1，m]内的正整数；特征融合层对各卷积层的各卷积输出图像进行混合加权，得到特征图像；矩阵变换层对特征图像进行矩阵变换，得到特征向量。
[0032]
特征融合层的混合加权表达式为：，其中，为特征融合层输出的特征图像，为第i卷积层第j卷积输出图像，为第i卷积层的第j卷积核加权系数，为第i卷积层加权系数。
[0033]
本发明构建了多层多通道的卷积网络对明场图像进行深度特征融合提取；本发明的混合的特征加权机制，使得该网络同时具有通道注意力和空间注意力能力，但却比现有通道注意力网络和空间注意力网络更简洁，无需额外的全局池化层和参数传递链路，提高了网络的稳定性和鲁棒性，具有高度智能的机器视觉能力。
[0034]
不同集成电路工艺库采用对应的多层多通道混合加权二分类网络参数。各集成电路工艺库对应的多层多通道混合加权二分类网络参数的训练方法相同，均包括以下步骤：b1、使用ate对各候选晶圆缺陷区样品进行cp测试，并根据测试结果为各候选晶圆缺陷区样品打上真假分类标签；b2、将下式作为多层多通道混合加权二分类网络训练目标函数，根据打上标签的各候选晶圆缺陷区样品的明场去噪图像，训练多层多通道混合加权二分类网络参数：，其中，为多层多通道混合加权二分类网络训练目标函数，ξ为候选晶圆缺陷区是否为真实晶圆缺陷区的分类标签，ln()为自然对数函数，r为多层多通道混合加权二分类网络的识别结果。
[0035]
不同的集成电路工艺库中有效电路和缺陷的差异不同，而先进制程的电路图形形状差异会导致不是缺陷的地方差异较缺陷差异更小，而多层多通道混合加权二分类网络的参数调整灵活，还兼具通道注意力和空间注意力，通过样品标签训练参数，可适配不同的集成电路工艺库，精准识别晶圆缺陷。
[0036]
综上，本发明通过递归运算抑制了暗场图像和明场图像的椒盐噪声，大大避免了图像数据采集错误对识别结果的影响；利用晶圆暗场检测灵敏度高的特点，对晶圆进行快速初筛；并使用多层多通道混合加权二分类网络，有效地构建混合注意力，精准获取候选晶圆缺陷区的明场图像特征，对真实晶圆缺陷进行高精度判断，适用于各种不同的集成电路
工艺。
[0037]
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
[0038]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

技术特征：
1.一种基于机器视觉的晶圆缺陷精准识别方法，其特征在于，包括以下步骤：s1、分别采集各待测晶圆至少3张且数量为奇数的暗场检测图像，并通过用于椒盐噪声抑制的递归运算处理得到各待测晶圆暗场去噪图像；s2、提取各待测晶圆暗场去噪图像中像素值差异大于缺陷分类阈值的像素点，并将其对应晶圆区域标记为候选晶圆缺陷区；s3、分别采集各候选晶圆缺陷区至少3张且数量为奇数的明场检测图像，并通过用于椒盐噪声抑制的递归运算处理得到各候选晶圆缺陷区明场去噪图像；s4、通过多层多通道混合加权二分类网络识别各候选晶圆缺陷区明场去噪图像，得出各真实晶圆缺陷区。2.根据权利要求1所述的基于机器视觉的晶圆缺陷精准识别方法，其特征在于，所述s1和s3中用于椒盐噪声抑制的递归运算的表达式为：，，其中，为第k次递归得到的图像，为第k-1次递归得到的图像，为第1次递归得到的图像，为第k张参与递归运算的图像，为第1张参与递归运算的图像，α为递归系数，k为闭区间[2，k]内的正整数，k为参与递归运算的图像总数。3.根据权利要求1所述的基于机器视觉的晶圆缺陷精准识别方法，其特征在于，不同集成电路工艺库采用对应的缺陷分类阈值。4.根据权利要求3所述的基于机器视觉的晶圆缺陷精准识别方法，其特征在于，各集成电路工艺库对应的缺陷分类阈值的率定方法相同，均包括以下步骤：a1、使用ate对晶圆样片进行cp测试，得出各真实晶圆缺陷区；a2、将下式作为缺陷分类阈值寻优目标函数，在最大暗场像素值和最小暗场像素值构成的闭区间内进行全局搜索，得到缺陷分类阈值：，其中，为缺陷分类阈值寻优目标函数，为虚警值，为漏警值，为缺陷分类阈值，为寻找在漏警值为0时使虚警值最小的缺陷分类阈值的函数，所述虚警值为晶圆区域无缺陷却被判为有缺陷的数目，所述漏警值为晶圆区域有缺陷却被判为无缺陷的数目。5.根据权利要求1所述的基于机器视觉的晶圆缺陷精准识别方法，其特征在于，所述多层多通道混合加权二分类网络包括：多层多通道混合加权特征提取子网络，用于提取各候选晶圆缺陷区明场去噪图像的纹理特征，得到各候选晶圆缺陷区特征向量；二分类子网络，用于分析各候选晶圆缺陷区特征向量，得到真实缺陷和误缺陷的分类结果。6.根据权利要求5所述的基于机器视觉的晶圆缺陷精准识别方法，其特征在于，所述多层多通道混合加权特征提取子网络包括：第一卷积层至第n卷积层、特征融合层和矩阵变换层；第一卷积层至第n卷积层均有m个卷积核；n和m均为大于1的正整数；第一卷积层的m个卷积核均对输入多层多通道混合加权特征提取子网络的图像进行卷
积运算，得到第一卷积层第1至第m卷积输出图像；第二卷积层至第n卷积层各自的第j卷积核均分别对其前一层第j卷积输出图像进行卷积运算，得到第二卷积层至第n卷积层第j卷积输出图像，j为闭区间[1，m]内的正整数；特征融合层对各卷积层的各卷积输出图像进行混合加权，得到特征图像；矩阵变换层对特征图像进行矩阵变换，得到特征向量。7.根据权利要求6所述的基于机器视觉的晶圆缺陷精准识别方法，其特征在于，所述特征融合层的混合加权表达式为：，其中，为特征融合层输出的特征图像，为第i卷积层第j卷积输出图像，为第i卷积层的第j卷积核加权系数，为第i卷积层加权系数。8.根据权利要求7所述的基于机器视觉的晶圆缺陷精准识别方法，其特征在于，不同集成电路工艺库采用对应的多层多通道混合加权二分类网络参数。9.根据权利要求8所述的基于机器视觉的晶圆缺陷精准识别方法，其特征在于，各集成电路工艺库对应的多层多通道混合加权二分类网络参数的训练方法相同，均包括以下步骤：b1、使用ate对各候选晶圆缺陷区样品进行cp测试，并根据测试结果为各候选晶圆缺陷区样品打上真假分类标签；b2、将下式作为多层多通道混合加权二分类网络训练目标函数，根据打上标签的各候选晶圆缺陷区样品的明场去噪图像，训练多层多通道混合加权二分类网络参数：，其中，为多层多通道混合加权二分类网络训练目标函数，ξ为候选晶圆缺陷区是否为真实晶圆缺陷区的分类标签，ln()为自然对数函数，r为多层多通道混合加权二分类网络的识别结果。

技术总结
本发明公开了基于机器视觉的晶圆缺陷精准识别方法，涉及图像分析领域，包括：采集各待测晶圆暗场去噪图像；识别各候选晶圆缺陷区；采集各候选晶圆缺陷区明场去噪图像；通过多层多通道混合加权二分类网络识别各候选晶圆缺陷区明场去噪图像，得出各真实晶圆缺陷区。本发明通过递归运算抑制了暗场图像和明场图像的椒盐噪声，大大避免了图像数据采集错误对识别结果的影响；利用晶圆暗场检测灵敏度高的特点，对晶圆进行快速初筛；并使用多层多通道混合加权二分类网络，有效地构建混合注意力，精准获取候选晶圆缺陷区的明场图像特征，对真实晶圆缺陷进行高精度判断，适用于各种不同的集成电路工艺。成电路工艺。成电路工艺。


技术研发人员：冀然 于洪超
受保护的技术使用者：青岛天仁微纳科技有限责任公司
技术研发日：2023.08.16
技术公布日：2023/9/14