芯片的表面缺陷检测方法和装置与流程

1.本技术涉及半导体芯片技术领域，特别是涉及一种芯片的表面缺陷检测方法和装置。


背景技术：

2.半导体芯片的缺陷检测是产品上市前一个必不可少的环节，可以降低不良率，也可以指导制造工艺的改进。表面缺陷检测是半导体芯片缺陷检测，例如包括但不限于引脚缺陷、芯片主体断裂缺陷、表面刮伤缺陷等。
3.传统方案中，对半导体芯片表面缺陷的检测方案为采用人工肉眼观察，效率不高。


技术实现要素：

4.本技术实施例提供一种芯片的表面缺陷检测方法和装置。
5.第一方面，提供一种芯片的表面缺陷检测方法，包括：
6.获取基于卷积神经网络的表面缺陷检测模型；
7.获取采集单元采集的芯片的表面图像；
8.将芯片的表面图像输入到表面缺陷检测模型；
9.利用表面缺陷检测模型检测芯片的表面图像的表面缺陷，得到芯片的表面图像的表面信息，表面信息包括第一预设输出信息或第二预设输出信息，第一预设输出信息包括表面缺陷类型信息，第二预设输出信息表示芯片无表面缺陷。
10.上述芯片的表面缺陷检测方法，通过采集芯片的表面图像，再利用基于卷积神经网络的表面缺陷检测模型识别芯片表面图像是否存在表面缺陷，相比于人工肉眼观察的方式，本技术芯片的表面缺陷检测方法可提高半导体芯片表面缺陷的检测概率。另外，利用表面缺陷检测模型检测到芯片存在表面缺陷时，还可输出相应的表面缺陷类型，提高了检测的精准性，有利于指导改善对应制造工艺流程。
11.在一个实施例中，在得到芯片的表面图像的表面信息的步骤之后，
12.若得到的芯片的表面图像的表面信息为第一预设输出信息，获取芯片的表面图像的表面缺陷位置信息。
13.在一个实施例中，表面缺陷类型信息包括引脚断裂缺陷信息、引脚短路缺陷信息和/或芯片主体刮伤缺陷信息。
14.在一个实施例中，基于卷积神经网络的表面缺陷检测模型包括以下训练步骤：
15.采集芯片表面样本图像，芯片表面样本图像包括存在表面缺陷的芯片表面样本图像和无表面缺陷的芯片表面样本图像；
16.为存在表面缺陷的芯片表面样本图像和无表面缺陷的芯片表面样本图像分别打上有表面缺陷标签和无表面缺陷标签，并为各个有表面缺陷的芯片表面样本图像打上相应表面缺陷的类型标签；其中，无表面缺陷的芯片表面样本图像的数量与每一种缺陷类型的芯片表面样本图像的数量的差值小于预设值；
17.构建基于卷积神经网络结构的表面缺陷检测模型；
18.将各个芯片表面样本图像输入到表面缺陷检测模型进行训练，在训练过程中增加无表面缺陷的芯片表面样本图像特征与存在表面缺陷的芯片表面样本图像特征的距离、不同表面缺陷类型芯片表面样本图像特征之间的距离，减少相同表面缺陷类型的芯片表面样本图像特征之间的距离，从而不断调整模型的参数，直到训练误差小于预设值时结束训练，从而得到表面缺陷检测模型；
19.利用表面缺陷检测模型检测芯片的表面图像的表面缺陷的步骤则包括：将采集的芯片的表面图像输入到训练好的表面缺陷检测模型，计算采集的芯片的表面图像属于各个表面缺陷类型的相似概率，将相似概率最高的表面缺陷类型输出，作为采集的芯片的表面图像表面缺陷类型。
20.在一个实施例中，基于卷积神经网络的表面缺陷检测模型包括：
21.输入层，用于在训练表面缺陷检测模型时输入归一化后的芯片表面样本图像数据或用于在利用表面缺陷检测模型时输入归一化后的采集的芯片表面图像数据；
22.第一卷积层，用于对输入层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
23.第一最大池化层，用于对第一卷积层输出的图像数据进行特征降维；
24.第二卷积层，用于对第一最大池化层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
25.第二最大池化层，用于对第二卷积层输出的图像数据进行特征降维；
26.第三卷积层，用于对第二最大池化层输出的图像数据提取图像特征，并在卷积时共享网络权值矩阵；
27.第四卷积层，用于对第三卷积层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
28.第五卷积层，用于对第四卷积层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
29.第三最大池化层，用于对第五卷积层输出的图像数据进行特征降维；
30.第六卷积层，用于对第三最大池化层输出的图像数据进行特征降维，并在卷积时共享网络权值矩阵；
31.输出减少层，用于对第六卷积层输出的图像数据进行特征降维以及减少第六卷积层输出的图像数据以防止过拟合；
32.全连接层，用于对输出减少层输出的数据进行表面缺陷分类。
33.在一个实施例中，基于卷积神经网络的表面缺陷检测模型训练过程采用的损失函数为：
[0034][0035]
其中，||f(xi)
a-f(xi)n||2表示一对相同缺陷类型的芯片表面样本图像特征值的距离，||f(xi)
a-f(xi)
p
||2表示一对不同缺陷类型的芯片表面样本图像特征值的距离，||f(xi)-f(xi)'||2表示第i个芯片表面样本图像训练时输出的预测值与标记值的距离，λ为用于提高训练精度的系数。
[0036]
在一个实施例中，获取芯片的表面图像的表面缺陷位置信息的步骤包括：
[0037]
将芯片的表面图像分割为n个子区域块，根据表面缺陷类型分为芯片主体区域和引脚区域；
[0038]
分别提取芯片主体区域和引脚区域的主图像特征，并分别提取芯片主体区域和引脚区域各个子区域块的子图像特征；
[0039]
计算各个子图像特征的均值与对应的主图像特征的均值的差值，提取差值大于预设差值的各个子区域块，若提取的各个子区域块连通，则判定提取的各个子区域块构成的连通区域为对应的表面缺陷区域；
[0040]
对芯片的表面图像构建坐标系，将各个子区域块在坐标系中的位置作为表面缺陷位置信息。
[0041]
在一个实施例中，无表面缺陷的芯片表面样本图像的数量与每一种缺陷类型的芯片表面样本图像的数量相等。
[0042]
第二方面，提出一种芯片的表面缺陷检测装置，包括：存储单元、处理单元以及采集单元；处理单元分别与存储单元、采集单元电性连接；
[0043]
存储单元用于存储基于卷积神经网络的表面缺陷检测模型；
[0044]
采集单元用于采集芯片的表面图像；
[0045]
处理单元用于获取基于卷积神经网络的表面缺陷检测模型，以及获取采集单元采集的芯片的表面图像，并将芯片的表面图像输入到表面缺陷检测模型，并利用表面缺陷检测模型检测芯片的表面图像的表面缺陷，得到芯片的表面图像的表面信息，表面信息包括第一预设输出信息或第二预设输出信息，第一预设输出信息包括表面缺陷类型信息，第二预设输出信息表示芯片无表面缺陷。
[0046]
在一个实施例中，芯片的表面缺陷检测装置还可以包括传送装置，传送装置包括控制器和传送带，传送装置的控制器用于控制传送带运动，处理单元与传送装置的控制器电性连接，传送装置的传送带用于传送芯片，采集单元安装于传送带的上方，采集单元与传送带的垂直距离小于预设距离，处理单元用于当检测到芯片存在表面缺陷时发出第一指令，传送装置的控制器响应该第一指令、利用将传送带将存在表面缺陷的芯片传送至指定位置。
附图说明
[0047]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，而非全部实施例。
[0048]
图1为一个实施例中芯片的表面缺陷检测方法的流程示意图；
[0049]
图2分别为一个实施例中的正常引脚和有缺陷的引脚的示意图；
[0050]
图3分别为一个实施例中正常芯片主体和有刮伤缺陷的芯片主体示意图；
[0051]
图4为一个实施例中基于卷积神经网络的表面缺陷检测模型训练方法的流程示意图；
[0052]
图5为一个实施例中基于卷积神经网络的表面缺陷检测模型的结构框图；
[0053]
图6为一个实施例中获取芯片的表面图像的表面缺陷位置信息的流程示意图；
[0054]
图7为一个实施例中芯片主体表面刮伤缺陷的示意图；
[0055]
图8为一个实施例中的芯片的表面缺陷检测装置的结构示意图。
具体实施方式
[0056]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0057]
如背景技术所述，半导体芯片的缺陷检测是产品上市前一个必不可少的环节，可以降低不良率，也可以指导制造工艺的改进。表面缺陷检测是半导体芯片缺陷检测，例如包括但不限于引脚缺陷、芯片主体断裂缺陷、表面刮伤缺陷等。而传统方案中，对半导体芯片表面缺陷的检测方案为采用人工肉眼观察，效率不高。
[0058]
基于此，本技术提出一种芯片的表面缺陷检测方法和装置，可以提高半导体芯片表面缺陷的检测概率。
[0059]
请参阅图1，其为本技术一个实施例中一种芯片的表面缺陷检测方法的流程图，该实施例中的芯片的表面缺陷检测方法包括如下步骤：
[0060]
步骤102，获取基于卷积神经网络的表面缺陷检测模型。
[0061]
步骤104，获取采集单元采集的芯片的表面图像。
[0062]
步骤106，将芯片的表面图像输入到表面缺陷检测模型。
[0063]
步骤108，利用表面缺陷检测模型检测芯片的表面图像的表面缺陷，得到芯片的表面图像的表面信息，表面信息包括第一预设输出信息或第二预设输出信息，第一预设输出信息包括表面缺陷类型信息，第二预设输出信息表示芯片的表面图像无表面缺陷。
[0064]
上述芯片的表面缺陷检测方法，通过采集芯片的表面图像，再利用基于卷积神经网络的表面缺陷检测模型识别芯片表面图像是否存在表面缺陷，相比于人工肉眼观察的方式，本技术芯片的表面缺陷检测方法可提高半导体芯片表面缺陷的检测概率。另外，利用表面缺陷检测模型检测到芯片存在表面缺陷时，还可输出相应的表面缺陷类型，提高了检测的精准性，有利于指导改善对应制造工艺流程。
[0065]
本技术的芯片表面缺陷指芯片外观上的缺陷，包括但不限于引脚断裂缺陷、引脚短路缺陷、芯片主体刮伤缺陷等。同理，表面缺陷类型信息包括但不限于引脚断裂缺陷信息、引脚短路缺陷信息和/或芯片主体刮伤缺陷信息。如图2所示，分别为正常引脚和有缺陷的引脚的示意图。如图3所示，分别为正常芯片主体和有刮伤缺陷的芯片主体示意图。
[0066]
本技术芯片的表面图像可包括芯片的上表面、下表面和/或侧表面的图像，具体实现时可根据实际情况选择。一些具体实施例中，芯片的表面图像可以只包括上表面图像，这是因为上表面最容易看出缺陷，其他实施例中，芯片的表面图像还可以进一步包括上下表面图像和/或侧表面图像。需要说明的是，当芯片的表面图像包括多个面的图像时，可以拼接成一张图像后，再输入到表面缺陷检测模型进行处理，可提高检测效率。
[0067]
以下对该实施例中的芯片的表面缺陷检测方法的具体实施方式进行进一步的说明。
[0068]
对于步骤102，请参阅图4，在一些具体实施例中，基于卷积神经网络的表面缺陷检测模型包括以下训练步骤：
[0069]
步骤202，采集芯片表面样本图像，芯片表面样本图像包括存在表面缺陷的芯片表面样本图像和无表面缺陷的芯片表面样本图像。
[0070]
步骤204，为存在表面缺陷的芯片表面样本图像和无表面缺陷的芯片表面样本图像分别打上有表面缺陷标签和无表面缺陷标签，并为各个有表面缺陷的芯片表面样本图像打上相应表面缺陷的类型标签；其中，无表面缺陷的芯片表面样本图像的数量与每一种缺陷类型的芯片表面样本图像的数量的差值小于预设值。例如小于10个。
[0071]
在一些优选实施例中，无表面缺陷的芯片表面样本图像的数量与每一种缺陷类型的芯片表面样本图像的数量相等。例如，无表面缺陷的芯片表面样本图像的数量与芯片主体刮伤缺陷的表面样本图像相等。可以减少训练误差，有利于输出结果正确性的提高。
[0072]
步骤206，构建基于卷积神经网络结构的表面缺陷检测模型。
[0073]
步骤208，将各个芯片表面样本图像输入到表面缺陷检测模型进行训练，在训练过程中增加无表面缺陷的芯片表面样本图像特征与存在表面缺陷的芯片表面样本图像特征的距离、不同表面缺陷类型芯片表面样本图像特征之间的距离，减少相同表面缺陷类型的芯片表面样本图像特征之间的距离，从而不断调整模型的参数，直到训练误差小于预设值时结束训练，从而得到表面缺陷检测模型。
[0074]
步骤208中的训练误差可以用损失函数的损失值表征，损失值越小，表面缺陷检测模型精度越高，训练时芯片表面样本图像输出的缺陷类型值与预先标签的缺陷类型误值的误差越小。损失函数的具体实施例见后续实施例。
[0075]
后续利用表面缺陷检测模型检测芯片的表面图像的表面缺陷的步骤则包括：将采集的芯片的表面图像输入到训练好的表面缺陷检测模型，计算采集的芯片的表面图像属于各个表面缺陷类型的相似概率，将相似概率最高的表面缺陷类型输出，作为采集的芯片的表面图像表面缺陷类型。
[0076]
可选的，请参阅图5，基于卷积神经网络的表面缺陷检测模型包括：
[0077]
输入层300，用于在训练表面缺陷检测模型时输入归一化后的芯片表面样本图像数据或用于在利用表面缺陷检测模型时输入归一化后的采集的芯片表面图像数据；
[0078]
第一卷积层310，用于对输入层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
[0079]
第一最大池化层312，用于对第一卷积层输出的图像数据进行特征降维；
[0080]
第二卷积层314，用于对第一最大池化层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
[0081]
第二最大池化层316，用于对第二卷积层输出的图像数据进行特征降维；
[0082]
第三卷积层318，用于对第二最大池化层输出的图像数据提取图像特征，并在卷积时共享网络权值矩阵；
[0083]
第四卷积层320，用于对第三卷积层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
[0084]
第五卷积层322，用于对第四卷积层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；
[0085]
第三最大池化层324，用于对第五卷积层输出的图像数据进行特征降维；
[0086]
第六卷积层326，用于对第三最大池化层输出的图像数据进行特征降维，并在卷积
时共享网络权值矩阵；
[0087]
输出减少层328，用于对第六卷积层输出的图像数据进行特征降维以及减少第六卷积层输出的图像数据以防止过拟合；
[0088]
全连接层330，用于对输出减少层输出的数据进行表面缺陷分类。
[0089]
可以理解，表面缺陷检测模型也可以采用其他网络结构，不仅限于上述实施例的卷积神经网络结构，经发明人研究发现本实施例的卷积神经网络结构经过6次卷积能提取到比较精确的特征，模型训练误差小，同时训练速度也较快。其他实施例中也可以采用其他不同的卷积次数，发明人研究发现采用1-5次卷积时模型误差较大，采用7次及以上卷积时模型误差小但是计算速度慢，而上述实施例的卷积神经网络结构兼顾了训练误差和速度。
[0090]
关于模型训练，在一些具体实施例中，基于卷积神经网络的表面缺陷检测模型训练过程采用的损失函数为：
[0091][0092]
其中，||f(xi)
a-f(xi)n||2表示一对相同缺陷类型的芯片表面样本图像特征值的距离，||f(xi)
a-f(xi)
p
||2表示一对不同缺陷类型的芯片表面样本图像特征值的距离，||f(xi)-f(xi)'||2表示第i个芯片表面样本图像训练时输出的预测值与标记值的距离，λ为用于提高训练精度的系数，k为数量级调节参数。
[0093]
需要说明的是，数量级调节参数k用于使||f(xi)-f(xi)'||2项与||f(xi)
a-f(xi)
p
||2项、||f(xi)
a-f(xi)n||2项数量级一致，方便计算。
[0094]
上述损失函数中，标记值和预测值可以采用数值表示，不同的表面缺陷采用不同的数值，例如无表面缺陷用数值1来表示，引脚断裂用数值2表示等等，不再赘述。关于上述损失函数，相同缺陷类型的芯片表面样本图像特征值的距离越大越好，故而取正值，不同缺陷类型的芯片表面样本图像特征值的距离以及预测值与标记值的距离越小越好，故而取负值。上述损失函数引入了预测值与标记值的距离作为损失项，提高了训练精度，降低训练误差，有助于提高基于卷积神经网络的表面缺陷检测模型输出结果的准确性。
[0095]
对于步骤104，对于尺寸较大芯片，采集单元可以为本领域常用的拍照器件，对于尺寸较微小的芯片、表面缺陷较小的芯片可采用精度较高的半导体感光器件，例如ccd(charge coupled device，电荷耦合器件)。
[0096]
对于步骤106，可以对采集的芯片的表面图像进行预处理后输入到表面缺陷检测模型，具体包括旋转、翻转、移位、噪声和模糊等数据增强操作。
[0097]
对于步骤108，利用表面缺陷检测模型检测芯片的表面图像的表面缺陷，如果未检测到缺陷，输出芯片的表面图像无缺陷的结果，如果检测到存在缺陷，输出表面缺陷的类型。
[0098]
本技术还提出一种芯片的表面缺陷检测方法，在一些实施例中，在步骤108之后，若得到的芯片的表面图像的表面信息为第一预设输出信息，即得到芯片的表面图像存在表面缺陷的结果，获取芯片的表面图像的表面缺陷位置信息。该芯片的表面缺陷检测方法的目的是得到表面缺陷类型且明确表面缺陷位置，以指导工艺流程的改进。
[0099]
可选的，请参阅图6，获取芯片的表面图像的表面缺陷位置信息的步骤包括：
[0100]
步骤402，将芯片的表面图像分割为n个子区域块，根据表面缺陷类型分为芯片主
体区域和引脚区域。
[0101]
本步骤中，因为芯片表面缺陷包括主体表面的缺陷和引脚上的缺陷，主体表面跟引脚表面特征差距较大，所以进行区域划分，便于更为晶准的定位。
[0102]
步骤404，分别提取芯片主体区域和引脚区域的主图像特征，并分别提取芯片主体区域和引脚区域各个子区域块的子图像特征。
[0103]
本步骤中，分别提取芯片主体区域和引脚区域这两个区域的主图像特征，并分别提取这两个区域的各个子区域块的子图像特征。
[0104]
该实施例中可以通过前述表面缺陷检测模型提取图像特征。
[0105]
步骤406，计算各个子图像特征的均值与对应的主图像特征的均值的差值，提取差值大于预设差值的各个子区域块，若提取的各个子区域块连通，则判定提取的各个子区域块构成的连通区域为对应的表面缺陷区域。
[0106]
步骤408，对芯片的表面图像构建坐标系，将各个子区域块在坐标系中的位置作为表面缺陷位置信息。
[0107]
请参阅图7，以芯片主体表面刮伤缺陷为例，可以看出缺陷区域跟主体区域的特征区别明显，因此，计算芯片主体区域的主图像特征的均值、各个子区域的子图像特征的均值，然后对比主图像特征与子图像特征的差值，将大于预设差值的各个子区域块提取出来，如果这些区域是连通的，那么连通的区域则为缺陷区域，缺陷区域对应在坐标系中的位置则是表面缺陷的位置。
[0108]
具体实现时，可以将连通区域的中心位置作为表面缺陷的位置。
[0109]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0110]
本技术还提出一种芯片的表面缺陷检测装置，请参阅图8，其为一个实施例中的芯片的表面缺陷检测装置的结构示意图，该表面缺陷检测装置包括：存储单元602、处理单元604以及采集单元606；处理单元604分别与存储单元602、采集单元606电性连接；
[0111]
存储单元602用于存储基于卷积神经网络的表面缺陷检测模型；
[0112]
采集单元606用于采集芯片的表面图像；
[0113]
处理单元604用于获取基于卷积神经网络的表面缺陷检测模型，以及获取采集单元606采集的芯片的表面图像，并将芯片的表面图像输入到表面缺陷检测模型，并利用表面缺陷检测模型检测芯片的表面图像的表面缺陷，得到芯片的表面图像的表面信息，表面信息包括第一预设输出信息或第二预设输出信息，第一预设输出信息包括表面缺陷类型信息，第二预设输出信息表示芯片无表面缺陷。
[0114]
上述芯片的表面缺陷检测装置，采集单元606采集芯片的表面图像，处理单元604利用基于卷积神经网络的表面缺陷检测模型识别芯片表面图像是否存在表面缺陷，相比于人工肉眼观察的方式，本技术芯片的表面缺陷检测装置可提高半导体芯片表面缺陷的检测概率。另外，利用表面缺陷检测模型检测到芯片存在表面缺陷时，还可输出相应的表面缺陷
类型，提高了检测的精准性，有利于指导改善对应制造工艺流程。
[0115]
对于尺寸较大的芯片，采集单元606可以为本领域常用的拍照器件，对于尺寸较微小的芯片、表面缺陷较小的芯片可采用精度较高的半导体感光器件，例如ccd(charge coupled device，电荷耦合器件)。
[0116]
处理单元604可以本领域常用的处理器，例如中央处理器等。
[0117]
关于芯片的表面缺陷检测装置的具体限定可以参见上文中对于芯片的表面缺陷检测方法的限定，在此不再赘述。
[0118]
在一些具体实施例中，芯片的表面缺陷检测装置还包括标记单元，处理单元和标记单元电性连接，当检测到芯片存在表面缺陷时，处理单元控制标记单元对存在表面缺陷的芯片进行标记。
[0119]
在一些具体实施例中，芯片的表面缺陷检测装置还可以包括传送装置，传送装置包括控制器和传送带，控制器用于控制传送带运动，处理单元与传送装置的控制器电性连接，传送带用于传送芯片，采集单元安装于传送带的上方，采集单元与传送带的垂直距离小于预设距离，处理单元用于当检测到芯片存在表面缺陷时发出第一指令，传送装置的控制器响应该第一指令、利用将该传送带将存在表面缺陷的芯片传送至指定位置。在另一些具体实施例中，芯片的表面缺陷检测装置还可以包括运输器，处理单元用于当检测到芯片存在表面缺陷时发出第二指令，运输器用于响应该第二指令将存在表面缺陷的芯片运送至指定位置，运输器可以是一电动夹持结构。
[0120]
本技术所使用的存储器可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)，它用作外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddr sdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。
[0121]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种芯片的表面缺陷检测方法，其特征在于，包括：获取基于卷积神经网络的表面缺陷检测模型；获取采集单元采集的芯片的表面图像；将所述芯片的表面图像输入到所述表面缺陷检测模型；利用所述表面缺陷检测模型检测所述芯片的表面图像的表面缺陷，得到所述芯片的表面图像的表面信息，所述表面信息包括第一预设输出信息或第二预设输出信息，所述第一预设输出信息包括表面缺陷类型信息，所述第二预设输出信息表示所述芯片无表面缺陷。2.根据权利要求1所述的方法，其特征在于，在所述得到所述芯片的表面图像的表面信息的步骤之后，若得到的所述芯片的表面图像的表面信息为所述第一预设输出信息，获取所述芯片的表面图像的表面缺陷位置信息。3.根据权利要求1所述的方法，其特征在于，所述表面缺陷类型信息包括引脚断裂缺陷信息、引脚短路缺陷信息和/或芯片主体刮伤缺陷信息。4.根据权利要求3所述的方法，其特征在于，所述基于卷积神经网络的表面缺陷检测模型包括以下训练步骤：采集芯片表面样本图像，所述芯片表面样本图像包括存在表面缺陷的芯片表面样本图像和无表面缺陷的芯片表面样本图像；为存在表面缺陷的芯片表面样本图像和无表面缺陷的芯片表面样本图像分别打上有表面缺陷标签和无表面缺陷标签，并为各个有表面缺陷的芯片表面样本图像打上相应表面缺陷的类型标签；其中，无表面缺陷的芯片表面样本图像的数量与每一种缺陷类型的芯片表面样本图像的数量的差值小于预设值；构建基于卷积神经网络结构的表面缺陷检测模型；将各个所述芯片表面样本图像输入到所述表面缺陷检测模型进行训练，在所述训练过程中增加无表面缺陷的芯片表面样本图像特征与存在表面缺陷的芯片表面样本图像特征的距离、不同表面缺陷类型芯片表面样本图像特征之间的距离，减少相同表面缺陷类型的芯片表面样本图像特征之间的距离，从而不断调整模型的参数，直到训练误差小于预设值时结束训练，从而得到所述表面缺陷检测模型；所述利用所述表面缺陷检测模型检测所述芯片的表面图像的表面缺陷的步骤则包括：将采集的芯片的表面图像输入到训练好的所述表面缺陷检测模型，计算采集的芯片的表面图像属于各个表面缺陷类型的相似概率，将相似概率最高的表面缺陷类型输出，作为采集的芯片的表面图像表面缺陷类型。5.根据权利要求4所述的方法，其特征在于，所述基于卷积神经网络的表面缺陷检测模型包括：输入层，用于在训练所述表面缺陷检测模型时输入归一化后的芯片表面样本图像数据或用于在利用所述表面缺陷检测模型时输入归一化后的采集的芯片表面图像数据；第一卷积层，用于对输入层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；第一最大池化层，用于对所述第一卷积层输出的图像数据进行特征降维；第二卷积层，用于对所述第一最大池化层输出的图像数据进行图像特征提取，并在卷
积时共享网络权值矩阵；第二最大池化层，用于对所述第二卷积层输出的图像数据进行特征降维；第三卷积层，用于对所述第二最大池化层输出的图像数据提取图像特征，并在卷积时共享网络权值矩阵；第四卷积层，用于对第三卷积层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；第五卷积层，用于对所述第四卷积层输出的图像数据进行图像特征提取，并在卷积时共享网络权值矩阵；第三最大池化层，用于对所述第五卷积层输出的图像数据进行特征降维；第六卷积层，用于对所述第三最大池化层输出的图像数据进行特征降维，并在卷积时共享网络权值矩阵；输出减少层，用于对所述第六卷积层输出的图像数据进行特征降维以及减少所述第六卷积层输出的图像数据以防止过拟合；全连接层，用于对所述输出减少层输出的数据进行表面缺陷分类。6.根据权利要求4所述的方法，其特征在于，所述基于卷积神经网络的表面缺陷检测模型训练过程采用的损失函数为：其中，||f(xi)
a-f(xi)
n
||2表示一对相同缺陷类型的芯片表面样本图像特征值的距离，||f(xi)
a-f(xi)
p
||2表示一对不同缺陷类型的芯片表面样本图像特征值的距离，||f(xi)-f(xi)'||2表示第i个芯片表面样本图像训练时输出的预测值与标记值的距离，λ为用于提高训练精度的系数。7.根据权利要求2所述的方法，其特征在于，所述获取所述芯片的表面图像的表面缺陷位置信息的步骤包括：将所述芯片的表面图像分割为n个子区域块，根据表面缺陷类型分为芯片主体区域和引脚区域；分别提取所述芯片主体区域和引脚区域的主图像特征，并分别提取所述芯片主体区域和引脚区域各个子区域块的子图像特征；计算各个子图像特征的均值与对应的主图像特征的均值的差值，提取差值大于预设差值的各个子区域块，若提取的各个子区域块连通，则判定提取的所述各个子区域块构成的连通区域为对应的表面缺陷区域；对所述芯片的表面图像构建坐标系，将所述各个子区域块在所述坐标系中的位置作为所述表面缺陷位置信息。8.根据权利要求4所述的方法，其特征在于，无表面缺陷的芯片表面样本图像的数量与每一种缺陷类型的芯片表面样本图像的数量相等。9.一种芯片的表面缺陷检测装置，其特征在于，包括：存储单元、处理单元以及采集单元；所述处理单元分别与存储单元、采集单元电性连接；所述存储单元用于存储基于卷积神经网络的表面缺陷检测模型；所述采集单元用于采集芯片的表面图像；
所述处理单元用于获取基于卷积神经网络的表面缺陷检测模型，以及获取采集单元采集的芯片的表面图像，并将所述芯片的表面图像输入到所述表面缺陷检测模型，并利用所述表面缺陷检测模型检测所述芯片的表面图像的表面缺陷，得到所述芯片的表面图像的表面信息，所述表面信息包括第一预设输出信息或第二预设输出信息，所述第一预设输出信息包括表面缺陷类型信息，所述第二预设输出信息表示所述芯片无表面缺陷。10.根据权利要求9所述的芯片的表面缺陷检测装置，其特征在于，所述芯片的表面缺陷检测装置还可以包括传送装置，所述传送装置包括控制器和传送带，所述传送装置的控制器用于控制传送带运动，所述处理单元与传送装置的控制器电性连接，所述传送装置的传送带用于传送芯片，所述采集单元安装于传送带的上方，所述采集单元与传送带的垂直距离小于预设距离，所述处理单元用于当检测到芯片存在表面缺陷时发出第一指令，所述传送装置的控制器响应所述第一指令、利用将所述传送带将存在表面缺陷的芯片传送至指定位置。

技术总结
本申请提出一种芯片的表面缺陷检测方法和装置，通过采集芯片的表面图像，再利用基于卷积神经网络的表面缺陷检测模型识别芯片表面图像是否存在表面缺陷，相比于人工肉眼观察的方式，本申请芯片的表面缺陷检测方法可提高半导体芯片表面缺陷的检测概率。另外，利用表面缺陷检测模型检测到芯片存在表面缺陷时，还可输出相应的表面缺陷类型，提高了检测的精准性，有利于指导改善对应制造工艺流程。有利于指导改善对应制造工艺流程。有利于指导改善对应制造工艺流程。


技术研发人员：郭军 柯武生 翁国权
受保护的技术使用者：山东睿芯半导体科技有限公司
技术研发日：2023.07.05
技术公布日：2023/9/19