一种基于机器视觉的mini-LED面板缺陷检测设备及方法与流程

一种基于机器视觉的mini-led面板缺陷检测设备及方法
技术领域
1.本发明涉及mini-led领域，尤其涉及一种基于机器视觉的mini-led面板缺陷检测设备及方法。


背景技术：

2.miniled指100～300微米大小的led芯片，芯片间距在0.1～1mm之间，采用smd、cob或imd封装形式的微型led器件模块，往往应用于rgb显示或者lcd背光。显示器品质决定因素包括分辨率(像素数量)、ppi(像素密度)、观赏距离等。miniled作为一种新世代显示技术，相比于传统led具有能量利用率高、寿命长、分辨高等特点，各大消费电子厂商对其需求量激增。然而，由于芯片尺寸小、布局密，质检难度高，检测精度和效率不足，导致良率难以提升，成本居高不下，已成为miniled大规模量产和应用的行业瓶颈。


技术实现要素：

3.本发明的主要目的在于提供一种基于机器视觉的mini-led面板缺陷检测设备及方法，能够实现对mini-led面板缺陷的自动检测。
4.为达到以上目的，本发明采用的技术方案为：一种基于机器视觉的mini-led面板缺陷检测设备，包括：
5.机架；
6.移动底座，设置在机架上，相对机架能够沿着y方向移动；
7.支撑组件，支撑在移动底座上，用于放置待检测的mini-led面板；
8.ccd视觉组件，支撑在机架上，包括摄像镜头，所述摄像镜头用于对放置在支撑组件上的所述待检测的mini-led面板进行拍摄，所述摄像镜头能够沿着x方向和z方向移动；
9.控制器，用于控制移动底座、ccd视觉组件的移动以及控制ccd视觉组件进行拍摄并对拍摄的图像进行处理；其特征在于，
10.所述支撑组件包括：
11.第一安装板，固定在移动底座上；
12.支撑板，通过四个调整组件支撑在第一安装板上，所述待检测的mini-led面板放置在支撑板的上表面，俯视观察时，所述支撑板呈长方形或者正方形，四个调整组件分别支撑在支撑板的四个角的位置处，四个调整组件用于对四个角的高度进行调节。
13.优选地，所述调整组件包括：
14.第二安装板，设置在第一安装板的上表面；
15.第一滑座，设置在第二安装板上且相对于第二安装板能够在水平面内做往复直线运动，第一滑座的上表面为斜面，第一滑座的斜面沿着其往复直线运动的方向倾斜；
16.第二滑座，支撑在第一滑座的上表面，第二滑座的下表面为斜面，第二滑座的斜面与所述第一滑座的斜面平行，所述第二滑座相对第一滑座能够沿着斜面的倾斜方向来回移动，所述支撑板通过支撑块支撑在第二滑座上。
17.本发明还提供了一种基于机器视觉的mini-led面板缺陷检测方法，采用上述设备，具体包括如下步骤：
18.步骤一、对支撑板上的mini-led面板位置进行调平；
19.步骤二、控制器控制摄像镜头按照预定的路径移动并进行拍摄，得到mini-led面板图像；
20.步骤三、控制器对采集得到的mini-led面板图像进行处理，根据处理结果判断mini-led面板上芯片是否存在缺陷。
21.优选地，在步骤三中，所述缺陷包括虚焊、炸锡和固漏，
22.控制器将得到的图片输入到pp-yoloe算法模型进行处理，根据算法模型的输出结果能够判断出mini-led面板上芯片是否存在虚焊、炸锡和固漏。
23.优选地，在图片输入到pp-yoloe算法模型之前需要对图片进行预处理，预处理具体包括如下步骤：
24.步骤31、对图片的颜色进行处理，增强焊锡膏的颜色特征，具体包括如下步骤：
25.步骤311、将所述图片从rgb图像转化为hsv图像；
26.步骤312、将得到的hsv图像中的s、v通道进行缩放灰度操作：
27.g1＝g*mult+add；
28.其中，mult和add为系数，add＝-mult*g
min
，g为像素变化前的灰度值，g1为像素变化后的灰度值，g
max
为hsv图像中最大的灰度值，g
min
为hsv图像中最小的灰度值，；
29.步骤313、将图片从hsv图像转换为rgb图像；
30.步骤32、对图片进行降噪处理；
31.步骤33、对降噪后的图片进行归一化处理：
32.步骤331、计算图片的r、g、b三个通道的均值mean和方差std；
33.步骤332、对图片中的每个像素点进行归一化处理，公式如下：
[0034][0035]
其中，g
′
为归一化之后像素点的灰度值，g1为归一化之前的像素点的灰度值。
[0036]
优选地，在步骤三中，所述缺陷包括固反，具体采用以下步骤检测：
[0037]
步骤301、控制器采用最小外接矩形算法得到对应于mini-led面板上芯片的最小矩形的4个角点的坐标p1、p2、p3、p4和中心点的坐标p0；
[0038]
步骤302、控制器得到mini-led面板上芯片的极性标识区域的中心坐标p
p
，进而得到极性特征向量p0p
p
；
[0039]
步骤303、如果所述mini-led面板上芯片的极性特征向量为0，则判定为mini-led面板上芯片固反。
[0040]
优选地，在步骤三中，所述缺陷还包括焊点偏移，具体采用以下步骤检测：
[0041]
步骤311、控制器采用最小外接矩形算法得到对应于mini-led面板上芯片的最小矩形的中心点的坐标以及采用最小外接矩形算法得到对应于相应焊点的最小矩形的中心点的坐标
[0042]
步骤312、通过以下公式计算焊点的偏移量d：
[0043][0044]
步骤313、当d大于预设的阈值时，判断为芯片焊点发生偏移。
[0045]
优选地，在步骤三中，所述缺陷还包括mini-led面板上芯片偏转，具体采用以下步骤进行检测：
[0046]
步骤321、控制器采用最小外接矩形算法得到对应于mini-led面板上芯片的最小矩形的4个角点的坐标p1、p2、p3、p4和中心点的坐标p0；
[0047]
步骤322、控制器得到mini-led面板上芯片的极性标识区域的中心坐标p
p
，进而得到极性特征向量p0p
p
；
[0048]
步骤323、利用以下公式计算偏转角度θ，
[0049][0050]
其中t＝p0p
p
，t0＝(1,0)；
[0051]
步骤324、如果θ大于角度阈值σ且小于等于90
°
，则判定为mini-led面板上芯片发生偏转。
[0052]
优选地，在步骤三中，所述缺陷还包括mini-led面板上芯片极性反转，
[0053]
如果θ大于90
°
，则判定mini-led面板上芯片的极性反转。
[0054]
与现有技术相比，本发明具有以下有益效果：
[0055]
本发明能够自动地对mini-led存在的多种缺陷进行检测。
附图说明
[0056]
图1是本发明的立体图；
[0057]
图2和图3是支撑组件的结构图；
[0058]
图4和图5是调整组件的结构图；
[0059]
图6为球面轴承的结构图。
具体实施方式
[0060]
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。
[0061]
实施例一
[0062]
如图1-6所示，一种基于机器视觉的mini-led面板缺陷检测设备，包括机架1、设置在机架1上的移动底座3、支撑在移动底座3上的支撑组件2、支撑在机架1上的ccd视觉组件以及控制器。所述移动底座3能够沿着y方向来回移动，通过滑轨和滑块配合支撑在机架1上。所述支撑组件2用于对待检测的mini-led面板进行支撑，所述ccd视觉组件能够沿着x方向和z方向移动，用于对支撑组件2上的mini-led面板进行拍摄，所述控制器能够控制移动底座3和ccd视觉组件的移动以及ccd视觉组件的拍摄并能够对ccd视觉组件拍摄的图像进行分析。
[0063]
所述支撑组件包括固定在移动底座3上的第一安装板22、通过四个调整组件支撑
在第一安装板22上的支撑板21，所述待检测的mini-led面板放置在支撑板21的上表面。俯视观察时，所述支撑板21呈长方形或者正方形，四个调整组件分别支撑在支撑板21的四个角的位置处。
[0064]
所述调整组件包括设置在第一安装板22上表面的第二安装板231、相对于第二安装板231能够在水平面内做往复直线运动的第一滑座232、支撑在第一滑座232上的第二滑座233，所述第一滑座232的上表面沿着其移动方向逐渐倾斜，所述第二滑座233的下表面的倾斜方向与第一滑座232的上表面的倾斜方向相同，所述第二滑座233与第一滑座232沿着所述倾斜方向相对滑动。在所述第二滑座233上设置有第二连接板237，在所述第二安装板231上设置有第一连接板236，所述第二连接板237相对第一连接板236可上下滑动。当第一滑座232在往复运动时，能够带动第二滑座233上下移动。所述第一滑座232采用电机238驱动，所述电机238与控制器电连接。
[0065]
所述调整组件还包括支撑块234，所述支撑板21通过球面轴承235支撑在支撑块234上。当支撑块234上下移动时，支撑板21的倾斜角度以及方向会跟随改变，进而实现对支撑板21水平的调节。所述球面轴承235包括安装座2351、摆杆2352以及球头2353，所述安装座2351设置在支撑块234上，所述安装座2351的上表面设置有球面的凹槽，所述摆杆2352的上端铰接在支撑板21的下表面。
[0066]
进一步，在所述支撑板21的上表面且靠近每个边缘的中间位置设置有一倾斜传感器211，所述倾斜传感器211与控制器电连接，控制器通过倾斜传感器211获取支撑板21的倾斜的角度和方向能够控制调整组件对支撑板21进行调整。
[0067]
所述ccd视觉组件包括摄像镜头5，所述摄像镜头5位于所述支撑板21的正上方且朝下拍摄。
[0068]
实施例二
[0069]
该实施例为采用实施例一中的设备对mini-led面板进行检测的检测方法，具体包括如下步骤：
[0070]
步骤一、对支撑板21上的mini-led面板位置进行调整，将mini-led面板调平；
[0071]
步骤二、图像采集：控制器控制摄像镜头按照预定的路径移动并进行拍摄，得到mini-led面板图像；
[0072]
步骤三、控制器对采集得到的mini-led面板图像进行处理，根据处理结果判断mini-led面板上芯片是否存在缺陷。
[0073]
优选地，步骤一具体包括如下步骤：
[0074]
步骤11、ccd视觉模组拍摄mini-led面板上的3个基准点，3个基准点可以是mini-led面板上的任意3个点，但是距离越远越好；
[0075]
步骤12、控制器根据拍摄的图片获取3个基准点的空间坐标，同时统计4个侧倾传感器采集位置的数据，根据空间坐标和位置数据判断mini-led面板是否放平；
[0076]
步骤13、如果没有放平，控制器根据所述空间坐标计算出需要调整的调整量并控制调整组件按照调整量进行调整，调平mini-led面板。
[0077]
优选地，步骤二具体包括如下步骤：
[0078]
步骤21、拍摄镜头移动到拍摄起点，拍摄起点可以预先设置；
[0079]
步骤22、拍摄镜头沿着预定的路径移动，实现mini-led面板的拍摄。
[0080]
优选地，当支撑板上需要放置多个mini-led面板时，多个mini-led面板依次排列，在拍摄完成后，控制器将获取的图片根据每个mini-led面板的尺寸分割成多个包含对应mini-led面板的图片。
[0081]
优选地，在步骤三中，所述缺陷包括虚焊、炸锡和固漏，
[0082]
控制器将得到的图片输入到pp-yoloe算法模型进行处理，根据算法模型的输出结果能够判断出mini-led上芯片是否存在虚焊、炸锡和固漏。
[0083]
在图片输入到pp-yoloe算法模型之前需要对图片进行预处理，预处理具体包括如下步骤：
[0084]
步骤31、对图片的颜色进行处理，增强焊锡膏的颜色特征，具体包括如下步骤：
[0085]
步骤311、将所述图片从rgb图像转化为hsv图像；
[0086]
步骤312、将得到的hsv图像中的s、v通道进行缩放灰度操作：
[0087]
g1＝g*mult+add；
[0088]
其中，mult和add为系数，add＝-mult*g
min
，g为像素变化前的灰度值，g1为像素变化后的灰度值，g
max
为hsv图像中最大的灰度值，g
min
为hsv图像中最小的灰度值，；
[0089]
步骤313、将图片从hsv图像转换为rgb图像；
[0090]
步骤32、对图片进行降噪处理，一般采用高斯滤波；
[0091]
步骤33、对降噪后的图片进行归一化处理：
[0092]
步骤331、计算图片的r、g、b三个通道的均值mean和方差std；
[0093]
步骤332、对图片中的每个像素点进行归一化处理，公式如下：
[0094][0095]
其中，g
′
为归一化之后像素点的灰度值，g1为归一化之前的像素点的灰度值。
[0096]
优选地，在步骤三中，所述缺陷包括固反，没有固反时mini-led面板上芯片的极性标志朝外，发生固反时mini-led面板上芯片的极性标志朝里，具体采用以下步骤检测：
[0097]
步骤301、控制器采用最小外接矩形算法得到对应于mini-led芯片的最小矩形的4个角点的坐标p1、p2、p3、p4和中心点的坐标p0；
[0098]
步骤302、控制器采用现有的图像处理算法得到mini-led芯片上的极性标识区域的中心坐标p
p
，进而得到极性特征向量p0p
p
；极性标识区域预先设置在mini-led面板上，为电子元器件的常规设置；
[0099]
步骤303、如果所述mini-led芯片的极性特征向量为0，则判定为mini-led芯片固反。
[0100]
优选地，在步骤三中，所述缺陷还包括焊点偏移，具体采用以下步骤检测：
[0101]
步骤311、控制器采用最小外接矩形算法得到对应于mini-led芯片的最小矩形的中心点的坐标以及采用最小外接矩形算法得到对应于相应焊点的最小矩形的中心点的坐标
[0102]
步骤312、通过以下公式计算焊点的偏移量d：
[0103][0104]
步骤313、当d大于预设的阈值时，判断为焊盘发生偏移。
[0105]
优选地，在步骤三中，所述缺陷还包括mini-led芯片偏转，具体采用以下步骤进行检测：
[0106]
步骤321、控制器采用最小外接矩形算法得到对应于mini-led面板上芯片的最小矩形的4个角点的坐标p1、p2、p3、p4和中心点的坐标p0；
[0107]
步骤322、控制器采用现有的图像处理算法得到mini-led面板上芯片的极性标识区域的中心坐标p
p
，进而得到极性特征向量p0p
p
；极性标识区域预先设置在mini-led面板芯片上，为电子元器件的常规设置；
[0108]
步骤323、利用以下公式计算偏转角度θ，
[0109][0110]
其中t＝p0p
p
，t0＝(1,0)；
[0111]
步骤324、如果θ大于角度阈值σ且小于等于90
°
，则判定为mini-led面板上芯片发生偏转。
[0112]
优选地，在步骤三中，所述缺陷还包括mini-led面板上芯片极性反转，
[0113]
如果θ大于90
°
，则判定mini-led面板上芯片的极性反转。
[0114]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

技术特征：
1.一种基于机器视觉的mini-led面板缺陷检测设备，包括：机架；移动底座，设置在机架上，相对机架能够沿着y方向移动；支撑组件，支撑在移动底座上，用于放置待检测的mini-led面板；ccd视觉组件，支撑在机架上，包括摄像镜头，所述摄像镜头用于对放置在支撑组件上的所述待检测的mini-led面板进行拍摄，所述摄像镜头能够沿着x方向和z方向移动；控制器，用于控制移动底座、ccd视觉组件的移动以及控制ccd视觉组件进行拍摄并对拍摄的图像进行处理；其特征在于，所述支撑组件包括：第一安装板，固定在移动底座上；支撑板，通过四个调整组件支撑在第一安装板上，所述待检测的mini-led面板放置在支撑板的上表面，俯视观察时，所述支撑板呈长方形或者正方形，四个调整组件分别支撑在支撑板的四个角的位置处，四个调整组件用于对四个角的高度进行调节。2.根据权利要求1所述的一种检测设备，其特征在于，所述调整组件包括：第二安装板，设置在第一安装板的上表面；第一滑座，设置在第二安装板上且相对于第二安装板能够在水平面内做往复直线运动，第一滑座的上表面为斜面，第一滑座的斜面沿着其往复直线运动的方向倾斜；第二滑座，支撑在第一滑座的上表面，第二滑座的下表面为斜面，第二滑座的斜面与所述第一滑座的斜面平行，所述第二滑座相对第一滑座能够沿着斜面的倾斜方向来回移动，所述支撑板通过支撑块支撑在第二滑座上。3.一种基于机器视觉的mini-led面板缺陷检测方法，采用权利要求1-2任一项所述的检测设备，具体包括如下步骤：步骤一、对支撑板上的mini-led面板位置进行调平；步骤二、控制器控制摄像镜头按照预定的路径移动并进行拍摄，得到mini-led面板图像；步骤三、控制器对采集得到的mini-led面板图像进行处理，根据处理结果判断mini-led面板上芯片是否存在缺陷。4.根据权利要求3所述的检测方法，其特征在于，在步骤三中，所述缺陷包括虚焊、炸锡和固漏，控制器将得到的图片输入到算法模型进行处理，根据算法模型的输出结果能够判断出mini-led上芯片是否存在虚焊、炸锡和固漏。5.根据权利要求3所述的检测方法，其特征在于，在图片输入到pp-yoloe算法模型之前需要对图片进行预处理，预处理具体包括如下步骤：步骤31、对图片的颜色进行处理，增强焊锡膏的颜色特征，具体包括如下步骤：步骤311、将所述图片从rgb图像转化为hsv图像；步骤312、将得到的hsv图像中的s、v通道进行缩放灰度操作：g1＝g*mult+add；其中，mult和add为系数，add＝-mult*g
min
，g为像素变化前的灰度
值，g1为像素变化后的灰度值，g
max
为hsv图像中最大的灰度值，g
min
为hsv图像中最小的灰度值；步骤313、将图片从hsv图像转换为rgb图像；步骤32、对图片进行降噪处理；步骤33、对降噪后的图片进行归一化处理：步骤331、计算图片的r、g、b三个通道的均值mean和方差std；步骤332、对图片中的每个像素点进行归一化处理，公式如下：其中，g
′
为归一化之后像素点的灰度值，g1为归一化之前的像素点的灰度值。6.根据权利要求3所述的检测方法，其特征在于，在步骤三中，所述缺陷包括固反，具体采用以下步骤检测：步骤301、控制器采用最小外接矩形算法得到对应于mini-led上芯片的最小矩形的4个角点的坐标p1、p2、p3、p4和中心点的坐标p0；步骤302、控制器获取mini-led上芯片上的极性标识区域的中心坐标p
p
，进而得到极性特征向量p0p
p
；步骤303、如果所述mini-led面板的极性特征向量为0，则判定为mini-led上芯片的固反。7.根据权利要求3所述的检测方法，其特征在于，在步骤三中，所述缺陷还包括芯片的偏移，具体采用以下步骤检测：步骤311、控制器采用最小外接矩形算法得到对应于mini-led上芯片的最小矩形的中心点的坐标以及采用最小外接矩形算法得到对应于相应焊点的最小矩形的中心点的坐标步骤312、通过以下公式计算焊盘的偏移量d：步骤313、当d大于预设的阈值时，判断为焊点发生偏移。8.根据权利要求3所述的检测方法，其特征在于，在步骤三中，所述缺陷还包括mini-led芯片的偏转，具体采用以下步骤进行检测：步骤321、控制器采用最小外接矩形算法得到对应于mini-led上芯片的最小矩形的4个角点的坐标p1、p2、p3、p4和中心点的坐标p0；步骤322、控制器得到mini-led面板上上芯片的极性标识区域的中心坐标p
p
，进而得到极性特征向量p0p
p
；步骤323、利用以下公式计算偏转角度平均差θ，其中t＝p0p
p
，t0＝(1,0)；步骤324、如果θ大于角度阈值σ且小于等于90
°
，则判定为mini-led上芯片发生偏转。
9.根据权利要求7所述的检测方法，其特征在于，在步骤三中，所述缺陷还包括mini-led芯片极性反转，如果θ大于90
°
，则判定mini-led芯片的极性反转。

技术总结
本发明提供了一种基于机器视觉的mini-LED面板缺陷检测设备，包括：机架；移动底座，设置在机架上，相对机架能够沿着Y方向移动；支撑组件，支撑在移动底座上，用于放置待检测的mini-LED面板；CCD视觉组件，支撑在机架上，包括摄像镜头，所述摄像镜头用于对放置在支撑组件上的所述待检测的mini-LED面板进行拍摄，所述摄像镜头能够沿着X方向和Z方向移动；控制器，用于控制移动底座、CCD视觉组件的移动以及控制CCD视觉组件进行拍摄并对拍摄的图像进行处理；所述支撑组件包括：第一安装板，固定在移动底座上；支撑板，通过四个调整组件支撑在第一安装板上，所述待检测的mini-LED面板放置在支撑板的上表面。支撑板的上表面。支撑板的上表面。


技术研发人员：董志强 汤晖 梁明虎 廖智燊
受保护的技术使用者：广州纳动半导体设备有限公司
技术研发日：2023.07.25
技术公布日：2023/9/9