一种MiniLED背光功能测试方法及其装置

一种mini led背光功能测试方法及其装置
技术领域
1.本发明属于工业检测技术领域，具体涉及一种mini led背光功能测试方法及其装置。


背景技术：

2.在现代显示技术领域，miniled背光技术逐渐成为关注焦点。miniled背光技术采用矩阵式区域控光，每个区域的miniled灯都可以自由控制亮度和暗灭。这使得在显示暗色图面时，关掉或降低对应miniled区域亮度，可以表现出更优秀的色彩亮暗对比效果。由于miniled灯珠数量远超以往侧入式背光，传统的检测方式在效率和准确性方面已经难以满足要求，因此需要研发新的检测方式来判定miniled背光每颗灯珠是否工作正常。
3.近年来，miniled技术的迅速发展为显示行业带来巨大的商机。在技术蓬勃发展的同时，对产品质量的检测和把控方案也应该与时俱进。目前，检测miniled背光板的异常情况主要还是依靠人工肉眼观测。然而，由于miniled的灯珠数量庞大，靠肉眼检测存在很大的主观性和误判率。因此，有必要引入一些图像处理和监督学习方法，帮助人工快速高效地检测出mini灯珠异常工作的灯珠区域以及数量。
4.有鉴于此，提出一种mini led背光功能测试方法及其装置是非常具有意义的。


技术实现要素：

5.为了解决现有miniled背光灯板的快速检测问题，本发明提供一种mini led背光功能测试方法及其装置，以解决上述存在的技术缺陷问题。
6.第一方面，本发明提出了一种mini led背光功能测试方法，该方法包括如下步骤：
7.响应于获取一组具有不同发光区域的miniled背光板的图像；
8.对获取的图像进行阈值处理以及sobel算子处理；
9.基于霍夫圆直线方法检测亮暗区域，并批量制作掩膜图像；
10.将获取的原始图像以及对应制作的所述掩膜图像组成数据集，分为训练集和验证集；
11.基于pytorch深度学习框架搭建u形编码器解码器网络结构，获得u-net模型；
12.使用数据集中的图像对获得u-net模型进行多轮迭代训练，记录每个epoch结束时的模型评估指标iou和dice系数；
13.进一步使用训练好的u-net模型对待处理的图像进行分割，以识别出发光区域；
14.对待处理的图像进行膨胀卷积以及腐蚀卷积操作，找出发光与黑暗区域；
15.通过计算黑暗像素的面积，从而识别出正常灯珠与异常灯珠的个数。
16.优选的，还包括：点亮miniled背光板，使用遮光板模拟不同亮度条件下的led芯片背光板图像，以获取一组具有不同发光区域的miniled背光板的图像。
17.进一步优选的，对获取的图像进行阈值处理包括：将获取的图像转换为灰度图，然后采用全局阈值法进行t处理，设定阈值为t，其中i'代表处理后的图像，其公式可表示为：
18.i'(x,y)＝{255,if i(x,y)》t；0,otherwise}。
19.进一步优选的，对获取的图像进行sobel算子处理包括：对二值化后的图像应用sobel算子，得到图像的水平梯度gx和垂直梯度gy，sobel算子的计算公式如下：
20.gx＝[[-1,0,1],[-2,0,2],[-1,0,1]]*i'(x,y)
[0021]
gy＝[[-1,-2,-1],[0,0,0],[1,2,1]]*i'(x,y)。
[0022]
进一步优选的，使用非极大值抑制算法处理梯度幅值图像，得到一个稀疏且清晰的边缘图像，对梯度幅值图像i_magnitude和梯度方向图像i_direction进行遍历，对于每一个像素点(x,y)，首先确定其在梯度方向图像中的方向θ，可表示为：θ(x,y)＝arctan(i_direction(x,y))。
[0023]
进一步优选的，还包括：对于每个区间，检查当前像素点在该方向上的邻居像素点，如在0
°
方向上，检查左侧和右侧的像素点；
[0024]
如果当前像素点的梯度幅值大于其两个邻居的梯度幅值，则保留该像素点，否则将其梯度幅值设为0。
[0025]
进一步优选的，u-net模型具体包括：
[0026]
编码器，包含多个卷积层conv2d、批量归一化batchnorm2d和最大池化层maxpooling2d，其中卷积层的输出通道数逐层递增，卷积操作的公式为：f(x)＝w*x+b，其中，f(x)表示输出特征图，w表示卷积核权重，x表示输入特征图，b表示偏置项；
[0027]
解码器，包含多个上采样层、卷积层和批量归一化，上采样层通过插值方法将特征图放大，然后与编码器对应层级的特征图进行融合concatenate。卷积层的输出通道数逐层递减，其中本网络为512,256,128,64。
[0028]
进一步优选的，还包括：在u-net模型的训练过程中，使用adam优化器，并设置学习率为0.001，训练批次为50，训练步长可达4500；
[0029]
同时采用交叉熵损失函数，以最小化模型预测和真实分割掩膜之间的差异；交叉熵损失函数的公式为：
[0030]
l(y,t)＝-∑t_i*log(y_i)
[0031]
其中，l(y,t)表示损失值，y为模型预测的分割图像，t为真实分割掩膜，i表示像素索引。
[0032]
进一步优选的，模型评估指标iou和dice系数的计算公式分别为：
[0033]
iou＝|a∩b|/|a∪b|
[0034]
dice＝2*|a∩b|/(|a|+|b|)
[0035]
其中，a表示预测分割结果，b表示真实分割最后检测结果，dice系数结果随着训练趋于稳定最佳值为92.3％，iou系数的结果随着训练趋于稳定最佳值为91.5％。
[0036]
第二方面，本发明实施例还提供一种mini led背光功能测试装置，该装置包括：
[0037]
获取模块，用于响应于获取一组具有不同发光区域的miniled背光板的图像；
[0038]
阈值处理模块，用于将获取的图像转换为灰度图，然后采用全局阈值法进行t处理；
[0039]
sobel算子处理模块，用于对二值化后的图像应用sobel算子，得到图像的水平梯度gx和垂直梯度gy；
[0040]
霍夫圆直线方法检测模块，用于基于霍夫圆直线方法检测亮暗区域，并批量制作
掩膜图像；
[0041]
数据集模块，用于将获取的原始图像以及对应制作的所述掩膜图像组成数据集，分为训练集和验证集；
[0042]
u-net模型模块，用于基于pytorch深度学习框架搭建u形编码器解码器网络结构，获得u-net模型；
[0043]
训练模块，用于使用数据集中的图像对获得u-net模型进行多轮迭代训练，记录每个epoch结束时的模型评估指标iou和dice系数；
[0044]
图像分割模块，用于使用训练好的u-net模型对待处理的图像进行分割，以识别出发光区域；
[0045]
膨胀腐蚀模块，用于对待处理的图像进行膨胀卷积以及腐蚀卷积操作，找出发光与黑暗区域；
[0046]
识别模块，用于通过计算黑暗像素的面积，从而识别出正常灯珠与异常灯珠的个数。
[0047]
第三方面，本发明实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
[0048]
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
[0049]
与现有技术相比，本发明的有益成果在于：
[0050]
本发明利用计算机视觉监督学习算法，解决了miniled背光灯板的快速检测问题，使用u形网络，训练大量模拟亮暗的数据，训练的模型具有较好的识别正常灯珠和异常灯珠的区域的能力，既说明了预处理方法的合理性，又可以扩展深度学习应用，最后结合图像处理检测出正常芯片和异常芯片的数目，模型可以替代人工肉眼检测，提高工作效率和产品质量的把控程度。
附图说明
[0051]
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。
[0052]
图1是本发明的一个实施例可以应用于其中的示例性装置架构图；
[0053]
图2为本发明的实施例的mini led背光功能测试方法的流程示意图；
[0054]
图3为本发明的实施例的mini led背光功能测试方法的方法流程示意图；
[0055]
图4为本发明的实施例的mini led背光功能测试方法中miniled背光板的示意图；
[0056]
图5为本发明的实施例的mini led背光功能测试方法中阈值分割处理图像的示意图；
[0057]
图6为本发明的实施例的mini led背光功能测试方法中霍夫圆变换原理图；
[0058]
图7为本发明的实施例的mini led背光功能测试方法中发光区域批量掩码检测图像；
[0059]
图8为本发明的实施例的mini led背光功能测试方法中u形编码器解码器网络结构图；
[0060]
图9为本发明的实施例的mini led背光功能测试方法中iou系数结果图；
[0061]
图10为本发明的实施例的mini led背光功能测试方法中dice系数结果图；
[0062]
图11为本发明的实施例的mini led背光功能测试方法中膨胀卷积后的图像；
[0063]
图12为本发明的实施例的mini led背光功能测试方法中作差后的图像；
[0064]
图13为本发明的实施例的mini led背光功能测试方法中腐蚀处理后的图像；
[0065]
图14为本发明的实施例的mini led背光功能测试方法中最终检测结果图；
[0066]
图15为本发明的实施例的mini led背光功能测试系统的示意图；
[0067]
图16是适于用来实现本发明实施例的电子设备的计算机装置的结构示意图。
具体实施方式
[0068]
在以下详细描述中，参考附图，该附图形成详细描述的一部分，并且通过其中可实践本发明的说明性具体实施例来示出。对此，参考描述的图的取向来使用方向术语，例如“顶”、“底”、“左”、“右”、“上”、“下”等。因为实施例的部件可被定位于若干不同取向中，为了图示的目的使用方向术语并且方向术语绝非限制。应当理解的是，可以利用其他实施例或可以做出逻辑改变，而不背离本发明的范围。因此以下详细描述不应当在限制的意义上被采用，并且本发明的范围由所附权利要求来限定。
[0069]
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0070]
图1示出了可以应用本发明实施例的用于处理信息的方法或用于处理信息的装置的示例性系统架构100。
[0071]
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0072]
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
[0073]
终端设备101、102、103可以是具有通信功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0074]
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103发送的校验请求信息进行处理的后台信息处理服务器。后台信息处理服务器可以对接收到的校验请求信息进行分析等处理，并得到处理结果(例如用于表征校验请求为合法请求的校验成功信息)。
[0075]
需要说明的是，本发明实施例所提供的用于处理信息的方法一般由服务器105执行，相应地，用于处理信息的装置一般设置于服务器105中。另外，本发明实施例所提供的用于发送信息的方法一般由终端设备101、102、103执行，相应地，用于发送信息的装置一般设置于终端设备101、102、103中。
[0076]
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现
成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或多个软件模块，在此不做具体限定。
[0077]
为了解决miniled背光灯板的快速检测问题，本发明提出了一种基于计算机视觉和深度学习的检测方法，该方法可以有效地标记出异常区域和异常灯珠计数。使用遮光板遮挡不同区域的mini灯珠，模拟灯板表面灯珠亮暗情况。基于以上方法制作掩膜图像，使用一种u形编码解码网络进行深度学习训练并评估识别灯珠亮暗区域的效果，最后通过腐蚀膨胀做差输出正常与异常灯珠数目。
[0078]
图2示出了本发明的实施例公开了一种mini led背光功能测试方法，如图2所示，该方法包括如下步骤：
[0079]
s1、响应于获取一组具有不同发光区域的miniled背光板的图像；
[0080]
s2、对获取的图像进行阈值处理以及sobel算子处理；
[0081]
s3、基于霍夫圆直线方法检测亮暗区域，并批量制作掩膜图像；
[0082]
s4、将获取的原始图像以及对应制作的所述掩膜图像组成数据集，分为训练集和验证集；
[0083]
s5、基于pytorch深度学习框架搭建u形编码器解码器网络结构，获得u-net模型；
[0084]
s6、使用数据集中的图像对获得u-net模型进行多轮迭代训练，记录每个epoch结束时的模型评估指标iou和dice系数；
[0085]
s7、进一步使用训练好的u-net模型对待处理的图像进行分割，以识别出发光区域；
[0086]
s8、对待处理的图像进行膨胀卷积以及腐蚀卷积操作，找出发光与黑暗区域；
[0087]
s9、通过计算黑暗像素的面积，从而识别出正常灯珠与异常灯珠的个数。
[0088]
具体的，如图3所示，为了解决现有技术中存在的上述技术问题，本发明首先创建掩码图像，然后使用u形编码器-解码器网络进行图像分割，以识别发光区域。通过将膨胀卷积后的图像与阈值分割处理后的图像相减，我们得到了一张具有相对清晰轮廓的二值图像。接下来，对该图像进行腐蚀卷积操作，将图像中较近距离的黑点连接在一起，从而识别出发光芯片的数量以及异常芯片的数量。
[0089]
首先，点亮miniled背光板，使用遮光板模拟不同亮度条件下的led芯片背光板图像，从而获得一组具有不同发光区域的mini背光板的图像，如图4所示。
[0090]
将这些图像转换为灰度图，然后采用全局阈值法进行t处理，设定阈值为t，其中i'代表处理后的图像，如图5所示，其公式可表示为：
[0091]
i'(x,y)＝{255,if i(x,y)》t；0,otherwise}
[0092]
对二值化后的图像应用sobel算子，从而得到图像的水平梯度gx和垂直梯度gy。sobel算子的计算公式如下：
[0093]
gx＝[[-1,0,1],[-2,0,2],[-1,0,1]]*i'(x,y)
[0094]
gy＝[[-1,-2,-1],[0,0,0],[1,2,1]]*i'(x,y)
[0095]
使用非极大值抑制算法处理梯度幅值图像，从而得到一个稀疏且清晰的边缘图像。非极大值抑制(nms)是一种边缘稀疏技术，其目标是找到图像中的局部最大值并消除其它非最大值点。对梯度幅值图像i_magnitude和梯度方向图像i_direction进行遍历。对于
每一个像素点(x,y)，首先确定其在梯度方向图像中的方向θ，可表示为：
[0096]
θ(x,y)＝arctan(i_direction(x,y))
[0097]
对于每个区间，检查当前像素点在该方向上的邻居像素点，比如在0
°
方向上，检查左侧和右侧的像素点。如果当前像素点的梯度幅值大于其两个邻居的梯度幅值，则保留该像素点，否则将其梯度幅值设为0。
[0098]
使用霍夫圆直线方法检测发光区域，其检测原理示意图如图6所示。霍夫变换是一种从图像中检测特定形状的方法，例如直线或圆。对非极大值抑制后的边缘图像i_nms进行遍历。对于每一个像素点(x,y)，如果其梯度幅值大于设定的阈值，将其作为一个可能的圆心。根据圆心和预先设定的半径范围，为每一个可能的圆心计算霍夫空间的累加器数组h(x,y,r)。每个数组元素表示在该点和半径的情况下存在一个圆的累积证据。选择累加器数组中具有最大值的点作为最佳圆心和半径。发光区域批量检测的图像结果图如图7所示，这些点对应的圆就是检测到的发光区域。在笛卡尔坐标系中圆的方程为：(x-a)2+(y-b)2＝r2，其中(a,b)是圆心，r是半径，也可以表述为：
[0099]
x＝a+r cos θ
[0100]
y＝b+r sin θ
[0101]
将原始图像和对应的掩膜图像组成数据集，分为训练集、验证集。训练集和验证集的比例为7：3。
[0102]
利用python编程语言中的pytorch深度学习框架搭建u形编码器解码器网络结构。该网络结构包括一个编码器和一个解码器，其中编码器用于提取图像特征，解码器用于将这些特征映射回原始图像的分割掩膜，其网络结构图如图8所示。编码器：包含多个卷积层(conv2d)、批量归一化(batchnorm2d)和最大池化层(maxpooling2d)。卷积层的输出通道数逐层递增，例如：64,128,256,512等。卷积操作的公式为：
[0103]
f(x)＝w*x+b
[0104]
其中，f(x)表示输出特征图，w是卷积核权重，x是输入特征图，b是偏置项。解码器：包含多个上采样层、卷积层和批量归一化。上采样层通过插值方法将特征图放大，然后与编码器对应层级的特征图进行融合(concatenate)。卷积层的输出通道数逐层递减，本网络为512,256,128,64。
[0105]
使用数据集中的图像对u-net模型进行训练。在训练过程中，使用adam优化器，并设置学习率为0.001，训练批次为50，训练步长可达4500。同时采用交叉熵损失函数，以最小化模型预测和真实分割掩膜之间的差异。交叉熵损失函数的公式为：
[0106]
l(y,t)＝-∑t_i*log(y_i)
[0107]
其中，l(y,t)表示损失值，y为模型预测的分割图像，t为真实分割掩膜，i表示像素索引。
[0108]
进行多轮迭代训练，记录每个epoch结束时的模型评估指标(如iou和dice系数)。iou和dice系数是常用的分割任务评估指标，用于衡量预测分割结果与真实分割结果的相似性，iou和dice系数结果图分别为图9和图10。它们的计算公式分别为：
[0109]
iou＝|a∩b|/|a∪b|
[0110]
dice＝2*|a∩b|/(|a|+|b|)
[0111]
其中，a表示预测分割结果，b表示真实分割最后检测结果，dice系数结果随着训练
趋于稳定最佳值为92.3％，iou系数的结果随着训练趋于稳定最佳值为91.5％。
[0112]
使用训练好的u形编码器解码器模型对图像进行分割，识别出发光区域。将待处理的输入图像输入给训练好的u-net模型，模型将预测一个分割掩膜图像。这个分割掩膜图像中的像素值表示对应位置处是否属于发光区域。将预测得到的掩膜二值化处理，使得像素值为1的区域表示发光区域，像素值为0的区域表示非发光区域。
[0113]
对膨胀卷积后的图像和阈值分割处理后的图像进行相减，得到一张拥有相对清晰的轮廓二值图像。膨胀卷积后的图像可以突出发光区域的边缘，阈值分割处理后的图像可以消除部分噪声，膨胀卷积后得到的图片如图11所示。通过对这两张图像进行相减操作，可以得到一张更加清晰且只包含发光区域边缘的二值图像，如图12所示。
[0114]
对该二值图像进行腐蚀卷积操作，将图像中的距离较近的黑点连成一片。腐蚀卷积是一种形态学操作，可以缩小图像中的白色区域。应用腐蚀卷积后，发光区域边缘附近的黑点(即非发光区域)将被连成一片，从而使得发光区域之间的分界线更加明显，如图13所示。
[0115]
通过计算黑暗像素的面积，从而识别出发光芯片的个数以及异常芯片的个数。在经过腐蚀卷积操作后的二值图像中，连成一片的黑点表示非发光区域。可以通过计算连通域的个数(例如使用连通组件标记算法)，识别出发光芯片的个数。然后，可以根据发光芯片的亮度、形状等特征来判断是否为异常芯片。例如，如果某个发光芯片的亮度明显低于其他发光芯片，或者形状明显不规则，那么可以将其判断为异常芯片。通过这种方式，可以识别出异常芯片的个数，如图14所示。
[0116]
本发明利用计算机视觉图像处理算法，解决了miniled背光灯板的快速检测问题，使用u形网络，训练大量模拟亮暗的数据，训练的模型具有较好的识别正常灯珠和异常灯珠的区域的能力，既说明了预处理方法的合理性，又可以扩展深度学习应用，最后结合图像处理检测出正常芯片和异常芯片的数目，模型可以替代人工肉眼检测，提高工作效率和产品质量的把控程度。
[0117]
第二方面，本发明实施例还公开一种mini led背光功能测试装置，如图15所示，该装置包括：获取模块151，阈值处理模块152，sobel算子处理模块153，霍夫圆直线方法检测模块154，数据集模块155，u-net模型模块156，训练模块157，图像分割模块158，膨胀腐蚀模块159以及识别模块160。
[0118]
在一个具体实施例中，获取模块151，用于响应于获取一组具有不同发光区域的miniled背光板的图像；阈值处理模块152，用于将获取的图像转换为灰度图，然后采用全局阈值法进行t处理；sobel算子处理模块153，用于对二值化后的图像应用sobel算子，得到图像的水平梯度gx和垂直梯度gy；霍夫圆直线方法检测模块154，用于基于霍夫圆直线方法检测亮暗区域，并批量制作掩膜图像；数据集模块155，用于将获取的原始图像以及对应制作的所述掩膜图像组成数据集，分为训练集和验证集。
[0119]
u-net模型模块156，用于基于pytorch深度学习框架搭建u形编码器解码器网络结构，获得u-net模型；训练模块157，用于使用数据集中的图像对获得u-net模型进行多轮迭代训练，记录每个epoch结束时的模型评估指标iou和dice系数；图像分割模块158，用于使用训练好的u-net模型对待处理的图像进行分割，以识别出发光区域；膨胀腐蚀模块159，用于对待处理的图像进行膨胀卷积以及腐蚀卷积操作，找出发光与黑暗区域；识别模块160，
用于通过计算黑暗像素的面积，从而识别出正常灯珠与异常灯珠的个数。
[0120]
本发明对miniled背光板提出了一种独特的预处理方法，由于灯珠之间是相互独立的，普通的轮廓提取只能检测出所有单颗灯珠的外围轮廓，而无法定位到暗灭的灯珠围成的轮廓，因为那块区域的轮廓信息需要深入挖掘，通过该流程可以快速准确地定位出异常区域轮廓，后期使用遮光板进行模拟背光板不同区域的亮暗情况，使用上述方法进行预处理批量操作制作掩膜数据，使用该方法对其进行深度学习训练获得效果较好的dice和iou系数，证明该方法制作标签的合理性，也扩展了深度学习应用到mini背光板的正常工作区域检测，最后结合图像处理检测出正常芯片和异常芯片的数目。
[0121]
下面参考图16，其示出了适于用来实现本发明实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置1600的结构示意图。图16示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0122]
如图16所示，计算机装置1600包括中央处理单元(cpu)1601和图形处理器(gpu)1602，其可以根据存储在只读存储器(rom)1603中的程序或者从存储部分1609加载到随机访问存储器(ram)1606中的程序而执行各种适当的动作和处理。在ram 1604中，还存储有装置1600操作所需的各种程序和数据。cpu 1601、gpu1602、rom 1603以及ram 1604通过总线1605彼此相连。输入/输出(i/o)接口1606也连接至总线1605。
[0123]
以下部件连接至i/o接口1606：包括键盘、鼠标等的输入部分1607；包括诸如、液晶显示器(lcd)等以及扬声器等的输出部分1608；包括硬盘等的存储部分1609；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1610。通信部分1610经由诸如因特网的网络执行通信处理。驱动器1611也可以根据需要连接至i/o接口1606。可拆卸介质1612，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1611上，以便于从其上读出的计算机程序根据需要被安装入存储部分1609。
[0124]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1610从网络上被下载和安装，和/或从可拆卸介质1612被安装。在该计算机程序被中央处理单元(cpu)1601和图形处理器(gpu)1602执行时，执行本发明的方法中限定的上述功能。
[0125]
需要说明的是，本发明所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算
机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0126]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0127]
附图中的流程图和框图，图示了按照本发明各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0128]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
[0129]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：响应于获取一组具有不同发光区域的miniled背光板的图像；对获取的图像进行阈值处理以及sobel算子处理；基于霍夫圆直线方法检测亮暗区域，并批量制作掩膜图像；将获取的原始图像以及对应制作的所述掩膜图像组成数据集，分为训练集和验证集；基于pytorch深度学习框架搭建u形编码器解码器网络结构，获得u-net模型；使用数据集中的图像对获得u-net模型进行多轮迭代训练，记录每个epoch结束时的模型评估指标iou和dice系数；进一步使用训练好的u-net模型对待处理的图像进行分割，以识别出发光区域；对待处理的图像进行膨胀卷积以及腐蚀卷积操作，找出发光与黑暗区域；通过计算黑暗像素的面积，从而识别出正常灯珠与异常灯珠的个数。
[0130]
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

技术特征：
1.一种mini led背光功能测试方法，其特征在于，该方法包括如下步骤：响应于获取一组具有不同发光区域的miniled背光板的图像；对获取的图像进行阈值处理以及sobel算子处理；基于霍夫圆直线方法检测亮暗区域，并批量制作掩膜图像；将获取的原始图像以及对应制作的所述掩膜图像组成数据集，分为训练集和验证集；基于pytorch深度学习框架搭建u形编码器解码器网络结构，获得u-net模型；使用数据集中的图像对获得u-net模型进行多轮迭代训练，记录每个epoch结束时的模型评估指标iou和dice系数；进一步使用训练好的u-net模型对待处理的图像进行分割，以识别出发光区域；对待处理的图像进行膨胀卷积以及腐蚀卷积操作，找出发光与黑暗区域；通过计算黑暗像素的面积，从而识别出正常灯珠与异常灯珠的个数。2.根据权利要求1所述的mini led背光功能测试方法，其特征在于，还包括：点亮miniled背光板，使用遮光板模拟不同亮度条件下的led芯片背光板图像，以获取一组具有不同发光区域的miniled背光板的图像。3.根据权利要求2所述的mini led背光功能测试方法，其特征在于，对获取的图像进行阈值处理包括：将获取的图像转换为灰度图，然后采用全局阈值法进行t处理，设定阈值为t，其中i'代表处理后的图像，其公式可表示为：i'(x,y)＝{255,if i(x,y)>t；0,otherwise}。4.根据权利要求3所述的mini led背光功能测试方法，其特征在于，对获取的图像进行sobel算子处理包括：对二值化后的图像应用sobel算子，得到图像的水平梯度gx和垂直梯度gy，sobel算子的计算公式如下：gx＝[[-1,0,1],[-2,0,2],[-1,0,1]]*i'(x,y)gy＝[[-1,-2,-1],[0,0,0],[1,2,1]]*i'(x,y)。5.根据权利要求4所述的mini led背光功能测试方法，其特征在于，还包括：使用非极大值抑制算法处理梯度幅值图像，得到一个稀疏且清晰的边缘图像，对梯度幅值图像i_magnitude和梯度方向图像i_direction进行遍历，对于每一个像素点(x,y)，首先确定其在梯度方向图像中的方向θ，可表示为：θ(x,y)＝arctan(i_direction(x,y))。6.根据权利要求5所述的mini led背光功能测试方法，其特征在于，还包括：对于每个区间，检查当前像素点在该方向上的邻居像素点，如在0
°
方向上，检查左侧和右侧的像素点；如果当前像素点的梯度幅值大于其两个邻居的梯度幅值，则保留该像素点，否则将其梯度幅值设为0。7.根据权利要求6所述的mini led背光功能测试方法，其特征在于，u-net模型具体包括：编码器，包含多个卷积层conv2d、批量归一化batchnorm2d和最大池化层maxpooling2d，其中卷积层的输出通道数逐层递增，卷积操作的公式为：f(x)＝w*x+b，其中，f(x)表示输出特征图，w表示卷积核权重，x表示输入特征图，b表示偏置项；
解码器，包含多个上采样层、卷积层和批量归一化，上采样层通过插值方法将特征图放大，然后与编码器对应层级的特征图进行融合concatenate。卷积层的输出通道数逐层递减，其中本网络为512,256,128,64。8.根据权利要求7所述的mini led背光功能测试方法，其特征在于，还包括：在u-net模型的训练过程中，使用adam优化器，并设置学习率为0.001，训练批次为50，训练步长可达4500；同时采用交叉熵损失函数，以最小化模型预测和真实分割掩膜之间的差异；交叉熵损失函数的公式为：l(y,t)＝-∑t_i*log(y_i)其中，l(y,t)表示损失值，y为模型预测的分割图像，t为真实分割掩膜，i表示像素索引。9.根据权利要求8所述的mini led背光功能测试方法，其特征在于，模型评估指标iou和dice系数的计算公式分别为：iou＝|a∩b|/|a∪b|dice＝2*|a∩b|/(|a|+|b|)其中，a表示预测分割结果，b表示真实分割最后检测结果，dice系数结果随着训练趋于稳定最佳值为92.3％，iou系数的结果随着训练趋于稳定最佳值为91.5％。10.一种mini led背光功能测试装置，其特征在于，该装置包括：获取模块，用于响应于获取一组具有不同发光区域的miniled背光板的图像；阈值处理模块，用于将获取的图像转换为灰度图，然后采用全局阈值法进行t处理；sobel算子处理模块，用于对二值化后的图像应用sobel算子，得到图像的水平梯度gx和垂直梯度gy；霍夫圆直线方法检测模块，用于基于霍夫圆直线方法检测亮暗区域，并批量制作掩膜图像；数据集模块，用于将获取的原始图像以及对应制作的所述掩膜图像组成数据集，分为训练集和验证集；u-net模型模块，用于基于pytorch深度学习框架搭建u形编码器解码器网络结构，获得u-net模型；训练模块，用于使用数据集中的图像对获得u-net模型进行多轮迭代训练，记录每个epoch结束时的模型评估指标iou和dice系数；图像分割模块，用于使用训练好的u-net模型对待处理的图像进行分割，以识别出发光区域；膨胀腐蚀模块，用于对待处理的图像进行膨胀卷积以及腐蚀卷积操作，找出发光与黑暗区域；识别模块，用于通过计算黑暗像素的面积，从而识别出正常灯珠与异常灯珠的个数。11.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实
现如权利要求1至9中任一所述的方法。12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至9中任一所述的方法。

技术总结
本发明提出了一种Mini LED背光功能测试方法及其装置，包括：响应于获取一组具有不同发光区域的MiniLED背光板的图像；基于霍夫圆直线方法检测亮暗区域，并批量制作掩膜图像；获得U-Net模型；使用数据集中的图像对获得U-Net模型进行多轮迭代训练；对待处理的图像进行分割，以识别出发光区域；对待处理的图像进行膨胀卷积以及腐蚀卷积操作，找出发光与黑暗区域；通过计算黑暗像素的面积，从而识别出正常灯珠与异常灯珠的个数。本发明利用计算机视觉监督学习算法，解决了MiniLED背光灯板的快速检测问题，使用U形网络训练大量模拟亮暗的数据，训练的模型具有较好的识别正常灯珠和异常灯珠的区域的能力，模型可以替代人工肉眼检测，提高工作效率和产品质量的把控程度。提高工作效率和产品质量的把控程度。提高工作效率和产品质量的把控程度。


技术研发人员：郭伟杰 林宇航 赵国堡 朱恒李 吕毅军 陈忠
受保护的技术使用者：厦门大学
技术研发日：2023.05.18
技术公布日：2023/10/6