图像处理装置以及计算机可读取的存储介质的制作方法

1.本发明涉及使用了神经网络的图像处理装置以及计算机可读取的存储介质。


背景技术：

2.在工厂等制造现场，进行在生产线中制造的产品的外观检查(例如，专利文献1)。为了进行产品的外观检查，需要预先生成机器学习的模型，该机器学习的模型基于拍摄产品而得到的图像，对是正常的产品的图像还是异常的产品的图像进行分类。
3.在生成这样的机器学习的模型时，预先分别收集很多正常的产品的图像和很多异常的产品的图像。然后，使用收集到的图像进行机器学习。关于异常的产品的图像，还想要确定产品中的异常的位置的情况较多。
4.在图像的分类、识别中，存在使用了神经网络的技术。在专利文献2中公开了一种信息处理系统，其具备：候选提取部，其从输入图像中提取多个区域候选；图像分割部，其对提取出的多个区域候选进行分割；图像分类部，其对提取出的多个区域候选进行图像分类；以及区域决定部，其根据分割的结果和图像分类的结果，去除多个区域候选的一部分来决定识别对象区域。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2014-190821号公报
8.专利文献2：日本特开2019-061505号公报


技术实现要素：

9.发明所要解决的课题
10.神经网络是用数学模型来表现人类脑内的神经细胞及该神经细胞的关联的神经网络。神经网络由输入层、输出层、隐藏层构成，在这些层与层之间具有表示神经元彼此的关联的强度的权重。
11.图9是使用了监督神经网络的以往的图像处理装置的概念图。图9的图像处理装置通过神经网络根据输入图像来生成推论图像。然后，图像处理装置将推论图像与标签图像进行比较，一点一点地调整神经网络的各层的权重，以消除标签图像与推论结果的误差。
12.将反复进行权重的更新而减小与正确标签的误差的情况称为“学习”。在“学习”中，生成将权重调整为最佳的已学习神经网络(模型)。在学习数据时，在使用的学习用数据数和学习结果、得到的推论性能良好的情况下，能够评价为能够高效地进行学习。
13.在使用了神经网络的图像处理的领域中，期望提高学习效率的技术。
14.用于解决课题的手段
15.本公开的一个方式的图像处理装置具有：颜色空间转换部，其将由rgb的颜色空间表现的图像转换为具有亮度作为构成成分的颜色空间的图像；以及学习部，其将由颜色空间转换部转换了颜色空间的图像的色差作为误差来使神经网络最佳化。
16.本公开的一个方式的图像处理装置具有：颜色空间转换部，其将输入图像的颜色空间转换为具有亮度作为构成成分的颜色空间的图像；以及推论部，其通过将转换了所述颜色空间的输入图像的色差作为误差的神经网络进行推论。
17.本公开的一个方式的存储介质存储计算机可读取的命令，所述命令是如下的命令：通过由1个或多个处理器执行，将由rgb的颜色空间表现的图像转换为具有亮度作为构成成分的颜色空间的图像，将转换了颜色空间的图像的色差作为误差来使神经网络最佳化。
18.发明效果
19.根据本发明的一方式，能够提高使用了神经网络的图像处理的学习效率。
附图说明
20.图1是第一公开的图像处理装置(学习时)的框图。
21.图2是第一公开的图像处理装置(推论时)的框图。
22.图3是说明rgb与cielab的色差的差异的图。
23.图4是说明rgb与cielab的构成成分的差异的图。
24.图5是第二公开的图像处理装置(学习时)的框图。
25.图6是说明异常图像以及标签图像的生成方法的图。
26.图7是第二公开的图像处理装置(推论时)的框图。
27.图8是表示图像处理装置的硬件结构的图。
28.图9是使用了神经网络的以往的图像处理装置的概念图。
具体实施方式
29.[第一公开]
[0030]
以下，参照附图对本公开的概要进行说明。
[0031]
图1和图2是作为图像处理装置1的一例的图像处理装置1的框图。图1是图像处理装置1(学习时)的框图，图2是图像处理装置1(推论时)的框图。学习和推论可以由1个图像处理装置1执行，也可以由不同的图像处理装置分别执行学习和推论。
[0032]
图1表示图像处理装置1(学习时)的结构以及动作。图像处理装置1(学习时)具有：输入图像存储部10，其存储输入图像数据；标签图像存储部11，其存储标签图像；颜色空间转换部12，其对输入图像和标签图像的颜色空间进行转换；以及学习部13，其根据由颜色空间转换部12转换后的输入图像和标签图像，对推论图像的生成进行学习。
[0033]
输入图像存储部10存储成为学习对象的图像。成为学习对象的图像可以由图像处理装置1附带的传感器(后述)拍摄，也可以输入外部的传感器拍摄到的图像。另外，也可以取得存储在雾计算机(后述)或云服务器(后述)中的图像。
[0034]
标签图像存储部11存储标签图像。标签图像是与输入图像成对的数据集。标签图像成为用于调整推论图像的基准。输入图像和标签图像是用rgb颜色空间表现的图像数据。rgb颜色空间是颜色的表现法的一种，混合红(r)、绿(g)、蓝(b)这3个原色来表现颜色。
[0035]
颜色空间转换部12将rgb的图像数据转换为具有亮度作为构成成分的颜色空间。在本公开中，作为具有亮度作为构成成分的颜色空间的一例，转换为cielab。cielab是具有
l、a、b这3个成分的颜色空间。l成分表示亮度，a和b成分表示作为补色成分的色调。a越成为正的方向则红色越强，越成为负的方向则绿色越强。另外，b越成为正的方向则黄色越强，越成为负的方向则蓝色越强。
[0036]
此外，颜色空间转换部12转换的颜色空间只要是具有亮度作为构成成分的颜色空间即可，没有特别限定。例如，在也具有亮度作为构成成分的颜色空间中，除了cielab以外，还有l*a*b*颜色空间、l*c*h颜色空间、hunter lab颜色空间等。
[0037]
学习部13包括神经网络14。神经网络14根据由颜色空间转换部12转换为cielab的输入图像来生成推论图像。所生成的推论图像的颜色空间是cielab。
[0038]
学习部13输入由颜色空间转换部12转换为cielab的标签图像，与神经网络14所生成的推论图像进行比较。比较标签图像和推论图像，结果得到2个图像的误差。该误差是色差。色差是指在2个颜色之间定义的指标之一，由颜色空间中的距离定义。cielab颜色空间中的色差的计算方法有欧几里得距离、cie76、cie94、ciede2000等。
[0039]
学习部13调整神经网络14的权重，使得误差(色差)变小。学习部13反复进行输入图像和标签图像的输入和学习，使神经网络14的节点间的权重最佳化，由此生成已学习神经网络。
[0040]
图2表示图像处理装置1(推论时)的结构和动作。图像处理装置1(推论时)具备：输入图像取得部15，其取得输入图像；颜色空间转换部16，其对输入图像的颜色空间进行转换；推论部17，其根据输入图像生成推论图像；以及颜色空间复原部18，其将推论图像复原为rgb颜色空间。
[0041]
输入图像取得部15取得输入图像。输入图像是由rgb颜色空间表现的图像数据。颜色空间转换部16将rgb的图像数据转换为cielab的颜色空间。此外，图2的颜色空间转换部16进行与图1的颜色空间转换部12相同的处理。
[0042]
推论部17包括已调整的神经网络14。已调整的神经网络14是图1的学习部13所生成的神经网络14。已调整的神经网络14根据输入图像来生成推论图像。
[0043]
已调整的神经网络14输出的推论图像的颜色空间是cielab。颜色空间复原部18将cielab的推论图像复原为rgb表色系统，输出rgb的输出图像。
[0044]
如上所述，本公开的图像处理装置1使用转换为cielab的输入图像和标签图像来进行神经网络14的学习和推论。cielab等lab颜色空间被设计为近似人的视觉。l成分与人的亮度的感知极其接近。因此，能够进行接近人的视觉的学习。
[0045]
对rgb与cielab的色差的差异进行说明。
[0046]
在图3中，表现了红、橙、绿、浅绿这4种颜色和与各颜色对应的rgb及cielab的值。红色的rgb值为[240，110，80]，橙色的rgb值为[240，160，30]。另外，红色的cielab值为[61.88，48.04，40.66]，橙色的cielab值为[72.07，20.60，71.32]。
[0047]
rgb值中的红与橙的色差(欧几里得距离)为70.71。cielab值的红与橙的色差(欧几里得距离)为42.38，色差(ciede2000)为25.59。
[0048]
绿色的rgb值为[150，250，30]，浅绿色的rgb值为[100，250，80]。另外，浅绿的rgb值为[100，250，80]。另外，绿色的cielab值为[89.37、-58.79、82.64]，浅绿色的cielab值为[87.80、-69.98、66.69]。
[0049]
rgb值中的绿与浅绿的色差(欧几里得距离)为70.71，与红和橙的色差相等。
cielab值中的绿与浅绿的色差(欧几里得距离)为19.54，色差(ciede2000)为6.63。
[0050]
若通过人的视觉进行判断，则图3的左侧的红与橙的差异明确，但右侧的绿与浅绿看起来是接近的颜色。当通过rgb计算色差(欧几里得距离)时，红与橙的色差和绿与浅绿的色差双方都等于70.71，在rgb中，人能够感知的色差不表现为数值。
[0051]
当利用cielab计算色差时，红与橙的色差(欧几里得距离)为42.38，绿与浅绿的色差(欧几里得距离)为19.54。红与橙的色差(欧几里得距离)比绿与浅绿的色差(欧几里得距离)大，人能够感知的色差表现为数值。
[0052]
另外，在cielab值中，红与橙的色差(ciede2000)为25.59，绿与浅绿的色差(ciede2000)为6.63。红与橙的色差(ciede2000)比绿与浅绿的色差(ciede2000)大，人能够感知的色差表现为数值。
[0053]
如图4所示，rgb的构成成分是r(红原色)、g(绿原色)、b(蓝原色)。cielab的构成成分为l(亮度)、a/b(补色维度)。rgb中没有亮度的成分。人的视觉敏感地感知亮度。人的视觉比彩度的差更重视亮度的差，因此具有亮度作为构成成分的颜色空间成为更接近人的视觉的表现。即，通过使用具有亮度作为构成成分的颜色空间进行学习，能够生成接近人的视觉的神经网络(模型)。
[0054]
[第二公开]
[0055]
在第二公开中，对人为地生成异常图像并进行监督学习的图像处理装置1进行说明。图5是第二公开的图像处理装置1(学习时)的框图，图7是第二公开的图像处理装置1(推论时)的框图。
[0056]
图5的图像处理装置1(学习时)具备：正常图像存储部30，其存储对产品进行拍摄而得到的rgb的正常图像；颜色空间转换部12，其对输入图像的颜色空间进行转换；以及学习部21，其根据正常图像来生成神经网络的模型。
[0057]
正常图像存储部30例如存储由安装于工业机械(省略图示)的传感器(后述)拍摄到的产品的图像数据。正常图像存储部30所存储的图像数据中包含正常产品的图像数据(以下，称为正常图像)。
[0058]
颜色空间转换部12将存储在正常图像存储部30中的正常图像从rgb表色系统转换为cielab的颜色空间。
[0059]
异常图像生成部19根据存储在正常图像存储部30中的正常图像，生成异常图像。异常图像生成部19所生成的异常图像成为神经网络的输入图像而用于学习。在产品检查等中，异常图像的样本数不足，因此有时人为地生成异常图像来弥补样本不足。
[0060]
异常图像生成部19也可以通过在正常图像内的产品的图像的一部分重叠规定的图形来生成异常图像。另外，异常图像生成部19也可以对正常图像进行变更图像的一部分的色相、彩度、亮度、或添加马赛克等图像的加工来生成异常图像。而且，异常图像生成部19例如通过对正常图像内的产品的图像追加或削减(变形)规定的图形来生成异常图像。异常图像优选为网罗了设想在实际的现场发生的缺陷类别、位置、尺寸、颜色、背景素材、光源设定等的组合的图像。
[0061]
图6是在正常图像内的产品的图像的一部分重叠规定的图形(几何学的图形)来生成异常图像的例子。重叠的规定的图像数据可以预先存储，也可以在生成异常图像的阶段生成几何学形状的图形作为规定的图形。规定的图形的颜色优选是与产品的颜色类似的颜
state drive：固态硬盘)等构成，即使图像处理装置1的电源断开也保持存储状态。在非易失性存储器114中存储经由接口115从外部设备125读入的数据、经由输入装置124输入的数据、经由网络5从工业机械(省略图示)取得的数据等。在所存储的数据中，例如可以包含由安装于工业机械的视觉传感器等传感器4拍摄到的产品的图像数据。存储在非易失性存储器114中的数据可以在执行时/使用时在ram113中展开。另外，在rom112中预先写入有公知的解析程序等各种系统程序。
[0077]
接口115是用于连接图像处理装置1的cpu111和usb装置等外部设备125的接口。从外部设备125例如能够读入与由各工业机械制造的产品相关的数据(例如，正常的产品的图像数据、表示产品的形状的cad数据等)。另外，由图像处理装置1编辑的数据等能够经由外部设备125存储于cf卡等外部存储单元。
[0078]
接口120是用于连接图像处理装置1的cpu111和有线或无线网络5的接口。网络5与工业机械、雾计算机6、云服务器7等连接，在与图像处理装置1之间相互进行数据的交换。
[0079]
在显示装置123上，经由接口117输出并显示读入到存储器上的各数据、作为执行程序等的结果而得到的数据等。另外，由键盘、指示设备等构成的输入装置124将基于作业者的操作的指令、数据等经由接口118传递给cpu111。
[0080]
另外，图8的图像处理装置的运算装置仅为cpu111，但在神经网络的学习中，也可以使用gpu(graphical processing unit：图形处理单元)。
[0081]
以上，对本发明的一实施方式进行了说明，但本发明并不仅限定于上述的实施方式的例子，能够通过施加适当的变更而以各种方式实施。
[0082]
附图标记说明
[0083]
1图像处理装置
[0084]
5网络
[0085]
10输入图像存储部
[0086]
11标签图像存储部
[0087]
12颜色空间转换部
[0088]
13、21学习部
[0089]
14、22神经网络
[0090]
15输入图像取得部
[0091]
16颜色空间转换部
[0092]
17、23推论部
[0093]
18颜色空间复原部
[0094]
19异常图像生成部
[0095]
20标签图像生成部
[0096]
24标签存储部
[0097]
30正常图像存储部
[0098]
111cpu
[0099]
112rom
[0100]
113ram
[0101]
114非易失性存储器。

技术特征：
1.一种图像处理装置，其特征在于，所述图像处理装置具有：颜色空间转换部，其将由rgb的颜色空间表现的图像转换为具有亮度作为构成成分的颜色空间的图像；以及学习部，其将由所述颜色空间转换部转换了颜色空间的图像的色差作为误差来使神经网络最佳化。2.根据权利要求1所述的图像处理装置，其特征在于，所述颜色空间转换部将由rgb的颜色空间表现的输入图像和标签图像转换为具有亮度作为构成成分的颜色空间的图像，所述学习部将由所述颜色空间转换部转换了颜色空间的输入图像与标签图像的色差作为误差来使神经网络最佳化。3.根据权利要求1所述的图像处理装置，其特征在于，由所述rgb的颜色空间表现的图像是正常图像，所述图像处理装置具有异常图像生成部，该异常图像生成部根据由所述颜色空间转换部转换了颜色空间的所述正常图像来生成异常图像，所述学习部将由所述颜色空间转换部转换了颜色空间的所述正常图像作为标签图像，将所述异常图像作为输入图像，将所述正常图像与所述异常图像的色差作为误差，使神经网络最佳化。4.根据权利要求3所述的图像处理装置，其特征在于，由所述rgb的颜色空间表现的图像是拍摄正常的对象物而得的正常图像。5.一种图像处理方法，其特征在于，将由rgb的颜色空间表现的图像转换为具有亮度作为构成成分的颜色空间的图像，将转换了所述颜色空间的图像的色差作为误差来进行使神经网络最佳化的学习。6.一种存储介质，其存储计算机可读取的命令，其特征在于，所述命令是如下的命令：通过1个或多个处理器执行，将由rgb的颜色空间表现的图像转换为具有亮度作为构成成分的颜色空间的图像，将转换了所述颜色空间的图像的色差作为误差来进行使神经网络最佳化的学习。

技术总结
图像处理装置(1)(学习时)将输入图像和标签图像从RGB的颜色空间转换为CIELAB的颜色空间，将推论图像和标签图像的色差作为误差进行学习。图像处理装置(1)(推论时)将输入图像从RGB的颜色空间转换为CIELAB的颜色空间，使用CIELAB的输入图像生成推论图像。CIELAB的输入图像生成推论图像。CIELAB的输入图像生成推论图像。


技术研发人员：鸿巢有史
受保护的技术使用者：发那科株式会社
技术研发日：2021.11.16
技术公布日：2023/8/1