鞋外观检查系统、鞋外观检查方法及鞋外观检查程序与流程

1.本发明涉及一种对鞋的外观进行检查的技术。


背景技术：

2.以往，形状固定不变的金属制品等定形制品有时利用传感器或图像处理来实施外观检查，由此提高检查效率与检查精度(例如，参照专利文献1)。即使在形状可大幅度变化的不定形的制品的情况下，也已知有在形状彼此相反且完全不同的制品间通过图像处理来判定部分彼此的对应关系与一致性的技术(例如，参照非专利文献1)。专利文献1的技术及非专利文献1的技术均以对制品的同一性进行判定为特征，在此方面是共通的，作为图像处理，将实质上是否100％一致作为判定内容。
3.现有技术文献
4.专利文献
5.专利文献1：日本专利特开2019-076819号公报
6.非专利文献
7.非专利文献1：应对变形的任意角度物体检索技术，[在线(online)]，2018年11月26日，日本电信电话股份有限公司，互联网＜url：https://www.ntt.co.jp/news2018/1811/181126b.html#b1＞


技术实现要素：

[0008]
发明所要解决的问题
[0009]
为了维持制品的品质，鞋制品的制造步骤包括检查步骤。此处，鞋制品虽然是形状在一定程度上固定的性质的制品，但特别是鞋帮(upper)的原材料为网状纤维原材料或皮革原材料，形状不完全固定而容易变形，因此根据个体、或根据状况，可能会在形状上稍微产生差异。另外，由于鞋帮向鞋底(sole)的贴附或粘接剂的涂布等制造步骤是通过人的手工作业来进行，因此在贴附位置或涂布位置上可能会产生微小的偏差。由于鞋的此种性质，以往，鞋制品的外观检查是通过人的目视来实施。但是，在目视检查中不能否定作业的偏差或漏检的可能性，检查的负荷也大，因此期望确立一种能够提高检查效率及检查精度的技术。
[0010]
本发明是鉴于此种课题而成，其目的在于提供一种能够提高检查效率、检查精度的鞋外观检查技术。
[0011]
解决问题的技术手段
[0012]
为了解决所述课题，本发明的某实施例的鞋外观检查系统包括：图像获取部，获取检查对象即鞋的图像；基准点提取部，通过规定的基准点提取方法提取基准点，基准点作为检查对象即鞋的图像中的外观上的特征点；要素点提取部，通过规定的要素点提取方法提取多个要素点，多个要素点作为检查对象即鞋的图像中的外观上的特征点；假想线提取部，从检查对象即鞋的图像中，提取将基准点与多个要素点分别连结的多个假想线；模型存储
部，存储通过机器学习而生成的学习模型，所述机器学习将从作为合格品的多个鞋的图像中提取的假想线作为教师数据；以及合格与否判定部，将从检查对象即鞋的图像中提取的多个假想线输入至学习模型中，由此判定检查对象即鞋是否为合格品。
[0013]
可为：所获取的鞋的图像是利用鞋模进行了套楦的状态的鞋的图像，基准点提取部提取图像中从鞋露出的鞋模的外观上的特征点作为基准点。
[0014]
可为：所获取的鞋的图像包含从多种角度拍摄的多个图像，模型存储部存储通过机器学习而生成的学习模型，所述机器学习将针对一个鞋而从多个图像中分别提取的假想线作为教师数据，合格与否判定部将针对检查对象即鞋而从多个图像中分别提取的假想线输入至学习模型中，由此判定检查对象即鞋是否为合格品。
[0015]
可还包括轮廓提取部，所述轮廓提取部从检查对象即鞋的图像中提取鞋的轮廓。可为：模型存储部存储通过机器学习而生成的学习模型，所述机器学习将从作为合格品的多个鞋的图像中提取的假想线及轮廓作为教师数据，合格与否判定部将从检查对象即鞋的图像中提取的多个假想线及轮廓输入至学习模型中，由此判定检查对象即鞋是否为合格品。
[0016]
本发明的另一实施例是一种鞋外观检查方法。所述方法包括：利用规定的图像获取单元获取检查对象即鞋的图像的过程；通过由计算机进行的规定的基准点提取方法提取基准点的过程，基准点作为检查对象即鞋的图像中的外观上的特征点；通过由计算机进行的规定的要素点提取方法提取多个要素点的过程，多个要素点作为检查对象即鞋的图像中的外观上的特征点；利用计算机从检查对象即鞋的图像中提取将基准点与多个要素点分别连结的多个假想线的过程；从规定的存储单元中读出通过机器学习而生成的学习模型的过程，所述机器学习将从作为合格品的多个鞋的图像中提取的假想线作为教师数据；以及通过将从检查对象即鞋的图像中提取的多个假想线输入至学习模型中，利用计算机来判定检查对象即鞋是否为合格品的过程。
[0017]
此外，以上构成要素的任意组合、或者将本发明的构成要素或表述在方法、装置、程序、存储有程序的暂时或非暂时的存储介质、系统等之间相互置换而成者作为本发明的实施例也有效。
[0018]
发明的效果
[0019]
通过本发明，能够提供一种可提高检查效率、检查精度的鞋外观检查技术。
附图说明
[0020]
图1是本实施方式的鞋外观检查系统的结构图。
[0021]
图2是利用从侧方拍摄鞋制品的外脚背侧而得的图像，对合格品的鞋帮形状与不合格品的鞋帮形状进行比较的图。
[0022]
图3是利用后方图像对合格品中的轴的斜率与不合格品中的轴的斜率进行比较的图。
[0023]
图4是表示中底中的中足部高硬度原材料的位置偏移的图。
[0024]
图5是表示鞋外观检查装置的基本结构的功能框图。
[0025]
图6是示意性地表示从侧方拍摄有鞋楦的鞋制品的外脚背侧而得的图像中的基准点、要素点、假想线的提取方法的图。
[0026]
图7是示意性地表示从侧方拍摄无鞋楦的鞋制品的外脚背侧而得的图像中的基准点、要素点、假想线的提取方法的图。
[0027]
图8是示意性地表示有鞋楦的鞋制品的后方图像中的基准点、要素点、假想线的提取方法的图。
[0028]
图9是示意性地表示从侧方拍摄有鞋楦的鞋制品的外脚背侧而得的图像中的轮廓的提取方法的图。
[0029]
图10是表示鞋外观检查学习装置的基本结构的功能框图。
[0030]
图11是表示从鞋制品的图像中提取多个假想线及轮廓并基于学习模型来推定是否为合格品的工序的流程图。
具体实施方式
[0031]
图1是本实施方式的鞋外观检查系统100的结构图。鞋外观检查系统100包含鞋外观检查装置110与鞋外观检查学习装置112。鞋外观检查装置110及鞋外观检查学习装置112可由包含中央处理器(central processing unit，cpu)、图形处理单元(graphics processing unit，gpu)、随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)、辅助存储装置、通信装置等的计算机构成。鞋外观检查装置110及鞋外观检查学习装置112可分别由独立的计算机构成，也可由兼具两者功能的一台计算机来实现。在本实施方式中，对由独立的计算机实现的例子进行说明。
[0032]
鞋外观检查装置110与拍摄多个鞋制品10的图像的多个摄影装置通信连接。鞋制品10在由作业者手持的状态下容易变形，难以进行准确的检查，因此例如在如图所示置于台上的状态下进行拍摄，但鞋制品10的固定方法并不限定于此。多个摄影装置包含对鞋制品10从左侧方进行拍摄的左侧方摄影装置50、从右侧方进行拍摄的右侧方摄影装置52、从正上方进行拍摄的上方摄影装置54、从前方进行拍摄的前方摄影装置56、从后方进行拍摄的后方摄影装置58、从下方拍摄底面的下方摄影装置59。左侧方摄影装置50对左脚用的鞋制品10的外脚背侧进行拍摄、且对右脚用的鞋制品10的内脚背侧进行拍摄。右侧方摄影装置52对左脚用的鞋制品10的内脚背侧进行拍摄、且对右脚用的鞋制品10的外脚背侧进行拍摄。由左侧方摄影装置50、右侧方摄影装置52、上方摄影装置54、前方摄影装置56、后方摄影装置58、下方摄影装置59拍摄的图像被发送至鞋外观检查装置110。鞋外观检查装置110基于接收到的图像对鞋制品10的外观进行检查。鞋外观检查学习装置112与鞋外观检查装置110通信连接，并且对鞋制品10的图像进行机器学习而生成学习模型。学习模型通过鞋外观检查装置110而用于检查。
[0033]
图2是利用从侧方拍摄鞋制品的外脚背侧而得的图像对合格品的鞋帮形状与不合格品的鞋帮形状进行比较的图。图2(a)是合格品的例子，图2(b)是不合格品的例子。所例示的鞋制品10以从底部朝向上部依序贴合外底12、下层中底14、上层中底16的形式构成鞋底。关于鞋制品10，以在放置于上层中底16的鞋楦(鞋模)30的脚背部周边粘合鞋帮20并粘接于鞋底的、所谓套楦状态构成鞋制品10。包含乙烯乙酸乙烯酯(ethylene-vinyl acetate，eva)等树脂的下层中底14、上层中底16、外底12除了具有制造上的成形偏差以外，制造后不易变形，形状大致固定，与此相对，鞋帮20包含网状纤维原材料或皮革等在制造后形状未必固定的原材料。当从鞋制品10中拔出鞋楦30时，由于鞋底的反弹力，脚尖处的高度稍许下
降，因此鞋帮20容易变形，容易产生每个个体的形状的偏差，与此相对，在利用鞋楦30进行了套楦的状态下，容易将鞋帮20的形状保持为一定。因此，有鞋楦30的状态更适合检查，但即使在无鞋楦30的状态下，也通过机器学习提高了检查精度。
[0034]
鞋帮是在经套楦的状态下贴附于鞋底，但由于其贴附过程是由作业者以手工作业的形式实施，因此会产生作业的偏差，由于所述偏差，有时也会在形状上产生偏差。在图2(a)的合格品中，鞋帮形状22a具有从脚背到脚尖稍许翘曲的弯曲形状，与此相对，在图2(b)的不合格品中，鞋帮形状22b具有从脚背到脚尖大致接近直线的形状。这些差别是在人的目视下有可能忽略的程度的微差，另外，若不从适当的方向观察，则也难以判别。在鞋整体中，特征点的位置关系或长度的均衡性在合格品与不合格品中有明确的差异。因此，通过图像处理与机器学习将相对于合格品的长度的比率的误差范围加以模型化，若通过此学习模型判定为误差为容许范围，则推定为合格品，若超过容许范围，则推定为不合格品。
[0035]
图3是利用后方图像对合格品中的轴的斜率与不合格品中的轴的斜率进行比较的图。图3(a)是合格品的例子，图3(b)是不合格品的例子。在图3(a)的合格品中，横轴18a为大致水平，纵轴24a为大致垂直，与此相对，在图3(b)的不合格品中，横轴18b以比水平稍微向左下降的方式倾斜，纵轴24b也以比垂直稍微向左下降的方式倾斜。这些斜率的差别微小而为在人的目视下有可能忽略的程度，至少若不是适当地载置于水平台上的状态则也难以判别，但在斜率上有差别这一方面在合格品与不合格品中有明确的差异。因此，通过图像处理与机器学习将相对于合格品的斜率的比率的范围加以模型化，若通过此学习模型判定为误差为容许范围，则推定为合格品，若超过容许范围，则推定为不合格品。
[0036]
在本实施方式中，作为鞋制品10而例示跑步鞋进行说明，可用于对除了包含跑步鞋的各种运动鞋或皮鞋等、特别是在鞋底上贴附鞋帮来制造的各种鞋制品之外、也包含无鞋帮的凉鞋或拖鞋等的鞋类进行检查。
[0037]
不仅是鞋帮，在鞋底中，在树脂的成形步骤中有时也会产生误差。图4表示中底中的中足部高硬度原材料的位置偏移。在下层中底14中，有时会在与脚的中足部对应的位置局部地使用用于确保刚性的高硬度原材料，但在鞋底的成形步骤中，在所述高硬度原材料的使用位置上有可能产生误差。但是，由于使用了高硬度原材料的部分不会显露于下层中底14的外观，因此作业者难以通过目视发现其误差。图中示出鞋底的轮廓。由从左上到右下方向的斜线图案示出的中足部m1表示合格品中的高硬度原材料部分。由从右上到左下方向的斜线图案示出的中足部m2表示不合格品中的高硬度原材料部分。如图所示，若将两者加以对比，则位置的差别明确，但当从鞋的内侧(图的左侧)观察时，中足部m1与中足部m2不具有位置的差别，只有从鞋的外侧(图的右侧)观察时，存在中足部m1与中足部m2的位置的差别。但是，在作业者进行目视检查的情况下，仅通过观察单个的鞋，难以发现像所述中足部m1与中足部m2的位置的差别那样的位置偏移。
[0038]
在鞋制品10的内侧，从处于脚尖侧顶点的基准点ra到中足部m1、中足部m2的起始点的假想线la、假想线la'为相同的长度。在鞋制品10的外侧，从基准点ra到中足部m1的起始点的假想线lb与从基准点ra到中足部m2的起始点的假想线lb'的长度不同。中足部m1的宽度lc与中足部m2的宽度lc'在本图的例子中为大致相同的长度。此情况下，可利用合格品与不合格品的假想线彼此的长度的比率(ln'/ln)来表示误差的大小。因此，在获取从多个摄影方向拍摄检查对象而得的多个图像的基础上，算出从各图像中提取的假想线与从合格
品的图像中提取的假想线的长度的比率，并与其学习结果进行比较，若如此，则理论上能够判定位置偏差的误差的大小是否为容许范围。
[0039]
图5是表示鞋外观检查装置110的基本结构的功能框图。在本图中描绘了着眼于功能的功能框块，这些功能框块可由硬件、软件、或它们的组合以各种形式实现。鞋外观检查装置110包含图像获取部120、图像存储部122、基准点提取部124、要素点提取部126、假想线提取部128、轮廓提取部130、提取数据存储部132、合格与否判定部134、模型存储部136。
[0040]
图像获取部120从左侧方摄影装置50、右侧方摄影装置52、上方摄影装置54、前方摄影装置56、后方摄影装置58分别获取检查对象即鞋制品10的图像，并保存于图像存储部122中。在图像存储部122中，将所述图像与检查对象即鞋制品10的制品模型名、尺寸、左脚用抑或右脚用的类别等属性信息一起分类保存。
[0041]
基准点提取部124通过规定的基准点提取方法提取基准点，基准点作为检查对象即鞋制品10的图像中的外观上的特征点。要素点提取部126通过规定的要素点提取方法提取多个要素点，多个要素点作为检查对象即鞋制品10的图像中的外观上的特征点。假想线提取部128从检查对象即鞋制品10的图像中提取将基准点与多个要素点分别连结的多个假想线。轮廓提取部130从检查对象即鞋制品10的图像中提取鞋制品10的轮廓。
[0042]
图6示意性地表示从侧方拍摄有鞋楦的鞋制品的外脚背侧而得的图像中的基准点、要素点、假想线的提取方法。在本实施方式中，从鞋制品10的图像中提取作为特征点的基准点与要素点，并提取将所述基准点与要素点连结的假想线。提取多个此种假想线，并将所述多个假想线的数据输入至规定的机器学习模型中，判定各假想线的位置、斜率、相对于合格品的斜率的比率、长度、相对于合格品的长度的比率是否为可容许的误差的范围，由此推定鞋制品10是否为合格品。
[0043]
另外，通过对从多个摄影方向拍摄一个鞋制品10而得的多个图像进行检查，并非仅利用来自一个方向的图像来推定是否为合格品，而是在鞋整体上综合地推定是否为合格品。其原因在于：即使在来自一个侧的图像内从所述图像提取的多个假想线的位置、斜率、相对于合格品的斜率的比率、长度、相对于合格品的长度的比率为容许范围，在从自多个方向拍摄的多个图像中提取的多个假想线彼此的位置关系中，有时也会产生超过容许范围的误差。
[0044]
进而，从鞋制品10的图像中提取轮廓，并将所述轮廓输入至规定的机器学习模型中，判定轮廓的形状或位置的整体均衡性是否为可容许的误差的范围，由此推定鞋制品10是否为合格品。在基于轮廓的检查中，在从多个方向拍摄的多个图像间在轮廓的位置关系或均衡性上产生了超过容许范围的误差的情况下，也可对此进行判定。
[0045]
基准点与要素点是可基于利用图像处理的规定的提取方法而提取的、形状稳定的外观上的特征点。基准点提取部124提取在从鞋制品10的鞋口露出的鞋楦30的一部分、且为在针对鞋楦30的图像处理中进行边缘检测而检测出的上缘中最靠脚后跟侧的端点作为第一基准点r1。鞋楦30的上缘在制鞋步骤上形状变化少，且在对其他制品模型进行检查的情况下也使用的鞋楦30的形状相通，因此作为容易提取的基准点而言优选。另外，将从一个图像中提取的基准点设为一个，且以共同的基准点为起点，一对多地连结多个要素点来提取多个假想线，因此不会过度增加应提取的特征点的数量，可避免处理负担的增大。就此点而言，与从相互不同的多个特征点分别多对多地连结多个要素点来提取多个假想线的方法相
比，在处理负荷的方面更有利。此外，作为变形例，也可提取能够将附加至鞋楦30的一部分的图案或文字作为标记来提取的特征点作为第一基准点r1。
[0046]
要素点提取部126提取在针对外底12的图像处理中进行边缘检测而检测出的、外底12的脚尖侧的最前端作为第一要素点p1。第一要素点p1是在外底12的脚尖侧的圆弧状轮廓中突出至最前方的顶点。假想线提取部128提取将第一基准点r1与第一要素点p1连结的第一假想线l1。
[0047]
要素点提取部126提取在针对外底12的图像处理中进行边缘检测而检测出的脚尖侧的翘起部分的曲率发生变化的点、即外底12的从接地平面向脚尖方向翘起的起始点(也称为“鞋尖翘度(toe spring)起始点”)作为第二要素点p2。假想线提取部128提取将第一基准点r1与第二要素点p2连结的第二假想线l2。
[0048]
要素点提取部126提取在针对外底12的图像处理中进行边缘检测而检测出的脚后跟侧的翘起部分的曲率发生变化的点、即外底12的从接地平面向脚后跟方向翘起的起始点(也称为“鞋跟截断起始点”)作为第三要素点p3。假想线提取部128提取将第一基准点r1与第三要素点p3连结的第三假想线l3。
[0049]
要素点提取部126提取在针对鞋底的图像处理中进行边缘检测而检测出的脚后跟侧的最后端部作为第四要素点p4。第四要素点p4是在下层中底14的脚后跟侧的圆弧状轮廓中突出至最后方的顶点。假想线提取部128提取将第一基准点r1与第四要素点p4连结的第四假想线l4。
[0050]
要素点提取部126提取在针对鞋口的图像处理中进行边缘检测而检测出的最上端部作为第五要素点p5。鞋制品10的鞋口的外侧及内侧均呈波形形状，要素点提取部126提取所述波形形状的圆弧中的顶点或最高点作为第五要素点p5。假想线提取部128提取将第一基准点r1与第五要素点p5连结的第五假想线l5。此外，在检查对象即鞋制品10为靴子等鞋口的形状并非波形形状的情况下，例如可设为提取鞋口的最前端或最后端作为第五要素点p5。
[0051]
在图6的例子中，对提取五个要素点、并提取五个假想线的例子进行了说明，但要素点或假想线的数量并不限定于此，也可根据鞋的形状的稳定性而将另外的部位作为要素点。
[0052]
图7示意性地表示从侧方拍摄无鞋楦的鞋制品的外脚背侧而得的图像中的基准点、要素点、假想线的提取方法。本图的鞋制品10是对拔出鞋楦30后的状态进行检查的情况的例子。与有鞋楦30的情况不同地从鞋制品10的一部分中提取基准点。基准点提取部124提取在针对鞋口的图像处理中进行边缘检测而检测出的最下端部作为第二基准点r2。鞋制品10的鞋口的外侧及内侧均呈波形形状，基准点提取部124提取所述波形形状的圆弧中的最低部或最下点作为第二基准点r2。此外，在检查对象即鞋制品10为靴子等鞋口的形状并非波形形状的情况下，例如可设为提取鞋口的最后端或最前端作为基准点。作为变形例，也可采用将多个要素点中的任一者设定为基准点的做法。
[0053]
假想线提取部128提取将第二基准点r2与第一要素点p1连结的第一假想线l1。假想线提取部128提取将第二基准点r2与第二要素点p2连结的第二假想线l2。假想线提取部128提取将第二基准点r2与第三要素点p3连结的第三假想线l3。假想线提取部128提取将第二基准点r2与第四要素点p4连结的第四假想线l4。假想线提取部128提取将第二基准点r2
与第五要素点p5连结的第五假想线l5。
[0054]
图8示意性地表示有鞋楦的鞋制品的后方图像中的基准点、要素点、假想线的提取方法。基准点提取部124提取在针对鞋楦30的图像处理中进行边缘检测而检测出的上缘中的顶点或最高点作为第三基准点r3。此外，作为后方图像中的第三基准点r3，将与侧方图像中的第一基准点r1不同的点设为基准点，但例如也可在侧方图像中，也将在针对鞋楦30的图像处理中进行边缘检测而检测出的上缘中的顶点或最高点设为基准点，由此将共同的特征点分别设为基准点。
[0055]
要素点提取部126提取在针对下层中底14的图像处理中进行边缘检测而检测出的最左端作为第六要素点p6。第六要素点p6是在下层中底14的左侧的圆弧状轮廓中突出至最左方的顶点。假想线提取部128提取将第三基准点r3与第六要素点p6连结的第六假想线l6。
[0056]
要素点提取部126提取在针对外底12的图像处理中进行边缘检测而检测出的最下端作为第七要素点p7。第七要素点p7是外底12的圆弧状轮廓中的最低部或最下点。假想线提取部128提取将第三基准点r3与第七要素点p7连结的第七假想线l7。
[0057]
要素点提取部126提取在针对下层中底14的图像处理中进行边缘检测而检测出的最右端作为第八要素点p8。第八要素点p8是在下层中底14的右侧的圆弧状轮廓中突出至最右方的顶点。假想线提取部128提取将第三基准点r3与第八要素点p8连结的第八假想线l8。
[0058]
如图6至图8所示，也从鞋制品10的右侧方、前方、上方的图像中提取基准点及要素点，并提取假想线。
[0059]
图9示意性地表示从侧方拍摄有鞋楦的鞋制品的外脚背侧而得的图像中的轮廓的提取方法。轮廓提取部130在针对鞋制品10的图像处理中，通过边缘检测而提取鞋制品10整体的轮廓sl。由于从鞋制品10的一个图像中仅可获得一个轮廓sl，因此有如下方面：作为能够检查的项目，比使用了假想线的检查少，另外，就机器学习的对象而言也比假想线少，相应地，与可学习多个教师数据的假想线相比，难以提高基于学习的检测精度。另一方面，与基准点或要素点的提取不同，轮廓sl的边缘检测不需要形状的特征，因此可更容易地提取。另外，基于轮廓的检查不仅可用于成品的检查，也可用于制造过程所包含的多个步骤的各自的检查。
[0060]
如图9所示，也从鞋制品10的右侧方、前方、后方、上方、下方的图像或无鞋楦的鞋制品10的图像中提取轮廓。
[0061]
再次参照图1。模型存储部136存储通过机器学习而预先生成并学习完毕的学习模型，所述机器学习将从作为合格品的多个鞋制品的图像中提取的多个假想线及轮廓作为教师数据。模型存储部136存储通过机器学习而生成的学习模型，所述机器学习将针对一个鞋制品10而从多个图像中分别提取的多个假想线及轮廓作为教师数据。在所述学习模型中，由于已形成多个合格品中的假想线的位置、斜率、相对于合格品的斜率的比率、长度、相对于合格品的长度的比率、轮廓的位置、均衡性等数据的误差的容许范围，因此通过与从检查对象的图像中提取的假想线的位置、斜率、相对于合格品的斜率的比率、长度、相对于合格品的长度的比率、轮廓的位置、均衡性进行比较，可推定误差是否收敛于容许范围、即是否为合格品。如后所述，学习模型由鞋外观检查学习装置112预先生成并保存于模型存储部136中。
[0062]
合格与否判定部134将从检查对象即鞋制品10的图像中提取的多个假想线及轮廓
输入至学习模型中，并对假想线的位置、斜率、相对于合格品的斜率的比率、长度、相对于合格品的长度的比率、轮廓的位置、均衡性进行比较，由此可推定误差是否收敛于容许范围、即检查对象即鞋制品10是否为合格品。合格与否判定部134将针对检查对象即鞋制品10而从多个图像中分别提取的多个假想线及轮廓输入至学习模型中，并对假想线的位置、斜率、相对于合格品的斜率的比率、长度、相对于合格品的长度的比率、轮廓的位置、均衡性就鞋整体而言进行综合比较，推定检查对象即鞋是否为合格品。合格与否判定部134通过画面显示等方法输出推定的结果，并且将其作为合格品或不合格品的数据而反馈给存储于模型存储部136中的学习模型。
[0063]
图10是表示鞋外观检查学习装置112的基本结构的功能框图。图像获取部220、图像存储部222、基准点提取部224、要素点提取部226、假想线提取部228、轮廓提取部230、提取数据存储部232分别与图像获取部120、图像存储部122、基准点提取部124、要素点提取部126、假想线提取部128、轮廓提取部130、提取数据存储部132对应，且各自具有相同的功能。
[0064]
机器学习部234将保存于提取数据存储部232中的多个假想线的数据以及轮廓的数据作为教师数据，通过机器学习而生成判定假想线与轮廓的误差是否收敛于容许范围的学习模型，并保存于模型存储部236中。学习模型被发送至鞋外观检查装置110以用于鞋制品10的外观检查。
[0065]
教师数据中包含如图6至图9所示的从鞋提取的多个假想线及轮廓的信息。假想线的数据是从多个合格品的多个图像中获得的假想线的位置、斜率、相对于合格品的斜率的比率、长度、相对于合格品的长度的比率。轮廓的数据是从多个合格品的多个图像中获得的轮廓的位置、均衡性。假想线及轮廓分别在位置、斜率、长度、均衡性等方面存在偏差，因此通过对它们进行机器学习，将作为误差而容许的范围加以模型化。鞋制品10具有多个种类的制品模型，在一个制品模型中也有多个尺寸，而且分为左脚用与右脚用。机器学习部234按照制品模型、尺寸、左脚用与右脚用等属性，分开对多个假想线及轮廓进行机器学习。通过按照属性分开进行机器学习，可进一步提高判定精度。
[0066]
在本实施方式中，说明了仅对作为合格品的鞋制品10的图像进行机器学习而生成学习模型的例子。在变形例中，也可设为：对从作为合格品的图像中提取的假想线及轮廓进行学习并附加合格标签，并且对从作为不合格品的图像中提取的假想线及轮廓进行学习并附加不合格标签。与仅对合格品进行学习的情况相比，需要更多的教师数据，但相应地，可提高对合格与不合格进行分类的判定精度。另外，在另一变形例中，也可不使用轮廓的机器学习而仅通过假想线的机器学习来生成学习模型。
[0067]
图11是表示从鞋制品的图像中提取多个假想线及轮廓并基于学习模型来推定是否为合格品的工序的流程图。
[0068]
图像获取部120利用左侧方摄影装置50或右侧方摄影装置52等多个摄影装置从多个摄影方向拍摄鞋制品10的图像(s10)，从而图像获取部120获取多个图像(s11)。基准点提取部124及要素点提取部126从图像中提取基准点与多个要素点(s12)，假想线提取部128基于基准点与多个要素点，从图像中提取多个假想线并保存于提取数据存储部132中(s14)。合格与否判定部134向保存于模型存储部136的学习模型中输入假想线的数据，并判定假想线的误差是否为容许范围内(s16)。轮廓提取部130从鞋制品10的图像中提取轮廓并保存于提取数据存储部132中(s18)。合格与否判定部134向保存于模型存储部136的学习模型中输
入轮廓的数据，并判定轮廓的误差是否为容许范围内(s19)。合格与否判定部134通过对假想线的误差是否为容许范围内、及轮廓的误差是否为容许范围进行综合判定，而推定鞋制品10是否为合格品(s20)。
[0069]
以上，基于实施方式对本发明进行了说明。本领域技术人员可理解，实施方式为例示，它们的各构成要素或各处理工艺的组合能够存在各种变形例，另外，此种变形列也处于本发明的范围内。
[0070]
产业上的可利用性
[0071]
本发明能够提供一种可提高检查效率、检查精度的鞋外观检查技术。
[0072]
符号的说明
[0073]
r1：第一基准点
[0074]
p1：第一要素点
[0075]
l1：第一假想线
[0076]
r2：第二基准点
[0077]
p2：第二要素点
[0078]
l2：第二假想线
[0079]
r3：第三基准点
[0080]
p3：第三要素点
[0081]
l3：第三假想线
[0082]
p4：第四要素点
[0083]
l4：第四假想线
[0084]
p5：第五要素点
[0085]
l5：第五假想线
[0086]
l6：第六假想线
[0087]
p7：第七要素点
[0088]
l8：第八假想线
[0089]
12：外底
[0090]
14：下层中底
[0091]
16：上层中底
[0092]
20：鞋帮
[0093]
30：鞋楦
[0094]
sl：轮廓
[0095]
100：鞋外观检查系统
[0096]
110：鞋外观检查装置
[0097]
112：鞋外观检查学习装置
[0098]
120：图像获取部
[0099]
124：基准点提取部
[0100]
126：要素点提取部
[0101]
128：假想线提取部
[0102]
130：轮廓提取部
[0103]
134：合格与否判定部
[0104]
136：模型存储部
[0105]
220：图像获取部
[0106]
224：基准点提取部
[0107]
226：要素点提取部
[0108]
228：假想线提取部
[0109]
230：轮廓提取部
[0110]
236：模型存储部

技术特征：
1.一种鞋外观检查系统，其特征在于包括：图像获取部，获取检查对象即鞋的图像；基准点提取部，通过规定的基准点提取方法提取基准点，所述基准点作为所述检查对象即鞋的图像中的外观上的特征点；要素点提取部，通过规定的要素点提取方法提取多个要素点，所述多个要素点作为所述检查对象即鞋的图像中的外观上的特征点；假想线提取部，从所述检查对象即鞋的图像中，提取将所述基准点与所述多个要素点分别连结的多个假想线；模型存储部，存储通过机器学习而生成的学习模型，所述机器学习将从作为合格品的多个鞋的图像中提取的所述假想线作为教师数据；以及合格与否判定部，将从所述检查对象即鞋的图像中提取的多个假想线输入至所述学习模型中，由此判定所述检查对象即鞋是否为合格品。2.根据权利要求1所述的鞋外观检查系统，其特征在于，所述获取中所得的鞋的图像是利用鞋模进行了套楦的状态的鞋的图像，所述基准点提取部提取所述图像中从鞋露出的鞋模的外观上的特征点作为所述基准点。3.根据权利要求1或2所述的鞋外观检查系统，其特征在于，所述获取中所得的鞋的图像包含从多种角度拍摄的多个图像，所述模型存储部存储通过机器学习而生成的学习模型，所述机器学习将针对一个鞋而从多个图像中分别提取的假想线作为教师数据，所述合格与否判定部将针对所述检查对象即鞋而从多个图像中分别提取的假想线输入至所述学习模型中，由此判定所述检查对象即鞋是否为合格品。4.根据权利要求1至3中任一项所述的鞋外观检查系统，其特征在于，还包括轮廓提取部，所述轮廓提取部从所述检查对象即鞋的图像中提取所述鞋的轮廓，所述模型存储部存储通过机器学习而生成的学习模型，所述机器学习将从作为合格品的多个鞋的图像中提取的所述假想线及所述轮廓作为教师数据，所述合格与否判定部将从所述检查对象即鞋的图像中提取的多个假想线及轮廓输入至所述学习模型中，由此判定所述检查对象即鞋是否为合格品。5.一种鞋外观检查方法，其特征在于包括：利用规定的图像获取单元获取检查对象即鞋的图像的过程；通过由计算机进行的规定的基准点提取方法提取基准点的过程，所述基准点作为所述检查对象即鞋的图像中的外观上的特征点；通过由计算机进行的规定的要素点提取方法提取多个要素点的过程，所述多个要素点作为所述检查对象即鞋的图像中的外观上的特征点；利用计算机从所述检查对象即鞋的图像中提取将所述基准点与所述多个要素点分别连结的多个假想线的过程；从规定的存储单元中读出通过机器学习而生成的学习模型的过程，所述机器学习将从作为合格品的多个鞋的图像中提取的所述假想线作为教师数据；以及通过将从所述检查对象即鞋的图像中提取的多个假想线输入至所述学习模型中，利用
计算机来判定所述检查对象即鞋是否为合格品的过程。6.一种鞋外观检查程序，其特征在于，使计算机实现：获取检查对象即鞋的图像的功能；通过规定的基准点提取方法提取基准点的功能，所述基准点作为所述检查对象即鞋的图像中的外观上的特征点；通过规定的要素点提取方法提取多个要素点的功能，所述多个要素点作为所述检查对象即鞋的图像中的外观上的特征点；从所述检查对象即鞋的图像中提取将所述基准点与所述多个要素点分别连结的多个假想线的功能；存储通过机器学习而生成的学习模型的功能，所述机器学习将从作为合格品的多个鞋的图像中提取的所述假想线作为教师数据；以及将从所述检查对象即鞋的图像中提取的多个假想线输入至所述学习模型中，由此判定所述检查对象即鞋是否为合格品的功能。

技术总结
提供一种可提高检查效率、检查精度的鞋外观检查技术。在鞋外观检查系统中，假想线提取部128从检查对象即鞋的图像中，提取将基准点与多个要素点分别连结的多个假想线。模型存储部136存储通过机器学习而生成的学习模型，所述机器学习将从作为合格品的多个鞋的图像中提取的假想线及轮廓作为教师数据。合格与否判定部134将从检查对象即鞋的图像中提取的多个假想线及轮廓输入至学习模型中，由此判定检查对象即鞋是否为合格品并予以输出。对象即鞋是否为合格品并予以输出。对象即鞋是否为合格品并予以输出。


技术研发人员：平柴淳也 小川刚史
受保护的技术使用者：株式会社爱世克私
技术研发日：2020.12.25
技术公布日：2023/9/23