一种基于图像识别算法的烟厂备件识别管理方法与流程

1.本发明涉及人工智能算法技术领域，特别是一种基于图像识别算法的烟厂备件识别管理方法。


背景技术：

2.在现如今，卷烟工厂各种高精尖专业设备密集、各类通用设备使用广泛，一组复杂设备动辄几千上万个零配件，备件管理过程中容易出现顾此失彼、左支右绌的情况。并且，卷烟工厂生产线自动化程度高，若备件保障不足导致某一设备缺件停机，可能造成整线设备怠机，造成的损失难于估量。
3.而传统的备件查询存在信息查询困难、库存不清晰等问题，具体体现在：
4.(1)备件信息电子化程度低：
5.备件信息获取主要是通过查询纸质图册，因备件名称未统一，备件图号查询主要靠技术人员以往经验，有一定主观性，且耗时较久，对人员技术依赖性较大。目前备件库备件种类多达上千余种，未能将全部备件覆盖，技术人员确定备件信息，不能进一步查询该备件的库存信息及高架库位置信息，需与备件管理人员沟通解决，存在沟通苦难及时间浪费。
6.(2)传统图像识别算法无法准确识别到备件的具体型号：
7.传统的备件识别方法仅能将备件归类到某一类别，无法提供对备件型号的详细识别。烟厂中所存在的备件型号数量上千种，其中相同类别不同型号的备件占据了大部分，这使得在烟厂备件管理中难以准确追踪和管理不同型号的备件，增加了备件管理的复杂性和错误率。由于无法准确识别备件的型号，传统方法在进行备件搜索和检索时面临困难。对于需要特定型号备件的情况，传统方法无法提供准确和高效的结果，造成不必要的时间和资源浪费。


技术实现要素：

8.为解决现有技术中存在的问题，本发明的目的是提供一种基于图像识别算法的烟厂备件识别管理方法，本发明通过结合分类模型和faiss索引库，实现对备件类别和具体型号的准确识别和查找，解决备件种类多、同一种类下不同型号备件的识别问题。
9.为实现上述目的，本发明采用的技术方案是：一种基于图像识别算法的烟厂备件识别管理方法，包括以下步骤：
10.步骤1、利用主体检测模型对图片进行主体检测，找到图片中备件的位置，并将其裁剪下来，然后输入到分类模型对备件进行初步分类，将备件分出类别；
11.步骤2、利用faiss索引库记录备件的类别和型号信息；将备件的类别和型号作为索引库的条目录入到faiss索引库，建立备件特征库；
12.步骤3、根据分类模型获得的备件的类别信息，从faiss索引库中提取属于对应类别的条目；
13.步骤4、对提取出的条目进行faiss的聚类搜索，实现对具体某一类某一型号的备
件的精确识别；
14.步骤5、获取到具体某一类某一型号的备件的信息后，根据聚类搜索的结果，从faiss索引库中获取备件的详细信息。
15.作为本发明的进一步改进，在步骤1中，所述主体检测模型的训练方法如下：
16.标注数据集：使用label img软件对采集到的多种型号的备件图片进行标注，标注时将备件所示类目作为当前备件的标签；并将标注后的数据集以一定比例分为训练集和验证集，其中，训练集用于训练主体检测模型，验证集用于评估主体检测模型的性能和调整超参数；
17.训练主体检测模型：设置主体检测模型的参数并进行相应的训练来获得识别相应零部件的分类网络。
18.作为本发明的进一步改进，所述验证集的性能评估指标包括准确率、召回率和f1分数；其中：
19.准确率＝分类正确的样本数/总样本数
20.召回率＝被正确分类的正样本数/总正样本数
21.f1分数＝2*(精确率*召回率)/(精确率+召回率)。
22.作为本发明的进一步改进，在步骤1中，所述分类模型的训练方法如下：
23.使用训练出来的主体检测模型，对图片进行主体检测，找到图片中备件的位置，并将其裁剪下来作为分类数据集；对分类数据集进行数据增强后送入pp-lcnetv2网络模型进行分类训练，最终得到分类模型。
24.作为本发明的进一步改进，在步骤2中，所述faiss索引库的创建方法如下：
25.将所有经过主体检测模型检测的备件图像输入分类模型，将输出的备件类别和特征向量以及手动输入的备件型号信息使用faiss算法进行编码保存，用于后续检索使用。
26.作为本发明的进一步改进，在步骤4中，对具体某一类某一型号的备件的精确识别具体包括：
27.当输入新的备件图像时，主体检测模型定位和提取备件图像中的主体区域；随后，分类模型对提取到的主体进行处理，并获得备件的种类信息；且分类模型中特征提取模块将提取到的特征作为备件的特征；
28.在faiss索引库中，首先根据分类模型给出的备件种类对索引库数据进行筛选；然后基于备件特征进行聚类分析，通过比较备件特征之间的相似度找到最为相似的备件；
29.最终，从聚类分析的结果中确定与输入备件图像最相似的备件，并输出其备件型号，从而可以准确地识别输入备件图像的具体型号。
30.本发明的有益效果是：
31.本发明结合了传统的分类模型和检索，实现了快速的备件具体类别具体型号的识别。其中为了加快检索的速度，在采用聚类检测之前，对检索数据库进行筛选，剔除不需要的数据，对剩余信息进行检索，大大加快了检索的速度。可以用于简化备件出库流程，并通过图像识别快速识别备件和获取备件的具体信息。
32.高准确率和鲁棒性：本发明采用深度卷积神经网络进行备件图像的训练和识别，能够获取更高准确率和鲁棒性的备件识别模型。
33.自动化和便捷性：本发明实现了对备件的自动分类和识别，无需人工干预，能够快
速、准确地完成备件的识别和信息查询。同时，维修工可以通过移动终端或者pc端访问备件查询平台，实现了备件查询和信息获取的便捷性。
34.提高工作效率和服务质量：本发明优化了备件管理流程，实现了备件的快速查询和获取，能够提高工作效率和服务质量。同时，备件的准确识别和信息查询也有助于避免错误的备件选择和使用，提高维修服务的质量和可靠性。
附图说明
35.图1为本发明实施例中分类模型的训练流程图；
36.图2为本发明实施例中faiss索引库的创建流程图；
37.图3为本发明实施例中备件识别搜索流程图；
38.图4为本发明实施例中主体检测模型的训练流程图。
具体实施方式
39.下面结合附图对本发明的实施例进行详细说明。
40.实施例
41.一种基于图像识别算法的烟厂备件识别管理方法，通过结合分类模型和faiss索引库，实现对备件类别和具体型号的准确识别和查找，解决备件种类多、同一种类下不同型号备件的识别问题。
42.首先，采用分类模型对备件进行初步分类，将备件简单地分出类别。分类模型使用传统的深度学习模型，根据备件的特征进行分类预测。
43.利用faiss索引库记录备件的类别和型号信息。在制作faiss索引库时，将备件的类别和型号作为索引库的条目录入进去，建立备件特征库。这样，每个条目都包含备件的类别和型号信息。
44.接下来，根据分类模型获得的备件类别信息，从faiss索引库中提取属于该类别的条目。通过这一步骤，可以缩小搜索范围，只针对特定类别的备件进行后续操作，提高搜索效率。
45.对提取出的条目进行faiss的聚类搜索。faiss提供了高效的近似搜索算法和索引结构，可以快速进行最近邻搜索。通过聚类搜索，可以进一步细化备件的搜索结果，实现对具体某一类某一型号的备件的精确识别。
46.获取到具体某一类某一型号的备件的信息。根据聚类搜索的结果，从faiss索引库中获取备件的详细信息，包括型号、规格、供应商等相关信息。
47.通过结合分类模型和faiss索引库的方法，可以在备件识别过程中准确地获取备件的类别和具体型号信息，提高备件管理的准确性和效率。因此，本实施例提供的基于图像识别算法的烟厂备件识别管理方法，具有在备件种类多、同一种类下不同型号备件的识别问题中的实际应用价值。
48.备件图像识别系统是基于深度学习开发的图像识别系统，采用图像识别pp-shitu技术方案，其主要由主体检测、特征学习和向量检索三个模块组成，是一个实用的轻量级通用图像识别系统。本备件识别系统的算法方案将基于pp-shitu技术方案的基础上，进行改进，将整体系统变为主体检测、备件分类的特征学习和向量检索这三个模块，可实现具体备
件型号的识别。
49.如图4所示，主体检测模型的训练过程如下：
50.备件图像采集：为了提升目标数据采集的质量，从工业实际生产的条件出发，同时综合考虑深度学习数据的要求，对目标零件多角度旋转。同时对灯光照明和摄像角度做出多次分析和调整，通过相机的视角变换、光照强弱的改变、图片背景的干扰等操作，采集大量上述特定条件下的目标图像，以制作训练本模型所需的数据集。
51.采集相应需要管理的备件图像和信息，信息包括备件的名称，图号，型号等(每个备件不同角度3-4张图片)。
52.主体检测模块：本备件识别系统的算法的第一个模块是主体检测，其采用的是pp-yoloe模型作为骨干网络(backbone)。在深度学习中，骨干网络指的是用于图像分类、目标检测等任务中的主干神经网络模型。骨干网络用于从输入图像中提取特征信息，并逐渐缩小特征图的尺寸和数量。通俗地讲，骨干网络可以将复杂的图像信息进行缩小，用更小体积的量去表达原本的图像的信息。
53.主体检测技术是目前应用非常广泛的一种检测技术，它指的是检测出图片中一个或者多个主体的坐标位置，然后将图像中的对应区域裁剪下来，进行识别，从而完成整个识别过程。主体检测是识别任务的前序步骤，可以有效提升识别精度。主体检测将图片中主体部分进行识别，选出，裁剪主体部分图像供后续分类使用。
54.数据集标注：训练主体检测模型，需要准备相应的数据集，使用label img软件对采集到的2089种型号的备件(7000+图片)进行标注，标注时将备件所示类目作为当前备件的标签(如轴承)。
55.label img是一种开源的图像标注工具，可以轻松地对图像中的目标进行标注，并生成常用的目标检测数据集格式。标注者可以快速准确地标注训练图像中的目标位置和类别信息，并导出相应的标注文件。这些标注数据可以直接用于训练主体检测模型。
56.标注后的数据集见其以8：2的比例分为训练集和验证集。训练集是用于训练机器学习模型的数据集合。通常情况下，训练集是从数据集中随机抽样得到的，它应该尽可能地代表了整个数据集的特征和分布。在训练过程中，模型通过学习训练集中的样本，调整自己的参数和结构，以最小化训练集上的损失函数，并使得模型在训练集上表现得越来越好。
57.验证集是用于评估模型性能和调整模型超参数的数据集合。在训练过程中，模型可能会出现过拟合或欠拟合等问题，这时需要使用验证集来评估模型在未见过的数据上的性能，并进行模型参数和结构的调整。通常情况下，验证集是从数据集中随机抽样得到的，它应该和训练集互斥，即验证集中的样本不出现在训练集中。验证集上的性能评估指标可以包括准确率、召回率、f1分数等。
58.准确率是指在所有分类正确的样本数与总样本数之比，是机器学习中常用的性能评价指标之一。具体地，准确率可以用如下公式表示：
59.准确率＝分类正确的样本数/总样本数
60.召回率是指在所有真实正样本中被正确分类的样本数与总真实正样本数之比，是机器学习中常用的性能评价指标之一。具体地，召回率可以用如下公式表示：
61.召回率＝被正确分类的正样本数/总正样本数
62.f1分数是综合考虑了准确率和召回率的指标，是机器学习中常用的性能评价指标
之一。f1分数是准确率和召回率的调和平均值，具体地，f1分数可以用如下公式表示：
63.f1分数＝2*(精确率*召回率)/(精确率+召回率)
64.主体检测模型训练：在采集并预处理完相应的数据后，对选择的模型进行相应的训练来获得可以识别相应零部件的分类网络。在训练前需要为模型进行相应的参数设置包括但不限于：图像的batchs ize＝32(32张图片为一个批次)，训练的轮数eopch＝200轮)，损失函数的学习率(learningrate＝0.001)，以及输入图像的分辨率＝(640*640)等。
65.注：batchs ize是指在训练神经网络时，每次迭代所使用的样本数量。在神经网络的训练过程中，数据集通常会被分成若干个批次(batch)，每个批次中包含一定数量的样本，模型会对每个批次中的样本进行前向传播、计算损失函数并反向传播更新参数，这个过程被称为一个训练迭代(trainingi teration)。batchs ize的选择通常需要平衡训练速度和模型性能。较大的batchs ize通常可以提高训练效率，因为它可以充分利用gpu或cpu的并行计算能力，同时减少了数据读取和传输的次数，但是较大的batchs ize也会带来一些问题
66.epoch是指在训练神经网络时，将整个训练集全部过一遍的次数。在神经网络的训练过程中，数据集通常被分成若干个批次(batch)，每个批次中包含一定数量的样本，模型会对每个批次中的样本进行前向传播、计算损失函数并反向传播更新参数，这个过程被称为一个训练迭代(trainingi teration)。一个epoch就是指当所有的训练数据都被用于训练模型一次时所经过的迭代次数。
67.使用ppyoloe系列模型进行主体检测部分，其在cpu端与移动端，速度较快、精度较好。
68.如图1所示，备件的分类模型训练过程如下：
69.本备件识别系统的算法的第二个模块是备件分类模块，分类模块用于对备件进行初步分类，将备件简单地分出类别。分类模块模型基于采用cpu级轻量化骨干网络pp_lcnet作为骨干网络，利用训练好的分类模型对备件图像进行预测和分类。考虑到备件识别真实使用的场景中，推理速度及预测准确率是考量模型好坏的重要指标。
70.分类数据集准备：分类模块的输入为裁剪后的备件图像；使用上一步训练出来的主体检测模型，对原图进行主体检测，找到图中备件的位置，并将其裁剪下来。
71.数据增强：卷积神经网络之所以在计算机视觉中表现得如此优秀，离不开大数据。如果数据量太少会导致过拟合现象。过拟合(overfitting)是指模型在训练数据上表现良好，但在测试数据上表现不佳的现象。具体来说，过拟合是指模型过于复杂，以至于它可以在训练数据中记忆每一个数据点，包括噪声，而不是学习数据的通用模式。
72.但实际应用时，很难获取到大量数据，而个人构建的数据集往往无法到达实验性数据规模，数据增强就是对有限数据的问题提出的解决方案。卷积神经网络经过数据增强后比未进行数据增强之前有着更强的防过拟合能力。深度学习领域中，几何变换、色彩增强、混合图像、随机擦除等都是常见的数据增强方法。而在本文构建的工业零件数据集，样本图像中只包括一个或多个零件种类和背景，考虑到智能制造系统的工厂应用环境，本实施例采用色彩调整、图像翻转、随机裁剪的数据增强方法。改变后的图片放入神经网络进行训练可以为算法提供更多的信息，提高网络的鲁棒性，降低各方面额外因素对识别的影响。但是要注意数据增强可以模拟识别目标在不同场景下的图像，一些实际的细节特征是模拟
不出来的，例如当零件旋转时，可能会出现不同的阴影，当旋转是基于数据增强产生时，这些阴影不会被算法学习到。
73.分类模型训练：将所有裁剪后的类备件图像送入pp-lcnetv2网络模型进行分类训练，以此来训练网络分类模型模型。
74.如图2所示，向量检索库的建立方法如下：
75.本备件识别系统的算法的第三个模块是向量检索。当获得了识别的备件的具体类别后，向量索引库通过检索提前录入的不同型号的备件的图像特征信息来最终确定备件的型号信息，其中备件图像的特征信息从分类模型中特征提取部分获得。这种方式最大的优点是，当增加新的品类时，不需要重新训练分类模型，仅需要更新检索库即可识别新的目标，更新向量检索库时，需要在其中记录备件的类别，型号，和特征信息这三部分信息。
76.为了更好地兼容(linux,windows,macos)多平台，在图像识别系统中，本项目使用faiss算法。
77.faiss(facebookaisimi laritysearch)是facebook开源的一个高效的相似性搜索库，主要用于在大规模数据集中进行快速的近似最近邻搜索(approximatenearestneighbor，ann)。faiss基于一系列高效的索引结构，包括平面、哈希、树形等结构，支持向量空间模型、余弦相似度、欧几里得距离等相似性度量方法，能够处理高维稠密向量和稀疏向量，具有较高的查询速度和准确率，被广泛应用于图像检索、文本搜索、语音识别等领域。
78.faiss算法的核心思想是利用高效的索引结构对数据进行划分和聚合，从而实现快速的相似性搜索。能够快速地在大规模数据集中搜索最近邻，从而支持图像检索、文本搜索、语音识别等应用场景。
79.在此算法系统中，将所有经过主体检测的备件图像输入分类模型，将输出的备件类别和特征向量以及手动输入的备件型号信息使用faiss算法进行编码保存，用于后续检索使用。
80.如图3所示，备件的型号的识别如下：
81.再创建完备件索引库后，可以对备件进行完成识别。
82.当输入一张新的备件图像时，主体检测模型会定位和提取备件图像中的主体区域。随后，分类模型会对提取到的主体进行处理，并获得备件的种类信息。且分类模型中特征提取模块将提取到的特征作为备件的特征。
83.接下来，在索引库中，首先根据分类模型给出的备件种类对索引库数据进行筛选。这样可以减少后续聚类分析的计算量，提高识别效率。然后，基于备件特征进行聚类分析，通过比较备件特征之间的相似度找到最为相似的备件。
84.最终，从聚类分析的结果中确定与输入备件图像最相似的备件，并输出其备件型号。这样，可以准确地识别输入备件图像的具体型号。
85.聚类是一种无监督学习方法，用于将数据集中的对象划分为相似的组或簇。在备件识别中，聚类可以通过分析备件的特征相似性来将备件进行分组，以便更好地理解备件之间的关系和相似性。
86.以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员
来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

技术特征：
1.一种基于图像识别算法的烟厂备件识别管理方法，其特征在于，包括以下步骤：步骤1、利用主体检测模型对图片进行主体检测，找到图片中备件的位置，并将其裁剪下来，然后输入到分类模型对备件进行初步分类，将备件分出类别；步骤2、利用faiss索引库记录备件的类别和型号信息；将备件的类别和型号作为索引库的条目录入到faiss索引库，建立备件特征库；步骤3、根据分类模型获得的备件的类别信息，从faiss索引库中提取属于对应类别的条目；步骤4、对提取出的条目进行faiss的聚类搜索，实现对具体某一类某一型号的备件的精确识别；步骤5、获取到具体某一类某一型号的备件的信息后，根据聚类搜索的结果，从faiss索引库中获取备件的详细信息。2.根据权利要求1所述的基于图像识别算法的烟厂备件识别管理方法，其特征在于，在步骤1中，所述主体检测模型的训练方法如下：标注数据集：使用labelimg软件对采集到的多种型号的备件图片进行标注，标注时将备件所示类目作为当前备件的标签；并将标注后的数据集以一定比例分为训练集和验证集，其中，训练集用于训练主体检测模型，验证集用于评估主体检测模型的性能和调整超参数；训练主体检测模型：设置主体检测模型的参数并进行相应的训练来获得识别相应零部件的分类网络。3.根据权利要求2所述的基于图像识别算法的烟厂备件识别管理方法，其特征在于，所述验证集的性能评估指标包括准确率、召回率和f1分数；其中：准确率＝分类正确的样本数/总样本数召回率＝被正确分类的正样本数/总正样本数f1分数＝2*(精确率*召回率)/(精确率+召回率)。4.根据权利要求2所述的基于图像识别算法的烟厂备件识别管理方法，其特征在于，在步骤1中，所述分类模型的训练方法如下：使用训练出来的主体检测模型，对图片进行主体检测，找到图片中备件的位置，并将其裁剪下来作为分类数据集；对分类数据集进行数据增强后送入pp-lcnetv2网络模型进行分类训练，最终得到分类模型。5.根据权利要求4所述的基于图像识别算法的烟厂备件识别管理方法，其特征在于，在步骤2中，所述faiss索引库的创建方法如下：将所有经过主体检测模型检测的备件图像输入分类模型，将输出的备件类别和特征向量以及手动输入的备件型号信息使用faiss算法进行编码保存，用于后续检索使用。6.根据权利要求5所述的基于图像识别算法的烟厂备件识别管理方法，其特征在于，在步骤4中，对具体某一类某一型号的备件的精确识别具体包括：当输入新的备件图像时，主体检测模型定位和提取备件图像中的主体区域；随后，分类模型对提取到的主体进行处理，并获得备件的种类信息；且分类模型中特征提取模块将提取到的特征作为备件的特征；在faiss索引库中，首先根据分类模型给出的备件种类对索引库数据进行筛选；然后基
于备件特征进行聚类分析，通过比较备件特征之间的相似度找到最为相似的备件；最终，从聚类分析的结果中确定与输入备件图像最相似的备件，并输出其备件型号，从而可以准确地识别输入备件图像的具体型号。

技术总结
本发明公开了一种基于图像识别算法的烟厂备件识别管理方法，包括：利用主体检测模型对图片进行主体检测，找到图片中备件的位置，并将其裁剪下来，然后输入到分类模型对备件进行初步分类，将备件分出类别；利用Fai ss索引库记录备件的类别和型号信息；根据分类模型获得的备件的类别信息，从Fai ss索引库中提取属于对应类别的条目；对提取出的条目进行Faiss的聚类搜索，实现对具体某一类某一型号的备件的精确识别；根据聚类搜索的结果，从Fai ss索引库中获取备件的详细信息；本发明通过结合分类模型和Faiss索引库，实现对备件类别和具体型号的准确识别和查找，解决备件种类多、同一种类下不同型号备件的识别问题。种类下不同型号备件的识别问题。种类下不同型号备件的识别问题。


技术研发人员：张婧 卞长智 胡伟 张宝 夏勇 吕迪 李有松 庞毅飞 弓寅 何林洋 王强 尹恒 黄卓 谭欢 罗飞 李勇
受保护的技术使用者：四川中烟工业有限责任公司
技术研发日：2023.08.11
技术公布日：2023/9/19