图像标签标注方法、装置、计算机设备及可读存储介质与流程

1.本技术涉及人工智能以及自动驾驶技术领域，尤其涉及一种图像标签标注方法、装置、计算机设备及可读存储介质。


背景技术：

2.图像标签标注就是将标签附加到图像上的过程，其中，该标签用于表征图像中的一个或多个对象。然而，发明人意识到，当前的图像标签标注方法通常是接收到给定的标签需求后，仅靠人工手动打标的方式，识别图像中符合标签需求的对象，并基于该对象在图像上附加标签，效率极低，成本高昂。


技术实现要素：

3.本技术提供一种图像标签标注方法、装置、计算机设备及可读存储介质，用以解决当前仅靠人工手动打标的方式识别图像中符合标签需求的对象，并基于该对象在图像上附加标签，效率极低，成本高昂的问题。
4.第一方面，本技术提供一种图像标签标注方法，包括：
5.接收具有图像标签的第一打标图像，其中，所述图像标签表征所述第一打标图像中的目标对象；
6.根据所述第一打标图像训练预置的标签分类模型，其中，所述第一打标图像中的图像标签包括：基于训练前的标签分类模型中的分类标签新增的图像标签，和/或基于训练前的标签分类模型的分类标签变更的图像标签；所述分类标签是所述标签分类模型用于识别原始图像中的目标对象的图像标签；
7.调用训练后的标签分类模型在预置的图像集中筛选出具有所述目标对象的原始图像，及根据所述目标对象对筛选出的原始图像进行打标处理，得到具有所述图像标签的第二打标图像；其中，所述图像集中保存有至少一个具有所述目标对象的原始图像，和/或至少一个不具有所述目标对象的原始图像。
8.上述方案中，所述根据所述第一打标图像训练预置的标签分类模型之后，所述方法还包括：
9.若确定所述标签分类模型的训练结果未达到所述分类阈值，则接收具有图像标签的第三打标图像，及根据所述第三打标图像训练所述标签分类模型，其中，所述训练结果反映了所述标签分类模型打标的准确程度，所述第三打标图像包括对图像标签进行修正后的第二打标图像，和/或新增的具有图像标签的第一打标图像。
10.上述方案中，所述根据所述第一打标图像训练预置的标签分类模型，包括：
11.对所述第一打标图像进行特征提取得到特征向量，或从预置的离线系统中获取与所述第一打标图像对应的原始图像的特征向量，其中，所述特征向量通过至少一个特征值描述了所述第一打标图像的至少一个属性特征；
12.根据所述特征向量和所述第一打标图像的图像标签训练所述标签分类模型。
13.上述方案中，所述根据所述特征向量和所述第一打标图像的图像标签训练所述标签分类模型，包括：
14.将所述特征向量输入所述标签分类模型，以所述图像标签为训练目标，调用所述标签分类模型运算所述特征向量得到至少一个训练图像标签；
15.根据所述图像标签和所述训练图像标签的一致程度，得到所述标签分类模型的训练结果。
16.上述方案中，所述调用训练后的标签分类模型在预置的图像集中筛选出具有所述目标对象的原始图像，包括：
17.从预置的离线系统的图像集中提取原始图像；
18.从所述离线系统中获取与提取到的原始图像对应的特征向量，或对提取到的原始图像进行特征提取得到特征向量；
19.调用所述标签分类模型运算所述特征向量得到图像标签，将与所述图像标签对应的原始图像设为具有所述目标对象的原始图像。
20.上述方案中，所述根据所述目标对象对筛选出的原始图像进行打标处理，得到具有所述图像标签的第二打标图像之后，所述方法还包括：
21.若所述标签分类模型的筛选准确度未达到预置的筛选阈值，则接收具有图像标签的第四打标图像，及根据所述第四打标图像训练所述标签分类模型；其中，所述筛选准确度反映了所述标签分类模型对图像集中具有所述目标对象的原始图像进行筛选，及得到具有所述图像标签的第二打标图像的准确程度；所述第四打标图像包括对图像标签进行修正后的第二打标图像，和/或新增的具有图像标签的第一打标图像。
22.上述方案中，所述根据所述目标对象对筛选出的原始图像进行打标处理，得到具有所述图像标签的第二打标图像之后，所述方法还包括：
23.通过所述第一打标图像及其特征向量和/或所述第二打标图像及其特征向量，对预置的离线系统中的第一特征提取模型中进行优化训练，得到优化后的第一特征提取模型；其中，所述第一特征提取模型用于对所述离线系统中的原始图像进行特征提取得到特征向量；和/或
24.通过所述第一打标图像及其特征向量和/或所述第二打标图像及其特征向量，对所述标签分类模型中的第二特征提取模型中进行优化训练，得到优化后的第二特征提取模型；其中，所述第二特征提取模型用于对第一打标图像、第二打标图像、第三打标图像、第四打标图像进行特征提取得到特征向量。
25.第二方面，本技术提供一种图像标签标注装置，包括：
26.输入模块，用于接收具有图像标签的第一打标图像，其中，所述图像标签表征所述第一打标图像中的目标对象；
27.训练模块，用于根据所述第一打标图像训练预置的标签分类模型，其中，所述第一打标图像中的图像标签包括：基于训练前的标签分类模型中的分类标签新增的图像标签，和/或基于训练前的标签分类模型的分类标签变更的图像标签；所述分类标签是所述标签分类模型用于识别原始图像中的目标对象的图像标签；
28.打标模块，用于调用训练后的标签分类模型在预置的图像集中筛选出具有所述目标对象的原始图像，及根据所述目标对象对筛选出的原始图像进行打标处理，得到具有所
述图像标签的第二打标图像；其中，所述图像集中保存有至少一个具有所述目标对象的原始图像，和/或至少一个不具有所述目标对象的原始图像。
29.第三方面，本技术提供一种计算机设备，包括：处理器以及与所述处理器通信连接的存储器；
30.所述存储器存储计算机执行指令；
31.所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求上述的图像标签标注方法。
32.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述的图像标签标注方法。
33.第五方面，本技术提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的图像标签标注方法。
34.本技术提供的一种图像标签标注方法、装置、计算机设备及可读存储介质，通过第一打标图像训练标签分类模型，对标签分类模型进行训练，使训练后的标签分类模型能够识别第一打标图像中的目标对象，进而有利于实现后续的自动打标作业。
35.基于第一打标图像得到训练后的标签分类模型，从图像集中筛选出具有目标对象的原始图像，实现自动识别图像集中具有目标对象的原始图像，并对该原始图像进行打标得到第二打标图像，因此，实现了对大量图像进行自动打标，提高图像打标效率和打标准确度的技术效果，极大了降低了标注成本。
附图说明
36.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
37.图1为本技术实施例提供的一种应用场景示意图；
38.图2为本技术实施例提供的一种图像标签标注方法的实施例1的流程图；
39.图3为本技术实施例提供的一种图像标签标注方法的实施例2的流程图；
40.图4为本发明提供的一种图像标签标注装置的程序模块示意图；
41.图5为本发明计算机设备中计算机设备的硬件结构示意图。
42.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
43.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
44.请参阅图1，本技术具体的应用场景为：
45.图像标签标注方法的服务器2与终端3连接，终端3用于获取原始图像及识别原始
图像中的目标对象，终端3还用于对具有目标对象的原始图像进行打标得到第一打标图像。
46.本实例中，终端3可由人工操作进行手动在线打标，包括在图像中新增标签或者修正图像中错误的标签，也可通过具有打标算法的计算机系统进行对具有目标对象的原始图像进行自动在先打标，其中，具有打标算法的计算机系统接收具有目标对象的原始图像，计算机系统调用终端3对原始图像进行打标，得到第一打标图像。
47.服务器2接收终端3发送的具有图像标签的第一打标图像。
48.服务器2根据第一打标图像训练预置的标签分类模型，其中，第一打标图像中的图像标签包括：基于训练前的标签分类模型中的分类标签新增的图像标签，和/或基于训练前的标签分类模型的分类标签变更的图像标签；分类标签是标签分类模型用于识别原始图像中的目标对象的图像标签。
49.服务器2调用训练后的标签分类模型在预置的图像集中筛选出具有目标对象的原始图像，及根据目标对象对筛选出的原始图像进行打标处理，得到具有图像标签的第二打标图像；其中，图像集中保存有至少一个具有目标对象的原始图像，和/或至少一个不具有目标对象的原始图像。
50.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决现有技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
51.实施例1：
52.请参阅图2，本技术一实施例提供一种图像标签标注方法，包括：
53.s101：接收具有图像标签的第一打标图像，其中，图像标签表征第一打标图像中的目标对象。
54.本步骤中，第一打标图像是基于人工对具有目标对象的原始图像进行打标所获得的图像。第一打标图像是基于终端的手动在线打标，在手动在先打标的同时，还用于将手动在线打标的结果直接反馈给模型进行训练。节省了人工离线训练模型的时间和成本。
55.示例性地，随机选取一批量的数据(比如，每一批次为100张)，通过终端在线让人工进行打标签，将符合标签要求的选出来，这就是标签分类模型的第一批训练数据(符合标签要求的是正样本，不符合的是负样本)。
56.s102：根据第一打标图像训练预置的标签分类模型，其中，第一打标图像中的图像标签包括：基于训练前的标签分类模型中的分类标签新增的图像标签，和/或基于训练前的标签分类模型的分类标签变更的图像标签，分类标签是标签分类模型用于识别原始图像中的目标对象的图像标签。
57.本步骤中，通过数量有限的第一打标图像训练标签分类模型，对标签分类模型进行训练，使训练后的标签分类模型能够识别第一打标图像中的目标对象，进而有利于实现后续的自动打标作业。本步骤包括以下场景：
58.在第一个场景中，标签分类模型中不具有分类标签，第一打标图像中至少具有一个图像标签，例如：标签分类模型的分类标签为空，第一打标图像中的图像标签为“交通灯”。
59.在第二个场景中，标签分类模型中具有分类标签，第一打标图像中的图像标签是在分类标签基础上新增的图像标签，例如：标签分类模型的分类标签为“交通灯”，第一打标
图像中的图像标签为“交通灯”和“下雨天”。优点是能够加速标签分类模型的训练，提高标签分类模型的收敛速度。该方式，在标签分类模型积累到一定数量的时候，应用会越来越广泛。
60.在第三个场景中，标签分类模型中具有分类标签，第一打标图像中的图像标签是在分类标签基础上变更的图像标签。在该场景下，例如将具有分类标签的图像显示于终端，用户进行人工审核后发现至少一个分类标签为错误的标签，可以对错误的标签进行修正，修正标签后的图像即为第一打标图像。例如：标签分类模型的分类标签为“交通灯”和“下雨天”，第一打标图像中的图像标签为“交通灯”和“晴天”。优点是能够加速标签分类模型的训练，提高标签分类模型的收敛速度。该方式，在标签分类模型积累到一定数量的时候，应用会越来越广泛。
61.在第四个场景中，标签分类模型中具有分类标签，第一打标图像中的图像标签用于变更分类标签中的分类标签，例如：标签分类模型的分类标签为“交通灯”，第一打标图像中的图像标签为“下雨天”。
62.因此，本步骤通过基于训练前的标签分类模型中的分类标签新增的图像标签，和/或基于训练前的标签分类模型的分类标签变更的图像标签，实现对标签分类模型中的分类标签的新增和更改，以确保得到的训练后的标签分类模型能够按照使用者的实际需求，对图像集中的原始图像进行筛选和打标，扩展了标签分类模型的适用范围。
63.示例性地，将第一打标图像反馈给标签分类模型(例如：svm)作为输入进行训练，因为基于web的模型训练，标签分类模型会立刻反馈新的训练结果，即，从数据库中选出符合标签要求的下一批数据，再次进行人工打标签，人工打标签的结果作为下一次的模型训练的输入
…
通过这一过程的不断迭代，标签分类模型训练的准确率会不断提高，当提高到某一个训练预置(例如：95％)，可以暂停人工打标签的阶段，直接用模型的结果给数据打标。此外，要定期将标签分类模型预测不准确的数据进行积累，加入特征提取模型中训练，更新迭代特征提取模型，以提升特征提取模型的表现，从而能进一步提高标签分类模型的学习效果。
64.在一个优选的实施例中，根据第一打标图像训练预置的标签分类模型，包括：
65.对第一打标图像进行特征提取得到特征向量，或从预置的离线系统中获取与第一打标图像对应的原始图像的特征向量，其中，特征向量通过至少一个特征值描述了第一打标图像的至少一个属性特征；
66.根据特征向量和第一打标图像的图像标签训练标签分类模型。
67.示例性地，特征向量用于通过至少一个特征值描述了第一打标图像的至少一个属性特征，因此，本实例中的特征向量可为通过预置的第一特征提取模型对第一打标图像中原始图像的部分进行特征提取，得到的特征向量；也可为预存在离线系统中的与第一打标图像的原始图像对应的特征向量，离线系统中的特征向量是通过预置在离线系统中的第二特征提取模型，预先对第一打标图像中的原始图像进行特征提取得到的特征向量。
68.以第一打标图像的特征向量为输入，以第一打标图像的图像标签为输出，对标签分类模型进行训练，得到能够根据特征向量输出与该特征向量对应的图像标签的训练后的标签分类模型。
69.具体地，根据特征向量和第一打标图像的图像标签训练标签分类模型，包括：
70.将特征向量输入标签分类模型，以图像标签为训练目标，调用标签分类模型运算特征向量得到至少一个训练图像标签；
71.根据图像标签和训练图像标签的一致程度，得到标签分类模型的训练结果，训练结果反映了标签分类模型打标的准确程度；
72.若确定训练结果达到预置的训练阈值，则确定标签分类模型用于在预置的图像集中筛选出具有目标对象的原始图像。
73.示例性地，将具有至少一个第一打标图像的集合设为训练集合，将训练集合中各第一打标图像的特征向量输入标签分类模型，以训练集合中各第一打标图像的图像标签作为训练目标，使标签分类模型运算其接收到的特征向量，并得到至少一个训练图像标签，每一训练图像标签与每一第一打标图像对应，汇总每一训练图像标签得到训练集合。
74.计算训练集合中训练图像标签与该训练图像标签对应的第一打标图像的图像标签一致的数量，和训练集合中训练图像标签的总量之间的比值，将该比值作为表征图像标签和训练图像标签的一致程度的训练结果。
75.如果训练结果达到训练阈值，则说明标签分类模型能够识别出图像中的目标对象，因此，该标签分类模型能够用于在图像集中筛选出具有目标对象的原始图像。
76.于本实施例中，可采用支持向量机(support vector machines,svm)或卷积神经网络(convolutional neural network,cnn)作为标签分类模型。
77.s103：调用训练后的标签分类模型在预置的图像集中筛选出具有目标对象的原始图像，及根据目标对象对筛选出的原始图像进行打标处理，得到具有图像标签的第二打标图像；其中，图像集中保存有至少一个具有目标对象的原始图像，和/或至少一个不具有目标对象的原始图像。
78.本步骤中，由于图像集中保存有至少一个具有目标对象的原始图像，和/或至少一个不具有目标对象的原始图像，本实例基于第一打标图像得到训练后的标签分类模型，从图像集中筛选出具有目标对象的原始图像，实现自动识别图像集中具有目标对象的原始图像，并对该原始图像进行打标得到第二打标图像，因此，实现了对大量图像进行自动打标，提高图像打标效率和打标准确度的技术效果，极大的降低了标注成本。
79.示例性地，当标签分类模型的训练结果达到训练阈值(例如：95％以上)时，可以省略人工打标的过程，直接用标签分类模型的结果进行数据打标。这样，图像数据打标的过程从手动和模型相结合的半自动化打标，转变为全自动化打标。
80.因此，本实例不仅使人工打标签的效率大大提高，也在打标签的同时，将标签分类模型训练好了，省掉了很多模型训练的时间和人力成本。这种打标方法，易操作，操作简单，门槛低，只要选出符合标签要求的图像，标签模型会自动训练，即使对于全新的标签，也可以很快的启动；易扩展，可以基于已有的标签分类模型，训练更加复杂的标签分类模型；易复用，对于比较复杂的标签，可以通过组合已有标签模型，将同时属于多个标签的标签分类模型的结果的数据，作为第一轮的数据进行打标。比如，标签分类模型已经有“十字路口”，“工程车”，“夜晚”的分类标签，想要找存在“夜晚十字路口并且存在工程车”标签的数据，那么可以将上述三个标签分类模型的结果做一个交集，缩小筛选范围。更为重要的是，当训练结果达到训练阈值后，可以直接转为全自动化打标，省掉人力成本。
81.在一个优选的实施例中，调用训练后的标签分类模型在预置的图像集中筛选出具
有目标对象的原始图像，包括：
82.从预置的离线系统的图像集中提取原始图像；
83.从离线系统中获取与提取到的原始图像对应的特征向量，或对提取到的原始图像进行特征提取得到特征向量；
84.调用标签分类模型运算特征向量得到图像标签，将与图像标签对应的原始图像设为具有目标对象的原始图像。
85.示例性地，从预置的离线系统的图像集中提取原始图像，从离线系统中获取与提取到的原始图像对应的特征向量，或对提取到的原始图像进行特征提取得到特征向量；离线系统是用于对在线存储的数据进行备份，以防范可能发生的数据灾难的离线存储(offstore)，其又称备份级的存储。
86.对离线系统进行在线操作和/或离线操作，在线操作和/或离线操作用于从预置的离线系统的图像集中提取原始图像，及从离线系统中获取与提取到的原始图像对应的特征向量，其中，在线操作是指某一功能或工作(如检测、控制、给定)是在系统运行之中进行的操作，离线是指在系统运行之前或之后进行的操作。
87.通过标签分类模型中的第二特征提取模型，对提取到的原始图像进行特征提取得到特征向量。
88.调用标签分类模型运算特征向量得到图像标签，将与图像标签对应的原始图像设为具有目标对象的原始图像。
89.通过标签分类模型对特征向量进行运算，用于根据各特征向量识别与特征向量对应的原始图像中是否具有目标对象；如果具有目标对象，标签分类模型将根据该原始图像对应的特征向量生成图像标签。
90.实施例2：
91.请参阅图3，本技术提供一种图像标签标注方法，包括：
92.s201：接收具有图像标签的第一打标图像，其中，图像标签表征第一打标图像中的目标对象。
93.本步骤与实施例1中的s101一致，故在此不做赘述。
94.s202：根据第一打标图像训练预置的标签分类模型，其中，第一打标图像中的图像标签包括：基于训练前的标签分类模型中的分类标签新增的图像标签，和/或基于训练前的标签分类模型的分类标签变更的图像标签；分类标签是标签分类模型用于识别原始图像中的目标对象的图像标签。
95.本步骤与实施例1中的s102一致，故在此不做赘述。
96.s203：若确定标签分类模型的训练结果未达到分类阈值，则接收具有图像标签的第三打标图像，及根据第三打标图像训练标签分类模型，其中，训练结果反映了标签分类模型打标的准确程度，第三打标图像包括对图像标签进行修正后的第二打标图像，和/或新增的具有图像标签的第一打标图像。
97.本步骤中，通过将具有至少一个第一打标图像的集合设为训练集合，将训练集合中各第一打标图像的特征向量输入标签分类模型，以训练集合中各第一打标图像的图像标签作为训练目标，使标签分类模型运算其接收到的特征向量，并得到至少一个训练图像标签，每一训练图像标签与每一第一打标图像对应，汇总每一训练图像标签得到训练集合。计
算训练集合中训练图像标签与该训练图像标签对应的第一打标图像的图像标签一致的数量，和训练集合中训练图像标签的总量之间的比值，将该比值作为表征图像标签和训练图像标签的一致程度的训练结果。
98.如果训练结果未达到训练阈值，则说明标签分类模型能够识别出图像中的目标对象，因此，该标签分类模型无法用于在图像集中筛选出具有目标对象的原始图像。
99.因此，调用该标签分类模型在图像集中筛选出具有目标对象的原始图像，及根据目标对象对筛选出的原始图像进行打标处理，得到第二打标图像，通过人工对得到的第二打标图像进行修正，将修正后的第二打标图像设为第三打标图像；其中，通过人工对得到的第二打标图像进行修正，将修正后的第二打标图像设为第三打标图像包括：汇总得到的第二打标图像得到打标集合；识别打标集合中不具有目标对象的第二打标图像，及删除识别到的第二打标图像中的图像标签；将打标集合中具有目标图像的第二打标图像设为第三打标图像。和/或
100.获取新增的第一打标图像作为第三打标图像。新增的第一打标图像是由人工生成，且不同于s201步骤中的第一打标图像的打标图像。
101.s204：调用训练后的标签分类模型在预置的图像集中筛选出具有目标对象的原始图像，及根据目标对象对筛选出的原始图像进行打标处理，得到具有图像标签的第二打标图像；其中，图像集中保存有至少一个具有目标对象的原始图像，和/或至少一个不具有目标对象的原始图像。
102.本步骤与实施例1中的s103一致，故在此不做赘述。
103.s205：若标签分类模型的筛选准确度未达到预置的筛选阈值，则接收具有图像标签的第四打标图像，及根据第四打标图像训练标签分类模型；其中，筛选准确度反映了标签分类模型对图像集中具有目标对象的原始图像进行筛选，及得到具有图像标签的第二打标图像的准确程度；第四打标图像包括对图像标签进行修正后的第二打标图像，和/或新增的具有图像标签的第一打标图像。
104.本步骤中，如果标签分类模型在使用之前，或在使用过程中，发现标签分类模型的筛选准确度未达到预置的筛选阈值，则接收具有图像标签的第四打标图像，及根据第四打标图像训练标签分类模型，以实现标签分类模型能够持续准确的对具有目标对象的原始图像进行筛选及打标，确保第二打标图像的准确度。
105.具体地，若标签分类模型的筛选准确度未达到预置的筛选阈值，包括：
106.汇总至少一个具有至少一个第二打标图像的集合设为筛选集合，将筛选集合中各第二打标图像的特征向量输入标签分类模型，以筛选集合中各第二打标图像的图像标签作为训练目标，使标签分类模型运算其接收到的特征向量，并得到至少一个训练图像标签，每一训练图像标签与每一第二打标图像对应，汇总每一训练图像标签得到筛选集合。计算筛选集合中训练图像标签与该训练图像标签对应的第二打标图像的图像标签一致的数量，和筛选集合中训练图像标签的总量之间的比值，将该比值作为表征图像标签和训练图像标签的一致程度的训练结果。
107.如果训练结果未达到筛选阈值，则说明标签分类模型能够识别出图像中的目标对象，因此，该标签分类模型无法用于在图像集中筛选出具有目标对象的原始图像。
108.因此，调用该标签分类模型在图像集中筛选出具有目标对象的原始图像，及根据
目标对象对筛选出的原始图像进行打标处理，得到第二打标图像，通过人工对得到的第二打标图像进行修正，将修正后的第二打标图像设为第四打标图像；其中，通过人工对得到的第二打标图像进行修正，将修正后的第二打标图像设为第四打标图像包括：汇总得到的第二打标图像得到打标集合；识别打标集合中不具有目标对象的第二打标图像，及删除识别到的第二打标图像中的图像标签；将打标集合中具有目标图像的第二打标图像设为第四打标图像。
109.获取新增的第一打标图像作为第四打标图像。新增的第一打标图像是由人工生成，且不同于s201步骤中的第一打标图像的打标图像。
110.s206：通过第一打标图像及其特征向量和/或第二打标图像及其特征向量，对预置的离线系统中的第一特征提取模型中进行优化训练，得到优化后的第一特征提取模型；其中，第一特征提取模型用于对离线系统中的原始图像进行特征提取得到特征向量。
111.本步骤中，第一打标图像的特征向量和/或第二打标图像的特征向量有的是由第一特征提取模型生成的，而有的是由标准标签分类模型中的第二特征提取模型生成的，因此，通过基于以第一打标图像及其特征向量和/或第二打标图像及其特征向量对第一特征提取模型中进行优化训练，确保优化后的第一特征提取模型能够输出更加准确的特征向量。
112.进一步地，将具有图像标签的第一打标图像和第二打标图像用于对第一特征提取模型进行优化训练，以确保第一特征提取模型能够关注第一打标图像和第二打标图像中的目标对象，使其生成的特征向量中，能够在与目标对象对应的特征值赋以更高的数值。
113.s207：通过第一打标图像及其特征向量和/或第二打标图像及其特征向量，对标签分类模型中的第二特征提取模型中进行优化训练，得到优化后的第二特征提取模型；其中，第二特征提取模型用于对第一打标图像、第二打标图像、第三打标图像、第四打标图像进行特征提取得到特征向量。
114.本步骤中，第一打标图像的特征向量和/或第二打标图像的特征向量有的是由第二特征提取模型生成的，而有的是由标准标签分类模型中的第二特征提取模型生成的，因此，通过基于以第一打标图像及其特征向量和/或第二打标图像及其特征向量对第二特征提取模型中进行优化训练，确保优化后的第二特征提取模型能够输出更加准确的特征向量。
115.进一步地，将具有图像标签的第一打标图像和第二打标图像用于对第二特征提取模型进行优化训练，以确保第二特征提取模型能够关注第一打标图像和第二打标图像中的目标对象，使其生成的特征向量中，能够在与目标对象对应的特征值赋以更高的数值。
116.实施例3：
117.请参阅图4，本技术提供一种图像标签标注装置1，包括：
118.输入模块11，用于接收具有图像标签的第一打标图像，其中，图像标签表征第一打标图像中的目标对象；
119.训练模块12，用于根据第一打标图像训练预置的标签分类模型，其中，第一打标图像中的图像标签包括：基于训练前的标签分类模型中的分类标签新增的图像标签，和/或基于训练前的标签分类模型的分类标签变更的图像标签；分类标签是标签分类模型用于识别原始图像中的目标对象的图像标签；
120.打标模块14，用于调用训练后的标签分类模型在预置的图像集中筛选出具有目标对象的原始图像，及根据目标对象对筛选出的原始图像进行打标处理，得到具有图像标签的第二打标图像；其中，图像集中保存有至少一个具有目标对象的原始图像，和/或至少一个不具有目标对象的原始图像。
121.优选的，图像标签标注装置1，还包括：
122.第一优化模块13，用于若确定标签分类模型的训练结果未达到分类阈值，则接收具有图像标签的第三打标图像，及根据第三打标图像训练标签分类模型，其中，训练结果反映了标签分类模型打标的准确程度，第三打标图像包括对图像标签进行修正后的第二打标图像，和/或新增的具有图像标签的第一打标图像。
123.第二优化模块15，用于若标签分类模型的筛选准确度未达到预置的筛选阈值，则接收具有图像标签的第四打标图像，及根据第四打标图像训练标签分类模型；其中，筛选准确度反映了标签分类模型对图像集中具有目标对象的原始图像进行筛选，及得到具有图像标签的第二打标图像的准确程度；第四打标图像包括对图像标签进行修正后的第二打标图像，和/或新增的具有图像标签的第一打标图像。
124.第一特征优化模块16，用于通过第一打标图像及其特征向量和/或第二打标图像及其特征向量，对预置的离线系统中的第一特征提取模型中进行优化训练，得到优化后的第一特征提取模型；其中，第一特征提取模型用于对离线系统中的原始图像进行特征提取得到特征向量。
125.第二特征优化模块17，用于通过第一打标图像及其特征向量和/或第二打标图像及其特征向量，对标签分类模型中的第二特征提取模型中进行优化训练，得到优化后的第二特征提取模型；其中，第二特征提取模型用于对第一打标图像、第二打标图像、第三打标图像、第四打标图像进行特征提取得到特征向量。
126.实施例4：
127.为实现上述目的，本技术还提供一种计算机设备4，包括：处理器42以及与处理器42通信连接的存储器41；存储器存储计算机执行指令；
128.处理器执行存储器41存储的计算机执行指令，以实现上述的图像标签标注方法，其中，图像标签标注装置的组成部分可分散于不同的计算机设备中，计算机设备4可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个应用服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器41、处理器42，如图5所示。需要指出的是，图5仅示出了具有组件-的计算机设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。本实施例中，存储器41(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器41可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器41也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，存储器41还可以既包括计算机设备的内部存储单元也包括其
外部存储设备。本实施例中，存储器41通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例三的图像标签标注装置的程序代码等。此外，存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。处理器42在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制计算机设备的总体操作。本实施例中，处理器42用于运行存储器41中存储的程序代码或者处理数据，例如运行图像标签标注装置，以实现上述实施例的图像标签标注方法。
129.上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本技术各个实施例方法的部分步骤。应理解，上述处理器可以是中央处理单元(central processing unit，简称cpu)，还可以是其它通用处理器、数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
130.为实现上述目的，本技术还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等等，其上存储有计算机执行指令，程序被处理器42执行时实现相应功能。本实施例的计算机可读存储介质用于存储实现图像标签标注方法的计算机执行指令，被处理器42执行时实现上述实施例的图像标签标注方法。
131.上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
132.一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(application specific integrated circuits，简称asic)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
133.本技术提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述的图像标签标注方法。
134.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
135.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求书指出。
136.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。

技术特征：
1.一种图像标签标注方法，其特征在于，包括：接收具有图像标签的第一打标图像，其中，所述图像标签表征所述第一打标图像中的目标对象；根据所述第一打标图像训练预置的标签分类模型，其中，所述第一打标图像中的图像标签包括：基于训练前的标签分类模型中的分类标签新增的图像标签，和/或基于训练前的标签分类模型的分类标签变更的图像标签；所述分类标签是所述标签分类模型用于识别原始图像中的目标对象的图像标签；调用训练后的标签分类模型在预置的图像集中筛选出具有所述目标对象的原始图像，及根据所述目标对象对筛选出的原始图像进行打标处理，得到具有所述图像标签的第二打标图像；其中，所述图像集中保存有至少一个具有所述目标对象的原始图像，和/或至少一个不具有所述目标对象的原始图像。2.根据权利要求1所述的图像标签标注方法，其特征在于，所述根据所述第一打标图像训练预置的标签分类模型之后，所述方法还包括：若确定所述标签分类模型的训练结果未达到所述分类阈值，则接收具有图像标签的第三打标图像，及根据所述第三打标图像训练所述标签分类模型，其中，所述训练结果反映了所述标签分类模型打标的准确程度，所述第三打标图像包括对图像标签进行修正后的第二打标图像，和/或新增的具有图像标签的第一打标图像。3.根据权利要求1所述的图像标签标注方法，其特征在于，所述根据所述第一打标图像训练预置的标签分类模型，包括：对所述第一打标图像进行特征提取得到特征向量，或从预置的离线系统中获取与所述第一打标图像对应的原始图像的特征向量，其中，所述特征向量通过至少一个特征值描述了所述第一打标图像的至少一个属性特征；根据所述特征向量和所述第一打标图像的图像标签训练所述标签分类模型。4.根据权利要求3所述的图像标签标注方法，其特征在于，所述根据所述特征向量和所述第一打标图像的图像标签训练所述标签分类模型，包括：将所述特征向量输入所述标签分类模型，以所述图像标签为训练目标，调用所述标签分类模型运算所述特征向量得到至少一个训练图像标签；根据所述图像标签和所述训练图像标签的一致程度，得到所述标签分类模型的训练结果。5.根据权利要求1所述的图像标签标注方法，其特征在于，所述调用训练后的标签分类模型在预置的图像集中筛选出具有所述目标对象的原始图像，包括：从预置的离线系统的图像集中提取原始图像；从所述离线系统中获取与提取到的原始图像对应的特征向量，或对提取到的原始图像进行特征提取得到特征向量；调用所述标签分类模型运算所述特征向量得到图像标签，将与所述图像标签对应的原始图像设为具有所述目标对象的原始图像。6.根据权利要求1-5中任一所述的图像标签标注方法，其特征在于，所述根据所述目标对象对筛选出的原始图像进行打标处理，得到具有所述图像标签的第二打标图像之后，所述方法还包括：
若所述标签分类模型的筛选准确度未达到预置的筛选阈值，则接收具有图像标签的第四打标图像，及根据所述第四打标图像训练所述标签分类模型；其中，所述筛选准确度反映了所述标签分类模型对图像集中具有所述目标对象的原始图像进行筛选，及得到具有所述图像标签的第二打标图像的准确程度；所述第四打标图像包括对图像标签进行修正后的第二打标图像，和/或新增的具有图像标签的第一打标图像。7.根据权利要求1-5中任一所述的图像标签标注方法，其特征在于，所述根据所述目标对象对筛选出的原始图像进行打标处理，得到具有所述图像标签的第二打标图像之后，所述方法还包括：通过所述第一打标图像及其特征向量和/或所述第二打标图像及其特征向量，对预置的离线系统中的第一特征提取模型中进行优化训练，得到优化后的第一特征提取模型；其中，所述第一特征提取模型用于对所述离线系统中的原始图像进行特征提取得到特征向量；和/或通过所述第一打标图像及其特征向量和/或所述第二打标图像及其特征向量，对所述标签分类模型中的第二特征提取模型中进行优化训练，得到优化后的第二特征提取模型；其中，所述第二特征提取模型用于对第一打标图像、第二打标图像、第三打标图像、第四打标图像进行特征提取得到特征向量。8.一种图像标签标注装置，其特征在于，包括：输入模块，用于接收具有图像标签的第一打标图像，其中，所述图像标签表征所述第一打标图像中的目标对象；训练模块，用于根据所述第一打标图像训练预置的标签分类模型，其中，所述第一打标图像中的图像标签包括：基于训练前的标签分类模型中的分类标签新增的图像标签，和/或基于训练前的标签分类模型的分类标签变更的图像标签；所述分类标签是所述标签分类模型用于识别原始图像中的目标对象的图像标签；打标模块，用于调用训练后的标签分类模型在预置的图像集中筛选出具有所述目标对象的原始图像，及根据所述目标对象对筛选出的原始图像进行打标处理，得到具有所述图像标签的第二打标图像；其中，所述图像集中保存有至少一个具有所述目标对象的原始图像，和/或至少一个不具有所述目标对象的原始图像。9.一种计算机设备，其特征在于，包括：处理器以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7任一项所述的图像标签标注方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的图像标签标注方法。

技术总结
本申请提供一种图像标签标注方法、装置、计算机设备及可读存储介质，包括：接收具有图像标签的第一打标图像；根据第一打标图像训练预置的标签分类模型，其中，第一打标图像中的图像标签包括：基于训练前的标签分类模型中的分类标签新增的图像标签，和/或基于训练前的标签分类模型的分类标签变更的图像标签；调用训练后的标签分类模型在图像集中筛选出具有目标对象的原始图像，及根据目标对象对筛选出的原始图像进行打标处理，得到具有图像标签的第二打标图像。本申请实现了对大量图像进行自动打标，提高图像打标效率和打标准确度的技术效果，极大了降低了标注成本。极大了降低了标注成本。极大了降低了标注成本。


技术研发人员：谭永博 巩婧菲 赵铁彪
受保护的技术使用者：上海云骥跃动智能科技发展有限公司
技术研发日：2023.03.16
技术公布日：2023/7/19