基于主动标注的半自动图像标注方法及标注装置与流程
未命名
07-13
阅读:74
评论:0

1.本发明涉及图像标注技术领域,具体地涉及一种基于主动标注的半自动图像标注方法及一种基于主动标注的半自动图像标注装置。
背景技术:
2.在当前的生活和工作环境中,图像设备被大量应用,而基于提升工作效率、减少人为误差的需求催生了大量的图像识别需求,随着深度学习技术的不断发展,现有的图像识别方法大量使用基于深度学习的识别方法,主要包括有监督学习方法、无监督学习方法和半监督学习方法。
3.无监督学习方法因其没有有效的标注而存在识别结果偏差较大、无法满足实际需求的情况;有监督学习方法需要进行大量的标注,因此工作量较大,为技术人员造成了极大的困扰;而半监督学习方法兼顾了上述两者优点,仅进行部分标注通过自学习就实现对所有图像的识别。
4.因此可以看到,在现有的基于深度学习的图像识别方法中,图像标注的精确性对最终的图像识别结果具有较大影响。在现有的图像标注领域,为了保证足够的图像识别效果,往往需要耗费大量的人力资源和成本对数据集进行标注,同时,高质量标注的标注人员相对稀缺,因此为企业造成了极大的困扰,降低了企业的经营效益。
技术实现要素:
5.为了克服现有技术中存在的上述技术问题,本发明实施例提供一种基于主动标注的半自动图像标注方法及标注装置,通过对未标记数据进行基于信息量和分布平衡性的筛选,从而选取具有代表性的难例数据集并进行手动标注,从而有效提高半自动标注的标注效率和标注精确性。
6.为了实现上述目的,本发明实施例提供一种基于主动标注的半自动图像标注方法,所述方法包括:对未标记数据进行预处理,生成预处理后数据;基于预设图像识别模型对所述预处理后数据进行目标预测,计算所述目标预测的一致性,生成对应的预测一致性信息;基于所述预测一致性信息生成初始数据池;基于类分布对所述初始数据池进行筛选,获得难例图像集;基于主动标记操作对所述难例图像集进行标注,生成标注图像集。
7.优选地,所述预处理后数据包括原始图像和增强图像,所述基于预设图像识别模型对所述预处理后数据进行目标预测,计算所述目标预测的一致性,生成对应的预测一致性信息,包括:基于所述预设图像识别模型对所述原始图像和所述增强图像进行目标分析,获得对应的第一分析框和第二分析框;确定所述第一分析框和所述第二分析框的匹配程度;基于预设散度计算规则计算所述第一分析框和所述第二分析框的概率分别差异信息;确定所述第一分析框和所述第二分析框的最大置信度,基于所述最大置信度生成对应的权重信息;基于所述匹配程度、所述类概率距离信息和所述权重信息对所述原始图像和所述增强图像进行一致性分析,生成预测一致性信息。
8.优选地,所述预设散度计算规则为js散度,所述基于所述匹配程度、所述类概率距离信息和所述权重信息对所述原始图像和所述增强图像进行一致性分析,生成预测一致性信息,包括:基于所述匹配程度确定与所述第一分析框具有最大交并比的最匹配第二分析框;基于所述第一分析框和所述最匹配第二分析框生成第一分析信息,所述第一分析信息表征为:基于所述类概率距离信息和所述权重信息生成第二分析信息,所述第二分析信息表征为:息,所述第二分析信息表征为:基于所述第一分析信息和所述第二分析信息生成对应的预测一致性信息,所述预测一致性信息表征为:其中,mk表征为图像第k个预测的预测一致性结果,bk表征为所述第一分析框,b
′k表征为所述最匹配第二分析框,sk表征为bk的参考分数,s
′k表征为b
′k的参考分数,和分别表征为所述第一分析框和所述最匹配第二分析框的权重信息。
9.优选地,所述基于所述一致性预测信息生成初始数据池,包括:获取预设熵计算规则;基于所述预测一致性信息确定所述未标记数据的图像信息;基于所述预设熵计算规则对所述图像信息进行熵计算,获得熵计算结果;从所述未标记数据中提取所述熵计算结果大于预设值的大信息量图像;基于所述大信息量图像生成初始数据池。
10.优选地,所述基于类分布对所述初始数据池进行筛选,获得难例图像集,包括:获取完整数据池,所述完整数据池包括标记数据和所述未标记数据;计算所述标记数据的第一类别分布,以及计算所述初始数据池的第二类别分类;基于所述预设散度计算规则对所述第一类别分类和所述第二类别分类进行分析,生成对应的分类距离信息;基于所述分类距离信息从所述第二类别分类中确定距离大于预设距离阈值的较远分类;基于所述较远分类对所述初始数据池进行筛选,获得难例图像集。
11.相应的,本发明还提供一种基于主动标注的半自动图像标注装置,所述装置包括:预处理单元,用于对未标记数据进行预处理,生成预处理后数据;一致性计算单元,用于基于预设图像识别模型对所述预处理后数据进行目标预测,计算所述目标预测的一致性,生成对应的预测一致性信息;初步筛选单元,用于基于所述预测一致性信息生成初始数据池;难例集确定单元,用于基于类分布对所述初始数据池进行筛选,获得难例图像集;标注单元,用于基于主动标记操作对所述难例图像集进行标注,生成标注图像集。
12.优选地,所述预处理后数据包括原始图像和增强图像,所述一致性计算单元包括:分析模块,用于基于所述预设图像识别模型对所述原始图像和所述增强图像进行目标分析,获得对应的第一分析框和第二分析框;匹配模块,用于确定所述第一分析框和所述第二分析框的匹配程度;差异计算模块,用于基于预设散度计算规则计算所述第一分析框和所述第二分析框的概率分别差异信息;权重确定模块,用于确定所述第一分析框和所述第二分析框的最大置信度,基于所述最大置信度生成对应的权重信息;一致性计算模块,用于基于所述匹配程度、所述类概率距离信息和所述权重信息对所述原始图像和所述增强图像进行一致性分析,生成预测一致性信息。
13.优选地,所述预设散度计算规则为js散度,所述一致性计算模块具体用于:基于所述匹配程度确定与所述第一分析框具有最大交并比的最匹配第二分析框;基于所述第一分析框和所述最匹配第二分析框生成第一分析信息,所述第一分析信息表征为:
基于所述类概率距离信息和所述权重信息生成第二分析信息,所述第二分析信息表征为:二分析信息表征为:基于所述第一分析信息和所述第二分析信息生成对应的预测一致性信息,所述预测一致性信息表征为:其中,mk表征为图像第k个预测的预测一致性结果,bk表征为所述第一分析框,b
′k表征为所述最匹配第二分析框,sk表征为bk的参考分数,s
′k表征为b
′k的参考分数,和分别表征为所述第一分析框和所述最匹配第二分析框的权重信息。
14.优选地,所述初步筛选单元包括:规则获取模块,用于获取预设熵计算规则;信息计算模块,用于基于所述预测一致性信息确定所述未标记数据的图像信息;熵计算模块,用于基于所述预设熵计算规则对所述图像信息进行熵计算,获得熵计算结果;图像提取模块,用于从所述未标记数据中提取所述熵计算结果大于预设值的大信息量图像;初始数据确定模块,用于基于所述大信息量图像生成初始数据池。
15.优选地,所述难例集确定单元包括:数据获取模块,用于获取完整数据池,所述完整数据池包括标记数据和所述未标记数据;分类计算模块,用于计算所述标记数据的第一类别分布,以及计算所述初始数据池的第二类别分类;距离分析模块,用于基于所述预设散度计算规则对所述第一类别分类和所述第二类别分类进行分析,生成对应的分类距离信息;分类筛选模块,用于基于所述分类距离信息从所述第二类别分类中确定距离大于预设距离阈值的较远分类;难例集确定模块,用于基于所述较远分类对所述初始数据池进行筛选,获得难例图像集。
16.通过本发明提供的技术方案,本发明至少具有如下技术效果:
17.通过对现有的图像识别模型的训练过程进行优化,将现有的全自动标签标注或全手动标签标注改进为基于手动标注的半自动标注,通过对需要标注的数据进行筛选和精简,从而大大减少手动标注的工作量,大大提高了标签标注效率,提高了模型训练效率。
18.进一步,通过对需要进行手动标注的数据进行筛选,基于其所关注的局部区域中信息量的大小以及其分类的平衡性对未标记数据进行筛选,从而筛选出少量具有代表性、数据量较为充分的数据进行手动标注,从而实现在大大减少标注工作量的基础上,保证了足够的标注精确性和标注可靠性,提高了后续模型训练效率和训练精确性。
19.本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
20.附图是用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明实施例,但并不构成对本发明实施例的限制。在附图中:
21.图1是本发明实施例提供的基于主动标注的半自动图像标注方法的具体实现流程图;
22.图2是本发明实施例提供的计算目标预测的一致性的具体实现流程图;
23.图3是本发明实施例提供的生成初始数据池的具体实现流程图;
24.图4是本发明实施例提供的获得难例图像集的具体实现流程图;
25.图5是本发明实施例提供的基于主动标注的半自动图像标注的结构示意图。
具体实施方式
26.以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明实施例,并不用于限制本发明实施例。
27.本发明实施例中的术语“系统”和“网络”可被互换使用。“多个”是指两个或两个以上,鉴于此,本发明实施例中也可以将“多个”理解为“至少两个”。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。另外,需要理解的是,在本发明实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
28.请参见图1,本发明实施例提供一种基于主动标注的半自动图像标注方法,所述方法包括:
29.s10)对未标记数据进行预处理,生成预处理后数据;
30.s20)基于预设图像识别模型对所述预处理后数据进行目标预测,计算所述目标预测的一致性,生成对应的预测一致性信息;
31.s30)基于所述预测一致性信息生成初始数据池;
32.s40)基于类分布对所述初始数据池进行筛选,获得难例图像集;
33.s50)基于主动标记操作对所述难例图像集进行标注,生成标注图像集。
34.在一种可能的实施方式中,在需要进行识别的图像中,包括少量由人工标注的已标记数据集以及大量未被标注的未标记数据集,为了提高对模型训练的效率和训练精确性,对未标记数据集进行标记,同时为了进一步降低标注成本,提高标注效率以及精确性,采用基于半自动标注的方法进行标注。
35.具体的,在标注过程中,首先对未标记数据(即未标注数据集)进行预处理,例如可以对未标记数据进行数据增强操作,具体的,可以采用针对图像增强的弱增强方法,比如对图像随机缩放、翻转、映射等方法进行弱增强处理,或采用强增强的方法进行处理,比如随机裁剪、随机遮挡等,以使得大大增加未标记数据的数据多样性,并获得对应的预处理后数据。
36.此时基于预设图像识别模型对预处理后数据进行目标预测,并对预测结果进行一致性计算,生成对应的预测一致性信息。请参见图2,在本发明实施例中,所述预处理后数据包括原始图像和增强图像,所述基于预设图像识别模型对所述预处理后数据进行目标预测,计算所述目标预测的一致性,生成对应的预测一致性信息,包括:
37.s21)基于所述预设图像识别模型对所述原始图像和所述增强图像进行目标分析,获得对应的第一分析框和第二分析框;
38.s22)确定所述第一分析框和所述第二分析框的匹配程度;
39.s23)基于预设散度计算规则计算所述第一分析框和所述第二分析框的概率分别差异信息;
40.s24)确定所述预处理后数据的最大置信度,基于所述最大置信度生成对应的权重信息;
41.s25)基于所述匹配程度、所述类概率距离信息和所述权重信息对所述原始图像和所述增强图像进行一致性分析,生成预测一致性信息。
42.例如在一种可能的实施方式中,首先基于预设图像识别模型对预处理后数据中的原始图像和增强图像进行分析,以生成针对原始图像中目标识别的第一分析框和对增强图像中目标识别的第二分析框,该预设图像识别模型为常用的图像识别模型,例如可以为yolov5、ssd或者其他的目标检测算法。然后确定上述第一分析框和第二分析框的匹配程度,具体的,可以通过计算第一分析框和第二分析框的交并比,以确定上述两个分析框的匹配程度。此时进一步计算第一分析框和第二分析框的概率分布差异信息。
43.具体的,可以采用js(jensen-shannon)散度计算第一分析框和第二分析框所对应的两个类概率之间的距离,由于js散度具有明确的上界和下界,因此可以结合iou(即交并比计算)对其进行量化,以计算出精确的结果。进一步的,为了进一步提高预测的精确性,还进一步计算每个分析框的置信度,并进一步确定每个分析框的最大置信度,然后基于该最大置信度生成对应的权重信息,以强调高置信度的预测,并进一步精确计算针对原始图像和增强图像的预测一致性。
44.在本发明实施例中,所述预设散度计算规则为js散度,所述基于所述匹配程度、所述类概率距离信息和所述权重信息对所述原始图像和所述增强图像进行一致性分析,生成预测一致性信息,包括:基于所述匹配程度确定与所述第一分析框具有最大交并比的最匹配第二分析框;基于所述第一分析框和所述最匹配第二分析框生成第一分析信息,所述第一分析信息表征为:基于所述类概率距离信息和所述权重信息生成第二分析信息,所述第二分析信息表征为:二分析信息,所述第二分析信息表征为:基于所述第一分析信息和所述第二分析信息生成对应的预测一致性信息,所述预测一致性信息表征为:其中,mk表征为图像第k个预测的预测一致性结果,bk表征为所述第一分析框,b
′k表征为所述最匹配第二分析框,sk表征为bk的参考分数,s
′k表征为b
′k的参考分数,和分别表征为所述第一分析框和所述最匹配第二分析框的权重信息。
45.在一种可能的实施方式中,首先将js散度反向到1-js,以保持与iou相同的趋势,然后根据第一分析框和至少一个第二分析框之间的交并比确定与第一分析框具有最大交并比的最匹配第二分析框,然后根据上述第一分析框和最匹配第二分析框生成对应的预测一致性信息,在本发明实施例中,该预测一致性信息可以包括回归一致性和分数一致性。具体的,该回归一致性可以表征为其中k表征为图像的第k个预测,bk表征为第一分析框,b
′k表征为最匹配第二分析框,此时进一步计算分数一致性,该分数一致性可以表征为其中sk表征为bk的参考分数,s
′k表征为b
′k的参考分数,和分别表征为第一分析框和最匹配第二分析框的权重信息。
46.最后,根据上述计算出的回归一致性和分数一致性计算出针对原始图像和增强图像的预测一致性信息,具体可以表征为其中mk表征为图像第k个预测的预测一致性结果。
47.在本发明实施例中,通过对原始图像和增强图像的预测一致性进行计算,能够对图像信息进行量化标注,便于后续根据图像信息量确定进行手动标注的样本池,从而进一步为后续的自动标注提供数据支撑。
48.请参见图3,在本发明实施例中,所述基于所述一致性预测信息生成初始数据池,包括:
49.s31)获取预设熵计算规则;
50.s32)基于所述预测一致性信息确定所述未标记数据的图像信息;
51.s33)基于所述预设熵计算规则对所述图像信息进行熵计算,获得熵计算结果;
52.s34)从所述未标记数据中提取所述熵计算结果大于预设值的大信息量图像;
53.s35)基于所述大信息量图像生成初始数据池。
54.在一种可能的实施方式中,在确定图像的预测一致性信息后,首先获取预设熵计算规则,例如该预设熵计算规则表征为:
55.由于熵可以反应信息量的大小,因此在通过预测一致性信息确定未标记数据的图像信息后,根据该预设熵计算规则对图像信息进行熵计算,以获得对应的熵计算结果,即获得了图像在被关注的局部区域的信息量,此时进一步从上述未标记数据中提取熵计算结果大于预设值的大信息量图像,并将上述大信息量作为初始数据池。
56.在本发明实施例中,通过从所有未标记数据中选取在所关注的局部区域中具有大信息量的图像进行标注,并将标注后的数据输入模型中进行训练,能够大大提高针对模型的训练效率和训练精确性,从而实现半自动数据标注的更好的标注效果。
57.然而在实际应用过程中,上述初步确定的初始数据池可能出现类分布不平衡的情况,由此将降低最终对模型的训练效果,因此为了解决该技术问题,请参见图4,在本发明实施例中,所述基于类分布对所述初始数据池进行筛选,获得难例图像集,包括:
58.s41)获取完整数据池,所述完整数据池包括标记数据和所述未标记数据;
59.s42)计算所述标记数据的第一类别分布,以及计算所述初始数据池的第二类别分类;
60.s43)基于所述预设散度计算规则对所述第一类别分类和所述第二类别分类进行分析,生成对应的分类距离信息;
61.s44)基于所述分类距离信息从所述第二类别分类中确定距离大于预设距离阈值的较远分类;
62.s45)基于所述较远分类对所述初始数据池进行筛选,获得难例图像集。
63.在一种可能的实施方式中,首先获取完整数据池,该完整数据池即包括所有标记数据和未标记数据的数据池,此时首先计算该标记数据的第一类别分类,以及计算上述初始数据池的第二类别分类,比如在本发明实施例中,可以将所有ground truth(y
l
)相加来表示其类分布,具体的,可以表征为:
64.δ
l
(y
l
)=softmax([δ1,δ2,
…
,δm,
…
]
t
),其中,m表示数据集中的第m个类别,i是指标函数。
[0065]
然后计算上述第一类别分类和第二类别分类之间的分类距离信息,在本发明实施例中,通过js散度计算上述分类距离信息,即计算出标记数据集和上述初始数据池之间的互信息。根据该互信息,从第二类别分类中确定距离大于预设距离阈值的较远分类,并将所有较远分类所对应的数据筛选为难例图像集。此时将该难例图像集输出给技术人员,技术人员手动对上述难例图像集进行手动的主动标注,并生成对应的标注图像集。
[0066]
在后续的模型训练过程中,将上述标注图像集结合已标记数据集输入图像识别模型中进行模型训练,从而能够加快模型的训练速率,提高模型的训练精确性。
[0067]
在本发明实施例中,通过对现有的图像识别模型训练过程进行优化,一方面对于未标注模型,大大提高了最终模型的识别精确性;另一方面,对于需要进行大量标签标注的模型,大大减少了标签的标注量,减少了工作量,实现了更高效率的模型训练。
[0068]
进一步的,为了最大化提高半自动标注的标注效率,实现以最小手动标注得到最大化标签标注或模型训练效果的结果,通过对图像信息进行分析,并根据所关注的局部区域中信息量较大的图像、图像分类更平衡的图像进行筛选,仅对筛选后的图像进行手动标注,从而进一步优化了图像标注的工作量,同时实现了更好的图像标注效果,提高了后续模型训练速率,满足了实际需求。
[0069]
下面结合附图对本发明实施例所提供的基于主动标注的半自动图像标注装置进行说明。
[0070]
请参见图5,基于同一发明构思,本发明实施例提供一种基于主动标注的半自动图像标注装置,所述装置包括:预处理单元,用于对未标记数据进行预处理,生成预处理后数据;一致性计算单元,用于基于预设图像识别模型对所述预处理后数据进行目标预测,计算所述目标预测的一致性,生成对应的预测一致性信息;初步筛选单元,用于基于所述预测一致性信息生成初始数据池;难例集确定单元,用于基于类分布对所述初始数据池进行筛选,获得难例图像集;标注单元,用于基于主动标记操作对所述难例图像集进行标注,生成标注图像集。
[0071]
在本发明实施例中,所述预处理后数据包括原始图像和增强图像,所述一致性计算单元包括:分析模块,用于基于所述预设图像识别模型对所述原始图像和所述增强图像进行目标分析,获得对应的第一分析框和第二分析框;匹配模块,用于确定所述第一分析框和所述第二分析框的匹配程度;差异计算模块,用于基于预设散度计算规则计算所述第一分析框和所述第二分析框的概率分别差异信息;权重确定模块,用于确定所述第一分析框和所述第二分析框的最大置信度,基于所述最大置信度生成对应的权重信息;一致性计算模块,用于基于所述匹配程度、所述类概率距离信息和所述权重信息对所述原始图像和所述增强图像进行一致性分析,生成预测一致性信息。
[0072]
在本发明实施例中,所述预设散度计算规则为js散度,所述一致性计算模块具体用于:基于所述匹配程度确定与所述第一分析框具有最大交并比的最匹配第二分析框;基于所述第一分析框和所述最匹配第二分析框生成第一分析信息,所述第一分析信息表征为:基于所述类概率距离信息和所述权重信息生成第二分析信息,所述第
二分析信息表征为:基于所述第一分析信息和所述第二分析信息生成对应的预测一致性信息,所述预测一致性信息表征为:其中,mk表征为图像第k个预测的预测一致性结果,bk表征为所述第一分析框,b
′k表征为所述最匹配第二分析框,sk表征为bk的参考分数,s
′k表征为b
′k的参考分数,和分别表征为所述第一分析框和所述最匹配第二分析框的权重信息。
[0073]
在本发明实施例中,所述初步筛选单元包括:规则获取模块,用于获取预设熵计算规则;信息计算模块,用于基于所述预测一致性信息确定所述未标记数据的图像信息;熵计算模块,用于基于所述预设熵计算规则对所述图像信息进行熵计算,获得熵计算结果;图像提取模块,用于从所述未标记数据中提取所述熵计算结果大于预设值的大信息量图像;初始数据确定模块,用于基于所述大信息量图像生成初始数据池。
[0074]
在本发明实施例中,所述难例集确定单元包括:数据获取模块,用于获取完整数据池,所述完整数据池包括标记数据和所述未标记数据;分类计算模块,用于计算所述标记数据的第一类别分布,以及计算所述初始数据池的第二类别分类;距离分析模块,用于基于所述预设散度计算规则对所述第一类别分类和所述第二类别分类进行分析,生成对应的分类距离信息;分类筛选模块,用于基于所述分类距离信息从所述第二类别分类中确定距离大于预设距离阈值的较远分类;难例集确定模块,用于基于所述较远分类对所述初始数据池进行筛选,获得难例图像集。
[0075]
以上结合附图详细描述了本发明实施例的可选实施方式,但是,本发明实施例并不限于上述实施方式中的具体细节,在本发明实施例的技术构思范围内,可以对本发明实施例的技术方案进行多种简单变型,这些简单变型均属于本发明实施例的保护范围。
[0076]
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本发明实施例对各种可能的组合方式不再另行说明。
[0077]
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得单片机、芯片或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0078]
此外,本发明实施例的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明实施例的思想,其同样应当视为本发明实施例所公开的内容。
技术特征:
1.一种基于主动标注的半自动图像标注方法,其特征在于,所述方法包括:对未标记数据进行预处理,生成预处理后数据;基于预设图像识别模型对所述预处理后数据进行目标预测,计算所述目标预测的一致性,生成对应的预测一致性信息;基于所述预测一致性信息生成初始数据池;基于类分布对所述初始数据池进行筛选,获得难例图像集;基于主动标记操作对所述难例图像集进行标注,生成标注图像集。2.根据权利要求1所述的方法,其特征在于,所述预处理后数据包括原始图像和增强图像,所述基于预设图像识别模型对所述预处理后数据进行目标预测,计算所述目标预测的一致性,生成对应的预测一致性信息,包括:基于所述预设图像识别模型对所述原始图像和所述增强图像进行目标分析,获得对应的第一分析框和第二分析框;确定所述第一分析框和所述第二分析框的匹配程度;基于预设散度计算规则计算所述第一分析框和所述第二分析框的概率分别差异信息;确定所述第一分析框和所述第二分析框的最大置信度,基于所述最大置信度生成对应的权重信息;基于所述匹配程度、所述类概率距离信息和所述权重信息对所述原始图像和所述增强图像进行一致性分析,生成预测一致性信息。3.根据权利要求2所述的方法,其特征在于,所述预设散度计算规则为js散度,所述基于所述匹配程度、所述类概率距离信息和所述权重信息对所述原始图像和所述增强图像进行一致性分析,生成预测一致性信息,包括:基于所述匹配程度确定与所述第一分析框具有最大交并比的最匹配第二分析框;基于所述第一分析框和所述最匹配第二分析框生成第一分析信息,所述第一分析信息表征为:基于所述类概率距离信息和所述权重信息生成第二分析信息,所述第二分析信息表征为:基于所述第一分析信息和所述第二分析信息生成对应的预测一致性信息,所述预测一致性信息表征为:其中,m
k
表征为图像第k个预测的预测一致性结果,b
k
表征为所述第一分析框,b
′
k
表征为所述最匹配第二分析框,s
k
表征为b
k
的参考分数,s
′
k
表征为b
′
k
的参考分数,和分别表征为所述第一分析框和所述最匹配第二分析框的权重信息。4.根据权利要求1所述的方法,其特征在于,所述基于所述一致性预测信息生成初始数据池,包括:获取预设熵计算规则;基于所述预测一致性信息确定所述未标记数据的图像信息;基于所述预设熵计算规则对所述图像信息进行熵计算,获得熵计算结果;从所述未标记数据中提取所述熵计算结果大于预设值的大信息量图像;
基于所述大信息量图像生成初始数据池。5.根据权利要求2所述的方法,其特征在于,所述基于类分布对所述初始数据池进行筛选,获得难例图像集,包括:获取完整数据池,所述完整数据池包括标记数据和所述未标记数据;计算所述标记数据的第一类别分布,以及计算所述初始数据池的第二类别分类;基于所述预设散度计算规则对所述第一类别分类和所述第二类别分类进行分析,生成对应的分类距离信息;基于所述分类距离信息从所述第二类别分类中确定距离大于预设距离阈值的较远分类;基于所述较远分类对所述初始数据池进行筛选,获得难例图像集。6.一种基于主动标注的半自动图像标注装置,其特征在于,所述装置包括:预处理单元,用于对未标记数据进行预处理,生成预处理后数据;一致性计算单元,用于基于预设图像识别模型对所述预处理后数据进行目标预测,计算所述目标预测的一致性,生成对应的预测一致性信息;初步筛选单元,用于基于所述预测一致性信息生成初始数据池;难例集确定单元,用于基于类分布对所述初始数据池进行筛选,获得难例图像集;标注单元,用于基于主动标记操作对所述难例图像集进行标注,生成标注图像集。7.根据权利要求6所述的装置,其特征在于,所述预处理后数据包括原始图像和增强图像,所述一致性计算单元包括:分析模块,用于基于所述预设图像识别模型对所述原始图像和所述增强图像进行目标分析,获得对应的第一分析框和第二分析框;匹配模块,用于确定所述第一分析框和所述第二分析框的匹配程度;差异计算模块,用于基于预设散度计算规则计算所述第一分析框和所述第二分析框的概率分别差异信息;权重确定模块,用于确定所述第一分析框和所述第二分析框的最大置信度,基于所述最大置信度生成对应的权重信息;一致性计算模块,用于基于所述匹配程度、所述类概率距离信息和所述权重信息对所述原始图像和所述增强图像进行一致性分析,生成预测一致性信息。8.根据权利要求7所述的装置,其特征在于,所述预设散度计算规则为js散度,所述一致性计算模块具体用于:基于所述匹配程度确定与所述第一分析框具有最大交并比的最匹配第二分析框;基于所述第一分析框和所述最匹配第二分析框生成第一分析信息,所述第一分析信息表征为:基于所述类概率距离信息和所述权重信息生成第二分析信息,所述第二分析信息表征为:基于所述第一分析信息和所述第二分析信息生成对应的预测一致性信息,所述预测一致性信息表征为:
其中,m
k
表征为图像第k个预测的预测一致性结果,b
k
表征为所述第一分析框,b
′
k
表征为所述最匹配第二分析框,s
k
表征为b
k
的参考分数,s
′
k
表征为b
′
k
的参考分数,和分别表征为所述第一分析框和所述最匹配第二分析框的权重信息。9.根据权利要求6所述的装置,其特征在于,所述初步筛选单元包括:规则获取模块,用于获取预设熵计算规则;信息计算模块,用于基于所述预测一致性信息确定所述未标记数据的图像信息;熵计算模块,用于基于所述预设熵计算规则对所述图像信息进行熵计算,获得熵计算结果;图像提取模块,用于从所述未标记数据中提取所述熵计算结果大于预设值的大信息量图像;初始数据确定模块,用于基于所述大信息量图像生成初始数据池。10.根据权利要求7所述的装置,其特征在于,所述难例集确定单元包括:数据获取模块,用于获取完整数据池,所述完整数据池包括标记数据和所述未标记数据;分类计算模块,用于计算所述标记数据的第一类别分布,以及计算所述初始数据池的第二类别分类;距离分析模块,用于基于所述预设散度计算规则对所述第一类别分类和所述第二类别分类进行分析,生成对应的分类距离信息;分类筛选模块,用于基于所述分类距离信息从所述第二类别分类中确定距离大于预设距离阈值的较远分类;难例集确定模块,用于基于所述较远分类对所述初始数据池进行筛选,获得难例图像集。
技术总结
本发明实施例公开了一种基于主动标注的半自动图像标注方法及标注装置,涉及图像标注技术领域,所述方法包括:对未标记数据进行预处理,生成预处理后数据;基于预设图像识别模型对所述预处理后数据进行目标预测,计算所述目标预测的一致性,生成对应的预测一致性信息;基于所述预测一致性信息生成初始数据池;基于类分布对所述初始数据池进行筛选,获得难例图像集;基于主动标记操作对所述难例图像集进行标注,生成标注图像集。通过对未标记数据进行基于信息量和分布平衡性的筛选,从而选取具有代表性的难例数据集并进行手动标注,从而有效提高半自动标注的标注效率和标注精确性。有效提高半自动标注的标注效率和标注精确性。有效提高半自动标注的标注效率和标注精确性。
技术研发人员:郑德欣 徐娟 朱剑
受保护的技术使用者:上海锡鼎智能科技有限公司
技术研发日:2023.04.03
技术公布日:2023/7/12
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
上一篇:一种气管识别导航方法和系统与流程 下一篇:一种车用遮阳棚的制作方法