一种面向2D语义分割的预标注方法、系统及介质

一种面向2d语义分割的预标注方法、系统及介质
技术领域
1.本发明涉及数据标注领域，具体是一种面向2d语义分割的预标注方法、系统及介质。


背景技术：

2.自动驾驶算法的成长，严重依赖高质量的标注数据，而数据标注十分依赖人工，标注成本较高，因此不少机构都在数据标注工具、辅助标注算法、自动标注算法方面，投入了研究工作，期望通过工具、算法提高标注效率。
3.但是，现有的标注方法无法摆脱对预人工标注的依赖，无法处理语义分割或实例分割场景，无法对模型偏差信息进行收敛，更无法避免因为预标注结果不准确导致部分场景标注效率不升反降的问题。


技术实现要素：

4.本发明的目的是提供一种面向2d语义分割的预标注方法，包括以下步骤：
5.1)获取待标注的目标图像；
6.2)利用第一机器学习模型对目标图像进行检测，识别出目标图像中的前景目标，并根据识别结果对目标图像进行分割，得到若干前景分割图像；
7.3)利用第二机器学习模型对每幅前景分割图像进行可用性评价，得到每个前景分割图像的可用性评分值；
8.4)将可用性评分值满足预设条件的前景分割图像传输至外部标注系统，以供后续图像标注。
9.进一步，所述待标注的目标图像为2d图像。
10.进一步，可用性评分值满足预设条件，是指评分值大于预设阈值。
11.进一步，所述第一机器学习模型通过第一原始图像集，以及每幅第一原始图像对应的若干已标注前景分割图像训练得到；其中，原始图像为第一机器学习模型的输入，前景分割图像为第一机器学习模型的输出。
12.进一步，所述第二机器学习模型通过已训练的第一机器学习模型、第二原始图像集，以及每幅第二原始图像对应的若干已标注前景分割图像训练得到。
13.进一步，训练第二机器学习模型的步骤包括：
14.s1)利用第一机器学习模型对第二原始图像集中的第二原始图像进行检测，识别出第二原始图像对应的前景目标，并根据识别结果对第二原始图像进行分割，得到若干待处理前景分割图像；
15.s2)将待处理前景分割图像转换为h*w的二维图像数据，其中落入前景目标识别结果的像素点置为1，其余置为0；h、w为二维图像数据的长、宽；
16.s3)将原始分割后的h*w的二维图像数据与上述图像数据进行拼接，得到第二机器学习模型的输入数据；
17.s4)对语义分割结果与实际标注的语义分割结果进行对比，计算待处理前景分割图像的可用性评分；
18.s5)针对每一个前景目标，重复步骤s2)至步骤s4)，得到若干待处理前景分割图像以及对应的可用性评分；
19.s6)以处理前景分割图像为输入，可用性评分为输出，构建第二机器学习模型的训练数据集，并对第二机器学习模型进行训练。
20.进一步，所述可用性评分值包括iou评分p1，即：
[0021][0022]
式中，obj
pred
为已标注前景分割图像；obj
gt
为待处理前景分割图像。
[0023]
进一步，所述可用性评分值包括最大连续重合边缘评分p2，即：
[0024][0025]
式中，cli为已标注前景分割图像与待处理前景分割图像连续偏差小于特定像素的每段边缘的长度；l
gt
为原人工标注目标的边缘长度。
[0026]
基于所述面向2d语义分割的预标注方法的系统，包括图像获取模块、前景目标检测模块、前景目标评价模块；
[0027]
所述图像获取模块获取待标注的目标图像，并传输至前景目标检测模块；
[0028]
所述前景目标检测模块存储有第一机器学习模型；
[0029]
所述前景目标检测模块利用第一机器学习模型对目标图像进行检测，识别出目标图像中的前景目标，并根据识别结果对目标图像进行分割，得到若干前景分割图像，并传输至前景目标评价模块；
[0030]
所述前景目标评价模块存储有第二机器学习模型；
[0031]
所述前景目标评价模块利用第二机器学习模型对每幅前景分割图像进行可用性评价，得到每个前景分割图像的可用性评分值；
[0032]
所述前景目标评价模块将可用性评分值满足预设条件的前景分割图像传输至外部标注系统，以供后续图像标注。
[0033]
一种计算机可读存储介质，其上存储有计算机程序；
[0034]
所述计算机程序被调用时，执行上述方法的步骤。
[0035]
本发明的技术效果是毋庸置疑的，本发明提出一种基于两阶段模型的2d语义分割预标注方法。通过两阶段的模型不仅仅可以在人工标注前预先前景目标进行分割标注，还可以对每个前景目标的分割结果进行排序，从而可以让标注员有优先级的选择预标注结果，有助于提升标注效率。
附图说明
[0036]
图1为面向2d语义分割的预标注方法整体逻辑示意图
[0037]
图2为面相2d语义分割的预标注方法实施流程图
[0038]
图3为第二模型训练集构建流程图
[0039]
图4为每个前景目标数据构建示意图
[0040]
图5为第二模型数据集构建示意图
具体实施方式
[0041]
下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。
[0042]
实施例1：
[0043]
参见图1至图5，一种面向2d语义分割的预标注方法，包括以下步骤：
[0044]
1)获取待标注的目标图像；
[0045]
2)利用第一机器学习模型对目标图像进行检测，识别出目标图像中的前景目标，并根据识别结果对目标图像进行分割，得到若干前景分割图像；
[0046]
3)利用第二机器学习模型对每幅前景分割图像进行可用性评价，得到每个前景分割图像的可用性评分值；
[0047]
4)将可用性评分值满足预设条件的前景分割图像传输至外部标注系统，以供后续图像标注。
[0048]
实施例2：
[0049]
一种面向2d语义分割的预标注方法，技术内容同实施例1，进一步的，所述待标注的目标图像为2d图像。
[0050]
实施例3：
[0051]
一种面向2d语义分割的预标注方法，技术内容同实施例1-2任一项，进一步的，可用性评分值满足预设条件，是指评分值大于预设阈值。预设阈值具体以实测可提效的规则为准。
[0052]
实施例4：
[0053]
一种面向2d语义分割的预标注方法，技术内容同实施例1-3任一项，进一步的，所述可用性评分值包括iou评分p1和/或最大连续重合边缘评分p2。
[0054]
实施例5：
[0055]
一种面向2d语义分割的预标注方法，技术内容同实施例1-4任一项，进一步的，当可用性评分值为iou评分p1时，可用性评分值满足预设条件，是指iou评分p1＞0.95，具体以实测可提效的规则为准。
[0056]
实施例6：
[0057]
一种面向2d语义分割的预标注方法，技术内容同实施例1-5任一项，进一步的，当可用性评分值为最大连续重合边缘评分p2时，可用性评分值满足预设条件，是指可用性评分值为最大连续重合边缘评分p2＞30％。
[0058]
实施例7：
[0059]
一种面向2d语义分割的预标注方法，技术内容同实施例1-6任一项，进一步的，当可用性评分值包括iou评分p1和最大连续重合边缘评分p2时，可用性评分值满足预设条件，是指iou评分p1＞0.95且可用性评分值为最大连续重合边缘评分p2＞30％。
[0060]
实施例8：
[0061]
一种面向2d语义分割的预标注方法，技术内容同实施例1-7任一项，进一步的，所
述第一机器学习模型通过第一原始图像集，以及每幅第一原始图像对应的若干已标注前景分割图像训练得到；其中，原始图像为第一机器学习模型的输入，前景分割图像为第一机器学习模型的输出。
[0062]
实施例9：
[0063]
一种面向2d语义分割的预标注方法，技术内容同实施例1-8任一项，进一步的，所述第二机器学习模型通过已训练的第一机器学习模型、第二原始图像集，以及每幅第二原始图像对应的若干已标注前景分割图像训练得到。
[0064]
实施例10：
[0065]
一种面向2d语义分割的预标注方法，技术内容同实施例1-9任一项，进一步的，训练第二机器学习模型的步骤包括：
[0066]
s1)利用第一机器学习模型对第二原始图像集中的第二原始图像进行检测，识别出第二原始图像对应的前景目标，并根据识别结果对第二原始图像进行分割，得到若干待处理前景分割图像；
[0067]
s2)将待处理前景分割图像转换为h*w的二维图像数据，其中落入前景目标识别结果的像素点置为1，其余置为0；h、w为二维图像数据的长、宽；
[0068]
s3)将原始分割后的h*w的二维图像数据与上述图像数据进行拼接，得到第二机器学习模型的输入数据；
[0069]
s4)对语义分割结果与实际标注的语义分割结果进行对比，计算待处理前景分割图像的可用性评分；
[0070]
s5)针对每一个前景目标，重复步骤s2)至步骤s4)，得到若干待处理前景分割图像以及对应的可用性评分；
[0071]
s6)以处理前景分割图像为输入，可用性评分为输出，构建第二机器学习模型的训练数据集，并对第二机器学习模型进行训练。
[0072]
实施例11：
[0073]
一种面向2d语义分割的预标注方法，技术内容同实施例1-10任一项，进一步的，所述可用性评分值包括iou评分p1，即：
[0074][0075]
式中，obj
pred
为已标注前景分割图像；obj
gt
为待处理前景分割图像。
[0076]
实施例12：
[0077]
一种面向2d语义分割的预标注方法，技术内容同实施例1-11任一项，进一步的，所述可用性评分值包括最大连续重合边缘评分p2，即：
[0078][0079]
式中，cli为已标注前景分割图像与待处理前景分割图像连续偏差小于特定像素的每段边缘的长度；l
gt
为原人工标注目标的边缘长度。
[0080]
实施例13：
[0081]
一种面向2d语义分割的预标注方法，技术内容同实施例1-12任一项，进一步的，第二原始图像集可以与第一原始图像集是同样的数据集，也可以是不同的数据集，还可以对
同一个数据集进行随机抽样，分别用于第一模型、第二模型的训练。
[0082]
实施例14：
[0083]
一种面向2d语义分割的预标注方法，技术内容同实施例1-13任一项，进一步的，所述已标注前景分割图像通过人工标注方式获得。
[0084]
实施例15：
[0085]
一种面向2d语义分割的预标注方法，技术内容同实施例1-14任一项，进一步的，所述已标注前景分割图像通过人工标注与预标注相结合的方式获得。
[0086]
实施例16：
[0087]
基于实施例1-15任一项所述面向2d语义分割的预标注方法的系统，包括图像获取模块、前景目标检测模块、前景目标评价模块；
[0088]
所述图像获取模块获取待标注的目标图像，并传输至前景目标检测模块；
[0089]
所述前景目标检测模块存储有第一机器学习模型；
[0090]
所述前景目标检测模块利用第一机器学习模型对目标图像进行检测，识别出目标图像中的前景目标，并根据识别结果对目标图像进行分割，得到若干前景分割图像，并传输至前景目标评价模块；
[0091]
所述前景目标评价模块存储有第二机器学习模型；
[0092]
所述前景目标评价模块利用第二机器学习模型对每幅前景分割图像进行可用性评价，得到每个前景分割图像的可用性评分值；
[0093]
所述前景目标评价模块将可用性评分值满足预设条件的前景分割图像传输至外部标注系统，以供后续图像标注。
[0094]
实施例17：
[0095]
一种计算机可读存储介质，其上存储有计算机程序；
[0096]
所述计算机程序被调用时，执行实施例1-15任一项所述方法的步骤。
[0097]
实施例18：
[0098]
一种面向2d语义分割的预标注方法，步骤包括：
[0099]
首先通过第一模型对原始图片进行预测，识别出各前景目标，进行目标的分割，形成各前景目标的分割结果；
[0100]
然后通过第二模型，结合原始图像数据，依次对各个目标的分割结果进行评价，输出各目标分割结果的评分值；
[0101]
对各目标分割结果根据第二模型打分结果进行排序，按需去除分值低于一定程度的标注结果，送标注系统，用于自动标注。
[0102]
实施例19：
[0103]
一种面向2d语义分割的预标注方法，步骤包括：
[0104]
一、对2d图像数据进行分割标注，构建第一模型训练集。
[0105]
需要说明的是这里的标注方式可以是通过单纯人工标注，也可以是通过预标注+人工标注的模式进行标注。
[0106]
二、基于标注数据训练语义分割第一模型。
[0107]
第一模型即为普通的语义分割或实例分割模型，可以通过第一模型训练集进行训练，即可得到第一模型。
[0108]
三、使用第一模型和已标注的数据，构建第二模型的训练集
[0109]
第二模型训练集的构建流程如图3所示：
[0110]
3.1使用第一模型对已标注数据进行预测，形成第一模型语义分割预测结果。需要说明的是，这里的已标注数据可以与步骤二所述的是同样的数据集，也可以是不同的数据集，还可以对同一个数据集进行随机抽样，分别用于第一模型、第二模型的训练。
[0111]
3.2对步骤3.1获取的语义分割结果进行处理，找到预测结果中的各个前景目标，按照每个前景目标分别形成h*w的二维数组，其中落入该分割结果内的像素点置为1，其余置为0。
[0112][0113]
具体示例如图4所示。
[0114]
将原始h*w的图像数据与上述数据进行拼接，即可得到第二模型的输入数据。
[0115]
3.3对该语义分割结果与实际标注的语义分割结果进行对比，判断该语义分割结果的可用性，具体的可用性计算方式可以有两种：
[0116]
方式1)通过本次预测的分割结果obj
pred
与人工标注的分割结果obj
gt
进行对比，计算相应的iou作为目标结果：
[0117][0118]
方式2)通过预测的分割结果与人工标注的分割结果的边缘进行对比，以人工分割结果边缘长度文分母，以两者偏差小于特性像素的最大连续边缘长度为分子，计算最大重复率。
[0119][0120]
其中：
[0121]
cli：指人工标注结果与预测结果连续偏差小于特定像素的每段边缘的长度。
[0122]
l
gt
：原人工标注目标的边缘长度。
[0123]
一般以最长边缘重复率p
colline
作为第二模型的目标变量。
[0124]
3.4构建最终数据集。针对每一个预测出来的前景目标，依次重复3.2、3.3，并复制原始图像，按需进行裁剪，即可形成最终的数据集，具体如图5所示。
[0125]
四、使用第二模型数据集训练第二模型
[0126]
构建深度学习模型网络，训练第二模型。模型输入为具体原始的图片和该图片上一个具体前景目标的分割结果，输出内容该分割结果的可用性。
[0127]
五、使用第一模型预测2d图像前景目标分割结果
[0128]
在预标注过程中，首先使用第一模型对待标注图片进行预测，识别出各个前景目标的分割结果。
[0129]
六、使用第二模型依次对预分结果进行评价。
[0130]
根据步骤五输出的各个前景目标，采用步骤三所述方式依次构建第二模型的输入，并按需进行切分，通过第二模型预测每一个预分割模型的可用性。
[0131]
七、标注过程中的应用。
[0132]
根据评价第二模型预测结果对第一模型预测出的前景分割目标进行排序，设置一定的阈值，将低于该阈值的前景目标丢弃，仅保留超过阈值的预测结果用于预标注。

技术特征：
1.一种面向2d语义分割的预标注方法，其特征在于，包括以下步骤：1)获取所述待标注的目标图像。2)利用第一机器学习模型对目标图像进行检测，识别出目标图像中的前景目标，并根据识别结果对目标图像进行分割，得到若干前景分割图像；3)利用第二机器学习模型对每幅前景分割图像进行可用性评价，得到每个前景分割图像的可用性评分值；4)将可用性评分值满足预设条件的前景分割图像传输至外部标注系统，以供后续图像标注。2.根据权利要求1所述的一种面向2d语义分割的预标注方法，其特征在于，所述待标注的目标图像为2d图像。3.根据权利要求1所述的一种面向2d语义分割的预标注方法，其特征在于，可用性评分值满足预设条件，是指评分值大于预设阈值。4.根据权利要求1所述的一种面向2d语义分割的预标注方法，其特征在于，所述第一机器学习模型通过第一原始图像集，以及每幅第一原始图像对应的若干已标注前景分割图像训练得到；其中，原始图像为第一机器学习模型的输入，前景分割图像为第一机器学习模型的输出。5.根据权利要求1所述的一种面向2d语义分割的预标注方法，其特征在于，所述第二机器学习模型通过已训练的第一机器学习模型、第二原始图像集，以及每幅第二原始图像对应的若干已标注前景分割图像训练得到。6.根据权利要求1所述的一种面向2d语义分割的预标注方法，其特征在于，训练第二机器学习模型的步骤包括：s1)利用第一机器学习模型对第二原始图像集中的第二原始图像进行检测，识别出第二原始图像对应的前景目标，并根据识别结果对第二原始图像进行分割，得到若干待处理前景分割图像；s2)将待处理前景分割图像转换为h*w的二维图像数据，其中落入前景目标识别结果的像素点置为1，其余置为0；h、w为二维图像数据的长、宽；s3)将原始分割后的h*w的二维图像数据与上述图像数据进行拼接，得到第二机器学习模型的输入数据；s4)对语义分割结果与实际标注的语义分割结果进行对比，计算待处理前景分割图像的可用性评分；s5)针对每一个前景目标，重复步骤s2)至步骤s4)，得到若干待处理前景分割图像以及对应的可用性评分；s6)以处理前景分割图像为输入，可用性评分为输出，构建第二机器学习模型的训练数据集，并对第二机器学习模型进行训练。7.根据权利要求6所述的一种面向2d语义分割的预标注方法，其特征在于，所述可用性评分值包括iou评分p1，即：式中，obj
pred
为已标注前景分割图像；obj
gt
为待处理前景分割图像。
8.根据权利要求6所述的一种面向2d语义分割的预标注方法，其特征在于，所述可用性评分值包括最大连续重合边缘评分p2，即：式中，cl
i
为已标注前景分割图像与待处理前景分割图像连续偏差小于特定像素的每段边缘的长度；l
gt
为原人工标注目标的边缘长度。9.基于权利要求1-8任一项所述面向2d语义分割的预标注方法的系统，其特征在于，包括图像获取模块、前景目标检测模块、前景目标评价模块；所述图像获取模块获取待标注的目标图像，并传输至前景目标检测模块；所述前景目标检测模块存储有第一机器学习模型；所述前景目标检测模块利用第一机器学习模型对目标图像进行检测，识别出目标图像中的前景目标，并根据识别结果对目标图像进行分割，得到若干前景分割图像，并传输至前景目标评价模块；所述前景目标评价模块存储有第二机器学习模型；所述前景目标评价模块利用第二机器学习模型对每幅前景分割图像进行可用性评价，得到每个前景分割图像的可用性评分值；所述前景目标评价模块将可用性评分值满足预设条件的前景分割图像传输至外部标注系统，以供后续图像标注。10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；所述计算机程序被调用时，执行权利要求1-8任一项所述方法的步骤。

技术总结
本发明公开一种面向2D语义分割的预标注方法、系统及介质；方法步骤为：利用第一机器学习模型对目标图像进行检测，识别出目标图像中的前景目标，并对目标图像进行分割，得到若干前景分割图像；利用第二机器学习模型对每幅前景分割图像进行可用性评价，得到每个前景分割图像的可用性评分值；将可用性评分值满足预设条件的前景分割图像传输至外部标注系统，以供后续图像标注。系统包括图像获取模块、前景目标检测模块、前景目标评价模块；介质存储有计算机程序。本发明通过两阶段的模型不仅仅可以在人工标注前预先前景目标进行分割标注，还可以对每个前景目标的分割结果进行排序，从而可以让标注员有优先级的选择预标注结果，有助于提升标注效率。提升标注效率。提升标注效率。


技术研发人员：郝金隆 李秀华 蔡春茂 范琪琳 杨正益 刘礼 文俊浩
受保护的技术使用者：重庆大学
技术研发日：2023.05.22
技术公布日：2023/10/6