一种基于特征自适应的自动数据增广方法

1.本发明涉及自动数据增广技术领域，具体涉及一种基于特征自适应的自动数据增广方法。


背景技术：

2.近年来，随着计算机硬件和卷积神经网络的发展，深度学习被广泛应用于各个领域并取得了不错的效果，包括：自动驾驶、智能机器人、视频监控等。对于基于深度学习的方法而言，数据的数量和质量是影响模型准确性的关键因素之一，但是获得大规模高质量的数据需要大量具有专业知识的人员进行手工标注，这项工作通常耗时且价格高昂。此外，在医学、金融等领域，考虑到病人和客户的隐私，通常难以收集大规模的数据。
3.自动数据增广能够自动搜索合适的增广策略并使用该策略增广原始数据集，以此快速生成大规模的增广数据，有效扩大数据集的规模。目前，已经有一些自动数据增广方法被提出用于自动搜索数据增广策略，但是这些方法并不能根据图像的特点自适应调整策略，从而导致搜索到的策略不是全局最优，使用次优的增广策略常常会导致增广后的数据偏离原始训练集的分布，影响模型的稳定性。


技术实现要素：

4.基于此，有必要针对现有的问题，提供一种能够根据图像的特点自动调整增广策略，从而使搜索到的策略是全局最优的策略的自动数据增广方法，具体为一种基于特征自适应的自动数据增广方法。
5.本发明提供了一种基于特征自适应的自动数据增广方法，该方法包括：s1：构建训练集和验证集；训练集和验证集均包括带有标注信息的图像；s2：使用增广操作构建增广策略搜索空间；增广策略搜索空间包括增广策略；s3：训练集中的每张图像均对应有一增广策略搜索空间；在训练集的各图像对应的增广策略搜索空间中，使用基于贝叶斯优化的增广策略搜索框架循环搜索对应图像的增广策略，直至循环次数达到设定次数，得到各图像对应的最优的增广策略；s4：建立神经网络模型；通过各图像对应的最优的增广策略增广训练集，得到增广后的训练集；s5：根据增广后的训练集训练神经网络模型；s6：通过验证集对训练后的神经网络模型进行测试，计算正确率，若符合要求，则将训练后的神经网络模型投入实际应用；否则，按照实际结果调整神经网络模型，并返回步骤s5。
6.优选的，增广操作包括色彩变化、几何变化、模拟遮挡操作。
7.优选的，s2中，将所有的增广操作两两排列组合，依次得到多个增广策略；多个增广策略构成搜索空间；将搜索空间复制n份构成增广策略搜索空间；在增广策略搜索空间中，所有增广策略被采样的概率之和为1，其表示为：
；其中，m表示增广策略搜索空间中增广策略的数量；j表示第j个增广策略；为策略参数，其表示为第i张图像对应的增广策略搜索空间中，第j个增广策略被采样的概率，k表示图像的数量，k=n。
8.优选的，s3中，基于贝叶斯优化的增广策略搜索框架包括图像编码模块、已训练好的网络模型、贝叶斯优化模块；图像编码模块用于对图像进行编码，通过编码将增广策略与图像对应；已训练好的网络模型用于计算验证损失；贝叶斯优化模块用于基于验证损失优化策略参数。
9.优选的，s3中，得到各图像对应的最优的增广策略的过程为：s3.1：在编码模块中，对训练集中的每张图像进行编码，通过编码将增广策略与所述图像对应；s3.2：对于训练集中的第一张图像，使用采样的增广策略对其进行增广，得到第一增广图像；s3.3：将第一增广图像输入至已训练好的网络模型，得到验证损失；s3.4：在贝叶斯优化模块中，根据验证损失优化所述策略参数；s3.5：在策略参数更新后的增广策略搜索空间中，重新采样增广策略，使用重新采样的增广策略增广第一张图像，得到第二增广图像，并将其返回至s3.3；循环执行s3.3-s3.5，直至循环次数达到设定次数，结束内循环；s3.6：结束内循环后，即完成第一张图像的最优的增广策略搜索；s3.7：取训练集中的第二张图像返回至s3.2，并执行s3.2-s3.6，得到第二张图像的最优的增广策略；s3.8：依次取训练集中剩余的图像返回至s3.7，直至搜索出训练集中的每张图像对应的最优的增广策略，结束外循环。
10.优选的，s3.1中，包括：s3.1.1：使用独立的编码对训练集中的每张图像进行编码，使得每张图像各自具有唯一的编码；s3.1.2：对于图像对应的增广策略搜索空间中的增广策略，为其赋予与对应图像相同的编码，将增广策略与所述图像对应。
11.优选的，s3.3中，验证损失的计算公式为：；其中，表示验证损失；表示已训练好的网络模型的损失函数；表示已训练好的网络模型；表示采样的增广策略；表示第t次迭代时，图像对应的策略参数；表示训练集中的第i张图像；表示第i张图像对应的标注信息；表示第i张图像对应的编码。
12.优选的，s3.4中，采用贝叶斯优化方法根据验证损失优化策略参数。
13.优选的，优化策略参数的过程为：s3.4.1：采用期望提升函数构造代理函数，公式如下：；其中，表示策略参数的代理函数；依照进行取值；表示验证损失；为超参数；表示根据历史采样对得到的概率分布模型；s3.4.2：最大化所述代理函数，得到更新的策略参数；计算公式如下：；其中，表示更新的策略参数。
14.优选的，增广策略的数量为1362个。
15.有益效果：本发明提供的这种方法，不同于现有自动数据增广方法为整个数据集搜索一个合适增广策略的方式；其能够根据每张的图像的特征为数据集中的每一张图像搜索一个最优的增广策略，代替了传统的手工设计增广策略，省时省力，同时为每张图像定制化最优的增广策略的方式避免了离群数据的产生，提升了稳定性。
附图说明
16.通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
17.图1为根据本技术一示例性实施例提供的方法的流程图。
18.图2为根据本技术一示例性实施例提供的方法中为每张图像搜索最优的增广策略的流程图。
具体实施方式
19.下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
20.需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本技术所属领域技术人员所理解的通常意义。
21.另外，术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
22.本技术实施例提供一种基于特征自适应的自动数据增广方法，下面结合附图进行说明。
23.请参考图1，其示出了本技术的一些实施方式所提供的一种基于特征自适应的自动数据增广方法的流程图，如图所示，方法可以包括以下步骤：s1：构建训练集和验证集；训练集和验证集均包括带有标注信息的图像；s2：使用增广操作构建增广策略搜索空间；增广策略搜索空间包括增广策略；在本实施例中，增广操作包括但不限于色彩变化、几何变化、模拟遮挡操作。
24.通过将136个增广操作两两排列组合，依次得到1362≈1.8
×
104个增广策略；这些增广策略构成搜索空间；将搜索空间复制n份构成增广策略搜索空间；在增广策略搜索空间中，所有增广策略被采样的概率之和为1，其表示为：；其中，m表示增广策略搜索空间中增广策略的数量；j表示第j个增广策略；为策略参数，其表示为第i张图像对应的增广策略搜索空间中，第j个增广策略被采样的概率，k表示图像的数量，k=n。策略参数越大代表第j个增广策略被采样的概率越大，反之则越小；在下述增广策略搜索过程中，较好的增广策略会被赋予较大策略参数。
25.s3：训练集中的每张图像均对应有一增广策略搜索空间；在训练集的各图像对应的增广策略搜索空间中，使用基于贝叶斯优化的增广策略搜索框架循环搜索对应图像的增广策略，直至循环次数达到设定次数，得到各图像对应的最优的增广策略；首先，基于贝叶斯优化的增广策略搜索框架包括图像编码模块、已训练好的网络模型、贝叶斯优化模块；图像编码模块用于对图像进行编码，通过编码将增广策略与图像对应；已训练好的网络模型用于计算验证损失；贝叶斯优化模块用于基于验证损失优化策略参数。
26.其次，通过基于贝叶斯优化的增广策略搜索框架搜索各图像对应的最优的增广策略，其过程如图2所示，包括：s3.1：在编码模块中，对训练集中的每张图像进行编码，通过编码将增广策略与所述图像对应；具体的，s3.1包括：s3.1.1：使用独立的编码对训练集中的每张图像进行编码，使得每张图像各自具有唯一的编码；s3.1.2：对于图像对应的增广策略搜索空间中的增广策略，为其赋予与对应图像相同的编码，将增广策略与所述图像对应。
27.s3.2：对于训练集中的第一张图像，使用采样的增广策略对其进行增广，得到第一增广图像；s3.3：将第一增广图像输入至已训练好的网络模型，得到验证损失；所述验证损失的计算公式表示为：；其中，表示验证损失；表示已训练好的网络模型的损失函数；表示
已训练好的网络模型；表示采样的增广策略；表示第t次迭代时，图像对应的策略参数；表示训练集中的第i张图像；表示第i张图像对应的标注信息；表示第i张图像对应的编码。
28.s3.4：在贝叶斯优化模块中，采用贝叶斯优化方法根据验证损失优化所述策略参数；其过程为：s3.4.1：采用期望提升函数构造代理函数，公式如下：；其中，表示策略参数的代理函数；依照进行取值；表示验证损失；为超参数；表示根据历史采样对得到的概率分布模型；s3.4.2：最大化所述代理函数，得到更新的策略参数；计算公式如下：；其中，表示更新的策略参数。
29.s3.5：在策略参数更新后的增广策略搜索空间中，重新采样增广策略，使用重新采样的增广策略增广第一张图像，得到第二增广图像，并将其返回至s3.3；循环执行s3.3-s3.5，直至循环次数达到设定次数，结束内循环；在本实施例中，所述设定次数可按照实际需求进行设置。
30.s3.6：结束内循环后，即完成第一张图像的最优的增广策略搜索；s3.7：取训练集中的第二张图像返回至s3.2，并执行s3.2-s3.6，得到第二张图像的最优的增广策略；s3.8：依次取训练集中剩余的图像返回至s3.7，直至搜索出训练集中的每张图像对应的最优的增广策略，结束外循环。
31.s4：建立神经网络模型；通过各图像对应的最优的增广策略增广训练集，得到增广后的训练集；s5：根据增广后的训练集训练神经网络模型；s6：通过验证集对训练后的神经网络模型进行测试，计算正确率，若符合要求，则将训练后的神经网络模型投入实际应用；否则，按照实际结果调整所述神经网络模型，并返回步骤s5。
32.本实施例提供的这种方法具有以下有益效果：1、构造的增广策略搜索空间能够在策略搜索阶段很好的保留较好的操作，并且抑制较差的操作从而保证增广图像的质量，避免离群数据的产生从而提升神经网络模型的检测精度；2、基于贝叶斯优化的增广策略搜索框架能够在保证准确性的同时提升策略的搜索速度，使得自动数据增广的策略搜索时间大大缩短；3、该方法具有较大的实际应用价值，可将该方法搜索出的增广策略应用在行人检测领域，其能够很好的检测实际场景下被遮挡的行人，提升行人检测器在实际场景中的性能。
33.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围，其均应涵盖在本技术的权利要求和说明书的范围当中。

技术特征：
1.一种基于特征自适应的自动数据增广方法，其特征在于，包括：s1：构建训练集和验证集；所述训练集和所述验证集均包括带有标注信息的图像；s2：使用增广操作构建增广策略搜索空间；所述增广策略搜索空间包括增广策略；s3：训练集中的每张图像均对应有一所述增广策略搜索空间；在训练集的各图像对应的增广策略搜索空间中，使用基于贝叶斯优化的增广策略搜索框架循环搜索对应图像的增广策略，直至循环次数达到设定次数，得到各图像对应的最优的增广策略；s4：建立神经网络模型；通过所述各图像对应的最优的增广策略增广所述训练集，得到增广后的训练集；s5：根据所述增广后的训练集训练所述神经网络模型；s6：通过所述验证集对训练后的神经网络模型进行测试，计算正确率，若符合要求，则将训练后的神经网络模型投入实际应用；否则，按照实际结果调整所述神经网络模型，并返回步骤s5。2.根据权利要求1所述的基于特征自适应的自动数据增广方法，其特征在于，增广操作包括色彩变化、几何变化、模拟遮挡操作。3.根据权利要求2所述的基于特征自适应的自动数据增广方法，其特征在于，s2中，将所有的增广操作两两排列组合，依次得到多个增广策略；多个所述增广策略构成搜索空间；将所述搜索空间复制n份构成所述增广策略搜索空间；在所述增广策略搜索空间中，所有所述增广策略被采样的概率之和为1，其表示为：；其中，m表示增广策略搜索空间中增广策略的数量；j表示第j个增广策略；为策略参数，其表示为第i张图像对应的增广策略搜索空间中，第j个增广策略被采样的概率，k表示图像的数量，k=n。4.根据权利要求3所述的基于特征自适应的自动数据增广方法，其特征在于，s3中，所述基于贝叶斯优化的增广策略搜索框架包括图像编码模块、已训练好的网络模型、贝叶斯优化模块；所述图像编码模块用于对图像进行编码，通过编码将增广策略与图像对应；所述已训练好的网络模型用于计算验证损失；所述贝叶斯优化模块用于基于验证损失优化策略参数。5.根据权利要求4所述的基于特征自适应的自动数据增广方法，其特征在于，s3中，得到各图像对应的最优的增广策略的过程为：s3.1：在所述编码模块中，对训练集中的每张图像进行编码，通过编码将增广策略与所述图像对应；s3.2：对于训练集中的第一张图像，使用采样的增广策略对其进行增广，得到第一增广图像；s3.3：将第一增广图像输入至已训练好的网络模型，得到验证损失；s3.4：在所述贝叶斯优化模块中，根据验证损失优化所述策略参数；s3.5：在策略参数更新后的增广策略搜索空间中，重新采样增广策略，使用重新采样的
增广策略增广第一张图像，得到第二增广图像，并将其返回至s3.3；循环执行s3.3-s3.5，直至循环次数达到设定次数，结束内循环；s3.6：结束内循环后，即完成第一张图像的最优的增广策略搜索；s3.7：取训练集中的第二张图像返回至s3.2，并执行s3.2-s3.6，得到第二张图像的最优的增广策略；s3.8：依次取训练集中剩余的图像返回至s3.7，直至搜索出训练集中的每张图像对应的最优的增广策略，结束外循环。6.根据权利要求5所述的基于特征自适应的自动数据增广方法，其特征在于，s3.1中，包括：s3.1.1：使用独立的编码对训练集中的每张图像进行编码，使得每张图像各自具有唯一的编码；s3.1.2：对于图像对应的增广策略搜索空间中的增广策略，为其赋予与对应图像相同的编码，将增广策略与所述图像对应。7.根据权利要求5所述的基于特征自适应的自动数据增广方法，其特征在于，s3.3中，所述验证损失的计算公式为：；其中，表示验证损失；表示已训练好的网络模型的损失函数；表示已训练好的网络模型；表示采样的增广策略；表示第t次迭代时，图像对应的策略参数；表示训练集中的第i张图像；表示第i张图像对应的标注信息；表示第i张图像对应的编码。8.根据权利要求7所述的基于特征自适应的自动数据增广方法，其特征在于，s3.4中，采用贝叶斯优化方法根据验证损失优化所述策略参数。9.根据权利要求8所述的基于特征自适应的自动数据增广方法，其特征在于，优化所述策略参数的过程为：s3.4.1：采用期望提升函数构造代理函数，公式如下：；其中，表示策略参数的代理函数；依照进行取值；表示验证损失；为超参数；表示根据历史采样对得到的概率分布模型；s3.4.2：最大化所述代理函数，得到更新的策略参数；计算公式如下：；其中，表示更新的策略参数。10.根据权利要求3所述的基于特征自适应的自动数据增广方法，其特征在于，所述增广策略的数量为1362个。

技术总结
本申请实施例公开了一种基于特征自适应的自动数据增广方法，其方法包括：构建训练集和验证集；使用增广操作构建增广策略搜索空间；训练集中的每张图像均对应有一增广策略搜索空间；在训练集的各图像对应的增广策略搜索空间中，使用基于贝叶斯优化的增广策略搜索框架循环搜索对应图像的增广策略，直至循环次数达到设定次数，得到各图像对应的最优的增广策略；建立神经网络模型；通过各图像对应的最优的增广策略增广训练集，得到增广后的训练集；根据增广后的训练集训练神经网络模型；通过验证集对训练后的神经网络模型进行测试，计算正确率，若符合要求，则将训练后的神经网络模型投入实际应用。其代替了传统的手工设计增广策略，省时省力。省时省力。省时省力。


技术研发人员：刘敏 马云峰 唐毅 王耀南 卢继武
受保护的技术使用者：湖南大学
技术研发日：2023.03.20
技术公布日：2023/7/13