一种面向领域泛化任务的跨域数据增强方法

1.本发明属于计算机视觉的领域泛化领域，具体涉及一种面向领域泛化任务的跨域数据增强方法。


背景技术：

2.如今，深度学习不管是在学术界和工业界都表现出了卓越的性能。然而，经典的深度学习方法通常只能应用于独立同分布(iid)的场景下，即训练集和测试集是同一分布。在实际应用中，训练数据和实际测试数据由于生成机制和获取手段的不同往往存在数据分布偏差，例如图像风格的差异、拍摄环境的差异等。在这种分布外(ood)的情况下，利用源域数据(训练集)训练得到的模型，在目标域数据(测试集)上测试时性能会严重下降。领域泛化方法旨在将模型泛化到与源域数据分布不同的未知目标测试域，同时访问来自多个源域的数据来训练出一个更加鲁棒的模型。收集多个领域的训练数据通常是困难，因此许多领域泛化方法采用特殊的数据增强技术来跨域合成全新的样本，使模型学习到更加泛化的特征表示。
3.经典的数据增强方法大致如下：旋转、反转变换、缩放、平移、对比度变换等。然而，以上数据增强方法无法实现跨域合成样本的效果，跨域数据增强技术往往需要更加特殊的设计方案。目前，针对领域泛化任务的跨域数据增强方法大致可以分为两类：图像级数据增强、特征级数据增强。(1)图像级数据增强：基于傅里叶变换的数据增强方法，多个源域图像之间交换幅度谱，最后逆傅里叶变换合成新的图像；基于风格迁移模型的方法，使用预训练过的模型来交换多源域之间的风格来生成新的图像。(2)特征级数据增强：针对网络中间层的特征表示进行跨域数据增强，主要是在不同源域的特征图之间进行傅里叶变换后的幅度谱交换，或者是交换特征图的统计量(均值和方差)来对原始特征进行归一化，最终合成更多样的特征表示。
4.以上两种主要的跨域数据增强方法的主要思路均是，将其他领域的图像风格(style)和原始图像内容(content)进行组合以生成全新的样本，目的是为了使模型捕捉到不变的图像内容而忽略变化的图像风格，最终希望模型在未知风格的目标域上测试时能更关注图像内容，从而实现更好的泛化性。然而，这些跨域数据增强方法往往都是一对一进行的，即将两个不同领域样本中的单个数据进行信息交换同时保留内容信息来合成新样本，这往往会造成不合理的风格变换，因为单个数据提取出来的风格信息无法代表该领域的整体分布，且同一个领域内不同数据之间也存在着一定程度的差异，因此导致合成的风格信息不全面。


技术实现要素：

5.本发明的目的在于针对解决背景技术中提出的问题，提出一种面向领域泛化任务的跨域数据增强方法。
6.为实现上述目的，本发明所采取的技术方案为：
7.本发明提出的一种面向领域泛化任务的跨域数据增强方法，包括从k个领域的原始数据集中采样若干个样本，并将各样本依次输入到网络模型中进行训练，在经过指定的网络层时，对该网络层输出的特征图以预设概率随机选择是否进行数据增强操作；
8.在选择进行数据增强操作后，分别按照所属的领域计算特征图的均值和方差，形成k个领域的统计量，针对首批样本，将统计量定义为历史统计量，针对后序批次样本，基于指数移动平均算法将本批次样本得到的统计量更新上一批次样本的历史统计量；
9.不重复随机选择其中一个领域的历史统计量对另一个领域的特征图进行跨域数据增强操作得到新特征图，直到得到所有领域的新特征图，完成数据增强操作；
10.完成数据增强操作后，继续进行前向传播，完成本批次网络模型的训练。
11.优选地，从k个领域的原始数据集中采样若干个样本，并将各样本依次输入到网络模型中进行训练，包括：
12.从k个领域的原始数据集中采集若干个样本，其中一个样本表示为其中dk表示第k个领域的原始数据集，表示每个领域的原始数据集有nk个数据，bk表示从第k个领域原始数据集中采样的样本，表示一个样本中的每个领域nb个数据，且nb＜nk。
13.优选地，对该网络层输出的特征图以预设概率随机选择是否进行数据增强操作，包括：
14.若选择不进行数据增强操作，则继续进行前向传播；
15.若选择进行数据增强操作，则分别按照所属的领域计算特征图的均值和方差，形成k个领域的统计量，且计算公式如下：
16.μk，σk＝mean(fk)，var(fk)
[0017][0018][0019]
其中，k个领域的统计量表示为(μ＝{μ1，μ2…
，μk}，σ＝{σ1，σ2…
，σk})，μk表示第k个领域的均值，σk表示第k个领域的方差，fk表示第k个领域的特征图，且一个样本输入到该网络层并输出的特征图表示为{f1，f2…
，fk}，f
k，h，w
表示第k个领域高和宽分别为h和w的特征图且坐标为(h，w)的像素值。
[0020]
优选地，针对首批样本，将统计量定义为历史统计量，针对后序批次样本，基于指数移动平均算法将本批次样本得到的统计量更新上一批次样本的历史统计量，包括：
[0021]
针对首批样本，将统计量定义为历史统计量(μ
old
，σ
old
)，并保存到本地；
[0022]
针对后序批次样本，基于指数移动平均算法将本批次样本得到的统计量(μ
new
，σ
new
)更新上一批次样本的历史统计量(μ
old
，σ
old
)，更新公式如下：
[0023]
μ
old
＝mμ
old
+(1-m)μ
new
[0024]
σ
old
＝mσ
old
+(1-m)σ
new
[0025]
其中，m表示权重参数，且m＝0.9。
[0026]
优选地，不重复随机选择其中一个领域的历史统计量对另一个领域的特征图进行跨域数据增强操作得到新特征图，直到得到所有领域的新特征图，完成数据增强操作，包括：
[0027]
跨域数据增强操作为风格归一化操作，且计算公式如下：
[0028][0029]
其中，公式(1)表示随机选择第i个领域的历史统计量对第j个领域的特征图fj进行风格归一化操作得到新特征图μi和σi分别表示第i个领域的均值和方差，μj和σj分别表示第j个领域的均值和方差；
[0030]
最终得到所有领域的新特征图
[0031]
与现有技术相比，本发明的有益效果为：
[0032]
本面向领域泛化任务的跨域数据增强方法通过不重复随机选择其中一个领域的历史统计量对另一个领域的特征图进行跨域数据增强操作得到新特征图，其余领域的特征图也采用同样方式进行跨域数据增强操作，最终得到所有领域的新特征图，然后继续前向传播，完成一批样本数据的训练，并且通过指数移动平均算法，可以不断收集新批次样本的统计量，最终所得统计量近似表示每个领域原始数据集的完整风格信息，实现了提取领域整体风格信息的目的，且真实全面。
附图说明
[0033]
图1为本发明面向领域泛化任务的跨域数据增强方法的流程图；
[0034]
图2为本发明跨域数据增强的框图。
具体实施方式
[0035]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0036]
需要说明的是，当组件被称为与另一个组件“连接”时，它可以直接与另一个组件连接或者也可以存在居中的组件。除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本技术。
[0037]
如图1-2所示，一种面向领域泛化任务的跨域数据增强方法，包括：
[0038]
s1、从k个领域的原始数据集中采样若干个样本，并将各样本依次输入到网络模型中进行训练。
[0039]
具体为，从k个领域的原始数据集中采集若干个样本，
其中一个样本表示为其中dk表示第k个领域的原始数据集，表示每个领域的原始数据集有nk个数据，bk表示从第k个领域原始数据集中采样的样本，表示一个样本中的每个领域nb个数据，且nb＜nk。
[0040]
s2、在经过指定的网络层时，对该网络层输出的特征图以预设概率随机选择是否进行数据增强操作，包括：
[0041]
需要说明的是，预设概率的值不作限制，取值范围为(0，1)，如取0.5。通过对指定的网络层进行数据增强操作，使得提取的领域信息更加完整全面，网络模型可以为任意的卷积神经网络或者transformer网络等，指定的网络层可以为任意的卷积神经网络中的卷积层、归一化层或激活函数层，transformer网络中的自注意力层。
[0042]
若选择不进行数据增强操作，则继续进行前向传播；
[0043]
若选择进行数据增强操作，则分别按照所属的领域计算特征图的均值和方差，形成k个领域的统计量(即均值和方差)，且计算公式如下：
[0044]
μk，σk＝mean(fk)，var(fk)
[0045][0046][0047]
其中，k个领域的统计量表示为(μ＝{μ1，μ2…
，μk}，σ＝{σ1，σ2…
，σk})，μk表示第k个领域的均值，σk表示第k个领域的方差，fk表示第k个领域的特征图，且一个样本输入到该网络层并输出的特征图表示为{f1，f2…
，fk}，f
k，h，w
表示第k个领域高和宽分别为h和w的特征图且坐标为(h，w)的像素值。
[0048]
s3、针对首批样本，将统计量定义为历史统计量。
[0049]
具体为，针对首批样本，将统计量定义为历史统计量(μ
old
，σ
old
)，并保存到本地，后序批次的样本通过得到的统计量不断去更新历史统计量。
[0050]
s4、不重复随机选择其中一个领域的历史统计量对另一个领域的特征图进行跨域数据增强操作得到新特征图，直到得到所有领域的新特征图，完成数据增强操作。
[0051]
在领域的选择上面举例说明：如有a、b、c、d四个领域，当对a领域进行数据增强操作时，从b、c、d领域中随机选择一个领域对a领域进行数据增强(如选择了c领域)；当对b领域进行数据增强操作时，从剩余的a、d领域中随机选择一个领域对b领域进行数据增强(如选择了a领域)；当对c领域进行数据增强操作时，从剩余的b、d领域中随机选择一个领域对c领域进行数据增强(如选择了d领域)；当对d领域进行数据增强操作时，利用剩余的b领域对d领域进行数据增强。
[0052]
具体为，如图2所示，跨域数据增强操作为风格归一化操作，且计算公式如下：
[0053]
[0054]
其中，公式(1)表示随机选择第i个领域的历史统计量对第j个领域的特征图fj进行风格归一化操作得到新特征图μi和σi分别表示第i个领域的均值和方差，μj和σj分别表示第j个领域的均值和方差；
[0055]
其余领域的特征图也采用同样方式进行风格归一化操作，最终得到所有领域的新特征图(一共是k个新特征图)，然后继续前向传播，完成首批样本数据的训练(即完成本批次网络模型的训练)。
[0056]
s5、完成首批样本数据的训练后，当下一批次再次输入到该指定的网络层(即对该网络层输出的特征图以预设概率随机选择是否进行数据增强操作)时，重复s2，得到本批次样本的统计量(μ
new
，σ
new
)，然后基于指数移动平均算法将本批次样本得到的统计量(μ
new
，σ
new
)更新上一批次样本的历史统计量(μ
old
，σ
old
)，更新公式如下：
[0057]
μ
old
＝mμ
old
+(1-m)μ
new
[0058]
σ
old
＝mσ
old
+(1-m)σ
new
[0059]
其中，m表示权重参数，且m＝0.9；
[0060]
然后重复s4，直到本批次样本训练结束。
[0061]
以后批次的样本也如上进行数据增强，完成训练，随着更多的批次样本参与训练，最终收集到的均值和方差将近似原始数据集的分布，实现了提取领域整体风格信息的目的。
[0062]
本面向领域泛化任务的跨域数据增强方法通过不重复随机选择其中一个领域的历史统计量对另一个领域的特征图进行跨域数据增强操作得到新特征图，其余领域的特征图也采用同样方式进行跨域数据增强操作，最终得到所有领域的新特征图，然后继续前向传播，完成一批样本数据的训练，并且通过指数移动平均算法，可以不断收集新批次样本的统计量，最终所得统计量近似表示每个领域原始数据集的完整风格信息，实现了提取领域整体风格信息的目的，且真实全面。
[0063]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0064]
以上所述实施例仅表达了本技术描述较为具体和详细的实施例，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种面向领域泛化任务的跨域数据增强方法，其特征在于：所述面向领域泛化任务的跨域数据增强方法，包括：从k个领域的原始数据集中采样若干个样本，并将各样本依次输入到网络模型中进行训练，在经过指定的网络层时，对该网络层输出的特征图以预设概率随机选择是否进行数据增强操作；在选择进行数据增强操作后，分别按照所属的领域计算特征图的均值和方差，形成k个领域的统计量，针对首批样本，将统计量定义为历史统计量，针对后序批次样本，基于指数移动平均算法将本批次样本得到的统计量更新上一批次样本的历史统计量；不重复随机选择其中一个领域的历史统计量对另一个领域的特征图进行跨域数据增强操作得到新特征图，直到得到所有领域的新特征图，完成数据增强操作；完成数据增强操作后，继续进行前向传播，完成本批次网络模型的训练。2.如权利要求1所述的面向领域泛化任务的跨域数据增强方法，其特征在于：所述从k个领域的原始数据集中采样若干个样本，并将各样本依次输入到网络模型中进行训练，包括：从k个领域的原始数据集中采集若干个样本，其中一个样本表示为其中d
k
表示第k个领域的原始数据集，表示每个领域的原始数据集有n
k
个数据，b
k
表示从第k个领域原始数据集中采样的样本，表示一个样本中的每个领域n
b
个数据，且n
b
<n
k
。3.如权利要求2所述的面向领域泛化任务的跨域数据增强方法，其特征在于：所述对该网络层输出的特征图以预设概率随机选择是否进行数据增强操作，包括：若选择不进行数据增强操作，则继续进行前向传播；若选择进行数据增强操作，则分别按照所属的领域计算特征图的均值和方差，形成k个领域的统计量，且计算公式如下：μ
k
,σ
k
＝mean(f
k
),var(f
k
))其中，k个领域的统计量表示为(μ＝{μ1,μ2…
,μ
k
}，σ＝{σ1,σ2…
,σ
k
})，μ
k
表示第k个领域的均值，σ
k
表示第k个领域的方差，f
k
表示第k个领域的特征图，且一个样本输入到该网络层并输出的特征图表示为{f1,f2…
,f
k
}，f
k,h,w
表示第k个领域高和宽分别为h和w的特征图且坐标为(h,w)的像素值。4.如权利要求3所述的面向领域泛化任务的跨域数据增强方法，其特征在于：所述针对首批样本，将统计量定义为历史统计量，针对后序批次样本，基于指数移动平均算法将本批次样本得到的统计量更新上一批次样本的历史统计量，包括：
针对首批样本，将统计量定义为历史统计量(μ
old
,σ
old
)，并保存到本地；针对后序批次样本，基于指数移动平均算法将本批次样本得到的统计量(μ
new
,σ
new
)更新上一批次样本的历史统计量(μ
old
,σ
old
)，更新公式如下：μ
old
＝mμ
old
+(1-m)μ
new
σ
old
＝mσ
old
+(1-m)σ
new
其中，m表示权重参数，且m＝0.9。5.如权利要求3所述的面向领域泛化任务的跨域数据增强方法，其特征在于：所述不重复随机选择其中一个领域的历史统计量对另一个领域的特征图进行跨域数据增强操作得到新特征图，直到得到所有领域的新特征图，完成数据增强操作，包括：跨域数据增强操作为风格归一化操作，且计算公式如下：其中，公式(1)表示随机选择第i个领域的历史统计量对第j个领域的特征图f
j
进行风格归一化操作得到新特征图μ
i
和σ
i
分别表示第i个领域的均值和方差，μ
j
和σ
j
分别表示第j个领域的均值和方差；最终得到所有领域的新特征图

技术总结
本发明公开了一种面向领域泛化任务的跨域数据增强方法，包括从K个领域的原始数据集中采样若干个样本，并将各样本依次输入到网络模型中进行训练。本面向领域泛化任务的跨域数据增强方法通过不重复随机选择其中一个领域的历史统计量对另一个领域的特征图进行跨域数据增强操作得到新特征图，其余领域的特征图也采用同样方式进行跨域数据增强操作，最终得到所有领域的新特征图，然后继续前向传播，完成一批样本数据的训练，并且通过指数移动平均算法，可以不断收集新批次样本的统计量，最终所得统计量近似表示每个领域原始数据集的完整风格信息，实现了提取领域整体风格信息的目的，且真实全面。且真实全面。且真实全面。


技术研发人员：胡海根 张辉煌 陈琦 许慧 周乾伟 管秋
受保护的技术使用者：浙江工业大学
技术研发日：2023.05.29
技术公布日：2023/8/14