一种基于图像分割融合的水下小样本扩充方法

1.本发明属于水下目标检测技术领域，具体的是指将分割出的样本类目标前景与提取的水下背景信息生成新图像再与原数据集进行融合以实现样本类别扩充的方法。


背景技术：

2.近些年来，水下多目标检测技术迅速发展，在民用领域和军事领域都得到广泛应用。但由于水下环境的复杂性导致的采集困难，会导致我们的数据集出现某类别待检测样本数量少甚至收集不到的情况，所以现有数据集并不能完全满足我们的目的。深度学习对训练样本中类别不平衡问题很敏感，检测算法会偏向样本较多的分类导致对样本少的类检测不准确。
3.目前基于数据的解决类别不平衡方法主要通过数据扩充的方法来实现，主要有以下几种：
4.1.基于几何的变换，对图像进行简单的操作如翻转、裁切、旋转等，可以得到图像不同角度的特征信息。
5.2.对图像饱和度、锐度、色温等方便进行调整。
6.3.添加高斯噪声等。
7.以上方法能在一定程度上提升精度，但仅仅是对原图像的一些改变，并没有丰富少样本类别的语义信息。本发明提供了一种水下环境下基于图像分割融合的少样本类别扩充方法，能够平衡训练数据，提高少样本类别的检测精度。


技术实现要素：

8.发明目的：本发明目的是提供一种面向水下不平衡数据分割融合的样本扩充方法，减少过拟合问题，保证数据扩充的质量，为下一步的水下多目标识别做铺垫。
9.技术方案：一种基于图像分割融合的样本扩充方法，包括如下步骤：
10.步骤一：采集水下图像数据集y，使用图像白平衡算法改善水下图像偏蓝绿色调问题，增强图像对比度，提升视觉效果。
11.步骤二：统计水下数据集y中各类别数量，收集小样本数据集x(以其余类别数量大致平衡为例)，为了使分割有更好的效果进行数据集的清洗，剔除背景复杂度过高的样本。计算其余类别数量平均值与小样本类别数量的差值i。
12.步骤三：使用图像分割方法grabcut分割出少样本类别，生成黑色背景且只保留分割主体的样本z。
13.步骤四：随机不放回的选取原水下样本yi，计算其水下背景r、g、b颜色空间，随机复制待融合图像xi，并将其黑色背景调整为计算出的水下背景的色调。
14.步骤五：调整xi图像的比例，使用泊松融合将步骤四选取的两张图像融合，得到增加少样本后的水下图像。
15.步骤六：重复迭代以上过程i次，以至于小样本类别与其他类别数量大致平衡。
16.本发明的有益技术效果是：
17.根据本发明提出的一种基于图像分割融合的小样本扩充方法，将待融合样本进行图像分割提取出单一样本信息后，将背景颜色色调转为计算待融合水下背景的rgb颜色空间的色调，使用泊松融合生成增加样本后的图像能达到丰富识别目标信息以及平衡训练数据的效果。使用本发明的图像样本扩充方法能够有效的结合原图像与待融合图像信息，很大程度上解决了由于水下复杂环境导致的图像样本类别不平衡问题，提高了对少样本类别的检测精度。
附图说明
18.通过于都参考以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的以及有点将变得更加明显：
19.图1是本发明方法的流程示意图。
具体实施方式
20.下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
21.以扩充水下生物海星为实施例，方法包括以下步骤：
22.步骤一：采集水下图像数据集y，使用图像白平衡算法改善水下图像偏蓝绿色调问题，增强图像对比度，提升视觉效果。具体为算法为首先确定r、g、b三个颜色分量的平均值趋近于同一个灰度k：
23.k＝(raver+gaver+baver)/3
ꢀꢀꢀꢀꢀꢀꢀ
(1)
24.其中raver、gaver、baver分别代表红、绿、蓝三颜色通道的平均值。
25.然后分别通过灰度k除以各通道平均值得到各通道增益：
[0026][0027]
最后将von kries对角模型应用于图像中每个像素r、g、b颜色通道计算结果值：
[0028][0029]
步骤二：统计水下数据集y中各类别数量，收集小样本数据集x(以其余类别数量大致平衡为例)，为了使分割有更好的效果进行数据集的清洗，剔除背景复杂度过高的样本。计算其余类别数量平均值与小样本类别数量的差值i。
[0030]
步骤三：使用图像分割方法grabcut分割出少样本类别，生成黑色背景且只保留分割主体的样本z，将分割之后图像使用基于ground truth计算图像的分割精度和过分割率等指标进行评估。人工勾画出ground truth图像得到理论值，计算分割精度公式为：
[0031][0032]
其中，s表示分割准确的面积图像中真实面积的百分比，rs表示人工描绘的参考面积，ts表示算法分割得到的真实面积。通过设置分割精度和过分割率阈值，将不符合阈值的
分割图像剔除。
[0033]
步骤四：随机不放回的选取原水下样本yi，计算其水下背景r、g、b颜色空间，随机复制待融合图像xi，并将其黑色背景调整为计算出的水下背景的色调。
[0034]
步骤五：调整xi图像的比例，使用泊松融合将步骤四选取的两张图像融合，得到增加少样本后的水下图像，计算图像融合后其它类别的目标与之间面积之比，计算公式为：
[0035][0036]
其中，es表示融合之后剩余面积，os表示初始面积，若小于某个阈值，则说明融合图像覆盖面积太多，应当重新选择位置。
[0037]
步骤六：重复迭代以上过程i次，以至于小样本类别与其他类别数量大致平衡。
[0038]
至此，完成了水下小样本类的扩充，达到了通过图像分割融合的方式提升小样本类检测精度的目的。


技术特征：
1.一种基于图像分割融合的水下小样本扩充方法，其特征在于，在进行水下多目标识别时，会出现某类目标样本少的问题，收集好小样本数据集后，对其图像分割提取前景，将背景颜色色调转为近似计算待融合水下背景的色调，使用图像融合算法生成增加样本后的图像能达到丰富识别目标信息以及平衡训练数据的效果。2.根据权利要求1所述，一种基于图像分割融合的水下小样本扩充方法，其特征在于，构建少样本类，包括：采集水下数据集y，由于水下环境复杂性，所以使用图像白平衡算法增强水下图像，提高图像质量。统计水下数据集y中各类别数量，收集小样本数据集x(以其余类别数量大致平衡为例)，为了使分割有更好的效果进行数据集的清洗，从中选取背景复杂度低的样本，剔除复杂度过高的样本。3.根据权利要求1所述，一种基于图像分割融合的水下小样本扩充方法，其特征在于，使用图像分割方法将小样本分割，通过grabcut算法分割数据集x中的小样本类别，此时得到背景为黑色且只保留分割主体的数据集z，计算分割精度等指标评估分割结果。4.根据权利要求1所述，一种基于图像分割融合的水下小样本扩充方法，其特征在于，将分割数据集z的黑色背景转为数据集y的水下背景，使得融合效果更好。5.如权力要求1所述，一种基于图像分割融合的水下小样本扩充方法，其特征在于，将步骤四中处理的数据集z与原数据集y图像进行泊松融合，得到扩充样本后的待检测图像，具体步骤：由步骤一可计算其余类别平均数量与小样本数量的差值，记为小样本待扩充数量i。随机不放回选取数据集y中图像y
j
(j＝1，2...i)与数据集z中随机选取的图像进行泊松融合，重复执行i次，直至扩充小样本数量与其余类别数量平衡。

技术总结
本发明提出了一种基于图像分割融合的水下小样本扩充方法，涉及图像处理、目标检测等领域。该方法将待融合样本进行图像分割提取出单一样本信息后，将背景颜色色调转为近似计算待融合水下背景的色调，使用泊松融合生成增加样本后的图像能达到丰富识别目标信息以及平衡训练数据的效果。使用本发明的图像样本扩充方法能够有效的结合原图像与待融合图像信息，很大程度上解决了由于水下复杂环境导致的图像样本类别不平衡问题，提高了对少样本类别的检测精度。检测精度。检测精度。


技术研发人员：闫冰 沈洁 魏鑫
受保护的技术使用者：河海大学
技术研发日：2022.02.28
技术公布日：2023/9/13