基于导向型特征分离的图片质量提升方法与流程

1.本发明属于视频处理技术领域，具体涉及一种基于导向型特征分离的图片质量提升方法。


背景技术：

2.在视频传输过程中，为了减小视频大小与传输带宽，会采用各种压缩技术降低视频码率，从而导致视频画质较差，细节丢失，降低接收端的观看体验。
3.因此一种既能降低视频码率减小传输带宽，又能保持或恢复视频画面质量的方法是很有必要的。现有技术中一种方法是背景复原，提供一组同一场景下的清晰背景图片，分析提取前景和背景的特征差异，再将分离后的特征信息进行融合，采用此方法可以保证前景信息的准确性和背景的质量大幅提升，但是此方法存在的问题是要求方法本身具有很高的前景后景分离能力，还要对背景图片中的干扰噪声有较高的识别抑制能力。


技术实现要素：

4.鉴于以上存在的问题，本发明提供一种基于导向型特征分离的图片质量提升方法，用于提高该算法对参考背景的容错率，提升图片复原质量。
5.为解决上述技术问题，本发明采用如下的技术方案：
6.一种基于导向型特征分离的图片质量提升方法，包括训练过程和推理过程，
7.训练过程中采用特征粗提取模块输入训练序列《data
x
，data
ref
》，其中data
ref
是待训练的输入数据data
x
对应的参考背景数据；特征粗提取模块将《data
x
，data
ref
》下采样得到引导图像对倍数任意，训练时设置为1～4之间随机值，接着对《data
x
，data
ref
》分别进行特征重排，得到更低尺寸的特征图再执行特征提取extract操作，公式表示为：
[0008][0009]
即为粗提取到的前景背景混合特征图，将与引导图像对即为粗提取到的前景背景混合特征图，将与引导图像对一起交由导向型特征分离模块处理，同时将传递给函数优化模块单独优化特征粗提取模块的参数；
[0010]
训练过程中采用导向型特征分离模块将前景背景混合特征图分解成前景和背景区域分离的特征组合接着对特征组合进行导向滤波操作，计算得到对应的高分辨率特征组合
[0011]
训练过程中采用掩模合成模块将导向型特征分离模块输出的训练过程中采用掩模合成模块将导向型特征分离模块输出的与输入数据《data
x
，data
ref
》进行合成操作，得到训练过程的待优化帧将序列送入函数
优化模块；
[0012]
训练过程中函数优化模块根据单独优化特征粗提取模块的参数，得到较优的参数θ
extract
之后，再联合导向型特征分离模块、掩模合成模块进行整体优化，通过计算基准图像gt和待优化序列之间的最小重建损失，优化最佳整体参数θ
all
；
[0013]
推理过程中特征粗提取模块、导向型特征分离模块和掩模合成模块使用在训练过程中得到的最佳整体参数θ
all
；
[0014]
推理过程中采用数据流入模块将待处理的视频或图像序列转换成模型适用的数据形式《frame
x
，frame
ref
》，其中frame
x
是待处理的视频序列和frame
ref
是对应场景下的参考背景帧，处理好后将数据传入特征粗提取模块；
[0015]
推理过程中采用特征粗提取模块将《frame
x
，frame
ref
》下采样得到引导图像对《imgh，img
l
》，接着对《frame
x
，ftame
ref
》分别进行特征重排和特征提取extract操作，得到前景背景混合特征图y
feat
，与引导图像对《imgh，img
l
》一起交由导向型特征分离模块处理；
[0016]
推理过程中采用导向型特征分离模块将前景背景混合特征图y
feat
首先分解成前景和背景区域分离的特征组合《fgr，bgr，pha》，接着对特征组合进行导向滤波操作，计算得到对应的高分辨率特征组合到对应的高分辨率特征组合
[0017]
推理过程中掩采用掩模合成模块将与输入数据《frame
x
，frame
ref
》进行合成，得到最终质量复原后的输出帧y；
[0018]
推理过程中采用数据流出模块将掩模合成模块处理后的输出帧y转换为实际输出的视频序列。
[0019]
一种可能的实现方式中，训练过程中导向型特征分离模块进一步包括引导卷积、均值滤波卷积和逐点卷积，引导卷积首先得到的引导特征g
l
，与一起经过均值滤波卷积计算获得低分辨率下的相关均值方差，接着将计算获得的相关均值方差参数通过逐点卷积得到线性变换系数《a，b》，操作如下，
[0020][0021][0022]
mean
x
＝boxfilter(g
l
)
[0023][0024]
var
x
＝boxfilter(g
l
*g
l
)-mean
x
*mean
x
[0025][0026]
a＝pointwise(《var
x
，cov
xy
》)
[0027]
b＝mean
y-a*mean
x
[0028]
最后将低分辨率下的线性变换系数上采样后作为的引导特征gh的变换系数，引导生成对应的高分辨率特征生成对应的高分辨率特征
[0029]
一种可能的实现方式中，训练过程中采用掩模合成模块将导向型特征分离模块输出的与输入数据《data
x
，data
ref
》进行合成操作，得到训练过程的待优化帧的操作如下：
[0030][0031]
一种可能的实现方式中，训练过程中函数优化模块优化最佳整体参数θ
all
，整体表示为，
[0032][0033][0034][0035][0036]
一种可能的实现方式中，推理过程中掩采用掩模合成模块将一种可能的实现方式中，推理过程中掩采用掩模合成模块将与输入数据《frame
x
，frame
ref
》进行合成，得到最终质量复原后的输出帧y的操作如下：
[0037][0038]
采用本发明具有如下的有益效果：本发明技术方案提出了使用基于导向型特征分离的技术，增强算法对前景背景的区域辨别能力，提高对背景中的干扰信息识别度，在参考背景有较多噪声时，也能提升图片复原质量，保证算法鲁棒性，从而获得更精确的图片质量。
附图说明
[0039]
图1为本发明实施例的基于导向型特征分离的图片质量提升方法的步骤流程图；
[0040]
图2为本发明实施例的基于导向型特征分离的图片质量提升方法中导向型特征分离模块的工作流程示意图；
[0041]
图3为本发明一具体应用实例中输入图片和经过本方法质量提升后的对比示意图；
[0042]
图4为本发明又一具体应用实例中输入低质图；
[0043]
图5为本发明又一具体应用实例中与图4对应的参考背景图；
[0044]
图6为本发明又一具体应用实例中与图4对应的现有背景复原方法处理后的效果图；
[0045]
图7为本发明又一具体应用实例中与图4对应的本方法处理后的效果图。
具体实施方式
[0046]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发
明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047]
参照图1，所示为本发明实施例的一种基于导向型特征分离的图片质量提升方法的步骤流程图，包括训练过程和推理过程，
[0048]
训练过程中采用特征粗提取模块输入训练序列《data
x
，data
ref
》，其中data
ref
是待训练的输入数据data
x
对应的参考背景数据；特征粗提取模块将《data
x
，data
ref
》下采样得到引导图像对倍数任意，训练时设置为1～4之间随机值，接着对《data
x
，dataref》分别进行特征重排，得到更低尺寸的特征图再执行特征提取extract操作，公式表示为：
[0049][0050]
即为粗提取到的前景背景混合特征图，将与引导图像对即为粗提取到的前景背景混合特征图，将与引导图像对一起交由导向型特征分离模块处理，同时将传递给函数优化模块单独优化特征粗提取模块的参数；
[0051]
训练过程中采用导向型特征分离模块将前景背景混合特征图分解成前景和背景区域分离的特征组合接着对特征组合进行导向滤波操作，计算得到对应的高分辨率特征组合
[0052]
训练过程中采用掩模合成模块将导向型特征分离模块输出的训练过程中采用掩模合成模块将导向型特征分离模块输出的与输入数据《data
x
，data
ref
》进行合成操作，得到训练过程的待优化帧将序列送入函数优化模块；
[0053]
训练过程中函数优化模块根据单独优化特征粗提取模块的参数，得到较优的参数θ
extract
之后，再联合导向型特征分离模块、掩模合成模块进行整体优化，通过计算基准图像gt和待优化序列之间的最小重建损失，优化最佳整体参数θ
all
；
[0054]
推理过程中特征粗提取模块、导向型特征分离模块和掩模合成模块使用在训练过程中得到的最佳整体参数θ
all
；
[0055]
推理过程中采用数据流入模块将待处理的视频或图像序列转换成模型适用的数据形式《frame
x
，frame
ref
》，其中frame
x
是待处理的视频序列和frame
ref
是对应场景下的参考背景帧，处理好后将数据传入特征粗提取模块；
[0056]
推理过程中采用特征粗提取模块将《frame
x
，frame
ref
》下采样得到引导图像对《imgh，img
l
》，接着对《frame
x
，frame
ref
》分别进行特征重排和特征提取extract操作，得到前景背景混合特征图y
feat
，与引导图像对《imgh，img
l
》一起交由导向型特征分离模块处理；
[0057]
推理过程中采用导向型特征分离模块将前景背景混合特征图y
feat
首先分解成前景和背景区域分离的特征组合《fgr，bgr，pha》，接着对特征组合进行导向滤波操作，计算得到对应的高分辨率特征组合到对应的高分辨率特征组合
[0058]
推理过程中掩采用掩模合成模块将与输入数据《frame
x
，frame
ref
》进行合成，得到最终质量复原后的输出帧y；
[0059]
推理过程中采用数据流出模块将掩模合成模块处理后的输出帧y转换为实际输出的视频序列。
[0060]
通过以上设置的基于导向型特征分离的图片质量提升方法，数据流入模块对输入的各种格式类型的数据进行统一化，得到模块可识别的格式；数据流出模块将掩模合成模块输出的数据转换为与数据流入模块输入数据一致的格式；特征粗提取模块将输入的前景和背景数据融合后提取特征，交给导向型特征分离模块，在训练过程中还需要传递参数给函数优化模块；导向型特征分离模块利用导向滤波技术快速识别分离前景背景特征，将分离后的特征交给掩模合成模块，在训练过程中需要传递参数给函数优化模块；掩模合成模块负责将分离后的特征融合输出给数据流出模块，在训练过程中需要传递参数给函数优化模块；函数优化模块首先对特征粗提取模块的参数进行阶段训练，再对特征粗提取，导向型特征分离和掩模合成模块一起进行优化，最终所有优化好的模块被用于推理过程使用。使用基于导向型特征分离的技术，增强算法对前景背景的区域辨别能力，提高对背景中的干扰信息识别度，在参考背景有较多噪声时，也能提升图片复原质量，保证算法鲁棒性，从而获得更精确的图片质量。
[0061]
本发明一实施例，训练过程中导向型特征分离模块进一步包括引导卷积、均值滤波卷积和逐点卷积，引导卷积首先得到的引导特征g
l
，与，与一起经过均值滤波卷积计算获得低分辨率下的相关均值方差，接着将计算获得的相关均值方差参数通过逐点卷积得到线性变换系数《a，b》，操作如下，
[0062][0063][0064]
mean
x
＝boxfilter(g
l
)
[0065][0066]
var
x
＝boxfilter(g
l
*g
l
)-mean
x
*mean
x
[0067][0068]
a＝pointwise(《var
x
，cov
xy
》)
[0069]
b＝mean
y-a*mean
x
[0070]
最后将低分辨率下的线性变换系数上采样后作为的引导特征gh的变换系数，引导生成对应的高分辨率特征生成对应的高分辨率特征
[0071]
以上导向型特征分离模块利用导向滤波的思想，通过低分辨率的输入得到线性变换系数，再经过线性变换计算得到高分辨率的结果图，使用可学习的神经网络组成一系列线性变换系数提取模块，包括引导卷积guide、均值滤波卷积boxfilter和逐点卷积pointwise，增强线性变换系数表达能力，同时这样设计可以保证模块所需学习的特征更少，计算量更节省，分离效果更好。
[0072]
本发明一实施例，训练过程中采用掩模合成模块将导向型特征分离模块输出的与输入数据《data
x
，data
ref
》进行合成操作，得到训练过程的待优化帧的操作如下：
[0073][0074]
本发明一实施例，训练过程中函数优化模块优化最佳整体参数θ
all
，整体表示为，
[0075][0076][0077][0078][0079]
本发明一实施例，推理过程中掩采用掩模合成模块将本发明一实施例，推理过程中掩采用掩模合成模块将与输入数据《frame
x
，frame
ref
》进行合成，得到最终质量复原后的输出帧y的操作如下：
[0080][0081]
如图3所示为一具体应用实例中，左边是输入图片，右边是经过本方法质量提升后的结果，可以发现将输入图片上存在的条纹噪声去除了，画面更干净；图4至图7依次为输入低质图、参考背景图、现有背景复原方法效果图和本方法效果图，可以发现在参考背景图与输入图对应区域相同(或者都是背景)时的复原效果两种方法差不多，都达到了最佳的效果，但对于参考背景图与输入图中对应区域不同时，本方法能得到准确且质量提升明显的结果。
[0082]
应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

技术特征：
1.一种基于导向型特征分离的图片质量提升方法，其特征在于，包括训练过程和推理过程，训练过程中采用特征粗提取模块输入训练序列<data
x
,data
ref
>，其中data
ref
是待训练的输入数据data
x
对应的参考背景数据；特征粗提取模块将<data
x
,data
ref
>下采样得到引导图像对倍数任意，训练时设置为1～4之间随机值，接着对<data
x
,data
ref
>分别进行特征重排，得到更低尺寸的特征图再执行特征提取extract操作，公式表示为：示为：即为粗提取到的前景背景混合特征图，将与引导图像对即为粗提取到的前景背景混合特征图，将与引导图像对一起交由导向型特征分离模块处理，同时将传递给函数优化模块单独优化特征粗提取模块的参数；训练过程中采用导向型特征分离模块将前景背景混合特征图分解成前景和背景区域分离的特征组合接着对特征组合进行导向滤波操作，计算得到对应的高分辨率特征组合训练过程中采用掩模合成模块将导向型特征分离模块输出的训练过程中采用掩模合成模块将导向型特征分离模块输出的与输入数据<data
x
,data
ref
>进行合成操作，得到训练过程的待优化帧将序列送入函数优化模块；训练过程中函数优化模块根据单独优化特征粗提取模块的参数，得到较优的参数θ
extract
之后，再联合导向型特征分离模块、掩模合成模块进行整体优化，通过计算基准图像gt和待优化序列之间的最小重建损失，优化最佳整体参数θ
all
；推理过程中特征粗提取模块、导向型特征分离模块和掩模合成模块使用在训练过程中得到的最佳整体参数θ
all
；推理过程中采用数据流入模块将待处理的视频或图像序列转换成模型适用的数据形式<frame
x
,frame
ref
>，其中frame
x
是待处理的视频序列和frame
ref
是对应场景下的参考背景帧，处理好后将数据传入特征粗提取模块；推理过程中采用特征粗提取模块将<frame
x
,frame
ref
>下采样得到引导图像对<img
h
,img
l
>，接着对<frame
x
,frame
ref
>分别进行特征重排和特征提取extract操作，得到前景背景混合特征图y
feat
，与引导图像对<img
h
,img
l
>一起交由导向型特征分离模块处理；推理过程中采用导向型特征分离模块将前景背景混合特征图y
feat
首先分解成前景和背景区域分离的特征组合<fgr,bgr,pha>，接着对特征组合进行导向滤波操作，计算得到对应的高分辨率特征组合的高分辨率特征组合推理过程中掩采用掩模合成模块将与输入数据<frame
x
,frame
ref
>进行合成，得到最终质量复原后的输出帧y；推理过程中采用数据流出模块将掩模合成模块处理后的输出帧y转换为实际输出的视
频序列。2.如权利要求1所述的基于导向型特征分离的图片质量提升方法，其特征在于，训练过程中导向型特征分离模块进一步包括引导卷积、均值滤波卷积和逐点卷积，引导卷积首先得到的引导特征g
l
，与一起经过均值滤波卷积计算获得低分辨率下的相关均值方差，接着将计算获得的相关均值方差参数通过逐点卷积得到线性变换系数<a,b>，操作如下，数<a,b>，操作如下，mean
x
＝boxfilter(g
l
)var
x
＝boxfilter(g
l
*g
l
)-mean
x
*maxn
x
a＝paintwise(<var
x
,cov
xy
>)b＝mean
y-a*mean
x
最后将低分辨率下的线性变换系数上采样后作为的引导特征g
h
的变换系数，引导生成对应的高分辨率特征生成对应的高分辨率特征3.如权利要求1所述的基于导向型特征分离的图片质量提升方法，其特征在于，训练过程中采用掩模合成模块将导向型特征分离模块输出的程中采用掩模合成模块将导向型特征分离模块输出的与输入数据<data
x
,data
ref
>进行合成操作，得到训练过程的待优化帧的操作如下：4.如权利要求1所述的基于导向型特征分离的图片质量提升方法，其特征在于，训练过程中函数优化模块优化最佳整体参数θ
all
，整体表示为，，整体表示为，，整体表示为，，整体表示为，5.如权利要求1所述的基于导向型特征分离的图片质量提升方法，其特征在于，推理过程中掩采用掩模合成模块将与输入数据<frame
x
,frame
ref
>进行合成，得到最终质量复原后的输出帧y的操作如下：

技术总结
本发明公开了一种基于导向型特征分离的图片质量提升方法，包括训练过程和推理过程，其中采用特征粗提取模块将输入的前景和背景数据融合后提取特征，交给导向型特征分离模块，在训练过程中还需要传递参数给函数优化模块；导向型特征分离模块利用导向滤波技术快速识别分离前景背景特征，将分离后的特征交给掩模合成模块，在训练过程中需要传递参数给函数优化模块；掩模合成模块负责将分离后的特征融合输出给数据流出模块，在训练过程中需要传递参数给函数优化模块；函数优化模块首先对特征粗提取模块的参数进行阶段训练，再对特征粗提取，导向型特征分离和掩模合成模块一起进行优化，最终所有优化好的模块被用于推理过程使用。用。用。


技术研发人员：赵浩 陈晓峰 祁伟 谢亚光
受保护的技术使用者：杭州当虹科技股份有限公司
技术研发日：2023.04.24
技术公布日：2023/8/21