一种老电影结构性损伤修复方法和系统

1.本发明属于图像处理技术领域，具体地而言为一种老电影结构性损伤修复方法和系统。


背景技术：

2.老电影是以胶片为介质，用于保存的视频信息的方式。由于胶片本身的化学性质和外界的物理因素，导致胶片表面的出现划痕和斑块等损伤。随着数字化技术的发展，常用的老电影修复方式，先将胶片通过胶转磁技术，将胶上的信息数字化，再对数字化后的视频通过修复算法进行修复。
3.目前的老电影结构性损伤的修复方法并不理想，主要原因有老电影由于原因不满光强不变，不能使用基于光流法的视频修复方法。也有基于因果卷积的老电影修复方法，但是较大是计算量限制算法的应用。目前还没有根据结构性损伤的特点，引入合适的先验知识，辅助模型的训练。老电影结构性损伤包括划痕和斑块。斑块的出现是因为保存环境不理想，胶片介质的氧化和发霉导致，因此，其形状和位置在老电影中出现具有随机性，且呈现稀疏分布，小面积的斑块修复难度较小，而大面积斑块对修复结果的要求较高。划痕损伤产生的原因是播放或拷贝的过程中，胶片与播放设备表面的凸起摩擦，导致胶片表面的凝胶层脱落形成的损伤。因此，划痕损伤多呈现为细长的形状，纹理信息的修复要求较低。但垂直划痕具备较弱的时间相关性，仅使用卷积神经网络近似填充比较容易视觉感知。综合上述分析，划痕和斑块损伤在空间上具有稀疏和在时间上具有不连续的特点。


技术实现要素：

4.针对相关技术中存在的上述问题，本发明提供一种老电影结构性损伤修复方法和系统。
5.本发明是这样实现的，
6.一种老电影结构性损伤修复方法，该方法包括：
7.对原始视频数据预处理，制作训练数据集；
8.构建特征网络模型；
9.构建损失函数；
10.联合利用训练集和损失函数对构建的特征提取网络模型进行训练，通过训练生成的结果，对特征提取网络模型进行超参数的调节，确定各个损失函数的权重，得到最终的视频修复模型；
11.利用得到的视频修复模型对视频进行修复。
12.进一步地，所述超参数的调节包括：设置学习率为10-4
先单独训练纹理修复网络至收敛，再单独训练图像完成网络至收敛，降低学习率，将学习率为10-5
，再单独训练图像完成网络至收敛，最后设置学习率为10-6
,将纹理修复网络与图像完成网络一起训练。
13.进一步地，对原始视频数据集进行预处理，包括：
14.提取当前帧信息；
15.提取当前帧信息的前一帧作为参考帧图像；
16.将随机形状的掩膜添加到当前帧作为第一输入图像，使用canny提取第一输入图像的纹理信息作为第二输入图像；
17.将当前帧图像添加掩膜后的第一输入图像，与第二输入图像，以及参考帧图像组成修复模型的输入；
18.将所有尺寸大小变换为256
×
256，形成训练集。
19.进一步地，原始视频是从老电影视频中随机截取，尺寸为256
×
256像素的图像；
20.当前帧作为待修复图像，所述参考帧图像与待修复图像具有相同空间位置和相同尺寸。
21.进一步地，构建特征网络模型包括：构建一个纹理修复模型和一个图像完成模型，所述纹理修复模型和图像完成模型均为生成对抗网络，所述生成对抗网络包括一个生成器网络和一个判别器网络，所述生成器网络依次包括编码器、中间层和解码器；所述判别器网络包括编码器和2个卷积层；所述编码器包括2层下采样卷积层；所述解码器包括2层上采样卷积层；所述中间层包括8个残差块，每一个所述残差块中均采用膨胀卷积和残差模块。
22.进一步地，纹理修复模型的生成器网络g1组成一个编码器、中间层和一个解码器；
23.纹理修复模型的判别器网络d1形成一个编码器；
24.图像完成网络的生成器网络g2形成多个编码器、中间层和一个解码器，并通过一个编码器与纹理修复模型的生成器网络g1的输出连接，其他编码器作为参考帧输入；
25.图像完成网络的判别器网络d2形成一个编码器；
26.图像完成网络的生成器网络g2的参考帧输入方式包括：第一输入：生成器的编码器第一层在中间层之前与纹理修复模型的判别器网络g1的输出相连；第二输入：生成器的编码器第一层在中间层之前，且不与纹理修复模型的判别器网络g1的输出相连；第三输入：生成器的编码器第一层在中间层与解码器之间，即中间层之后，解码器之前；
27.形成的输入结构包括：值输入其中第一种、第二种和三种全部输入或任意两种的组合输入。
28.进一步地，所述损失函数包括：对抗损失、特征匹配损失、l1损失、感知损失和风格损失；
29.其中：所述对抗损失和特征匹配损失用于纹理信息生成训练；
30.所述对抗损失、特征匹配损失、l1损失、感知损失和风格损失用于颜色生成训练；所述颜色是指填充的像素；所述纹理信息是指图像边缘轮廓信息；纹理修复模型的对抗损失定义l
adv,1
：
[0031][0032]
其中，t表示当前帧，i表示图像，c表示图像i的纹理，c
pre
表示预测的纹理，e是求均值，d1表示纹理修复网络的判别器；
[0033]
特征匹配损耗l
fm
定义为：特征匹配损耗通过比较判别器中间层中的激活图，通过强制生成器以类似于真实图像的表示产生结果来稳定训练过程，其中l是纹理修复网络的
判别器d1的最后一层卷积层，ni是第i个激活层中的元素数，而是判别器第i个层中的激活层，特征匹配损耗l
fm
为：
[0034][0035]
纹理修复模型的联合损失函数为：
[0036][0037]
其中λ
adv,1
和λ
fm
是正则化参数。
[0038]
纹理修复模型的对抗损失定义l
adv,2
：
[0039]
其中，t表示当前帧，t-1表示前一帧，i表示图像，i
pred
表示预测图像，c表示图像的纹理，c
comp
表示补全的完整纹理，r表示参考帧，d2表示图像完成网络的判别器，e是求均值；
[0040]
感知损失函数l
perc
：
[0041]
t表示当前帧，i表示图像，i
pred
表示预测图像，ni是第i个激活层中的元素数，感知损失函数l
perc
通过定义预训练网络的激活图之间差值的1范数来惩罚与标签在感知上不合理的结果，φi表示预训练网络的第i层的激活图；
[0042]
风格损失函数l
style
：
[0043]
其中是根据激活图φi构造的格拉姆矩阵，风格损失函数l
style
；
[0044]
图像完成网络联合损失函数为：
[0045]
其中λ
adv.2
＝λ
p
＝0.1,andλ
style
＝250。
[0046]
一种老电影结构性损伤修复系统，包括：
[0047]
训练集模块，所述训练集模块提供用于训练特征提取网络模型的训练集；
[0048]
模型训练模块，所述模型训练模块提供用于训练特征提取网络模型的损失函数；
[0049]
老电影结构性损伤修复模块，所述老电影结构性损伤修复模块联合利用训练集和损失函数对特征提取网络模型进行训练，通过训练生成的结果，对模型进行调参，得到用于进行老电影结构性损伤修复模型。
[0050]
本发明与现有技术相比，有益效果在于：
[0051]
本发明提供的利用生成对抗网络进行老电影结构性损伤修复的方法和系统，结合结构性损伤时间相关度较弱的特点，加入参考帧信息引导，同时选择下采样后融入修复模型的主干网络，使得网络可以用较小计算成本，尽可能多使用时域特征，提高结构性损伤的修复效果，同时提升了老电影结构性损伤修复的主、客观质量评价指标。
附图说明
[0052]
图1为本发明实施例提供的网络结构图。
[0053]
图2为本发明实施例提供的参考帧加入网络的方式示意图；
[0054]
图3为本发明实施例提供的根据参考帧加入方式的不同，得到g2网络的多种变形；
[0055]
图4为不同方法修复结果对比示意图，其中erc_*表示为本发明一优选实施例所提供的方法。
具体实施方式
[0056]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0057]
本发明一实施例提供了一种利用生成对抗网络进行老电影结构性损伤修复修复的方法，一种老电影结构性损伤修复方法，其特征在于，该方法包括：
[0058]
对原始视频数据预处理，制作训练数据集；
[0059]
构建特征网络模型；
[0060]
构建损失函数；
[0061]
联合利用训练集和损失函数对构建的特征提取网络模型进行训练，通过训练生成的结果，对特征提取网络模型进行超参数的调节，确定各个损失函数的权重，得到最终的视频修复模型；
[0062]
利用得到的视频修复模型对视频进行修复。
[0063]
该方法选择经典的编解码网络加空洞残差卷积的模型，提取图像序列的特征。输入带有结构性损伤老电影序列，输出修复后的序列。而大多数情况下视频帧前后都有着强关联性，可以通过提取帧间可用信息进行引导修复，即时域差错隐藏。而老电影结构性损伤具有较弱的时间相关性，根据上述特点，在图像完成网络加入参考帧，引导损伤区域颜色填充。输入受损帧、受损帧边缘信息、损伤区域掩膜和参考帧共同作为输入，通过老电影图像序列制作的数据集上训练，完成最终的老电影结构性损伤修复模型。
[0064]
考虑到传统算法主要以结构相似性(structural similarity index，ssim)、峰值信噪比(peak signal to noise ratio，psnr)、平均绝对误差(mean absolute error，mae)等客观质量评价指标为提升目标，本实施例所提供的方法根据边缘信息和参考帧信息对修复很好的引导作用以及深度学习相比传统方法在特征提取方面的优越性，能够同时提升客观评价指标和主观质量评价指标。
[0065]
构建特征网络模型包括：构建一个纹理修复模型和一个图像完成模型，所述纹理修复模型和图像完成模型均为生成对抗网络，所述生成对抗网络包括一个生成器网络和一个判别器网络，所述生成器网络依次包括编码器、中间层和解码器；所述判别器网络包括编码器和2个卷积层；所述编码器包括2层下采样卷积层；所述解码器包括2层上采样卷积层；所述中间层包括8个残差块，每一个所述残差块中均采用膨胀卷积和残差模块，每一个所述残差块中均采用膨胀卷积和残差模块。
[0066]
在数据集选取方面，图像序列包含20个场景，这样能够尽可能多的提取出视频帧基础特征，以应对不同场景下的受损视频修复需求。选取老电影图像序列的随机图像和对
应的参考帧，掩膜使用任意形状10％-60％占比掩膜数据集，用于模拟斑块和划痕的特点。
[0067]
具体的，对原始视频数据预处理，制作训练数据集，具体包括：
[0068]
提取当前帧信息；
[0069]
提取当前帧信息的前一帧作为参考帧信息
[0070]
将随机形状的掩膜添加到当前帧作为输入图像，使用canny提取输入图像的纹理信息，将输入图像、纹理信息和掩膜图像组成纹理信息网络的输入图像。
[0071]
将当前帧图像添加掩膜，与纹理修复网络的输出图像，以及参考帧图像组成修复模型的输入；
[0072]
将所有尺寸大小变换为256
×
256，形成训练集。
[0073]
构建的特征提取网络模型，利用当前图像修复中经典的网络框架作为基础模型，在生成对抗网络引入参考帧来约束模型进行训练，达到更好的模型性能。网络使用编解码器和8个空洞卷积残差块组合作为基本网络结构，基本网络结构如图所1示。网络有两部分组成，一个纹理修复模型和一个图像完成模型。纹理修复模型和图像完成模型均为成成对抗网络。
[0074]
g1是纹理修复模型的生成器，包括一个编码器、中间层和一个解码器。d1是纹理修复模型是判别器，包括一个编码器。g2是图像完成网络的生成器，包括多个编码器、中间层和一个解码器，g2中的一个编码器与g1的输出连接，其他编码器作为参考帧输入。d2是图像完成网络的判别器，包括一个编码器。模型训练方面先训练纹理修复模型，再训练图像完成模型，最后联合训练微调图像完成模型。
[0075]
图像完成网络的生成器网络g2的参考帧输入方式包括：生成器的编码器第一层在中间层之前与纹理修复模型的判别器网络g1的输出相连；生成器的编码器第一层在中间层之前，且不与纹理修复模型的判别器网络g1的输出相连；生成器的编码器第一层在中间层与解码器之间，即中间层之后，解码器之前。
[0076]
如图2所示为3个参考帧输入位置，具体输入方式包括3个输入位置的组合，包括只输入第一位置1、只输入第二位置2、只输入第三位置3、输入第一位置1和第二位置2、输入第一位置1和第三位置3、输入第二位置2和第三位置3、输入第一位置1和第二位置2和第三位置3；g2的网络有多种变形，如附录图3所示，包括net1、net2和net3。、
[0077]
作为一优选实施例，步骤3中，构建的损失函数包括对抗损失、特征匹配损失、l1损失、感知损失和风格损失用于颜色生成训练；其中：所述颜色是指填充的像素；所述纹理信息是指图像边缘轮廓信息；对抗损失和特征匹配损失用于纹理信息生成训练；
[0078]
纹理修复模型的对抗损失定义l
adv,1
：
[0079][0080]
其中，t表示当前帧，i表示图像，c表示图像i的纹理，c
pre
表示预测的纹理，e是求均值，d1表示纹理修复网络的判别器；
[0081]
特征匹配损耗l
fm
定义为：特征匹配损耗通过比较判别器中间层中的激活图，通过强制生成器以类似于真实图像的表示产生结果来稳定训练过程，其中l是纹理修复网络的判别器d1的最后一层卷积层，ni是第i个激活层中的元素数，而是判别器第i个层中的激
活层，特征匹配损耗l
fm
为：
[0082][0083]
纹理修复模型的联合损失函数为：
[0084][0085]
其中λ
adv,1
和λ
fm
是正则化参数。
[0086]
纹理修复模型的对抗损失定义l
adv,2
：
[0087]
其中，t表示当前帧，t-1表示前一帧，i表示图像，i
pred
表示预测图像，c表示图像的纹理，c
comp
表示补全的完整纹理，r表示参考帧，d2表示图像完成网络的判别器，e是求均值；
[0088]
感知损失函数l
perc
：
[0089]
t表示当前帧，i表示图像，i
pred
表示预测图像，ni是第i个激活层中的元素数，感知损失函数l
perc
通过定义预训练网络的激活图之间差值的1范数来惩罚与标签在感知上不合理的结果，φi表示预训练网络的第i层的激活图；
[0090]
风格损失函数l
style
：
[0091]
其中是根据激活图φi构造的格拉姆矩阵，风格损失函数l
style
；
[0092]
图像完成网络联合损失函数为：
[0093]
其中λ
adv.2
＝λ
p
＝0.1,andλ
style
＝250。
[0094]
联合利用训练集和损失函数对构建的特征提取网络模型进行训练通过训练生成的结果，对模型进行调参，确定各个损失函数的权重，包括：
[0095]
超参数的调节包括：设置学习率为10-4
先单独训练纹理修复网络至收敛，再单独训练图像完成网络至收敛，降低学习率，将学习率为10-5
，再单独训练图像完成网络至收敛，最后设置学习率为10-6
,将纹理修复网络与图像完成网络一起训练。
[0096]
在一实施例中，在对所述特征提取网络模型进行训练的过程中，所述对抗性损失，采用梯度下降法作为优化算法，学习率设置为0.0001，adam一阶矩估计的指数衰减率beta1设置为0，二阶矩估计的指数衰减率beta2设置为0.9，批大小设置为8，鉴别器和生成器学习率比例设置为0.1。
[0097]
在对所述特征提取网络模型进行训练的过程中，所述风格损失，采用vgg-19网络的relu2_1、relu2_2、relu3_3、relu4_3层计算gram矩阵。
[0098]
基于以上方案具体实施，训练出本实施例的模型，经过模型验证和测试，视频修复结果比传统方法更好，主、客观评价指标都得到了提升，证明了本实施所提供的方法修复方
法的优越性。
[0099]
基于本发明上述实施例所提供的利用生成对抗网络进行老电影结构性损伤修复修复的方法，本发明另一实施例，提供了一种利用生成对抗网络进行老电影结构性损伤修复的系统，包括：训练集模块，训练集模块提供用于训练特征提取网络模型的训练集；
[0100]
模型训练模块，模型训练模块提供用于训练特征提取网络模型的损失函数；
[0101]
视频修复模块，视频修复模块联合利用训练集和损失函数对特征提取网络模型进行训练，通过训练生成的结果，对模型进行调参，得到用于进行老电影结构性损伤修复模型。
[0102]
图4为不同算法修复结果客观评价指标对比，其中erc_*为本发明一优选实施例所提供的方法，表1、表2以及表3为不同的算法的对比结果。
[0103]
表1不同算法修复结果psnr均值
[0104][0105][0106]
表2不同算法修复结果ssim均值
[0107][0108]
表3不同算法修复结果mae均值
[0109][0110]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种老电影结构性损伤修复方法，其特征在于，该方法包括：对原始视频数据预处理，制作训练数据集；构建特征网络模型；构建损失函数；联合利用训练集和损失函数对构建的特征提取网络模型进行训练，通过训练生成的结果，对特征提取网络模型进行超参数的调节，确定各个损失函数的权重，得到最终的视频修复模型；利用得到的视频修复模型对视频进行修复。2.按照权利要求1所述的老电影结构性损伤修复方法，其特征在于，所述超参数的调节包括：设置学习率为10-4
先单独训练纹理修复网络至收敛，再单独训练图像完成网络至收敛，降低学习率，将学习率为10-5
，再单独训练图像完成网络至收敛，最后设置学习率为10-6
,将纹理修复网络与图像完成网络一起训练。3.按照权利要求1所述的老电影结构性损伤修复方法，其特征在于，对原始视频数据集进行预处理，包括：提取当前帧信息；提取当前帧信息的前一帧作为参考帧图像；将随机形状的掩膜添加到当前帧作为第一输入图像，使用canny提取第一输入图像的纹理信息作为第二输入图像；将当前帧图像添加掩膜后的第一输入图像，与第二输入图像，以及参考帧图像组成修复模型的输入；将所有尺寸大小变换为256
×
256，形成训练集。4.按照权利要求1所述的老电影结构性损伤修复方法，其特征在于，原始视频是从老电影视频中随机截取，尺寸为256
×
256像素的图像；当前帧作为待修复图像，所述参考帧图像与待修复图像具有相同空间位置和相同尺寸。5.按照权利要求1所述的老电影结构性损伤修复方法，其特征在于，构建特征网络模型包括：构建一个纹理修复模型和一个图像完成模型，所述纹理修复模型和图像完成模型均为生成对抗网络，所述生成对抗网络包括一个生成器网络和一个判别器网络，所述生成器网络依次包括编码器、中间层和解码器；所述判别器网络包括编码器和2个卷积层；所述编码器包括2层下采样卷积层；所述解码器包括2层上采样卷积层；所述中间层包括8个残差块，每一个所述残差块中均采用膨胀卷积和残差模块。6.按照权利要求1所述的老电影结构性损伤修复方法，其特征在于，纹理修复模型的生成器网络g1组成一个编码器、中间层和一个解码器；纹理修复模型的判别器网络d1形成一个编码器；图像完成网络的生成器网络g2形成多个编码器、中间层和一个解码器，并通过一个编码器与纹理修复模型的生成器网络g1的输出连接，其他编码器作为参考帧输入；图像完成网络的判别器网络d2形成一个编码器；图像完成网络的生成器网络g2的参考帧输入方式包括：第一输入：生成器的编码器第一层在中间层之前与纹理修复模型的判别器网络g1的输出相连；第二输入：生成器的编码
器第一层在中间层之前，且不与纹理修复模型的判别器网络g1的输出相连；第三输入：生成器的编码器第一层在中间层与解码器之间，即中间层之后，解码器之前；形成的输入结构包括：值输入其中第一种、第二种和三种全部输入或任意两种的组合输入。7.按照权利要求6所述的老电影结构性损伤修复方法，其特征在于，所述损失函数包括：对抗损失、特征匹配损失、l1损失、感知损失和风格损失；其中：所述对抗损失和特征匹配损失用于纹理信息生成训练；所述对抗损失、特征匹配损失、l1损失、感知损失和风格损失用于颜色生成训练；所述颜色是指填充的像素；所述纹理信息是指图像边缘轮廓信息；纹理修复模型的对抗损失定义l
adv,1
：其中，t表示当前帧，i表示图像，c表示图像i的纹理，c
pre
表示预测的纹理，e是求均值，d1表示纹理修复网络的判别器；特征匹配损耗l
fm
定义为：特征匹配损耗通过比较判别器中间层中的激活图，通过强制生成器以类似于真实图像的表示产生结果来稳定训练过程，其中l是纹理修复网络的判别器d1的最后一层卷积层，n
i
是第i个激活层中的元素数，而是判别器第i个层中的激活层，特征匹配损耗l
fm
为：纹理修复模型的联合损失函数为：其中λ
adv,1
和λ
fm
是正则化参数。纹理修复模型的对抗损失定义l
adv,2
：其中，t表示当前帧，t-1表示前一帧，i表示图像，i
pred
表示预测图像，c表示图像的纹理，c
comp
表示补全的完整纹理，r表示参考帧，d2表示图像完成网络的判别器，e是求均值；感知损失函数l
perc
：t表示当前帧，i表示图像，i
pred
表示预测图像，n
i
是第i个激活层中的元素数，感知损失函数l
perc
通过定义预训练网络的激活图之间差值的1范数来惩罚与标签在感知上不合理的结果，φ
i
表示预训练网络的第i层的激活图；风格损失函数l
style
：
其中是根据激活图φ
i
构造的格拉姆矩阵，风格损失函数l
style
；图像完成网络联合损失函数为：其中λ
adv.2
＝λ
p
＝0.1,andλ
style
＝250。8.一种老电影结构性损伤修复系统，其特征在于，采用权利要求1-7任一一项所述方法，包括：训练集模块，所述训练集模块提供用于训练特征提取网络模型的训练集；模型训练模块，所述模型训练模块提供用于训练特征提取网络模型的损失函数；老电影结构性损伤修复模块，所述老电影结构性损伤修复模块联合利用训练集和损失函数对特征提取网络模型进行训练，通过训练生成的结果，对模型进行调参，得到用于进行老电影结构性损伤修复模型。

技术总结
本发明属于本发明属于图像处理技术领域，具体地而言为一种老电影结构性损伤修复方法和系统，该方法包括：对原始视频数据预处理，制作训练数据集；构建特征网络模型；构建损失函数；联合利用训练集和损失函数对构建的特征提取网络模型进行训练，通过训练生成的结果，对特征提取网络模型进行超参数的调节，确定各个损失函数的权重，得到最终的视频修复模型；利用得到的视频修复模型对视频进行修复。使得网络可以用较小计算成本，尽可能多使用时域特征，提高结构性损伤的修复效果，同时提升了老电影结构性损伤修复的主、客观质量评价指标。客观质量评价指标。客观质量评价指标。


技术研发人员：刘云清 刘泉洋
受保护的技术使用者：长春理工大学
技术研发日：2023.04.10
技术公布日：2023/7/7