一种动画生成优化方法及其系统与流程

1.本发明涉及计算机领域，特别是一种动画生成优化方法及其系统。


背景技术：

2.内容的生产与营销已经成为当今互联网产业盈利的基本方式之一，由内容生产者创作的、以文字、图像、视频等形式出现的多媒体信息吸引了大量消费者的阅读和观看，由此产生了巨大的商业价值，并促进了整个互联网行业的发展。其中，图像编辑是一项重要的工作，在插画设计、视频封面制作、游戏素材制作等方面均有广泛的需求，但编辑图像通常是复杂的，往往需要掌握专业的绘图和美术知识，且创作时间耗时、创作结果难以修改。常见的图像编辑的应用有：给黑白老照片上色，修复被损坏的区域等。
3.经典的条件图像重绘方法采用两阶段的设计：生成阶段和拼接阶段：(1)在生成阶段中，模型利用输入的颜色、几何、纹理条件来进行重绘内容的生成；(2)在拼接阶段中，模型丢弃第一阶段生成的无意义的背景区域，并用输入的背景条件替换，然后利用拼接模型对重绘区域的色调进行调整，使拼接后的图像更加和谐，最终生成了重绘图像。目前通过扩散模型将视频每一帧重绘成新的绘画风格，由于控制绘画风格词语和原始图片无法精确控制每次生成内容稳定性，从而导致每一帧画面闪烁。


技术实现要素：

4.为克服目前通过扩散模型将视频每一帧重绘成新的绘画风格，由于控制绘画风格词语和原始图片无法精确控制每次生成内容稳定性，从而导致每一帧画面闪烁，本发明的目的是提供一种动画生成优化方法及其系统，能够有效的解决视频转视频中每一帧的画面闪烁问题，并且减少每一帧重绘的内容，加快视频生成速度。
5.本发明采用以下方案实现：
6.一种动画生成优化方法，步骤1：对原始视频的每个帧进行差异区域提取；
7.步骤2：对差异区域的画面进行局部重绘，并以绘制后第一帧为基准，后续的每一帧只针对差异区域，进行根据控制绘画风格词语的局部重绘，即根据指定扩展像素点参数，对重绘区域扩展，避免过小的重绘区域；
8.步骤3：将局部重绘的内容与前一帧内容合并，再继续处理下一帧；
9.步骤4：最终把所有帧合并成视频输出。
10.进一步的，步骤1进一步具体为：通过opencv中的absdiff()方法进行帧间差异计算，并通过threshold()方法过滤出差异区域。
11.进一步的，步骤3进一步具体为：通过opencv的addweighted()方法将局部重绘后的内容区域与前一帧内容合并，重复合并直到处理完所有帧。
12.进一步的，步骤4进一步具体为：通过opencv的videowriter将处理后的所有帧合并成一个视频文件并返回。
13.一种动画生成优化系统，所述系统包括差异区域提取模块、局部重绘模块、内容合
并模块、合成模块；
14.所述差异区域提取模块用于对原始视频的每个帧进行差异区域提取；
15.所述局部重绘模块用于对差异区域的画面进行局部重绘，并以绘制后第一帧为基准，后续的每一帧只针对差异区域，进行根据控制绘画风格词语的局部重绘，即根据指定扩展像素点参数，对重绘区域扩展，避免过小的重绘区域；
16.所述内容合并模块用于将局部重绘的内容与前一帧内容合并，再继续处理下一帧；
17.所述合成模块用于最终把所有帧合并成视频输出。
18.进一步的，差异区域提取模块进一步具体为：通过opencv中的absdiff()方法进行帧间差异计算，并通过threshold()方法过滤出差异区域。
19.进一步的，内容合并模块进一步具体为：通过opencv的addweighted()方法将局部重绘后的内容区域与前一帧内容合并，重复合并直到处理完所有帧。
20.进一步的，合成模块进一步具体为：通过opencv的videowriter将处理后的所有帧合并成一个视频文件并返回。
21.本发明的有益效果在于：
22.本发明提供了一种动画生成优化方法及其系统，即通过opencv对原始视频的每个帧进行差异区域提取，然后对生成后的画面以第一帧为基准，对差异部分的画面进行局部重绘，并且局部重绘在通过前后帧做参照进行合并，得出较稳定的变化画面，能够有效的解决视频转视频中每一帧的画面闪烁问题，并且减少每一帧重绘的内容，加快视频生成速度。
附图说明
23.图1为本发明方法的流程图；
24.图2为本发明系统的结构框图。
具体实施方式
25.下面结合附图对本发明做进一步说明。
26.参见图1，一种动画生成优化方法，所述方法步骤如下：
27.步骤1：对原始视频的每个帧进行差异区域提取；
28.步骤2：对差异区域的画面进行局部重绘，并以绘制后第一帧为基准，后续的每一帧只针对差异区域，进行根据控制绘画风格词语的局部重绘，即根据指定扩展像素点参数，对重绘区域扩展，避免过小的重绘区域；
29.重绘区域太小比如只有1像素就导致重绘部分和周围的画面有可能不和谐。就像photoshop羽化那样，要至少要有一些扩展的区域，这样生成时候能够生成一些过度内容，使得重绘的区域和重绘以外的区域不会突兀。
30.步骤3：将局部重绘的内容与前一帧内容合并，再继续处理下一帧；
31.步骤4：最终把所有帧合并成视频输出。
32.下面结合一个具体实施例来对本发明进行进一步说明：
33.一种动画生成优化方法，所述方法包括如下步骤：
34.步骤1、假设我们有一个包含24帧的10秒原始视频，分辨率是1280x720。我们采用
以下具体步骤来实现上述方法；
35.步骤2、使用opencv库对原始视频的每个帧进行差异区域提取：
36.使用opencv中的absdiff()方法进行帧间差异计算，以及threshold()方法过滤出差异区域。即将两个连续帧的图像分别表示为a和b。使用absdiff()方法对a和b进行帧间差异计算。该方法会计算出两个图像之间像素级别的差异，并生成一个新的图像c，其中每个像素点的值表示相应位置上a和b之间的差异程度。差异图像c中的像素值越大，表示该位置上的像素在两个帧之间的变化越大。因此，c中的像素值可以用于衡量图像之间的差异程度。
37.通过threshold()方法可以将差异图像c中的像素值进行二值化处理，过滤掉小于特定阈值的差异区域。这样可以得到目标帧与参考帧之间的有效差异区域。
38.步骤3、对差异部分画面进行局部重绘，并以绘制后第一帧为基准：
39.当我们检测到差异部分后，将第一帧画面作为基准帧。例如差异部分的像素范围为:x＝300，y＝200，width＝400，height＝300。使用扩散模型进行局部重绘。
40.步骤4、后续的每一帧只对差异区域进行局部重绘:
41.对于每一帧，重绘那些差异区域。在这个例子中，设定控制绘画风格词语参数后，我们可以设定扩展像素点参数，例如扩展10个像素，从而避免过小的重绘区域。例如，重绘后的差异区域范围为：x＝290，y＝190，width＝420，height＝320。
42.步骤5、将局部重绘的内容与前一帧内容合并，再继续处理下一帧:
43.opencv的addweighted()方法可以将调色后的局部区域与前一帧内容合并，重复这个步骤直到处理完所有帧。
44.步骤6、最终把所有帧合并成视频输出:
45.使用opencv的videowriter将处理后的所有帧合并成一个视频文件并返回。
46.参见图2，一种动画生成优化系统，所述系统包括差异区域提取模块、局部重绘模块、内容合并模块、合成模块；
47.所述差异区域提取模块用于对原始视频的每个帧进行差异区域提取；
48.所述局部重绘模块用于对差异区域的画面进行局部重绘，并以绘制后第一帧为基准，后续的每一帧只针对差异区域，进行根据控制绘画风格词语的局部重绘，即根据指定扩展像素点参数，对重绘区域扩展，避免过小的重绘区域；
49.所述内容合并模块用于将局部重绘的内容与前一帧内容合并，再继续处理下一帧；
50.所述合成模块用于最终把所有帧合并成视频输出。
51.差异区域提取模块进一步具体为：通过opencv中的absdiff()方法进行帧间差异计算，并通过threshold()方法过滤出差异区域。
52.内容合并模块进一步具体为：通过opencv的addweighted()方法将局部重绘后的内容区域与前一帧内容合并，重复合并直到处理完所有帧。
53.合成模块进一步具体为：通过opencv的videowriter将处理后的所有帧合并成一个视频文件并返回。
54.总之，本发明提供了一种动画生成优化方法及其系统，即通过opencv对原始视频的每个帧进行差异区域提取，然后对生成后的画面以第一帧为基准，对差异部分的画面进
行局部重绘，并且局部重绘在通过前后帧做参照合并，得出较稳定的变化画面，能够有效的解决视频转视频中每一帧的画面闪烁问题，并且减少每一帧重绘的内容，加快视频生成速度。
55.以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

技术特征：
1.一种动画生成优化方法，其特征在于，所述方法步骤如下：步骤1：对原始视频的每个帧进行差异区域提取；步骤2：对差异区域的画面进行局部重绘，并以绘制后第一帧为基准，后续的每一帧只针对差异区域，进行根据控制绘画风格词语的局部重绘，即根据指定扩展像素点参数，对重绘区域扩展，避免过小的重绘区域；步骤3：将局部重绘的内容与前一帧内容合并，再继续处理下一帧；步骤4：最终把所有帧合并成视频输出。2.根据权利要求1所述的一种动画生成优化方法，其特征在于，步骤1进一步具体为：通过opencv中的absdiff()方法进行帧间差异计算，并通过threshold()方法过滤出差异区域。3.根据权利要求1所述的一种动画生成优化方法，其特征在于，步骤3进一步具体为：通过opencv的addweighted()方法将局部重绘后的内容区域与前一帧内容合并，重复合并直到处理完所有帧。4.根据权利要求1所述的一种动画生成优化方法，其特征在于，步骤4进一步具体为：通过opencv的videowriter将处理后的所有帧合并成一个视频文件并返回。5.一种动画生成优化系统，其特征在于，所述系统包括差异区域提取模块、局部重绘模块、内容合并模块、合成模块；所述差异区域提取模块用于对原始视频的每个帧进行差异区域提取；所述局部重绘模块用于对差异区域的画面进行局部重绘，并以绘制后第一帧为基准，后续的每一帧只针对差异区域，进行根据控制绘画风格词语的局部重绘，即根据指定扩展像素点参数，对重绘区域扩展，避免过小的重绘区域；所述内容合并模块用于将局部重绘的内容与前一帧内容合并，再继续处理下一帧；所述合成模块用于最终把所有帧合并成视频输出。6.根据权利要求5所述的一种动画生成优化系统，其特征在于，差异区域提取模块进一步具体为：通过opencv中的absdiff()方法进行帧间差异计算，并通过threshold()方法过滤出差异区域。7.根据权利要求5所述的一种动画生成优化系统，其特征在于，内容合并模块进一步具体为：通过opencv的addweighted()方法将局部重绘后的内容区域与前一帧内容合并，重复合并直到处理完所有帧。8.根据权利要求5所述的一种动画生成优化系统，其特征在于，合成模块进一步具体为：通过opencv的videowriter将处理后的所有帧合并成一个视频文件并返回。

技术总结
本发明涉及一种动画生成优化方法，所述方法步骤如下：步骤1：对原始视频的每个帧进行差异区域提取；步骤2：对差异区域的画面进行局部重绘，并以绘制后第一帧为基准，后续的每一帧只针对差异区域，进行根据控制绘画风格词语的局部重绘，即根据指定扩展像素点参数，对重绘区域扩展，避免过小的重绘区域；步骤3：将局部重绘的内容与前一帧内容合并，再继续处理下一帧；步骤4：最终把所有帧合并成视频输出，本发明提供的一种动画生成优化方法，能得出较稳定的变化画面，能够有效的解决视频转视频中每一帧的画面闪烁问题，并且减少每一帧重绘的内容，加快视频生成速度。加快视频生成速度。加快视频生成速度。


技术研发人员：刘德建 陈丛亮 李佳
受保护的技术使用者：福建天晴在线互动科技有限公司
技术研发日：2023.07.07
技术公布日：2023/10/7