一种视频自动编辑方法与流程

1.本发明的方法涉及视频编辑领域，具体涉及一种对视频自动进行编辑的方法。


背景技术：

2.随着网格技术的发展，基于视频内容的应用越来越广泛，大多数拍摄完成的原生视频并不能直接使用，尤其在短视频应用的场景下，每个视频的时长有严格的限制，而待处理的视频中，发布者需要重点展示的，或者说观赏者其实关心的也仅仅是一段视频中一小段(称为高光时刻)，因此视频发布者发布前需要进行剪辑、配乐、增加滤镜等等编辑工作。目前上述的编辑工作，还只能依赖人工完成，这导致效率低下。


技术实现要素：

3.鉴于以上所述现有技术的缺点，本发明提供一种视频自动编辑方法，其特征在于，包括：接收原始视频的步骤；对所述原始视频进行强度识别的步骤；对所述原始视频进行高光内容识别的步骤；根据所述强度识别结果选择音乐的步骤；将所述高光内容和所述音乐进行融合的步骤。
4.优选地，上述视频自动编辑方法中，所述接收原始视频的步骤中，还包括检测所述原始视频是否符合约束条件的步骤。
5.优选地，上述视频自动编辑方法中，所述对所述原始视频进行高光内容识别的步骤中，还包括：根据所述原始视频所属垂类，识别出所有具备高光特点的片段列表；对所述片断列表进行筛选得到所述高光内容列表。
6.优选地，上述视频自动编辑方法中，所述对所述片断列表进行筛选得到所片断列表的步骤中，只保留所述片段列表中时长大于等于预设门限t1的片段，且所述高光内容列表的总时长不大于预设第二门限t2。
7.优选地，上述视频自动编辑方法中，如果所述片断列表的长度大于1，而所述高光内容列表的长度小于1，则将所述第一片断列表中的片断拼接作为所述高光内容列表。
8.优选地，上述视频自动编辑方法中，所述根据所述强度识别结果选择音乐的步骤中，包括：对备选音乐进行标记；根据所述视频强度和所述标记选择音乐。
9.优选地，上述视频自动编辑方法中，将所述高光内容和所述音乐进行融合的步骤中，包括：为所述音乐定义卡槽；将所述高光内容填充进所述卡槽。
10.优选地，上述视频自动编辑方法中，所述对备选音乐进行标记的步骤中，包括对音乐的速度和情绪两个维度进行标记。
11.优选地，上述视频自动编辑方法中，根据所述视频强度和所述标记选择音乐的步骤中，包括根据所述视频强度向用户返回推荐音乐列表，以及根据用户选择确定所述音乐的步骤。
12.优选地，上述视频自动编辑方法中，为所述音乐定义卡槽的步骤中，如果所述音乐系无歌词音乐，则将每3个强拍之间的间隔定义为一个卡槽；如果所述音乐系有歌词音乐，
则每句歌词对应的音乐间隔定义为一个卡槽。
13.优选地，上述视频自动编辑方法中，如果所述音乐系有歌词音乐，则对所述音乐中的前奏、间奏和尾奏按如下方式处理：当段落时长小于等于预设门限t时，直接将所述段落合并进临近卡槽；当所述段落大于门限t而小于步长p时，则所述将段落单独设置成一个卡槽，如果所述段落时长大于等于t而小于2p，则增设一个卡槽，取所述段落均分点附近的强节拍点作为分界点，以此类推；其中，所述段落指所述音乐中的前奏、间奏和尾奏；所述门限t取值为3秒；所述步长p取值为9秒。
14.优选地，上述视频自动编辑方法中，当所述原始视频为多个时，将所述高光内容填充进所述卡槽的步骤包括：当“当前高光内容片段时长
–
1s
–
当前卡槽时长”《1s时，对所述当前高光内容片段进行裁剪处理，先剪去所述当前高光内容片段结尾1s，然后将所述当前高光内容片段裁剪至临近节拍点，并将下一卡槽的起始点移至该处；当“1s≤当前高光内容片段时长
–
1s
–
当前卡槽时长《7s”时，不对所述当前高光内容片段进行处理，读取和填充下一段高光内容片段；当“7s≤当前高光内容片段时长
–
1s
–
当前卡槽时长”时，使用所述当前高光内容片段继续填充下一个卡槽，以此类推，且下一高光内容片段填充起始点＝当前高光内容片段在结束点+3s；如果当前高光内容片段没能填满下一个卡槽，对当前高光内容片段进行裁剪处理，先剪去当前高光内容片段结尾1s，然后将当前高光内容片段裁剪至临近节拍点，并将下一卡槽的起始点移至该处；其中，填满下一个卡槽的条件是：“当前素材时长
–
1s
–
当前卡槽时长
–
3s
–
下一个卡槽时长≥1s”。
15.优选地，上述视频自动编辑方法中，还包括在卡槽拼接处为视频添加转场效果的步骤。
16.优选地，上述视频自动编辑方法中，还包括为所述高光内容添加滤镜的步骤
附图说明
17.图1所示为本发明视频自动编辑方法流程图。
具体实施方式
18.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
19.本发明的视频自动编辑方法流程如图1所示。步骤s1表示接收原始视频，本步骤通常还包括检测视频是否符合约束条件的步骤，约束条件包括视频的时长、帧率、码率、分辨率。如果不符合约束条件，可以对用户作出提示，或者进行预处理。例如，如果时间过长，可以提示用户；分辨率过高，可以进行压缩。
20.步骤s2表示对视频进行强度识别。视频的强度是表示视频信号变化剧烈程度的一项指标，视频中人物动作幅度的越大、主体物位移的速度越快、场景或镜头变化的幅度越剧烈，表示视频信号中的突变成分越多，强度越大，反之则视频的强度越小。其中，对视频内人物、主体及其动作幅度和位移速度等的识别，可以直接使用神经网络等机器学习技术，并非本发明的发明点，因此不予赘述。本例中，示意性地将视频强度分为高、中、低三个级别。视
频的强度很大程度上体现了视频的情绪、风格，因此对视频强度的分级，也可以看作是对视频风格的一种分类。
21.步骤s3表示对视频中高光内容的识别。视频中的高光内容通常也是发布者希望重点展示给观看者的内容，也是观看者最关心的内容。本发明的高光识别策略包括：
22.s31：根据视频所属垂类，识别出所有具备高光特点的片段列表list a。其中，高光特点可以根据先验知识进行定义，例如，对于垂类为篮球视频，高光特点包括投篮的一个完整动作，以及球的完整运动轨迹；对于垂类为美妆的视频，高光特点包括妆前妆后妆容的变化，以及化妆品的近景特写、互动。
23.s32：对s31所得的片断进行初筛得到高光特点的片段列表list b(即高光内容片段)。筛选的标准之一可以是时长，本例中，定义最小时长门限t1＝5秒，即只保留时长大于等于t1的片段。优选地，列表list b的最大时长不超过门限t2＝30秒。更优选地，如果list a的长度大于等于1，而list b的长度小于1，则高光内容片段采用list a中的片段拼接、补齐。
24.步骤s4表示选择配乐的步骤，即为视频素材选择所匹配的音乐。音乐的选取依据可以是音乐的速度、风格和视频的强度，本例方法为：
25.·
s41：对备选音乐进行标记。其中标记可以分为多个维度，比如音乐的速度，可以标记快、中、慢；音乐的情绪，可以标记正、中、负等等。
26.·
s42：根据视频强度和音乐标记选择音乐。例如视频强度为高的视频，匹配速度为快、情绪为正的音乐。如果匹配的结果是多首音乐，则随机确定一首。但为了提高最终成片的用户满意度，本例中为用户提供交互接口，即根据视频强度和音乐标记通过多种交叉方式匹配，获得一个音乐的推荐列表返回给用户，然后由用户最终选定匹配的音乐。不难理解的是：对音乐的标记维度越多，匹配的运算量(耗时)会越大，匹配的精度会越高，因此实践中需要寻找平衡。
27.步骤s5表示将所选择音乐与视频素材融合的步骤。本例中，融合的具体步骤包括：
28.·
s51：为备选音乐定义卡槽。音乐可以分为有歌词音乐和无歌词音乐两类。对于无歌词音乐，将每3个强拍之间的间隔定义为一个卡槽。对于有歌词的音乐，每句歌词对应的音乐间隔作为一个卡槽。对于前奏(即音乐起始点到歌词起始点之间的间隔)、间奏(歌词与歌词之间的间隔)和尾奏(歌词结束点与音乐结束点之间的间隔)，由于有着共同的特点——属于无歌词纯音乐，所以既可以直接按无歌词音乐进行处理，也可以按如下方式处理，为了方便描述，以下将前奏、间奏和尾奏统称为段落：当段落时长小于等于预设门限t(本例取值3秒)时，直接将段落合并进临近卡槽；当段落大于门限t而小于步长p(本例中设置为9秒)时，则将段落单独设置成一个卡槽，如果段落时长大于等于t+p而小于t+2p，则增设一个卡槽，取段落均分点附近的强节拍点作为分界点，以此类推。
29.·
s52：将高光内容片段填充进音乐卡槽。当高光内容片段列表中的元素数量大于1时，可以采取如下的方式填充：
30.当“当前高光内容片段时长
–
1s
–
当前卡槽时长”《1s时，对当前高光内容片段进行裁剪处理，先剪去高光内容片段结尾1s，然后将高光内容片段裁剪至临近节拍点，并将下一卡槽的起始点移至该处；
31.当“1s≤当前高光内容片段时长
–
1s
–
当前卡槽时长《7s”时，不对当前高光内容
片段进行处理，读取和填充下一段高光内容片段；
32.当“7s≤当前高光内容片段时长
–
1s
–
当前卡槽时长”时，使用当前高光内容片段继续填充下一个卡槽，以此类推，且下一高光内容片段填充起始点＝当前高光内容片段在结束点+3s；如果当前高光内容片段没能填满下一个卡槽，对当前高光内容片段进行裁剪处理，先剪去当前高光内容片段结尾1s，然后将当前高光内容片段裁剪至临近节拍点，并将下一卡槽的起始点移至该处。
33.其中，填满下一个卡槽的条件是：“当前素材时长
–
1s
–
当前卡槽时长
–
3s
–
下一个卡槽时长≥1s”。
34.优选地，为提升用户体验，本发明还可以包括步骤s6：为视频添加转场效果。转场效果的添加点选在卡槽拼接处。其中，转场指的是视频镜头切换时的动画效果，例如叠化、闪黑、推进等等。
35.更优选地，本发明还包括步骤s7：为视频添加滤镜效果。可以根据视频强度，为所有高光内容选择统一滤镜，也可以根据高光内容片段所属垂类，为不同的高光内容片段添加不同的滤镜。
36.前述实施例中以处理单视频进行了举例，但本发明的方法同样适用于多视频情况，即同时接收多条原始视频，并输出为一段完整视频。对于处理多视频的情况，将每个视频分别进行强度识别、高光识别即可，方法与处理单视频类似，不予赘述。
37.由于动态视频是由一系列微小差异的静态视频连续播放所得，因此本发明方法也同样适用于将多张静态图片拼接成视频素材。在此场景下，对于匹配音乐的步骤可以进行如下的优化：无需要区分音乐有无歌词，仅根据音乐节拍进行划分，每两个强拍之间的间隔划分为一个卡槽；无需要区别音乐的前奏、间奏、尾奏。
38.综上所述，本发明的一种视频自动编辑方法，能够自动完成视频的日常编辑，大大提高了视频发布者的工作效率。
39.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可对上述实施例进行修饰或改变，但这些改变只要仍在权利要求所限范围，均属于使用了本发明的思想。

技术特征：
1.一种视频自动编辑方法，其特征在于，包括：接收原始视频的步骤；对所述原始视频进行强度识别的步骤；对所述原始视频进行高光内容识别的步骤；根据所述强度识别结果选择音乐的步骤；将所述高光内容和所述音乐进行融合的步骤。2.根据权利要求1所述的视频自动编辑方法，其特征在于，所述接收原始视频的步骤中，还包括检测所述原始视频是否符合约束条件的步骤。3.根据权利要求1所述的视频自动编辑方法，其特征在于，所述对所述原始视频进行高光内容识别的步骤中，还包括：根据所述原始视频所属垂类，识别出所有具备高光特点的片段列表；对所述片断列表进行筛选得到所述高光内容列表。4.根据权利要求3所述的视频自动编辑方法，其特征在于，所述对所述片断列表进行筛选得到所片断列表的步骤中，只保留所述片段列表中时长大于等于预设门限t1的片段，且所述高光内容列表的总时长不大于预设第二门限t2。5.根据权利要求4所述的视频自动编辑方法，其特征在于，如果所述片断列表的长度大于1，而所述高光内容列表的长度小于1，则将所述第一片断列表中的片断拼接作为所述高光内容列表。6.根据权利要求1所述的视频自动编辑方法，其特征在于，所述根据所述强度识别结果选择音乐的步骤中，包括：对备选音乐进行标记；根据所述视频强度和所述标记选择音乐。7.根据权利要求1所述的视频自动编辑方法，其特征在于，将所述高光内容和所述音乐进行融合的步骤中，包括：为所述音乐定义卡槽；将所述高光内容填充进所述卡槽。8.根据权利要求6所述的视频自动编辑方法，其特征在于，所述对备选音乐进行标记的步骤中，包括对音乐的速度和情绪两个维度进行标记。9.根据权利要求6所述的视频自动编辑方法，其特征在于，根据所述视频强度和所述标记选择音乐的步骤中，包括根据所述视频强度向用户返回推荐音乐列表，以及根据用户选择确定所述音乐的步骤。10.根据权利要求7所述的视频自动编辑方法，其特征在于，为所述音乐定义卡槽的步骤中，如果所述音乐系无歌词音乐，则将每3个强拍之间的间隔定义为一个卡槽；如果所述音乐系有歌词音乐，则每句歌词对应的音乐间隔定义为一个卡槽。11.根据权利要求10所述的视频自动编辑方法，其特征在于，如果所述音乐系有歌词音乐，则对所述音乐中的前奏、间奏和尾奏按如下方式处理：当段落时长小于等于预设门限t时，直接将所述段落合并进临近卡槽；当所述段落大于门限t而小于步长p时，则所述将段落单独设置成一个卡槽，如果所述段落时长大于等于t而小于2p，则增设一个卡槽，取所述段落均分点附近的强节拍点作为分界点，以此类推；
其中，所述段落指所述音乐中的前奏、间奏和尾奏；所述门限t取值为3秒；所述步长p取值为9秒。12.根据权利要求7所述的视频自动编辑方法，其特征在于，当所述原始视频为多个时，将所述高光内容填充进所述卡槽的步骤包括：当“当前高光内容片段时长
–
1s
–
当前卡槽时长”<1s时，对所述当前高光内容片段进行裁剪处理，先剪去所述当前高光内容片段结尾1s，然后将所述当前高光内容片段裁剪至临近节拍点，并将下一卡槽的起始点移至该处；当“1s≤当前高光内容片段时长
–
1s
–
当前卡槽时长<7s”时，不对所述当前高光内容片段进行处理，读取和填充下一段高光内容片段；当“7s≤当前高光内容片段时长
–
1s
–
当前卡槽时长”时，使用所述当前高光内容片段继续填充下一个卡槽，以此类推，且下一高光内容片段填充起始点＝当前高光内容片段在结束点+3s；如果当前高光内容片段没能填满下一个卡槽，对当前高光内容片段进行裁剪处理，先剪去当前高光内容片段结尾1s，然后将当前高光内容片段裁剪至临近节拍点，并将下一卡槽的起始点移至该处；其中，填满下一个卡槽的条件是：“当前素材时长
–
1s
–
当前卡槽时长
–
3s
–
下一个卡槽时长≥1s”。13.根据权利要求7所述的视频自动编辑方法，其特征在于，还包括在卡槽拼接处为视频添加转场效果的步骤。14.根据权利要求1所述的视频自动编辑方法，其特征在于，还包括为所述高光内容添加滤镜的步骤。

技术总结
本发明提供一种视频自动编辑方法，其特征在于，包括：接收原始视频的步骤；对所述原始视频进行强度识别的步骤；对所述原始视频进行高光内容识别的步骤；根据所述强度识别结果选择音乐的步骤；将所述高光内容和所述音乐进行融合的步骤。本发明的一种视频自动编辑方法，能够自动完成视频的日常编辑，大大提高了视频发布者的工作效率。布者的工作效率。布者的工作效率。


技术研发人员：毛意辉 陈天雪 许洛彬 袁嘉晨
受保护的技术使用者：小红书科技有限公司
技术研发日：2022.02.11
技术公布日：2023/8/23