录制音视频的在线播放方法、装置、设备和介质与流程

1.本发明涉及音视频领域技术领域，尤其是涉及一种录制音视频的在线播放方法、装置、设备和介质。


背景技术：

2.用户若想实时查看自己的摄像头或其他设备拍摄出的录制音视频文件，现有技术采用的方案为，将脉码编码调制(pulse code modulation，pcma)格式音频及标准格式视频合并转码为各种类型的视频，然后通过http向客户端发送数据。但这种http-flv模式的延迟时间较长，一般延时会达到10秒级别，难以真正满足用户在线查看录制音视频文件的需求。


技术实现要素：

3.基于此，有必要提供录制音视频的在线播放方法、装置、设备和介质，以解决难以真正满足用户在线查看录制音视频文件的需求的问题。
4.一种录制音视频的在线播放方法，应用于服务器端，所述方法包括：
5.在接收到录制终端上传的录制音视频后，所述服务器端将所述录制音视频拆分为录制音频文件和录制视频文件；
6.通过转码器对所述录制音频文件进行第一转码，以转码得到音频流文件；
7.通过转码器对所述音频流文件和所述录制视频文件进行第二转码，以合并转码得到视频流文件；其中，所述音频流文件和所述视频流文件的格式为可在线播放格式；
8.通过通信插件将所述视频流文件发送至客户端，以使得所述客户端基于转换插件将所述视频流文件转换为所述客户端预设的视频格式后在线播放。
9.在其中一个实施例中，所述服务器端将所述录制音视频拆分为录制音频文件和录制视频文件之前，还包括：
10.所述服务器端获取所述客户端为不同录制场景预先设定的编码方式集；
11.将所述编码方式集转发至所述录制终端，以使得所述录制终端在录制音视频的同时，根据当前录制场景及所述编码方式集确定目标编码方式，并以所述目标编码方式对所述录制音视频进行压缩处理。
12.在其中一个实施例中，所述以所述目标编码方式对所述录制音视频进行压缩处理，包括：
13.若所述目标编码方式为软编码，则所述录制终端进行的压缩处理为初始化内部软编码器的参数后进行视频软编码；
14.若所述目标编码方式为硬编码，则所述录制终端进行的压缩处理为初始化内部硬编码器的参数后进行视频硬编码。
15.在其中一个实施例中，所述方法，还包括：
16.若所述服务器端与多个录制终端待建立连接，则在接收所述客户端发送的在线播
放请求后，所述服务器端与所述在线播放请求匹配的录制终端建立连接通道；其中，所述多个录制终端与所述服务器端之间通过连接通道传输录制音视频。
17.在其中一个实施例中，所述录制音频文件为国标pcma音频文件，所述音频流文件为aac音频流文件或pcm音频流文件。
18.在其中一个实施例中，所述录制视频文件为国标视频文件，所述视频流文件为含aac音频的flv视频文件，或含pcm音频的flv视频文件。
19.在其中一个实施例中，所述转码器为ffmpeg转码器，所述通信插件为websocket插件。
20.一种录制音视频的在线播放装置，应用于服务器端，所述装置包括：
21.拆分模块，用于在接收到录制终端上传的录制音视频后，所述服务器端将所述录制音视频拆分为录制音频文件和录制视频文件；
22.转码模块，用于通过转码器对所述录制音频文件进行第一转码，以转码得到音频流文件；通过转码器对所述音频流文件和所述录制视频文件进行第二转码，以合并转码得到视频流文件；其中，所述音频流文件和所述视频流文件的格式为可在线播放格式；
23.发送模块，用于通过通信插件将所述视频流文件发送至客户端，以使得所述客户端基于转换插件将所述视频流文件转换为所述客户端预设的视频格式后在线播放。
24.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述录制音视频的在线播放方法的步骤。
25.一种录制音视频的在线播放设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述录制音视频的在线播放方法的步骤。
26.本发明提供了录制音视频的在线播放方法、装置、设备和介质，在接收到录制终端上传的录制音视频后，服务器端先将录制音视频拆分为录制音频文件和录制视频文件，以便分别进行转码。再通过转码器对录制音频文件进行第一转码，以转码得到音频流文件；并通过转码器对音频流文件和录制视频文件进行第二转码，以合并转码得到视频流文件，该视频流文件中的音频部分和视频部分均是属于可在线播放的格式。最后通过通信插件将所述视频流文件发送至客户端，以使得客户端基于转换插件将视频流文件转换为所述客户端预设的视频格式后在线播放，这样客户端用户就可以在线查看自己的录制终端的录制音视频。
附图说明
27.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.其中：
29.图1为一个实施例中录制音视频的在线播放方法的流程示意图；
30.图2为一个实施例中获取录制音视频的流程示意图；
31.图3为一个实施例中录制音视频的在线播放装置的结构示意图；
32.图4为一个实施例中录制音视频的在线播放设备的结构框图。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.如图1所示，图1为一个实施例中录制音视频的在线播放的流程示意图，应用于服务器端，本实施例中录制音视频的在线播放提供的步骤包括：
35.s101,在接收到录制终端上传的录制音视频后，服务器端将录制音视频拆分为录制音频文件和录制视频文件。
36.这里的拆分操作可使用现有的音视频处理程序，对该录制音视频使用其中例如“音频分离”的功能后就能得到录制音频文件和录制视频文件。其中，该录制音频文件为国标pcma音频文件，pcma音频文件中的声音数据没有被压缩，它是由模拟信号经过采样、量化、编码转换成的标准的数字音频数据，其优点是语音质量优，其缺点是占用的带宽较高，因此难以在线播放。该录制视频文件为国标视频文件，例如音频视频交错(audio video interleaved，avi)格式，其优点是调用方便、图像质量好，但其缺点是文件体积过于庞大，因此难以在线播放。
37.在一个具体实施例中，考虑到直接上传原录制视频会占用很多带宽，很费网速，于是为了节约带宽，在上传时，如图2所示，通过如下的步骤来获取录制音视频：
38.s1011,服务器端获取客户端为不同录制场景预先设定的编码方式集。
39.例如客户端设定在非运动场景下进行录制时，选用软编码。在运动场景下进行录制时，选用硬编码。因为软编码兼容性强，参数调整方便，且低码率下质量通常比硬编码要好一点，足以满足非运动场景下进行录制。硬编码性能较软编码更高，更利于进行高码率编码，因此更适合运动场景下的录制。
40.s1012,将编码方式集转发至录制终端，以使得录制终端在录制音视频的同时，根据当前录制场景及编码方式集确定目标编码方式，并以目标编码方式对录制音视频进行压缩处理。
41.具体的来说，若目标编码方式为软编码，则录制终端进行的压缩处理为初始化内部软编码器的参数后进行视频软编码；若目标编码方式为硬编码，则录制终端进行的压缩处理为初始化内部硬编码器的参数后进行视频硬编码。
42.例如，若录制终端当前正在录制风景或录制硬件设备的外观，则可以设定录制终端的当前录制场景为非运动场景，此时确定目标编码方式为软编码，录制终端初始化内部软编码器的参数后进行视频软编码。若录制终端当前正在录制足球运动，则可以设定录制终端的当前录制场景为运动场景，此时确定目标编码方式为硬编码，录制终端初始化内部硬编码器的参数后进行视频硬编码。
43.上述编码方式会对原录制视频进行压缩和编码，能让视频文件变小，成为统一的编码格式，这样一来，能节约宽带。
44.s102,通过转码器对录制音频文件进行第一转码，以转码得到音频流文件。
45.其中，该音频流文件为可在线播放格式。
46.可选的，转码器为ffmpeg转码器，音频流文件为高级音频编码(advanced audio coding，aac)音频流文件或pcm音频流文件，亦或是其他可在线播放格式的音频流文件。转码器基本的思路是先解码得到音频帧，再将音频帧编码成目标格式，例如aac格式或pcm格式。编码和解码之间需要添加一个过滤器，该过滤器起到适配的作用。aac格式或pcm格式可以以更小的文件大小获得较高的音质。
47.s103,通过转码器对音频流文件和录制视频文件进行第二转码，以合并转码得到视频流文件。
48.其中，该视频流文件的格式为可在线播放格式。
49.可选的，视频流文件为含aac音频的流媒体格式(flash video，flv)视频文件，或含pcm音频的flv视频文件，亦或是其他可在线播放格式的视频流文件。flv这种网络传输的媒体数据存储容器格式，其格式相对简单，不需要很大媒体头部信息。
50.s104,通过通信插件将视频流文件发送至客户端，以使得客户端基于转换插件将视频流文件转换为客户端预设的视频格式后在线播放。
51.可选的，通信插件为websocket插件。服务器端通过通信插件将视频流文件发送至客户端后，客户端使用已安装的转换插件flv.js，该转换插件flv.js能解析flv文件并给原生html5 video标签播放音视频数据，使浏览器在不借助flash的情况下播放flv成为可能，由此实现设备录制的音视频可以实时在线播放。
52.进一步的，上述方案仅涉及一个连接的录制终端，在一个具体实施例中，若服务器端与多个录制终端待建立连接，则在接收客户端发送的在线播放请求后，服务器端与在线播放请求匹配的录制终端建立连接通道。其中，多个录制终端与服务器端之间通过连接通道传输录制音视频。也就是说，若存在多个录制终端，客户端可通过选择想要的连接通道，来实时查看任意一个录制终端所拍摄的录制音视频文件。
53.上述录制音视频的在线播放方法，在接收到录制终端上传的录制音视频后，服务器端先将录制音视频拆分为录制音频文件和录制视频文件，以便分别进行转码。再通过转码器对录制音频文件进行第一转码，以转码得到音频流文件；并通过转码器对音频流文件和录制视频文件进行第二转码，以合并转码得到视频流文件，该视频流文件中的音频部分和视频部分均是属于可在线播放的格式。最后通过通信插件将视频流文件发送至客户端，以使得客户端基于转换插件将视频流文件转换为客户端预设的视频格式后在线播放，这样客户端用户就可以在线查看自己的录制终端的录制音视频。
54.在一个实施例中，如图3所示，提出了一种录制音视频的在线播放装置，应用于服务器端，该装置包括：
55.拆分模块301，用于在接收到录制终端上传的录制音视频后，服务器端将录制音视频拆分为录制音频文件和录制视频文件；
56.转码模块302，用于通过转码器对录制音频文件进行第一转码，以转码得到音频流文件；通过转码器对音频流文件和录制视频文件进行第二转码，以合并转码得到视频流文件；其中，音频流文件和视频流文件的格式为可在线播放格式；
57.发送模块303，用于通过通信插件将视频流文件发送至客户端，以使得客户端基于转换插件将视频流文件转换为客户端预设的视频格式后在线播放。
58.图4示出了一个实施例中录制音视频的在线播放设备的内部结构图。如图4所示，该录制音视频的在线播放设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该录制音视频的在线播放设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现录制音视频的在线播放方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行录制音视频的在线播放方法。本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的录制音视频的在线播放设备的限定，具体的录制音视频的在线播放设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
59.一种录制音视频的在线播放设备，包括存储器、处理器以及存储在该存储器中并可在该处理器上执行的计算机程序，该处理器执行该计算机程序时实现如下步骤：在接收到录制终端上传的录制音视频后，服务器端将录制音视频拆分为录制音频文件和录制视频文件；通过转码器对录制音频文件进行第一转码，以转码得到音频流文件；通过转码器对音频流文件和录制视频文件进行第二转码，以合并转码得到视频流文件；通过通信插件将视频流文件发送至客户端，以使得客户端基于转换插件将视频流文件转换为客户端预设的视频格式后在线播放。
60.一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现如下步骤：在接收到录制终端上传的录制音视频后，服务器端将录制音视频拆分为录制音频文件和录制视频文件；通过转码器对录制音频文件进行第一转码，以转码得到音频流文件；通过转码器对音频流文件和录制视频文件进行第二转码，以合并转码得到视频流文件；通过通信插件将视频流文件发送至客户端，以使得客户端基于转换插件将视频流文件转换为客户端预设的视频格式后在线播放。
61.需要说明的是，上述录制音视频的在线播放方法、装置、设备及计算机可读存储介质属于一个总的发明构思，录制音视频的在线播放方法、装置、设备及计算机可读存储介质实施例中的内容可相互适用。
62.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
63.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
64.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能
因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种录制音视频的在线播放方法，其特征在于，应用于服务器端，所述方法包括：在接收到录制终端上传的录制音视频后，所述服务器端将所述录制音视频拆分为录制音频文件和录制视频文件；通过转码器对所述录制音频文件进行第一转码，以转码得到音频流文件；通过转码器对所述音频流文件和所述录制视频文件进行第二转码，以合并转码得到视频流文件；其中，所述音频流文件和所述视频流文件的格式为可在线播放格式；通过通信插件将所述视频流文件发送至客户端，以使得所述客户端基于转换插件将所述视频流文件转换为所述客户端预设的视频格式后在线播放。2.根据权利要求1所述的方法，其特征在于，所述服务器端将所述录制音视频拆分为录制音频文件和录制视频文件之前，还包括：所述服务器端获取所述客户端为不同录制场景预先设定的编码方式集；将所述编码方式集转发至所述录制终端，以使得所述录制终端在录制音视频的同时，根据当前录制场景及所述编码方式集确定目标编码方式，并以所述目标编码方式对所述录制音视频进行压缩处理。3.根据权利要求2所述的方法，其特征在于，所述以所述目标编码方式对所述录制音视频进行压缩处理，包括：若所述目标编码方式为软编码，则所述录制终端进行的压缩处理为初始化内部软编码器的参数后进行视频软编码；若所述目标编码方式为硬编码，则所述录制终端进行的压缩处理为初始化内部硬编码器的参数后进行视频硬编码。4.根据权利要求1所述的方法，其特征在于，所述方法，还包括：若所述服务器端与多个录制终端待建立连接，则在接收所述客户端发送的在线播放请求后，所述服务器端与所述在线播放请求匹配的录制终端建立连接通道；其中，所述多个录制终端与所述服务器端之间通过连接通道传输录制音视频。5.根据权利要求1所述的方法，其特征在于，所述录制音频文件为国标pcma音频文件，所述音频流文件为aac音频流文件或pcm音频流文件。6.根据权利要求1所述的方法，其特征在于，所述录制视频文件为国标视频文件，所述视频流文件为含aac音频的flv视频文件，或含pcm音频的flv视频文件。7.根据权利要求1所述的方法，其特征在于，所述转码器为ffmpeg转码器，所述通信插件为websocket插件。8.一种录制音视频的在线播放装置，其特征在于，应用于服务器端，所述装置包括：拆分模块，用于在接收到录制终端上传的录制音视频后，所述服务器端将所述录制音视频拆分为录制音频文件和录制视频文件；转码模块，用于通过转码器对所述录制音频文件进行第一转码，以转码得到音频流文件；通过转码器对所述音频流文件和所述录制视频文件进行第二转码，以合并转码得到视频流文件；其中，所述音频流文件和所述视频流文件的格式为可在线播放格式；发送模块，用于通过通信插件将所述视频流文件发送至客户端，以使得所述客户端基于转换插件将所述视频流文件转换为所述客户端预设的视频格式后在线播放。9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理
器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。10.一种录制音视频的在线播放设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

技术总结
本发明公开了一种录制音视频的在线播放方法、装置、设备和介质，包括：在接收到录制终端上传的录制音视频后，服务器端先将录制音视频拆分为录制音频文件和录制视频文件，以便分别进行转码。再通过转码器对录制音频文件进行第一转码，以转码得到音频流文件；并通过转码器对音频流文件和录制视频文件进行第二转码，以合并转码得到视频流文件，该视频流文件中的音频部分和视频部分均是属于可在线播放的格式。最后通过通信插件将所述视频流文件发送至客户端，以使得客户端基于转换插件将视频流文件转换为所述客户端预设的视频格式后在线播放，这样客户端用户就可以在线查看自己的录制终端的录制音视频。终端的录制音视频。终端的录制音视频。


技术研发人员：徐素 李珂
受保护的技术使用者：海洋王照明科技股份有限公司 海洋王（东莞）照明科技有限公司 深圳市海洋王绿色照明技术有限公司 深圳市海洋王电网照明技术有限公司 深圳市海洋王船舶场馆照明技术有限公司 深圳市海洋王铁路照明技术有限公司 深圳市海洋王石油照明技术有限公司 深圳市海洋王冶金照明技术有限公司 深圳市海洋王公消照明技术有限公司 深圳市海洋王石化照明技术有限公司
技术研发日：2023.01.15
技术公布日：2023/7/22