一种基于WebRTC的音视频传输方法及装置与流程

一种基于webrtc的音视频传输方法及装置
技术领域
1.本发明涉及音视频处理技术领域，特别涉及一种基于webrtc的音视频传输方法及装置。


背景技术：

2.webrtc允许网络应用或者站点，在不借助中间媒介的情况下，建立浏览器之间点对点(peer-to-peer)的连接，实现视频流和/或音频流或者其他任意数据的传输。
3.目前的视频直播平台中，通常需要安装插件，才能实现音视频流的传输。同时，附加在音视频流上的一些特殊特征，也需要通过插件才能实现。例如，当主播暂时离开屏幕前时，为了避免隐私泄露，通常需要将主播的画面和音频屏蔽，这样的功能也需要通过插件来设置。
4.显然，现有的这种音视频传输方法会加大用户的使用成本。


技术实现要素：

5.本发明提供一种基于webrtc的音视频传输方法及装置，能够降低用户的使用成本。
6.鉴于此，本发明一方面提供一种基于webrtc的音视频传输方法，所述方法包括：
7.读取音视频直播流，并识别所述音视频直播流表征的视频画面中是否存在指定标识；
8.若所述视频画面中存在所述指定标识，获取预设展示资源，并利用所述预设展示资源替换所述音视频直播流中的视频画面和音频信息；
9.将资源替换后的音视频直播流推送给客户端。
10.在一个实施方式中，在将资源替换后的音视频直播流推送给客户端之后，所述方法还包括：
11.监测资源替换之前的原始的音视频直播流的视频画面，若所述视频画面中的所述指定标识消失，向客户端推送原始的音视频直播流。
12.在一个实施方式中，利用所述预设展示资源替换所述音视频直播流中的视频画面和音频信息包括：
13.在所述音视频直播流中识别具备所述指定标识的视频画面，并获取所述视频画面对应的视频帧号；
14.从所述音视频直播流中获取与所述视频帧号相关联的音频帧号；
15.将所述视频帧号表征的视频画面以及所述音频帧号表征的音频信息替换为所述预设展示资源。
16.在一个实施方式中，将资源替换后的音视频直播流推送给客户端包括：
17.将所述资源替换后的音视频直播流加载至临时视频标签中，以通过所述临时视频标签播放所述资源替换后的音视频直播流；
18.创建临时图片标签，并将预设水印图片加载至所述临时图片标签中；
19.创建临时绘制标签，并将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中；
20.获取所述临时绘制标签对应的画布视频流，并基于所述画布视频流和所述资源替换后的音视频直播流，生成添加了水印的水印直播流，并将所述水印直播流通过webrtc连接发送至客户端。
21.本发明还提供一种基于webrtc的音视频传输装置，所述装置包括：
22.标识识别单元，用于读取音视频直播流，并识别所述音视频直播流表征的视频画面中是否存在指定标识；
23.资源替换单元，用于若所述视频画面中存在所述指定标识，获取预设展示资源，并利用所述预设展示资源替换所述音视频直播流中的视频画面和音频信息；
24.推送单元，用于将资源替换后的音视频直播流推送给客户端。
25.在一个实施方式中，所述装置还包括：
26.还原单元，用于监测资源替换之前的原始的音视频直播流的视频画面，若所述视频画面中的所述指定标识消失，向客户端推送原始的音视频直播流。
27.在一个实施方式中，所述资源替换单元具体用于，在所述音视频直播流中识别具备所述指定标识的视频画面，并获取所述视频画面对应的视频帧号；从所述音视频直播流中获取与所述视频帧号相关联的音频帧号；将所述视频帧号表征的视频画面以及所述音频帧号表征的音频信息替换为所述预设展示资源。
28.在一个实施方式中，所述推送单元具体用于，将所述资源替换后的音视频直播流加载至临时视频标签中，以通过所述临时视频标签播放所述资源替换后的音视频直播流；创建临时图片标签，并将预设水印图片加载至所述临时图片标签中；创建临时绘制标签，并将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中；获取所述临时绘制标签对应的画布视频流，并基于所述画布视频流和所述资源替换后的音视频直播流，生成添加了水印的水印直播流，并将所述水印直播流通过webrtc连接发送至客户端。
29.由上可见，本公开提供的技术方案，在不需要安装插件的情况下，可以通过直播客户端识别音视频流的视频画面，当视频画面中具备指定标识时，表明主播暂离，需要保护主播隐私，此时可以用预设展示资源替换音视频流中的视频画面和音频信息，并将资源替换后的音视频流推送给观众的客户端。
30.通过上述方式，在不需要安装插件的情况下，就能实现音视频流的传输，还能够在特定场景下保护主播隐私，在提升了用户体验的情况下，也降低了直播客户端的使用成本。
31.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
32.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
33.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实
施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
34.图1为本发明实施例中一种基于webrtc的音视频传输方法的步骤示意图；
35.图2为本发明实施例中一种基于webrtc的音视频传输装置的功能模块示意图。
具体实施方式
36.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
37.请参阅图1，本发明提供一种基于webrtc的音视频传输方法,所述方法包括以下多个步骤。
38.s1：读取音视频直播流，并识别所述音视频直播流表征的视频画面中是否存在指定标识。
39.s2：若所述视频画面中存在所述指定标识，获取预设展示资源，并利用所述预设展示资源替换所述音视频直播流中的视频画面和音频信息。
40.s3：将资源替换后的音视频直播流推送给客户端。
41.主播的直播客户端在接收到摄像头录制的音视频直播流后，可以识别音视频直播流中的视频画面，如果视频画面中存在指定标识，则表明主播目前处于暂离状态，应当自动开启保护隐私的功能。其中，指定标识可以是直播客户端中预先设置的，当主播需要暂离时，可以手动开启隐私保护功能，该功能被开启后，直播客户端可以自动给音视频直播流的每帧视频画面添加该指定标识。
42.在检测到视频画面中存在指定标识后，可以利用预设展示资源替换音视频直播流中的视频画面和音频信息。其中，预设展示资源可以是预先录制的与隐私无关的音视频，也可以是静态的展示画面等。通过在所述音视频直播流中识别具备所述指定标识的视频画面，可以获取所述视频画面对应的视频帧号。然后，可以从所述音视频直播流中获取与所述视频帧号相关联的音频帧号，在确定出视频帧号和音频帧号后，便可以将所述视频帧号表征的视频画面以及所述音频帧号表征的音频信息替换为所述预设展示资源。
43.这样，向观众的直播客户端推送的资源替换后的音视频直播流，就不会泄露主播的隐私。
44.此外，在将资源替换后的音视频直播流推送给客户端之后，主播的直播客户端可以继续监测资源替换之前的原始的音视频直播流的视频画面，若所述视频画面中的所述指定标识消失，表明当前不需要进行隐私保护，因此可以不进行资源替换，直接向客户端推送原始的音视频直播流。
45.在一个实施方式中，将资源替换后的音视频直播流推送给观众的直播客户端时，可以将所述资源替换后的音视频直播流加载至临时视频标签中，以通过所述临时视频标签播放所述资源替换后的音视频直播流。然后，可以创建临时图片标签，并将预设水印图片加载至所述临时图片标签中。然后可以通过画面整合的方式，创建临时绘制标签，并将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中，这样便可以得到添加了水印图片的视频画面。最终，可以获取所述临时绘制标签对应的画布视频流，并基于所述画布视频流和所述资源替换后的音视频直播流，生成添加了水印的水印直播流，并将所述水印直播流通过webrtc连接发送至客户端。这样，向观
众的直播客户端推送的音视频直播流可以添加水印信息，以防止音视频直播流被盗版利用。
46.请参阅图2，本发明还提供一种基于webrtc的音视频传输装置，所述装置包括：
47.标识识别单元，用于读取音视频直播流，并识别所述音视频直播流表征的视频画面中是否存在指定标识；
48.资源替换单元，用于若所述视频画面中存在所述指定标识，获取预设展示资源，并利用所述预设展示资源替换所述音视频直播流中的视频画面和音频信息；
49.推送单元，用于将资源替换后的音视频直播流推送给客户端。
50.在一个实施方式中，所述装置还包括：
51.还原单元，用于监测资源替换之前的原始的音视频直播流的视频画面，若所述视频画面中的所述指定标识消失，向客户端推送原始的音视频直播流。
52.在一个实施方式中，所述资源替换单元具体用于，在所述音视频直播流中识别具备所述指定标识的视频画面，并获取所述视频画面对应的视频帧号；从所述音视频直播流中获取与所述视频帧号相关联的音频帧号；将所述视频帧号表征的视频画面以及所述音频帧号表征的音频信息替换为所述预设展示资源。
53.在一个实施方式中，所述推送单元具体用于，将所述资源替换后的音视频直播流加载至临时视频标签中，以通过所述临时视频标签播放所述资源替换后的音视频直播流；创建临时图片标签，并将预设水印图片加载至所述临时图片标签中；创建临时绘制标签，并将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中；获取所述临时绘制标签对应的画布视频流，并基于所述画布视频流和所述资源替换后的音视频直播流，生成添加了水印的水印直播流，并将所述水印直播流通过webrtc连接发送至客户端。
54.由上可见，本公开提供的技术方案，在不需要安装插件的情况下，可以通过直播客户端识别音视频流的视频画面，当视频画面中具备指定标识时，表明主播暂离，需要保护主播隐私，此时可以用预设展示资源替换音视频流中的视频画面和音频信息，并将资源替换后的音视频流推送给观众的客户端。
55.通过上述方式，在不需要安装插件的情况下，就能实现音视频流的传输，还能够在特定场景下保护主播隐私，在提升了用户体验的情况下，也降低了直播客户端的使用成本。
56.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种基于webrtc的音视频传输方法，其特征在于，所述方法包括：读取音视频直播流，并识别所述音视频直播流表征的视频画面中是否存在指定标识；若所述视频画面中存在所述指定标识，获取预设展示资源，并利用所述预设展示资源替换所述音视频直播流中的视频画面和音频信息；将资源替换后的音视频直播流推送给客户端。2.根据权利要求1所述的方法，其特征在于，在将资源替换后的音视频直播流推送给客户端之后，所述方法还包括：监测资源替换之前的原始的音视频直播流的视频画面，若所述视频画面中的所述指定标识消失，向客户端推送原始的音视频直播流。3.根据权利要求1所述的方法，其特征在于，利用所述预设展示资源替换所述音视频直播流中的视频画面和音频信息包括：在所述音视频直播流中识别具备所述指定标识的视频画面，并获取所述视频画面对应的视频帧号；从所述音视频直播流中获取与所述视频帧号相关联的音频帧号；将所述视频帧号表征的视频画面以及所述音频帧号表征的音频信息替换为所述预设展示资源。4.根据权利要求1所述的方法，其特征在于，将资源替换后的音视频直播流推送给客户端包括：将所述资源替换后的音视频直播流加载至临时视频标签中，以通过所述临时视频标签播放所述资源替换后的音视频直播流；创建临时图片标签，并将预设水印图片加载至所述临时图片标签中；创建临时绘制标签，并将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中；获取所述临时绘制标签对应的画布视频流，并基于所述画布视频流和所述资源替换后的音视频直播流，生成添加了水印的水印直播流，并将所述水印直播流通过webrtc连接发送至客户端。5.一种基于webrtc的音视频传输装置，其特征在于，所述装置包括：标识识别单元，用于读取音视频直播流，并识别所述音视频直播流表征的视频画面中是否存在指定标识；资源替换单元，用于若所述视频画面中存在所述指定标识，获取预设展示资源，并利用所述预设展示资源替换所述音视频直播流中的视频画面和音频信息；推送单元，用于将资源替换后的音视频直播流推送给客户端。6.根据权利要求5所述的装置，其特征在于，所述装置还包括：还原单元，用于监测资源替换之前的原始的音视频直播流的视频画面，若所述视频画面中的所述指定标识消失，向客户端推送原始的音视频直播流。7.根据权利要求5所述的装置，其特征在于，所述资源替换单元具体用于，在所述音视频直播流中识别具备所述指定标识的视频画面，并获取所述视频画面对应的视频帧号；从所述音视频直播流中获取与所述视频帧号相关联的音频帧号；将所述视频帧号表征的视频画面以及所述音频帧号表征的音频信息替换为所述预设展示资源。
8.根据权利要求5所述的装置，其特征在于，所述推送单元具体用于，将所述资源替换后的音视频直播流加载至临时视频标签中，以通过所述临时视频标签播放所述资源替换后的音视频直播流；创建临时图片标签，并将预设水印图片加载至所述临时图片标签中；创建临时绘制标签，并将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中；获取所述临时绘制标签对应的画布视频流，并基于所述画布视频流和所述资源替换后的音视频直播流，生成添加了水印的水印直播流，并将所述水印直播流通过webrtc连接发送至客户端。

技术总结
本发明提供了一种基于WebRTC的音视频传输方法及装置，其中，所述方法包括：读取音视频直播流，并识别所述音视频直播流表征的视频画面中是否存在指定标识；若所述视频画面中存在所述指定标识，获取预设展示资源，并利用所述预设展示资源替换所述音视频直播流中的视频画面和音频信息；将资源替换后的音视频直播流推送给客户端。本发明提供的技术方案，能够降低用户的使用成本。低用户的使用成本。低用户的使用成本。


技术研发人员：兰雨晴 余丹 曾大龙 张腾怀 赵蒙蒙
受保护的技术使用者：慧之安信息技术股份有限公司
技术研发日：2022.12.23
技术公布日：2023/9/23