一种音视频传输方法、系统、装置、电子设备及存储介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种音视频传输方法、系统、装置、电子设备及存储介质。


背景技术：

2.随着5g的到来，人们已经不单单的满足于文字，图片，语音形式的社交娱乐，线上直播作为内容更丰富的媒体介质将会得到广泛的应用。
3.通常，直播平台会通过同步接口的方式进行用户认证，例如使用websocket的接口方式应对直播高并发的情况。
4.但是，现有技术的方案与音视频流一起进行同步接口认证，在直播服务高并发时，存在用户信息不同步的情况，并且直播服务长时间通过websocket进行监控，使服务长期保持高压力情况，高可用不可保证，从而无法实时监听到用户认证信息与音视频流的关联关系。


技术实现要素：

5.本发明提供了一种音视频传输方法、系统、装置、电子设备及存储介质，可以实现实时地转发音视频控制信令和音视频流，减少高并发下直播服务的压力，实现音视频流与用户认证的关联，保证直播服务的高可用性。
6.第一方面，本发明实施例提供了一种音视频传输方法，应用于音视频传输系统中，音视频传输系统包括：客户端、至少一个代理服务器以及直播平台；各代理服务器分别与客户端以及直播平台连接，代理服务器包括：会议服务器和直播服务器；直播平台由至少一个直播间构成，该方法可由代理服务器执行，该方法包括：
7.通过代理服务器中的会议服务器获取客户端的登录信息，并对登录信息进行验证；
8.当确定登录信息验证通过时，根据登录信息，确定音视频流控制信令；
9.根据音视频流控制信令，通过直播服务器向直播平台中的直播间获取音视频流；并将音视频流反馈至客户端。
10.第二方面，本发明实施例提供了一种音视频传输方法，应用于音视频传输系统中，音视频传输系统包括：客户端、至少一个代理服务器以及直播平台；各代理服务器分别与客户端以及直播平台连接，代理服务器包括：会议服务器和直播服务器；直播平台由至少一个直播间构成，该方法可由直播平台执行，该方法包括：
11.获取各代理服务器发送的在线用户数量，并根据在线用户数量确定各代理服务器的剩余负载量，以及全部代理服务器的剩余负载总量；
12.根据各代理服务器的剩余负载量以及剩余负载总量，确定各代理服务器的分配概率；
13.根据各分配概率，对各代理服务器进行排序，并按照排序结果将待分配直播间分
配至代理服务器的直播服务器中，以实现客户端与代理服务器之间的音视频传输。
14.第三方面，本发明实施例提供了一种音视频传输系统，该系统包括：客户端、至少一个代理服务器以及直播平台；其中：
15.各代理服务器分别与客户端以及直播平台连接，代理服务器包括：会议服务器和直播服务器；
16.客户端，用于向代理服务器发送登录信息；
17.代理服务器，用于通过代理服务器中的会议服务器获取客户端的登录信息，并对登录信息进行验证；当确定登录信息验证通过时，根据登录信息，确定音视频流控制信令；
18.直播平台由至少一个直播间构成；
19.直播平台，用于通过各直播间向代理服务器中的直播服务器提供音视频流；
20.代理服务器，用于根据音视频流控制信令，通过直播服务器向直播平台中的直播间获取音视频流；并将音视频流反馈至客户端。
21.第四方面，本发明实施例提供了一种音视频传输装置，应用于音视频传输系统中，所述音视频传输系统包括：客户端、至少一个代理服务器以及直播平台；各所述代理服务器分别与所述客户端以及所述直播平台连接，所述代理服务器包括：会议服务器和直播服务器；所述直播平台由至少一个直播间构成该装置可由代理服务器执行，该装置包括：
22.登录信息验证模块，用于通过代理服务器中的会议服务器获取客户端的登录信息，并对登录信息进行验证；
23.信令转发确定模块，用于当确定登录信息验证通过时，根据登录信息，确定音视频流控制信令；
24.音视频流传输模块，用于根据音视频流控制信令，通过直播服务器向直播平台中的直播间获取音视频流；并将音视频流反馈至客户端。
25.第五方面，本发明实施例提供了另一种音视频传输装置，应用于音视频传输系统中，所述音视频传输系统包括：客户端、至少一个代理服务器以及直播平台；各所述代理服务器分别与所述客户端以及所述直播平台连接，所述代理服务器包括：会议服务器和直播服务器；所述直播平台由至少一个直播间构成。该装置可由直播平台执行，该装置包括：
26.剩余负载量确定模块，用于获取各代理服务器发送的在线用户数量，并根据在线用户数量确定各代理服务器的剩余负载量，以及全部代理服务器的剩余负载总量；
27.分配概率确定模块，用于根据各代理服务器的剩余负载量以及剩余负载总量，确定各代理服务器的分配概率；
28.直播间分配模块，用于根据各分配概率，对各代理服务器进行排序，并按照排序结果将待分配直播间分配至代理服务器的直播服务器中，以实现客户端与代理服务器之间的音视频传输。
29.第六方面，本发明实施例提供了一种电子设备，电子设备包括：
30.至少一个处理器；以及
31.与至少一个处理器通信连接的存储器；其中，
32.存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例提供的音视频传输方法。
33.第七方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质
存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例提供的音视频传输方法。
34.本实施例的技术方案，通过代理服务器中的会议服务器获取客户端的登录信息，并对登录信息进行验证；当确定登录信息验证通过时，根据登录信息，确定音视频流控制信令；根据音视频流控制信令，通过直播服务器向直播平台中的直播间获取音视频流；并将音视频流反馈至客户端。该方法通过将代理服务器引入直播服务中，然后通过会议服务器进行登录验证；通过直播服务器进行音视频流转发，进而可以实现音视频流与用户认证的关联，实时、同步地转发信令和音视频流，减少高并发下直播服务的压力，保证直播服务的高可用性。
35.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
36.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1是根据本发明实施例一提供的一种音视频传输方法的流程图；
38.图2是根据发明实施例一提供的代理服务器的构成示意图；
39.图3是根据本发明实施例二提供的另一种音视频传输方法的流程图；
40.图4是根据本发明实施例三提供的又一种音视频传输方法的流程图；
41.图5是根据本发明实施例四提供的直播服务的流程示意图；
42.图6是根据本发明实施例五提供的一种音视频传输装置的结构示意图；
43.图7是根据本发明实施例六提供的另一种音视频传输装置的结构示意图；
44.图8是实现本发明实施例的音视频传输方法的电子设备的结构示意图。
具体实施方式
45.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
46.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
47.实施例一
48.图1是根据本发明实施例一提供的一种音视频传输方法的流程图，本实施例可适用于直播服务中音视频数据转发的情况。该方法可以应用于音视频传输系统中，音视频传输系统包括：客户端、至少一个代理服务器以及直播平台；各代理服务器分别与客户端以及直播平台连接，代理服务器包括：会议服务器和直播服务器；直播平台由至少一个直播间构成。该方法可以由音视频传输装置来执行，该音视频传输方法装置可以采用硬件和/或软件的形式实现，该装置可配置在电子设备(例如服务器)中。
49.如图1所示，该方法具体包括如下步骤：
50.s110、通过代理服务器中的会议服务器获取客户端的登录信息，并对登录信息进行验证。
51.在本实施例中，代理服务器可以是个人网络和internet服务商之间的网络信息的中转站，负责转发合法的网络信息。具体的，代理服务器可以用于本实施例中用户信息的验证、信令转发、音视频流转发等服务。会议服务器可以是代理服务器中用于用户信息验证、信令转发等服务的服务模块。图2为本发明实施例一提供的代理服务器的构成示意图，如图2所示，代理服务器可以包含多个会议服务器和多个直播服务器，一个会议服务器对应一个直播服务器，两者数量相同。客户端可以是直播平台对应的，并可以为用户提供音视频流观看等服务的应用软件。用户可以预先在客服端进行用户信息注册，从而可以生成登录信息。
52.其中，用户信息可以包括用户名、用户手机号、用户性别、用户年龄等信息。登陆信息可以包含用户信息，以及登陆账号、登录密码等。
53.在本实施例中，用户通过客户端登录后，可以在客户端中的多个直播中进行选择。每个直播可以有多个用户观看。上述直播与上述会议服务器一一对应，也与上述直播服务器一一对应。会议服务器与对应的直播服务器服务于对应的直播。会议服务器可以对用户的登录信息进行验证。
54.s120、当确定登录信息验证通过时，根据登录信息，确定音视频流控制信令。
55.在本实施例中，会议服务器对用户的登录信息验证通过后，可以为用户客户端分配服务地址和token，从而建立与用户客户端之间的连接，也即建立会议服务器对应的代理服务器与用户客户端之间的连接。
56.具体的，当登录信息验证通过后，用户客户端与会议服务器可以根据服务地址和token，通过websocket的方式建立连接。代理服器可以根据上述连接转发音视频流控制信令至该连接对应的会议服务器，然后会议服务器可以再将音视频流控制信令转发至会议服务器对应的直播服务器。
57.其中，音视频流控制信令可以是，使直播服务器将音视频流转发给用户客户端的请求指令。音视频流控制信令转发方式可以通过消息队列(message queue，mq)的方式转发。
58.s130、根据音视频流控制信令，通过直播服务器向直播平台中的直播间获取音视频流；并将音视频流反馈至客户端。
59.在本实施例中，直播服务器可以是代理服务器中将直播平台的音视频流转发至用户客户端的服务模块。音视频流可以是直播平台直播间中的音视频数据。
60.具体的，会议服务器对应的直播服务器可以根据音视频控制信令，获取直播平台
对应直播间的音视频数据，并可以将该音视频数据通过用户数据报协议(user datagram protocol，udp)转发至用户客户端。用户客户端接收到该音视频数据后可以向用户展示。
61.这样设置的好处在于，将代理服务器引入直播服务中，通过代理服务器中的会议服务器进行用户信息验证，并进行音视频控制信令的转发；通过代理服务器中的直播服务器，根据音视频流控制信令将音视频数据转发至用户客户端，可以实现音视频流转发和登录验证的同步进行，进而可以实时转发信令和音视频流，减少高并发下服务压力，保证服务的高可用性。
62.本实施例的技术方案，通过代理服务器中的会议服务器获取客户端的登录信息，并对登录信息进行验证；当确定登录信息验证通过时，根据登录信息，确定音视频流控制信令；根据音视频流控制信令，通过直播服务器向直播平台中的直播间获取音视频流；并将音视频流反馈至客户端。该方法通过将代理服务器引入直播服务中，然后通过会议服务器进行登录验证；通过直播服务器进行音视频流转发，进而可以实现音视频流与用户认证的关联，实时、同步地转发信令和音视频流，减少高并发下直播服务的压力，保证直播服务的高可用性。
63.实施例二
64.图3是根据本发明实施例二提供的另一种音视频传输方法的流程图。本实施例是对上述技术方案的进一步细化，本实施例中的技术方案可以与上述一个或者多个实施例中的各个可选方案结合。
65.具体的，在本发明实施例的一个可选实施方式中，当确定登录信息验证通过时，根据登录信息，确定音视频流控制信令，包括：
66.当确定登录信息验证通过时，通过代理服务器中的会议服务器按照预设时间间隔向客户端发送ice心跳信息，并接收客户端的心跳反馈信息；
67.如果在预设时间段内接收到心跳反馈信息，则根据登录信息，确定音视频流控制信令。
68.在本发明实施例的一个可选实施方式中，根据音视频流控制信令，通过直播服务器向直播平台中的直播间获取音视频流，包括：
69.根据音视频流控制信令，确定代理服务器的在线用户数量；
70.将在线用户数量发送至直播平台，并获取直播平台根据在线用户数量进行负载均衡确定的一个或多个分配直播间；
71.将各分配直播间通过直播服务器进行展示，并响应于客户端对分配直播间的选取操作，确定目标直播间；
72.根据音视频流控制信令，通过直播服务器获取目标直播间对应的音视频流。
73.在本发明实施例的一个可选实施方式中，将音视频流反馈至客户端，包括：
74.通过直播服务器将音视频流发送至直播合成服务器，并获取直播合成服务器根据直播上下文生成的合成音视频流；
75.通过内容分发网cdn将合成音视频流反馈至客户端。
76.如图3所示，该方法具体包括如下步骤：
77.s201、通过代理服务器中的会议服务器获取客户端的登录信息，并对登录信息进行验证。
78.s202、当确定登录信息验证通过时，通过代理服务器中的会议服务器按照预设时间间隔向客户端发送ice心跳信息，并接收客户端的心跳反馈信息。
79.在本实施例中，会议服务器可以根据s120中建立的连接，按照预设时间间隔向用户客户端发送交互式连接(interactive connectivity establishment，ice)心跳信息。客户端接收到心跳信息后可以向会议服务器发送同样的心跳反馈信息。
80.其中，ice心跳信息可以是一个自定义的简单信息(心跳包)，其作用可以是让通信双方确定对方处于正常连接状态以确保连接的有效性。示例性的，预设时间间隔可以设置为5秒。
81.s203、如果在预设时间段内接收到心跳反馈信息，则根据登录信息，确定音视频流控制信令。
82.在本实施例中，如果会议服务器在预设时间段内接收心跳反馈信息，则可以表明上述连接处于正常状态。会议服务器可以将音视频流控制信令转发至会议服务器对应的直播服务器。示例性的，预设时间段也可以设置为5秒。
83.s204、根据音视频流控制信令，确定代理服务器的在线用户数量。
84.在本实施例中，代理服务器的在线用户数量可以为，通过该代理服务器观看直播且链路正常连接的用户数量。每个用户在通过该代理服务器观看直播时，该代理服务器都会转发音视频流控制信令，根据该代理服务器转发的音视频流控制信令的数量可以确定该代理服务器的在线用户数量。
85.进一步的，通过统计直播平台的所有代理服务器的在线用户数量可以确定直播平台总在线用户数量。
86.s205、将在线用户数量发送至直播平台，并获取直播平台根据在线用户数量进行负载均衡确定的一个或多个分配直播间。
87.在本实施例中，直播平台可以根据每个代理服务器的在线用户数量，确定每个代理服务器的负载量。直播平台可以通过负载均衡策略向对各代理服务器的负载率进行动态调控。例如，直播平台可以通过负载均衡策略，确定当前待分配的直播间可以分配的代理服务器。又如，直播平台可以通过负载均衡策略，将已分配至负载率较高的目标代理服务器的直播间重新分配代理服务器。
88.其中，负载均衡策略可以是统计每个代理服务器的负载量，然后优先向负载量较小的代理服务器分配直播服务(直播间)的方法。
89.s206、将各分配直播间通过直播服务器进行展示，并响应于客户端对分配直播间的选取操作，确定目标直播间。
90.在本实施例中，代理服务器可以服务于多个直播间。用户在多个直播间中选择的直播间，可以作为目标直播间。
91.s207、根据音视频流控制信令，通过直播服务器获取目标直播间对应的音视频流。
92.在本实施例中，目标直播间对应的会议服务器可以将音视频流控制信令转发至目标直播间对应的直播服务器。直播服务器可以根据音视频控制信令，获取目标直播间的音视频数据，并将该音视频数据转发至直播合成服务器。
93.s208、通过直播服务器将音视频流发送至直播合成服务器，并获取直播合成服务器根据直播上下文生成的合成音视频流。
94.在本实施例中，直播合成服务器可以根据直播上下文对音视频流进行处理，生成合成音视频流。
95.其中，直播上下文可以是对音视频流清晰度的设定、音视频流的编解等规则。
96.s209、通过内容分发网cdn将合成音视频流反馈至客户端。
97.在本实施例中，直播服务器可以再将合成音视频流通过内容分发网(content delivery network，cdn)传输至客户端。通过cdn传输音视频数据可以避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输得更快、更稳定。
98.本实施例的技术方案，通过代理服务器中的会议服务器获取客户端的登录信息，并对登录信息进行验证；当确定登录信息验证通过时，通过代理服务器中的会议服务器按照预设时间间隔向客户端发送ice心跳信息，并接收客户端的心跳反馈信息；如果在预设时间段内接收到心跳反馈信息，则根据登录信息，确定音视频流控制信令；根据音视频流控制信令，确定代理服务器的在线用户数量；将在线用户数量发送至直播平台，并获取直播平台根据在线用户数量进行负载均衡确定的一个或多个分配直播间；将各分配直播间通过直播服务器进行展示，并响应于客户端对分配直播间的选取操作，确定目标直播间；根据音视频流控制信令，通过直播服务器获取目标直播间对应的音视频流；通过直播服务器将音视频流发送至直播合成服务器，并获取直播合成服务器根据直播上下文生成的合成音视频流；通过内容分发网cdn将合成音视频流反馈至客户端。该方法通过心跳信息确定各代理服务器的在线用户数量，进而根据负载均衡向代理服务器分配直播间，减少高并发下服务的压力；通过合成服务器生成更适合传输、直播的音视频流，并通过cdn传输合成音视频流，可以提高传输效率，进而保证服务直播服务的稳定性。
99.实施例三
100.图4是根据本发明实施例三提供的又一种音视频传输方法的流程图，本实施例可适用于代理服务器的直播间服务情况。该方法可以应用于音视频传输系统中，音视频传输系统包括：客户端、至少一个代理服务器以及直播平台；各代理服务器分别与客户端以及直播平台连接，代理服务器包括：会议服务器和直播服务器；直播平台由至少一个直播间构成。该方法可以由音视频传输装置来执行。该音视频传输方法装置可以采用硬件和/或软件的形式实现，该装置可配置在电子设备(例如服务器)中。
101.如图4所示，该方法具体包括如下步骤：
102.s310、获取各代理服务器发送的在线用户数量，并根据在线用户数量确定各代理服务器的剩余负载量，以及全部代理服务器的剩余负载总量。
103.在本实施例中，每个代理服务器可以承载预设的负载量，即可以承载预设的观看直播用户数量(在线用户数量)。直播平台可以根据各代理服务器的当前的在线用户数量，确定各代理服务器的剩余负载量，并统计全部代理服务器的剩余负载总量
104.s320、根据各代理服务器的剩余负载量以及剩余负载总量，确定各代理服务器的分配概率。
105.在本实施例中，各代理服务器的分配概率可以为各代理服务器的剩余负载量与剩余负载总量的比值。
106.s330、根据各分配概率，对各代理服务器进行排序，并按照排序结果将待分配直播间分配至代理服务器的直播服务器中，以实现客户端与代理服务器之间的音视频传输。
107.在本实施例中，直播平台可以根据排序结果，对各代理服务器进行加权随机分配直播间。例如，对剩余负载量较大的代理服务器赋予较大权值，对剩余负载量较小的代理服务器分配较小的权值。
108.本实施例的技术方案，通过获取各代理服务器发送的在线用户数量，并根据在线用户数量确定各代理服务器的剩余负载量，以及全部代理服务器的剩余负载总量；根据各代理服务器的剩余负载量以及剩余负载总量，确定各代理服务器的分配概率；根据各分配概率，对各代理服务器进行排序，并按照排序结果将待分配直播间分配至代理服务器的直播服务器中，以实现客户端与代理服务器之间的音视频传输。该方法通过确定各代理服务器的剩余负载量，可以向代理服务器均衡分配直播业务，从而可以减小高负载代理服务器的压力，使资源更好的利用。
109.实施例四
110.本发明实施例四提供了一种音视频传输系统，该系统包括：客户端、至少一个代理服务器以及直播平台；其中：
111.各代理服务器分别与客户端以及直播平台连接，代理服务器包括：会议服务器和直播服务器。
112.客户端，可以用于向代理服务器发送登录信息。
113.代理服务器，用于通过代理服务器中的会议服务器获取客户端的登录信息，并对登录信息进行验证；当确定登录信息验证通过时，根据登录信息，确定音视频流控制信令。
114.在本实施例中，会议服务器可以在确定登录信息验证通过时，按照预设时间间隔向客户端发送ice心跳信息。
115.客户端可以接收会议服务器发送的心跳信息，并向会议服务器反馈心跳信息。
116.会议服务器在预设时间段内接收到客户端反馈的心跳信息时，可以根据登录信息，确定音视频流控制信令。在本实施例中，会议服务器还可以根据用户登录信息进行用户鉴权，即验证用户是否有进入对应直播的权益。如可以通过用户的登录信息，验证用户是否有对应直播间的会员、定向用户等权益，通过鉴权的用户才可以进入对应的直播。
117.直播平台由至少一个直播间构成。
118.直播平台，用于通过各直播间向代理服务器中的直播服务器提供音视频流。代理服务器，用于根据音视频流控制信令，通过直播服务器向直播平台中的直播间获取音视频流；并将音视频流反馈至客户端。
119.在本实施例中，代理服务器可以根据音视频流控制信令，确定代理服务器的在线用户数量，并将在线用户数量发送至直播平台。
120.直播平台可以通过获取各代理服务器发送的在线用户数量，并根据在线用户数量确定各代理服务器的剩余负载量，以及全部代理服务器的剩余负载总量；然后直播平台可以根据各代理服务器的剩余负载量以及剩余负载总量，确定各代理服务器的分配概率；最后直播平台可以根据各分配概率，对各代理服务器进行排序，并按照排序结果将待分配直播间分配至代理服务器的直播服务器中。
121.代理服务器可以将各分配直播间通过直播服务器进行展示，并响应于客户端对分配直播间的选取操作，确定目标直播间。
122.直播服务器可以根据音视频流控制信令，获取目标直播间对应的音视频流，并将
音视频流发送至直播合成服务器。
123.直播合成服务器可以根据直播上下文生成的合成音视频流，并通过内容分发网cdn将合成音视频流反馈至客户端。
124.图5是根据本发明实施例四提供的直播服务流程示意图。
125.如图5所示，代理服务器中的会议服务器可以获取客户端的登录信息，并对登录信息进行验证；当确定登录信息验证通过时，根据登录信息，确定音视频流控制信令；根据音视频流控制信令，通过直播服务器向直播平台中的直播间获取音视频流，并将音视频流发送至直播合成服务器；通过直播合成服务器可以生成合成音视频流；最后直播服务器可以将合成音视频流通过cdn传输至客户端。该方法可以减少高并发下服务的压力，提高传输效率，保证服务直播服务的稳定性。
126.在本实施例中，音视频传输系统还可以监控代理服务器的实时网络带宽、代理服务器的实时cpu负载，以及直播平的实时总网络带宽，这样可以进一步确定各代理服务器的负载量。
127.在本实施例中，通过音视频传输系统还可以进行其他业务服务，例如文件服务、白板服务。
128.其中，文件服务可以为通过音视频传输系统进行文件的上传、下载，或者对已上传文件进行删除等。白板服务可以为上述文件需要展示时，通过白板服务进行删除等。
129.这样设置的好处在于，在直播服务中加入文件相关服务，可以应对直播需要使用文件的情况，丰富直播服务的功能。
130.本实施例的技术方案，提供了一种音视频传输系统，该系统包括：客户端、至少一个代理服务器以及直播平台；其中：各代理服务器分别与客户端以及直播平台连接，代理服务器包括：会议服务器和直播服务器；客户端，用于向代理服务器发送登录信息；代理服务器，用于通过代理服务器中的会议服务器获取客户端的登录信息，并对登录信息进行验证；当确定登录信息验证通过时，根据登录信息，确定音视频流控制信令；直播平台由至少一个直播间构成；直播平台，用于通过各直播间向代理服务器中的直播服务器提供音视频流；代理服务器，用于根据音视频流控制信令，通过直播服务器向直播平台中的直播间获取音视频流；并将音视频流反馈至客户端。该系统通过直播服务器进行音视频流转发，进而可以实现音视频流与用户认证的关联，实时、同步地转发信令和音视频流，减少高并发下直播服务的压力，保证直播服务的高可用性；通过确定各代理服务器的剩余负载量，可以向代理服务器均衡分配直播业务，从而可以减小高负载代理服务器的压力，使资源更好的利用。
131.实施例五
132.图6是根据本发明实施例五提供的一种音视频传输装置的结构示意图。如图6所示，该装置包括：登录信息验证模块501，信令转发确定模块502，音视频流传输模块503，其中：
133.登录信息验证模块501，用于通过代理服务器中的会议服务器获取客户端的登录信息，并对登录信息进行验证；
134.信令转发确定模块502，用于当确定登录信息验证通过时，根据登录信息，确定音视频流控制信令；
135.音视频流传输模块503，用于根据音视频流控制信令，通过直播服务器向直播平台
中的直播间获取音视频流；并将音视频流反馈至客户端。
136.可选的，信令转发确定模块502，包括：
137.心跳信息发送单元，用于当确定登录信息验证通过时，通过代理服务器中的会议服务器按照预设时间间隔向客户端发送ice心跳信息，并接收客户端的心跳反馈信息；
138.心跳反馈接收单元，用于如果在预设时间段内接收到心跳反馈信息，则根据登录信息，确定音视频流控制信令。
139.可选的，音视频流传输模块503，包括：
140.在线用户数量确定单元，用于根据音视频流控制信令，确定代理服务器的在线用户数量；
141.直播间分配单元，用于将在线用户数量发送至直播平台，并获取直播平台根据在线用户数量进行负载均衡确定的一个或多个分配直播间；
142.目标直播间确定单元，用于将各分配直播间通过直播服务器进行展示，并响应于客户端对分配直播间的选取操作，确定目标直播间；
143.音视频流获取单元，用于根据音视频流控制信令，通过直播服务器获取目标直播间对应的音视频流。
144.可选的，音视频流传输模块503，包括：
145.合成音视频流生成单元，用于通过直播服务器将音视频流发送至直播合成服务器，并获取直播合成服务器根据直播上下文生成的合成音视频流；
146.合成音视频流传输单元，用于通过内容分发网cdn将合成音视频流反馈至客户端。
147.本实施例的技术方案，通过代理服务器中的会议服务器获取客户端的登录信息，并对登录信息进行验证；当确定登录信息验证通过时，根据登录信息，确定音视频流控制信令；根据音视频流控制信令，通过直播服务器向直播平台中的直播间获取音视频流；并将音视频流反馈至客户端。该方法通过将代理服务器引入直播服务中，然后通过会议服务器进行登录验证；通过直播服务器进行音视频流转发，进而可以实现音视频流与用户认证的关联，实时、同步地转发信令和音视频流，减少高并发下直播服务的压力，保证直播服务的高可用性。
148.本发明实施例所提供的音视频传输装置可执行本发明任意实施例所提供的音视频传输方法，具备执行方法相应的功能模块和有益效果。
149.实施例六
150.图7是根据本发明实施例六提供的另一种音视频传输装置的结构示意图。如图7所示，该装置包括：剩余负载量确定模块601，分配概率确定模块602，直播间分配模块603，其中：
151.剩余负载量确定模块601，用于获取各代理服务器发送的在线用户数量，并根据在线用户数量确定各代理服务器的剩余负载量，以及全部代理服务器的剩余负载总量；
152.分配概率确定模块602，用于根据各代理服务器的剩余负载量以及剩余负载总量，确定各代理服务器的分配概率；
153.直播间分配模块603，用于根据各分配概率，对各代理服务器进行排序，并按照排序结果将待分配直播间分配至代理服务器的直播服务器中，以实现客户端与代理服务器之间的音视频传输。
154.本实施例的技术方案，通过获取各代理服务器发送的在线用户数量，并根据在线用户数量确定各代理服务器的剩余负载量，以及全部代理服务器的剩余负载总量；根据各代理服务器的剩余负载量以及剩余负载总量，确定各代理服务器的分配概率；根据各分配概率，对各代理服务器进行排序，并按照排序结果将待分配直播间分配至代理服务器的直播服务器中，以实现客户端与代理服务器之间的音视频传输。该方法通过确定各代理服务器的剩余负载量，可以向代理服务器均衡分配直播业务，从而可以减小高负载代理服务器的压力，使资源更好的利用。
155.本发明实施例所提供的音视频传输装置可执行本发明任意实施例所提供的音视频传输方法，具备执行方法相应的功能模块和有益效果。
156.实施例七
157.图8示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
158.如图8所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
159.电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
160.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如音视频传输方法。
161.在一些实施例中，音视频传输方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的音视频传输方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行音视频传输方法。
162.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统
的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
163.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
164.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
165.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
166.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
167.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
168.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只
要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
169.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种音视频传输方法，其特征在于，应用于音视频传输系统中，所述音视频传输系统包括：客户端、至少一个代理服务器以及直播平台；各所述代理服务器分别与所述客户端以及所述直播平台连接，所述代理服务器包括：会议服务器和直播服务器；所述直播平台由至少一个直播间构成；所述方法由代理服务器执行，所述方法包括：通过所述代理服务器中的会议服务器获取客户端的登录信息，并对所述登录信息进行验证；当确定所述登录信息验证通过时，根据所述登录信息，确定音视频流控制信令；根据音视频流控制信令，通过直播服务器向所述直播平台中的直播间获取音视频流；并将所述音视频流反馈至客户端。2.根据权利要求1所述的方法，其特征在于，当确定所述登录信息验证通过时，根据所述登录信息，确定音视频流控制信令，包括：当确定所述登录信息验证通过时，通过所述代理服务器中的会议服务器按照预设时间间隔向所述客户端发送ice心跳信息，并接收所述客户端的心跳反馈信息；如果在预设时间段内接收到所述心跳反馈信息，则根据所述登录信息，确定音视频流控制信令。3.根据权利要求2所述的方法，其特征在于，根据音视频流控制信令，通过直播服务器向所述直播平台中的直播间获取音视频流，包括：根据音视频流控制信令，确定所述代理服务器的在线用户数量；将所述在线用户数量发送至所述直播平台，并获取所述直播平台根据所述在线用户数量进行负载均衡确定的一个或多个分配直播间；将各所述分配直播间通过所述直播服务器进行展示，并响应于所述客户端对所述分配直播间的选取操作，确定目标直播间；根据音视频流控制信令，通过直播服务器获取所述目标直播间对应的音视频流。4.根据权利要求1所述的方法，其特征在于，将所述音视频流反馈至客户端，包括：通过所述直播服务器将所述音视频流发送至直播合成服务器，并获取所述直播合成服务器根据直播上下文生成的合成音视频流；通过内容分发网cdn将所述合成音视频流反馈至所述客户端。5.一种音视频传输方法，其特征在于，应用于音视频传输系统中，所述音视频传输系统包括：客户端、至少一个代理服务器以及直播平台；各所述代理服务器分别与所述客户端以及所述直播平台连接，所述代理服务器包括：会议服务器和直播服务器；所述直播平台由至少一个直播间构成；所述方法由直播平台执行，所述方法包括：获取各所述代理服务器发送的在线用户数量，并根据所述在线用户数量确定各所述代理服务器的剩余负载量，以及全部所述代理服务器的剩余负载总量；根据各所述代理服务器的剩余负载量以及所述剩余负载总量，确定各所述代理服务器的分配概率；根据各所述分配概率，对各所述代理服务器进行排序，并按照排序结果将待分配直播间分配至所述代理服务器的直播服务器中，以实现客户端与所述代理服务器之间的音视频传输。6.一种音视频传输系统，其特征在于，所述系统，包括：客户端、至少一个代理服务器以
及直播平台；其中：各所述代理服务器分别与所述客户端以及所述直播平台连接，所述代理服务器包括：会议服务器和直播服务器；所述客户端，用于向所述代理服务器发送登录信息；所述代理服务器，用于通过所述代理服务器中的会议服务器获取客户端的登录信息，并对所述登录信息进行验证；当确定所述登录信息验证通过时，根据所述登录信息，确定音视频流控制信令；所述直播平台由至少一个直播间构成；所述直播平台，用于通过各直播间向所述代理服务器中的直播服务器提供音视频流；所述代理服务器，用于根据音视频流控制信令，通过直播服务器向所述直播平台中的直播间获取音视频流；并将所述音视频流反馈至客户端。7.一种音视频传输装置，其特征在于，由音视频传输系统中的代理服务器执行，所述音视频传输系统包括：客户端、至少一个代理服务器以及直播平台；各所述代理服务器分别与所述客户端以及所述直播平台连接，所述代理服务器包括：会议服务器和直播服务器；所述直播平台由至少一个直播间构成；所述装置包括：登录信息验证模块，用于通过所述代理服务器中的会议服务器获取客户端的登录信息，并对所述登录信息进行验证；信令转发确定模块，用于当确定所述登录信息验证通过时，根据所述登录信息，确定音视频流控制信令；音视频流传输模块，用于根据音视频流控制信令，通过直播服务器向所述直播平台中的直播间获取音视频流；并将所述音视频流反馈至客户端。8.一种音视频传输装置，其特征在于，由音视频传输系统中的直播平台执行，所述音视频传输系统包括：客户端、至少一个代理服务器以及直播平台；各所述代理服务器分别与所述客户端以及所述直播平台连接，所述代理服务器包括：会议服务器和直播服务器；所述直播平台由至少一个直播间构成；所述装置包括：剩余负载量确定模块，用于获取各所述代理服务器发送的在线用户数量，并根据所述在线用户数量确定各所述代理服务器的剩余负载量，以及全部所述代理服务器的剩余负载总量；分配概率确定模块，用于根据各所述代理服务器的剩余负载量以及所述剩余负载总量，确定各所述代理服务器的分配概率；直播间分配模块，用于根据各所述分配概率，对各所述代理服务器进行排序，并按照排序结果将待分配直播间分配至所述代理服务器的直播服务器中，以实现客户端与所述代理服务器之间的音视频传输。9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的音视频传输方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-5中任一项所述的音视频传输方法。

技术总结
本发明实施例公开了一种音视频传输方法、系统、装置、电子设备及存储介质，包括：通过代理服务器中的会议服务器获取客户端的登录信息，并对登录信息进行验证；当确定登录信息验证通过时，根据登录信息，确定音视频流控制信令；根据音视频流控制信令，通过直播服务器向直播平台中的直播间获取音视频流；并将音视频流反馈至客户端。本实施例的技术方案通过将代理服务器引入直播服务中，然后通过会议服务器进行登录验证；通过直播服务器进行音视频流转发，进而可以实现音视频流与用户认证的关联，实时、同步地转发信令和音视频流，减少高并发下直播服务的压力，保证直播服务的高可用性。保证直播服务的高可用性。保证直播服务的高可用性。


技术研发人员：刘丁豪 张洪铭
受保护的技术使用者：太平金融科技服务（上海）有限公司深圳分公司
技术研发日：2023.05.26
技术公布日：2023/9/5