一种音视频处理方法、装置、设备及介质与流程

1.发明涉及数据处理技术领域，尤其涉及一种音视频处理方法、装置、设备及介质。


背景技术：

2.在日常生活中，时时刻刻需要采集大量的音视频流，并且不同的音视频流对应不同的接口格式，音视频流采集的途径也有多种，可以从本地进行音视频流的获取，或者网上进行音视频流的获取操作。
3.发明人在实现本发明的过程中，发现现有技术存在如下缺陷：目前，由于采集到多路音视频流，但是没有办法进行音视频流类型的确定，对音视频流接口的识别处理也存在困难，造成数据处理困难，增加了工作人员接口识别的负担。


技术实现要素：

4.本发明提供了一种音视频处理方法、装置、设备及介质，以提高对不同的音视频流进行处理的效率和准确率。
5.根据本发明的一方面，提供了一种音视频处理方法，其中，所述方法应用于音视频处理设备中，所述音视频处理设备包括系统板以及多个媒体板，所述系统板包括多个第一输入接口，所述第一输入接口用于接收网络音视频流；各所述媒体板包括至少一个第二输入接口以及多个输出接口，所述第二输入接口用于接收本地音视频流，所述输出接口用于将音视频流输出至相连的外部设备；
6.所述方法包括：所述系统板通过多个第一输入接口接收多个网络音视频流，并分别将各网络音视频流分发至各媒体板中；
7.在各媒体板中，通过其自身的第二输入接口接收本地音视频流；
8.所述媒体板获取其自身的各输出接口的合成配置信息，所述合成配置信息包括至少一个输入接口标识以及对应的合成规则；
9.所述媒体板针对各输出接口，根据其合成配置信息中的至少一个输入接口标识，从接收到的多个网络音视频流以及本地音视频流中选择与该输入接口标识对应的音视频流，作为待输出音视频流；
10.所述媒体板根据所述合成规则，将所述待输出音视频流进行合成，生成合成视频流；
11.所述媒体板将所述合成视频流通过当前输出接口输出至对应的外部设备中。
12.根据本发明的另一方面，提供了一种音视频处理装置，其中，所述装置应用于音视频处理设备中，所述音视频处理设备包括系统板以及多个媒体板，所述系统板包括多个第一输入接口，所述第一输入接口用于接收网络音视频流；各所述媒体板包括至少一个第二输入接口以及多个输出接口，所述第二输入接口用于接收本地音视频流，所述输出接口用于将音视频流输出至相连的外部设备；
13.所述装置包括：
14.网络音视频流分发模块，用于所述系统板通过多个第一输入接口接收多个网络音视频流，并分别将各网络音视频流分发至各媒体板中；
15.本地音视频流接收模块，用于在各媒体板中，通过其自身的第二输入接口接收本地音视频流；
16.合成配置信息获取模块，用于通过所述媒体板获取其自身的各输出接口的合成配置信息，所述合成配置信息包括至少一个输入接口标识以及对应的合成规则；
17.待输出音视频流确定模块，用于通过所述媒体板针对各输出接口，根据其合成配置信息中的至少一个输入接口标识，从接收到的多个网络音视频流以及本地音视频流中选择与该输入接口标识对应的音视频流，作为待输出音视频流；
18.合成视频流生成模块，用于通过所述媒体板根据所述合成规则，将所述待输出音视频流进行合成，生成合成视频流；
19.合成视频流输出模块，用于通过所述媒体板将所述合成视频流通过当前输出接口输出至对应的外部设备中。
20.根据本发明的另一方面，提供了一种音视频处理设备，包括系统板和多个媒体板，所述系统板包括多个第一输入接口，所述第一输入接口用于接收网络音视频流；各所述媒体板包括至少一个第二输入接口以及多个输出接口，所述第二输入接口用于接收本地音视频流，所述输出接口用于将音视频流输出至相连的外部设备；
21.所述系统板用于：
22.通过多个第一输入接口接收多个网络音视频流，并分别将各网络音视频流分发至各媒体板中；
23.所述媒体板用于：
24.通过其自身的第二输入接口接收本地音视频流；
25.获取其自身的各输出接口的合成配置信息，所述合成配置信息包括至少一个输入接口标识以及对应的合成规则；
26.针对各输出接口，根据其合成配置信息中的至少一个输入接口标识，从接收到的多个网络音视频流以及本地音视频流中选择与该输入接口标识对应的音视频流，作为待输出音视频流；
27.根据所述合成规则，将所述待输出音视频流进行合成，生成合成视频流；
28.将所述合成视频流通过当前输出接口输出至对应的外部设备中。
29.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的音视频处理方法。
30.本发明实施例的技术方案，系统板通过多个第一输入接口接收多个网络音视频流并分别将其分发至各媒体板中；各媒体板通过其自身的第二输入接口接收本地音视频流；并获取其自身的各输出接口的合成配置信息；并针对各输出接口和输入接口标识，从接收到的多个网络音视频流以及本地音视频流中选择与该输入接口标识对应的音视频流，并根据合成规则，将待输出音视频流进行合成，生成合成视频流并将其输出至外部设备中。解决了对多路音视频流不能准确进行接口处理的问题，提高了对不同的音视频流进行处理的效率和准确率，以便工作人员能够进行更加准确的线路切换，实现了多路音视频流的数据隔
离，从而保证了不会溢出到本地网络。
31.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
32.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1a是根据本发明实施例一提供的一种音视频处理方法的流程图；
34.图1b是根据本发明实施例一提供的方法中的音视频处理设备的具体的连接关系的结构示意图；
35.图1c是根据本发明实施例一提供的方法中的音视频处理设备的具体应用场景的结构示意图；
36.图2是根据本发明实施例二提供的一种音视频处理装置的结构示意图；
37.图3为本发明实施例三提供的一种音视频处理设备的结构示意图。
具体实施方式
38.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
39.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“目标”、“当前”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
40.实施例一
41.图1a为本发明实施例一提供了一种音视频处理方法的流程图，本实施例可适用于对多路视频流进行接口识别的情况。该方法可以由音视频处理装置来执行，该装置可以由软件和/或硬件实现。
42.其中，所述方法应用于音视频处理设备中，所述音视频处理设备包括系统板以及多个媒体板，所述系统板包括多个第一输入接口，所述第一输入接口用于接收网络音视频流；各所述媒体板包括至少一个第二输入接口以及多个输出接口，所述第二输入接口用于接收本地音视频流，所述输出接口用于将音视频流输出至相连的外部设备。
43.相应的，如图1a所示，该方法包括：
44.s110、所述系统板通过多个第一输入接口接收多个网络音视频流，并分别将各网络音视频流分发至各媒体板中。
45.其中，第一输入接口可以是用于接收网络音视频流的接口，第一输入接口对应系统板上的网口。系统板可以存储多路网络音视频流，并将该网络音视频流输出至多个媒体板中。
46.在本实施例中，音视频处理设备可以部署于后端指挥中心中。
47.示例性的，如图1b所示，为音视频处理设备的具体的连接关系的结构示意图。在图1b中包括系统板(31)和与系统板相连的内部交换单元，还包括5个媒体板。其中系统板包括第一输入接口，也即图1b中的lan2口对应的接口，通过lan2口接收网络音视频流。
48.另外的，各媒体板包括至少一个第二输入接口以及多个输出接口，第二输入接口也即为hdmi-in(high definition multimedia interface，高清多媒体接口)接口，输出接口为hdmi-out接口。具体的，hdmi-in接口用于接收本地音视频流，hdmi-out接口用于将音视频流输出至相连的外部设备，也即图1b中的多个显示屏。
49.具体的，第一输入接口可以输入20路网络音视频流；第二输入接口可以输入5路本地音视频流。
50.具体的，输入接口对应的输入设备可以包括：高清摄像头、pc(personal computer，个人计算机)、ipc(ip camera，网络摄像机)、dvd(digital videodisc，数字化视频光盘)播放器和数字电视机顶盒等。外部设备可以包括：等离子电视、液晶电视、电视墙和监视器等设备。
51.可选的，所述系统板与各媒体板通过内部交换机进行通信；所述系统板还包括第一网口以及第二网口；所述系统板通过多个第一输入接口接收多个网络音视频流，并分别将各网络音视频流分发至各媒体板中，包括：所述系统板通过多个第一输入接口接入不同的网络音视频源以后，通过所述第一网口接收不同网络音视频源输入的网络音视频流；所述系统板通过所述第一网口将所述网络音视频流传输至第二网口中，并通过所述第二网口将所述网络音视频流通过内部交换机分发至各媒体板中。
52.其中，第一网口可以是用于接收网络音视频流的网口，第二网口可以是将网络音视频流进行输出的网口。
53.续前例的，如图1b所示，将网络音视频流通过系统板的lan2口进行接收，并将接收到的网络音视频流从系统板的lan1口进行输出，并通过lan1口将网络音视频流通过内部交换机(也即图1b中的内部交换单元)分发至各媒体板中。
54.这样设置的好处在于：可以实现多路音视频流的数据隔离，从而保证了不会溢出到本地网络，减少了数据的冲突，提高了数据的安全性。
55.s120、在各媒体板中，通过其自身的第二输入接口接收本地音视频流。
56.其中，第二输入接口可以是用来接收本地音视频流的接口。
57.续前例的，各媒体板包括至少一个第二输入接口，在图1b中，第二输入接口也即为hdmi-in接口。具体的，hdmi-in接口用于接收本地音视频流。
58.可选的，所述各媒体板通过其自身的第二输入接口接收本地音视频流以后，还包括：将所述本地音视频流通过所述内部交换机发送至其他媒体板中。
59.在本实施例中，假设本地音视频流通过媒体板对应的第二输入接口进行接收之
后，还可以通过内部交换机进行媒体板之间的本地音视频流之间的交换处理操作。这样可以提高本地音视频流处理的灵活性，实现了本地音视频流在多个媒体板之间的交互处理。
60.s130、所述媒体板获取其自身的各输出接口的合成配置信息，所述合成配置信息包括至少一个输入接口标识以及对应的合成规则。
61.其中，合成配置信息可以是用来描述接口参数和合成规则信息。
62.可选的，所述音视频处理设备还包括显示屏；所述方法还包括：通过所述显示屏显示配置页面，所述配置页面包括输出位置配置项、分屏模式配置项以及输入接口配置项，其中，所述输出位置配置项中的各输出位置具有对应的输出接口标识；接收用户分别从所述输出位置配置项、所述分屏模式配置项以及所述输入接口配置项中输入的配置信息；其中，当用户从所述分屏模式配置项中选择分屏模式以后，进入分屏配置页面，以便于用户在所述分屏配置页面中设置各分屏的输入接口标识；根据所述分屏模式配置项的配置信息生成合成规则，并根据所述合成规则、所述输入接口配置项的配置信息以及所述输出位置配置项对应的输出接口标识生成合成配置信息。
63.在本实施例中，音视频处理设备还包括显示屏。在显示屏中，可以显示配置页面。
64.具体的，配置页面中包括输出位置配置项、分屏模式配置项以及输入接口配置项。其中，输出位置配置项中的各输出位置具有对应的输出接口标识；接收用户分别从输出位置配置项、分屏模式配置项以及输入接口配置项中输入的配置信息。比如说，如果选择了8分屏，则可以跳转至8分屏配置页面，并点击该8分屏配置页面中的每个窗口则可以配置对应窗口的输入接口。
65.另外的，分屏模式可以包括1分屏、2分屏、4分屏、8分屏等分屏模式。
66.相应的，当用户从分屏模式配置项中选择分屏模式以后，假设选择的为8分屏的分屏模式。接着，进入分屏配置页面，以便于用户在分屏配置页面中设置各分屏的输入接口标识，也即第一分屏用于接收对应的某个媒体板的输出音视频流，假设第一分屏用于接收媒体板1的音视频流，第二分屏用于接收媒体板1的音视频流。进一步的，根据分屏模式配置项的配置信息生成合成规则，并根据合成规则、输入接口配置项的配置信息以及输出位置配置项对应的输出接口标识生成合成配置信息。
67.s140、所述媒体板针对各输出接口，根据其合成配置信息中的至少一个输入接口标识，从接收到的多个网络音视频流以及本地音视频流中选择与该输入接口标识对应的音视频流，作为待输出音视频流。
68.在本实施例中，实现了根据合成配置信息中的输入接口标识，进行多个网络音视频流以及本地音视频流各自匹配的音视频流的对应输出处理。
69.示例性的，假设选取的分屏模式为4分屏，对应的输入接口标识分别是网络接口1-3、本地接口2，则待输出音视频流为网络接口1-3、本地接口2对应的音视频流。
70.s150、所述媒体板根据所述合成规则，将所述待输出音视频流进行合成，生成合成视频流。
71.s160、所述媒体板将所述合成视频流通过当前输出接口输出至对应的外部设备中。
72.在本实施例中，可以实现混合接收网络音视频流和本地音视频流，然后将网络音视频流和本地音视频流进行合流，并进行输出处理。
73.具体的，网络音视频流通过系统板接收，本地音视频流通过媒体板接收。各媒体板可以提供本地输出口和网络输出口，本地输出口是将合流输出到本地设备；网络输出口是将合流编码压缩后通过系统板输出到网络设备。
74.示例性的，如图1c所示，为音视频处理设备的具体应用场景的结构示意图。媒体板1的out1口对应会议室1，out2口对应会议室2；媒体板2的out3口对应大厅，out4口对应会议室3等。out1例如可以显示1-14路流，out2口例如可以显示15-17路流，每个out口显示的音视频流，是可配置的。可以理解的是，媒体板1和媒体板2位于音视频处理设备中，包括n个会议室。
75.可选的，所述输出接口包括本地输出接口以及网络输出接口；所述媒体板将所述合成视频流通过当前输出接口输出至对应的外部设备中，包括：若当前输出接口为本地输出接口，则将所述合成视频流通过所述本地输出接口输出至对应的显示设备中进行显示；若当前输出接口为网络输出接口，则将所述合成视频流进行编码后通过所述网络输出接口发送至所述系统板，由所述系统板将所述合成视频流上传至对应的服务器中。
76.在本实施例中，每个媒体板的输出接口可以包括本地输出接口和网络输出接口。首先判断当前输出接口是本地输出接口还是网络输出接口，如果是本地输出接口，则将合成视频流通过本地输出接口输出至对应的显示设备中进行显示。
77.进一步的，如果当前输出接口是网络输出接口，则将合成视频流进行编码后通过网络输出接口发送至系统板，由系统板将合成视频流上传至对应的服务器中。
78.这样设置的好处在于，当从不同类型的输出接口进行合成视频流的输出，需要对合成音视频流进行不同的编码处理操作，并输出至服务器或者显示屏中。
79.可选的，所述音视频处理设备与控制终端连接，所述方法还包括：通过所述系统板接收所述控制终端发送的画面切换请求，所述画面切换请求包括目标输出接口标识，以及所述目标输出接口标识对应的更新合成配置信息；确定所述目标输出接口标识对应的媒体板，作为目标媒体板；将所述更新合成配置信息发送至所述目标媒体板中，以由所述目标媒体板根据所述更新合成配置信息对待输出音视频流进行实时更新。
80.在本实施例中，系统板还可以接收控制终端发送来的画面切换请求。具体的，画面切换请求还可以包括目标输出接口标识，以及与目标输出接口标识对应的更新合成配置信息。
81.进一步的，通过目标输出接口标识可以识别出目标的媒体板，具体的，目标输出接口标识用来表示每个媒体板的接口标识，每个媒体板的输出接口标识都是唯一的。
82.相应的，在确定目标媒体板之后，需要将相应的更新合成配置信息发送于目标媒体板中，以完成对待输出音视频流的实时更新处理。
83.可选的，各所述媒体板的所述第二输入接口的接口类型相同或不同，所述接口类型包括hdmi接口、vga(video graphics array，视频图形阵列)接口、sdi(serial digital interface，数字分量串行接口)接口的至少一种；各所述第一输入接口支持的通信协议相同或不同。
84.具体的，通信协议可以包括rtsp(real-time streaming protocol，实时流协议)、onvif、以及gb28181等协议。
85.在本实施例中，每个媒体板的第二输入接口类型可能相同，也可能不同；并且第一
输入接口支持的通信协议可能相同或不同，这样可以实现多接口类型的音视频流的处理。并且这是为了更多的适应不同的接口而采用的设计，比如当前是hdmi接口输入，而当需要换成vga，或sdi接口的输入时，只需要更改媒体卡即可。
86.另外的，外部网络摄像头通过交换机与系统板相接，系统板通过rtsp、gb28181、onvif等协议拉取外部网络摄像头的音视频流进来；然后将收到的音视频流按各端口组播发送到内部交换机上；之后各媒体板在各自的网络端口接收到该音视频流，然后进行解码、合屏输出到hdmi进行显示，同时也可以进行编码，将压缩的音视频数据组播发送到系统板，系统板接收后通过rtspserver服务，对外发送音视频流。
87.进一步的，本地音视频流是通过hdmi线缆跟媒体板相连；媒体板采集到hdmi音视频流之后，进行合屏输出到hdmi显示屏；同时媒体板也将音视频流进行压缩，然后通过各端口组播发送到内部交换机上；之后其他媒体板也能收到该音视频流，然后进行解码、合屏输出到hdmi进行显示，同时系统板接收后通过rtspserver服务，对外发送音视频流。
88.可选的，通过系统单元模块实时获取多路的视频流；通过系统单元模块依次对各所述视频流进行识别处理，确定出与每个视频流分别对应的视频流类别；其中，所述视频流类别包括：本地视频流类别或者网络视频流类别；通过系统单元模块根据所述视频流类别，确定出与每个视频流对应的视频流接口，并将所述视频流从匹配的所述视频流接口输出至媒体单元模块；通过媒体单元模块对接收到的视频流进行接口识别处理，得到与接收到的视频流对应的接口识别结果。
89.可选的，所述通过系统单元模块根据所述视频流类别，确定出与每个视频流对应的视频流接口，并将所述视频流从匹配的所述视频流接口输出至媒体单元模块，包括：如果所述视频流类别为本地视频流类别，确定出所述本地视频流类别对应的视频流接口为本地视频流接口，并将所述视频流从本地视频流接口输出至媒体单元模块；如果所述视频流类别为网络视频流类别，确定出所述网络视频流类别对应的视频流接口为网络视频流接口，并将所述视频流从网络视频流接口输出至媒体单元模块。
90.可选的，所述通过媒体单元模块对接收到的视频流进行接口识别处理，得到与接收到的视频流对应的接口识别结果，包括：通过媒体单元模块对接收到的所述本地视频流进行接口识别处理，得到与接收到的本地视频流对应的第一接口识别结果；通过媒体单元模块对接收到的所述网络视频流进行接口识别处理，得到与接收到的网络视频流对应的第二接口识别结果；根据所述第一接口识别结果和所述第二接口识别结果，确定出所述接口识别结果。
91.可选的，在所述通过媒体单元模块对接收到的视频流进行接口识别处理，得到与接收到的视频流对应的接口识别结果之后，还包括：通过接口识别结果输出单元模块，将所述接口识别结果反馈给用户，以实现视频流接口的识别。
92.可选的，所述通过系统单元模块依次对各所述视频流进行识别处理，确定出与每个视频流分别对应的视频流类别，包括：通过系统单元模块，获取各所述视频流对应的各视频存储路径；通过系统单元模块依次获取一个目标视频存储路径，并对所述目标视频存储路径进行识别处理，确定出目标视频流对应的视频流类别。
93.可选的，所述通过系统单元模块，获取各所述视频流对应的各视频存储路径，包括：通过所述系统单元模块，对各所述视频流进行标准格式准换，确定出标准格式视频流；
通过所述系统单元模块，获取各所述标准格式视频流对应的各视频存储路径。
94.可选的，在所述通过系统单元模块依次获取一个目标视频存储路径，并对所述目标视频存储路径进行识别处理，确定出目标视频流对应的视频流类别之后，还包括：在各所述视频流中，通过所述系统单元模块来判断是否存在与所述目标视频流相关联的关联视频流，若存在，则将所述目标视频流对应的视频流类别确定为关联视频流的视频流类别；若不存在，则返回执行通过系统单元模块依次获取一个目标视频存储路径，并对所述目标视频存储路径进行识别处理，确定出目标视频流对应的视频流类别的操作，直至遍历完成各视频存储路径。
95.本发明实施例的技术方案，系统板通过多个第一输入接口接收多个网络音视频流并分别将其分发至各媒体板中；各媒体板通过其自身的第二输入接口接收本地音视频流；并获取其自身的各输出接口的合成配置信息；并针对各输出接口和输入接口标识，从接收到的多个网络音视频流以及本地音视频流中选择与该输入接口标识对应的音视频流，并根据合成规则，将待输出音视频流进行合成，生成合成视频流并将其输出至外部设备中。解决了对多路音视频流不能准确进行接口处理的问题，提高了对不同的音视频流进行处理的效率和准确率，以便工作人员能够进行更加准确的线路切换，实现了多路音视频流的数据隔离，从而保证了不会溢出到本地网络。
96.实施例二
97.图2为本发明实施例二提供的一种音视频处理装置的结构示意图，本实施例所提供的一种音视频处理装置可以通过软件和/或硬件来实现，可配置于终端设备或者服务器中来实现本发明实施例中的一种音视频处理方法。如图2所示，该装置包括：网络音视频流分发模块210、本地音视频流接收模块220、合成配置信息获取模块230、待输出音视频流确定模块240、合成视频流生成模块250和合成视频流输出模块260。
98.其中，所述装置应用于音视频处理设备中，所述音视频处理设备包括系统板以及多个媒体板，所述系统板包括多个第一输入接口，所述第一输入接口用于接收网络音视频流；各所述媒体板包括至少一个第二输入接口以及多个输出接口，所述第二输入接口用于接收本地音视频流，所述输出接口用于将音视频流输出至相连的外部设备；
99.所述装置包括：
100.网络音视频流分发模块210，用于所述系统板通过多个第一输入接口接收多个网络音视频流，并分别将各网络音视频流分发至各媒体板中；
101.本地音视频流接收模块220，用于在各媒体板中，通过其自身的第二输入接口接收本地音视频流；
102.合成配置信息获取模块230，用于通过所述媒体板获取其自身的各输出接口的合成配置信息，所述合成配置信息包括至少一个输入接口标识以及对应的合成规则；
103.待输出音视频流确定模块240，用于通过所述媒体板针对各输出接口，根据其合成配置信息中的至少一个输入接口标识，从接收到的多个网络音视频流以及本地音视频流中选择与该输入接口标识对应的音视频流，作为待输出音视频流；
104.合成视频流生成模块250，用于通过所述媒体板根据所述合成规则，将所述待输出音视频流进行合成，生成合成视频流；
105.合成视频流输出模块260，用于通过所述媒体板将所述合成视频流通过当前输出
接口输出至对应的外部设备中。
106.本发明实施例的技术方案，系统板通过多个第一输入接口接收多个网络音视频流并分别将其分发至各媒体板中；各媒体板通过其自身的第二输入接口接收本地音视频流；并获取其自身的各输出接口的合成配置信息；并针对各输出接口和输入接口标识，从接收到的多个网络音视频流以及本地音视频流中选择与该输入接口标识对应的音视频流，并根据合成规则，将待输出音视频流进行合成，生成合成视频流并将其输出至外部设备中。解决了对多路音视频流不能准确进行接口处理的问题，提高了对不同的音视频流进行处理的效率和准确率，以便工作人员能够进行更加准确的线路切换，实现了多路音视频流的数据隔离，从而保证了不会溢出到本地网络。
107.可选的，所述系统板与各媒体板通过内部交换机进行通信；所述系统板还包括第一网口以及第二网口；
108.其中，所述网络音视频流分发模块210，可以具体用于：所述系统板通过多个第一输入接口接入不同的网络音视频源以后，通过所述第一网口接收不同网络音视频源输入的网络音视频流；所述系统板通过所述第一网口将所述网络音视频流传输至第二网口中，并通过所述第二网口将所述网络音视频流通过内部交换机分发至各媒体板中。
109.可选的，所述本地音视频流接收模块220，还可以具体用于：所述各媒体板通过其自身的第二输入接口接收本地音视频流以后，将所述本地音视频流通过所述内部交换机发送至其他媒体板中。
110.可选的，所述输出接口包括本地输出接口以及网络输出接口；所述合成视频流输出模块260，可以具体用于：若当前输出接口为本地输出接口，则将所述合成视频流通过所述本地输出接口输出至对应的显示设备中进行显示；若当前输出接口为网络输出接口，则将所述合成视频流进行编码后通过所述网络输出接口发送至所述系统板，由所述系统板将所述合成视频流上传至对应的服务器中。
111.可选的，所述音视频处理设备与控制终端连接，所述方法还可以具体用于：通过所述系统板接收所述控制终端发送的画面切换请求，所述画面切换请求包括目标输出接口标识，以及所述目标输出接口标识对应的更新合成配置信息；确定所述目标输出接口标识对应的媒体板，作为目标媒体板；将所述更新合成配置信息发送至所述目标媒体板中，以由所述目标媒体板根据所述更新合成配置信息对待输出音视频流进行实时更新。
112.可选的，所述音视频处理设备还包括显示屏；所述方法还可以具体用于：通过所述显示屏显示配置页面，所述配置页面包括输出位置配置项、分屏模式配置项以及输入接口配置项，其中，所述输出位置配置项中的各输出位置具有对应的输出接口标识；接收用户分别从所述输出位置配置项、所述分屏模式配置项以及所述输入接口配置项中输入的配置信息；其中，当用户从所述分屏模式配置项中选择分屏模式以后，进入分屏配置页面，以便于用户在所述分屏配置页面中设置各分屏的输入接口标识；根据所述分屏模式配置项的配置信息生成合成规则，并根据所述合成规则、所述输入接口配置项的配置信息以及所述输出位置配置项对应的输出接口标识生成合成配置信息。
113.可选的，各所述媒体板的所述第二输入接口的接口类型相同或不同，所述接口类型包括hdmi接口、vga接口、sdi接口的至少一种；各所述第一输入接口支持的通信协议相同或不同。
114.本发明实施例所提供的音视频处理装置可执行本发明任意实施例所提供的音视频处理方法，具备执行方法相应的功能模块和有益效果。
115.实施例三
116.图3为本发明实施例三提供的一种音视频处理设备的结构示意图，其中，所述音视频处理设备310包括系统板320和多个媒体板330，所述系统板320包括多个第一输入接口321，所述第一输入接口321用于接收网络音视频流；各所述媒体板330包括至少一个第二输入接口331以及多个输出接口332，所述第二输入接口331用于接收本地音视频流，所述输出接口用于将音视频流输出至相连的外部设备。
117.其中，所述系统板320用于：
118.通过多个第一输入接口321接收多个网络音视频流，并分别将各网络音视频流分发至各媒体板330中；
119.所述媒体板330用于：
120.通过其自身的第二输入接口331接收本地音视频流；
121.获取其自身的各输出接口的合成配置信息，所述合成配置信息包括至少一个输入接口标识以及对应的合成规则；
122.针对各输出接口，根据其合成配置信息中的至少一个输入接口标识，从接收到的多个网络音视频流以及本地音视频流中选择与该输入接口标识对应的音视频流，作为待输出音视频流；
123.根据所述合成规则，将所述待输出音视频流进行合成，生成合成视频流；
124.将所述合成视频流通过当前输出接口输出至对应的外部设备中。
125.实施例四
126.本发明实施例四还提供一种包含计算机可读存储介质，所述计算机可读指令在由计算机处理器执行时用于执行一种音视频处理方法，该方法包括：系统板通过多个第一输入接口接收多个网络音视频流，并分别将各网络音视频流分发至各媒体板中；在各媒体板中，通过其自身的第二输入接口接收本地音视频流；所述媒体板获取其自身的各输出接口的合成配置信息，所述合成配置信息包括至少一个输入接口标识以及对应的合成规则；所述媒体板针对各输出接口，根据其合成配置信息中的至少一个输入接口标识，从接收到的多个网络音视频流以及本地音视频流中选择与该输入接口标识对应的音视频流，作为待输出音视频流；所述媒体板根据所述合成规则，将所述待输出音视频流进行合成，生成合成视频流；所述媒体板将所述合成视频流通过当前输出接口输出至对应的外部设备中。
127.当然，本发明实施例所提供的一种包含计算机可读存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的音视频处理方法中的相关操作。
128.通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设
备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
129.值得注意的是，上述音视频处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
130.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种音视频处理方法，其特征在于，所述方法应用于音视频处理设备中，所述音视频处理设备包括系统板以及多个媒体板，所述系统板包括多个第一输入接口，所述第一输入接口用于接收网络音视频流；各所述媒体板包括至少一个第二输入接口以及多个输出接口，所述第二输入接口用于接收本地音视频流，所述输出接口用于将音视频流输出至相连的外部设备；所述方法包括：所述系统板通过多个第一输入接口接收多个网络音视频流，并分别将各网络音视频流分发至各媒体板中；在各媒体板中，通过其自身的第二输入接口接收本地音视频流；所述媒体板获取其自身的各输出接口的合成配置信息，所述合成配置信息包括至少一个输入接口标识以及对应的合成规则；所述媒体板针对各输出接口，根据其合成配置信息中的至少一个输入接口标识，从接收到的多个网络音视频流以及本地音视频流中选择与该输入接口标识对应的音视频流，作为待输出音视频流；所述媒体板根据所述合成规则，将所述待输出音视频流进行合成，生成合成视频流；所述媒体板将所述合成视频流通过当前输出接口输出至对应的外部设备中。2.根据权利要求1所述的方法，其特征在于，所述系统板与各媒体板通过内部交换机进行通信；所述系统板还包括第一网口以及第二网口；所述系统板通过多个第一输入接口接收多个网络音视频流，并分别将各网络音视频流分发至各媒体板中，包括：所述系统板通过多个第一输入接口接入不同的网络音视频源以后，通过所述第一网口接收不同网络音视频源输入的网络音视频流；所述系统板通过所述第一网口将所述网络音视频流传输至第二网口中，并通过所述第二网口将所述网络音视频流通过内部交换机分发至各媒体板中。3.根据权利要求2所述的方法，其特征在于，所述各媒体板通过其自身的第二输入接口接收本地音视频流以后，还包括：将所述本地音视频流通过所述内部交换机发送至其他媒体板中。4.根据权利要求1或2或3所述的方法，其特征在于，所述输出接口包括本地输出接口以及网络输出接口；所述媒体板将所述合成视频流通过当前输出接口输出至对应的外部设备中，包括：若当前输出接口为本地输出接口，则将所述合成视频流通过所述本地输出接口输出至对应的显示设备中进行显示；若当前输出接口为网络输出接口，则将所述合成视频流进行编码后通过所述网络输出接口发送至所述系统板，由所述系统板将所述合成视频流上传至对应的服务器中。5.根据权利要求1所述的方法，其特征在于，所述音视频处理设备与控制终端连接，所述方法还包括：通过所述系统板接收所述控制终端发送的画面切换请求，所述画面切换请求包括目标输出接口标识，以及所述目标输出接口标识对应的更新合成配置信息；确定所述目标输出接口标识对应的媒体板，作为目标媒体板；将所述更新合成配置信息发送至所述目标媒体板中，以由所述目标媒体板根据所述更
新合成配置信息对待输出音视频流进行实时更新。6.根据权利要求1所述的方法，其特征在于，所述音视频处理设备还包括显示屏；所述方法还包括：通过所述显示屏显示配置页面，所述配置页面包括输出位置配置项、分屏模式配置项以及输入接口配置项，其中，所述输出位置配置项中的各输出位置具有对应的输出接口标识；接收用户分别从所述输出位置配置项、所述分屏模式配置项以及所述输入接口配置项中输入的配置信息；其中，当用户从所述分屏模式配置项中选择分屏模式以后，进入分屏配置页面，以便于用户在所述分屏配置页面中设置各分屏的输入接口标识；根据所述分屏模式配置项的配置信息生成合成规则，并根据所述合成规则、所述输入接口配置项的配置信息以及所述输出位置配置项对应的输出接口标识生成合成配置信息。7.根据权利要求1或2或3或5或6所述的方法，其特征在于，各所述媒体板的所述第二输入接口的接口类型相同或不同，所述接口类型包括高清多媒体接口hdmi接口、视频图形阵列vga接口、数字分量串行接口sdi接口的至少一种；各所述第一输入接口支持的通信协议相同或不同。8.一种音视频处理装置，其特征在于，所述装置应用于音视频处理设备中，所述音视频处理设备包括系统板以及多个媒体板，所述系统板包括多个第一输入接口，所述第一输入接口用于接收网络音视频流；各所述媒体板包括至少一个第二输入接口以及多个输出接口，所述第二输入接口用于接收本地音视频流，所述输出接口用于将音视频流输出至相连的外部设备；所述装置包括：网络音视频流分发模块，用于所述系统板通过多个第一输入接口接收多个网络音视频流，并分别将各网络音视频流分发至各媒体板中；本地音视频流接收模块，用于在各媒体板中，通过其自身的第二输入接口接收本地音视频流；合成配置信息获取模块，用于通过所述媒体板获取其自身的各输出接口的合成配置信息，所述合成配置信息包括至少一个输入接口标识以及对应的合成规则；待输出音视频流确定模块，用于通过所述媒体板针对各输出接口，根据其合成配置信息中的至少一个输入接口标识，从接收到的多个网络音视频流以及本地音视频流中选择与该输入接口标识对应的音视频流，作为待输出音视频流；合成视频流生成模块，用于通过所述媒体板根据所述合成规则，将所述待输出音视频流进行合成，生成合成视频流；合成视频流输出模块，用于通过所述媒体板将所述合成视频流通过当前输出接口输出至对应的外部设备中。9.一种音视频处理设备，包括系统板和多个媒体板，所述系统板包括多个第一输入接口，所述第一输入接口用于接收网络音视频流；各所述媒体板包括至少一个第二输入接口以及多个输出接口，所述第二输入接口用于接收本地音视频流，所述输出接口用于将音视频流输出至相连的外部设备；所述系统板用于：
通过多个第一输入接口接收多个网络音视频流，并分别将各网络音视频流分发至各媒体板中；所述媒体板用于：通过其自身的第二输入接口接收本地音视频流；获取其自身的各输出接口的合成配置信息，所述合成配置信息包括至少一个输入接口标识以及对应的合成规则；针对各输出接口，根据其合成配置信息中的至少一个输入接口标识，从接收到的多个网络音视频流以及本地音视频流中选择与该输入接口标识对应的音视频流，作为待输出音视频流；根据所述合成规则，将所述待输出音视频流进行合成，生成合成视频流；将所述合成视频流通过当前输出接口输出至对应的外部设备中。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的音视频处理方法。

技术总结
本发明公开了一种音视频处理方法、装置、设备及介质。系统板通过多个第一输入接口接收多个网络音视频流并分别将其分发至各媒体板中；各媒体板通过其自身的第二输入接口接收本地音视频流；并获取其自身的各输出接口的合成配置信息；并针对各输出接口和输入接口标识，从接收到的多个网络音视频流以及本地音视频流中选择与该输入接口标识对应的音视频流，并根据合成规则，将待输出音视频流进行合成，生成合成视频流并将其输出至外部设备中。解决了对多路音视频流不能准确进行接口处理的问题，提高了对不同的音视频流进行处理的效率和准确率，以便工作人员能够进行更加准确的线路切换，实现了多路音视频流的数据隔离，从而保证了不会溢出到本地网络。了不会溢出到本地网络。了不会溢出到本地网络。


技术研发人员：孙忠恒 孙佩 黄敏成
受保护的技术使用者：广州融生信息技术有限公司
技术研发日：2023.05.31
技术公布日：2023/8/13