视频画面显示方法、装置、电子设备及存储介质与流程
未命名
09-24
阅读:60
评论:0

1.本技术涉及视频处理技术领域,尤其涉及一种视频画面显示方法、装置、电子设备及存储介质。
背景技术:
2.视频会议是指位于两个或多个地点的人们,通过通信设备和网络进行面对面交谈的会议。通常,多人视频会议通常以固定的会场画面为单位,在会议界面中,电子设备常将多个会场画面按照同样大小、固定的布局方式进行排列,导致会议界面中人脸过小,进而,导致会议界面中人脸图像较为模糊。换言之,会议界面中多个会场画面的显示方式单一,使得电子设备无法根据参会人员的实际情况,对会议界面中会场画面的大小进行调整,导致人脸的显示效果较差,降低了参会人员的临场感、沉浸感以及用户体验质量(quality of experience,qoe)。因此,如何提供一种更有效的视频画面显示方法成为目前亟需解决的问题。
技术实现要素:
3.本技术提供一种视频画面显示方法、装置、电子设备及存储介质,解决了会议界面中人脸图像较为模糊的问题。
4.本技术采用如下技术方案。
5.第一方面,本技术提供了一种视频画面显示方法,该视频画面显示方法可应用于电子设备,或者支持实现该方法的数据中心(如云、视频管理平台或者其他等),该视频画面显示方法包括:首先,电子设备接收至少一条视频流,其中的第一视频流对应第一画面。其次,电子设备根据第一画面包括的人脸信息,为该第一视频流分配第一区域,使得第一画面中的人脸在第一区域中所占的区域大于或等于设定阈值,其中第一区域包含前述电子设备提供的会议界面中部分或全部显示区域。最后,电子设备在第一区域显示第一画面。
6.在本实施例中,电子设备可根据画面中的人脸信息确定视频流的显示区域,避免了画面的固定排布所导致的参会人员的脸部图像较小、不清晰等问题;而且,由于在会议界面中人脸的显示区域大于或等于设定阈值,因此,会议界面中人脸的大小不受会场画面的大小和排布方式的影响,提高了会议界面中人脸图像的清晰度以及人脸的显示效果。
7.在一种可选的实现方式中,人脸信息包括以下一种或几种的组合:人脸数量、至少两个人脸之间的距离以及人脸大小。电子设备以会场画面中的人脸信息为基础,从而以人脸为中心,为不同的视频流分配会议界面提供的显示区域,使得视频会议场景中,即使一个会场画面包含了多个人,电子设备也可以将该多个人的人脸在会议界面中进行清晰地显示,避免了会场画面较小导致的人脸图像较小,导致人脸模糊的问题。
8.在一种可能的情形中,人脸信息包括人脸数量。电子设备根据第一画面包含的人脸息,为第一视频流分配第一区域,包括:在第一种情况中,若人脸数量大于第一阈值,则电子设备从设定的多种会场规格中,选择第一规格作为第一视频流的目标规格。在第二种情
况中,若人脸数量小于或等于第一阈值,且大于或等于第二阈值,则电子设备从设定的多种会场规格中,选择第二规格作为第一视频流的目标规格;其中,第二阈值小于第一阈值,第二规格指示的区域小于第一规格指示的区域;在第三种情况中,若人脸数量小于或等于第二阈值,则电子设备从设定的多种会场规格中,选择第三规格作为第一视频流的目标规格;其中,第三规格指示的区域小于第二规格指示的区域;进而,电子设备根据前述方式确定的第一视频流的目标规格,选择会议界面中的显示区域作为第一区域。
9.在另一种可能的情形中,人脸信息包括:人脸数量和至少两个人脸之间的人脸距离。电子设备根据第一画面包含的人脸信息,为第一视频流分配第一区域,可以包括以下过程:首先,电子设备从设定的多种会场规格中选择与人脸数量匹配的预估规格;该会场规格用于指示视频流对应的会场画面在会议界面中的区域大小信息。其次,电子设备判断人脸信息中人脸距离的最大值是否处于设定的阈值范围。以及,若人脸距离的最大值处于阈值范围,则电子设备将预估规格作为第一视频流的目标规格。最后,电子设备根据目标规格,选择会议界面中的显示区域作为第一区域。电子设备根据第一画面中的人脸数量初步确定第一视频流对应的会场规格后,还可以根据至少两个人脸之间的距离更新该会场规格,避免了会议界面中人脸的图像模糊等,提高了视频会议的画面质量以及qoe。
10.在一种可选的示例中,若人脸距离的最大值大于阈值范围中的最大值,则电子设备从多种会场规格中,选择区域大于预估规格指示的区域的会场规格作为第一视频流的目标规格。电子设备根据人脸之间的距离确定视频流对应的会场规格(画面的大小),避免了视频流对应的人脸数量较低时,电子设备为该视频流分配较小的显示区域,导致人脸的图像模糊,提高了人脸在会议界面中的清晰度,提高了视频会议的显示效果。
11.在另一种可选的示例中,电子设备从设定的多种会场规格中选择与人脸数量匹配的预估规格,可由以下几种可行的示例来实现:在第一种示例中,若人脸数量大于第一阈值,则电子设备选择多种会场规格包括的第一规格作为预估规格。在第二种示例中,若人脸数量小于或等于第一阈值,且大于或等于第二阈值,则电子设备选择多种会场规格包括的第二规格作为预估规格;其中,第二阈值小于第一阈值,第二规格指示的区域小于第一规格指示的区域。在第三种示例中,若人脸数量小于或等于第二阈值,则电子设备选择多种会场规格包括的第三规格作为预估规格;其中,第三规格指示的区域小于第二规格指示的区域。举例来说,会场画面中人脸数量越多,会场画面所需的会议界面中的显示区域越多,避免将参会人员的数量不同的会场统一的判定为相同的会场,导致会议界面中人脸图像模糊,提高了会议界面中人脸的显示效果。
12.在另一种可能的情形中,电子设备根据目标规格,选择会议界面中的显示区域作为第一区域,包括:第一,电子设备根据已分配区域中会场画面包含的人脸信息,确定会议界面的排布信息;其中,排布信息包括以下任意一种或几种的组合:会议界面中各会场画面包含的人脸信息,会议界面中空白区域的大小、位置,以及会议界面中可提供给电子设备分配的会场规格信息;第二,电子设备根据画面排布模型和排布信息,为第一视频流分配与目标规格匹配的第一区域;画面排布模型用于分配会议界面中与会场规格中匹配的显示区域。电子设备可获取会议界面的排布信息,并在会议界面已经显示一条或多条视频流对应的会场画面的情况下,更新会议界面中的显示区域的排布,使得会场画面中的人脸在会场画面对应的显示区域中所占的区域大于或等于设定阈值,避免了参会人员的脸部图像较
小、不清晰等问题,提高了人脸的显示效果。
13.在另一种可选的实现方式中,会议界面中已分配的区域包括第二区域,第二区域用于显示至少一条视频流中第二视频流对应的第二画面。本实施例提供的视频画面显示方法还可包括:电子设备根据第二画面包括的人脸信息,确定第二区域的会场规格为第二规格;该会场规格用于指示视频流对应的会场画面在会议界面中的区域大小信息。
14.例如,若第一区域的会场规格为第一规格,则电子设备在会议界面中,将第一区域排布在第二区域之前;其中,该第二规格指示的区域小于第一规格指示的区域。
15.又如,若第一区域的会场规格为第二规格,则电子设备在会议界面中,将第一区域排布在第二区域之前,或者,将第一区域排布在第二区域之后。
16.还如,若第一区域的会场规格为第三规格,则电子设备在会议界面中,将第一区域排布在第二区域之后;其中,该第三规格指示的区域小于前述第二规格指示的区域。
17.可以理解的是,当第一区域和第二区域的会场规格一致(如第一规格、第三规格或其他规格)时,电子设备可根据不同区域对应的视频流到达电子设备的先后顺序对两个区域进行排布,如先到达电子设备的视频流对应会议界面中排布靠前的显示区域。
18.若在电子设备接收到第一视频流之前,还接收到其他视频流,并在会议界面中显示了该其他视频流对应的会场画面,电子设备可根据第一视频流与该其他视频流对应的会场规格之间的优先级关系,将会场规格对应的显示区域更大的视频流对应的会场画面置于会议界面中靠前的位置,从而提高会议界面的屏幕利用率。
19.第二方面,提供了一种视频画面显示装置,该视频画面显示装置可应用于电子设备,或者支持实现前述视频画面显示方法的数据中心。该视频画面显示装置包括用于执行第一方面或第一方面任一种可能实现方式中的视频画面显示方法的各个模块。示例的,视频画面显示装置包括:获取单元、处理单元和显示单元。
20.获取单元,用于接收至少一条视频流,其中第一视频流对应第一画面。处理单元,用于根据第一画面包含的人脸信息,为第一视频流分配第一区域,使得第一画面中的人脸在第一区域中所占的区域大于或等于设定阈值;该第一区域包含电子设备提供的会议界面中部分或全部显示区域。显示单元,用于在第一区域显示第一画面。
21.有益效果可以参见第一方面中任一方面的描述,此处不再赘述。所述视频画面显示装置具有实现上述第一方面中任一方面的方法实例中行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
22.在一种可选的实现方式中,人脸信息包括以下一种或几种的组合:人脸数量、至少两个人脸之间的距离以及人脸大小。
23.在一种可选的情形中,人脸信息包括:人脸数量和至少两个人脸之间的人脸距离。前述的处理单元,可以包括:选择单元、判断单元和区域适配单元。选择单元,用于从设定的多种会场规格中选择与人脸数量匹配的预估规格;该会场规格用于指示视频流对应的会场画面在会议界面中的区域大小信息。判断单元,用于判断人脸信息中人脸距离的最大值是否处于设定的阈值范围。若人脸距离的最大值处于阈值范围,则选择单元还用于将预估规格作为第一视频流的目标规格。区域适配单元,用于根据目标规格,选择会议界面中的显示区域作为第一区域。
24.在一种可选的示例中,若人脸距离的最大值大于阈值范围中的最大值,则选择单元,还用于从多种会场规格中,选择区域大于预估规格指示的区域的会场规格作为第一视频流的目标规格。
25.在另一种可选的示例中,选择单元,具体用于:若人脸数量大于第一阈值,选择多种会场规格包括的第一规格作为预估规格。选择单元,还具体用于:若人脸数量小于或等于第一阈值,且大于或等于第二阈值,选择多种会场规格包括的第二规格作为预估规格;其中,第二阈值小于第一阈值,第二规格指示的区域小于第一规格指示的区域。选择单元,还具体用于:若人脸数量小于或等于第二阈值,选择多种会场规格包括的第三规格作为预估规格;其中,第三规格指示的区域小于第二规格指示的区域。
26.在另一种可选的情形中,区域适配单元,具体用于:根据已分配区域中会场画面包含的人脸信息,确定所述会议界面的排布信息,其中,所述排布信息包括以下任意一种或几种的组合:所述会议界面中各会场画面包含的人脸信息,所述会议界面中空白区域的大小、位置,以及所述会议界面中可提供给所述电子设备分配的会场规格信息;以及,根据画面排布模型和所述排布信息,为所述第一视频流分配与所述目标规格匹配的第一区域;所述画面排布模型用于分配所述会议界面中与会场规格中匹配的显示区域。
27.在另一种可选的实现方式中,会议界面中已分配的区域包括第二区域,第二区域用于显示至少一条视频流中第二视频流对应的第二画面。该视频画面显示装置还包括:排布单元。排布单元,用于根据第二画面包括的人脸信息,确定第二区域的会场规格为第二规格。会场规格用于指示视频流对应的会场画面在会议界面中的区域大小信息。
28.排布单元,还用于:若第一区域的会场规格为第一规格,则在会议界面中,将第一区域排布在第二区域之前。第二规格指示的区域小于第一规格指示的区域。
29.排布单元,还用于:若第一区域的会场规格为第二规格,则在会议界面中,将第一区域排布在第二区域之前,或者,将第一区域排布在第二区域之后。
30.排布单元,还用于:若第一区域的会场规格为第三规格,则在会议界面中,将第一区域排布在第二区域之后。第三规格指示的区域小于第二规格指示的区域。
31.第三方面,提供了一种电子设备,包括:存储器和处理器。存储器用于存储程序代码;处理器用于调用程序代码实现第一方面中任一方面的方法的操作步骤。
32.第四方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机软件指令。当计算机软件指令在电子设备中运行时,使得电子设备实现第一方面中任一方面的方法的操作步骤。
33.第五方面,提供了一种计算机程序产品,该计算程序产品包括指令,当计算机程序产品在处理器或计算设备上运行时,使得处理器或电子设备执行该指令,以实现第一方面和第一方面中任一种可能实现方式中的方法。
34.第六方面,提供了一种视频处理系统,该视频处理系统包括计算设备和显示设备,该显示设备用于提供会议界面的显示区域,该计算设备用于实现第一方面和第一方面中任一种可能实现方式中的方法,并将视频流对应的会场画面发送到显示设备,进而,显示设备在会议界面中显示视频流对应的会场画面。有益效果可以参见第一方面中任一方面的描述,此处不再赘述。
35.第七方面,提供了一种芯片,包括:接口电路和控制电路。接口电路用于接收来自
处理器之外的其它设备的数据并传输至控制电路,或将来自控制电路的数据发送给处理器之外的其它设备,控制电路通过逻辑电路或执行代码指令用于实现第一方面中任一方面中任一种可能实现方式的方法。
36.本技术在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
附图说明
37.图1为本技术提供的电子设备的硬件架构示意图;
38.图2为本技术中会议界面的示例图一;
39.图3为本技术提供的视频画面显示方法的流程示意图一;
40.图4为本技术提供的视频画面显示方法的流程示意图二;
41.图5为本技术中不同会场规格会场画面示意图;
42.图6为本技术中会议界面的示例图二;
43.图7a为本技术提供的视频画面显示方法的流程示意图三;
44.图7b为本技术提供的画面排布方式的示意图一;
45.图7c为本技术提供的画面排布方式的示意图二;
46.图8为本技术中会议界面的示例图三;
47.图9为本技术中会议界面的示例图四;
48.图10为本技术中会议界面的示例图五;
49.图11为本技术中会议界面的示例图六;
50.图12为本技术中会议界面的示例图七;
51.图13为本技术中会议界面的示例图八;
52.图14为本技术提供的视频画面显示装置的结构示意图。
具体实施方式
53.本技术实施例提供了一种视频画面显示方法,包括:首先,电子设备接收至少一条视频流,其中的第一视频流对应第一画面。其次,电子设备根据第一画面包括的人脸信息,为该第一视频流分配第一区域,使得第一画面中的人脸在第一区域中所占的区域大于或等于设定阈值,其中第一区域包含前述电子设备提供的会议界面中部分或全部显示区域。最后,电子设备在第一区域显示第一画面。在本实施例中,电子设备可根据画面中的人脸信息确定视频流的显示区域,避免了画面的固定排布所导致的参会人员的脸部图像较小、不清晰等问题;而且,由于在会议界面中人脸的显示区域大于或等于设定阈值,因此,会议界面中人脸的大小不受会场画面的大小和排布方式的影响,提高了会议界面中人脸图像的清晰度以及人脸的显示效果。
54.另外,上述电子设备可以是会议平板、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,ar)/虚拟现实(virtual reality,vr)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,umpc)、上网本、个人数字助理(personal digital assistant,pda)等具有显示屏的设备,本技术实施例对电子设备的具体类型不作任何限制。
55.示例性的,图1是本技术实施例提供的一例电子设备的结构示意图。如图1所示,电子设备(如手机)可以包括:处理器210,外部存储器接口220,内部存储器221,通用串行总线(universal serial bus,usb)接口230,充电管理模块240,电源管理模块241,电池242,天线1,天线2,移动通信模块250,无线通信模块260,音频模块270,扬声器270a,受话器270b,麦克风270c,耳机接口270d,传感器模块280,按键290,马达291,指示器292,摄像头293,显示屏294,以及用户标识模块(subscriber identification module,sim)卡接口295等。
56.其中,上述传感器模块280可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器和骨传导传感器等传感器。
57.可以理解的是,本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
58.处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(application processor,ap),调制解调处理器,图形处理器(graphics processing unit,gpu),图像信号处理器(image signal processor,isp),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
59.处理器210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器210的等待时间,因而提高了系统的效率。
60.在一些实施例中,处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,i2c)接口,集成电路内置音频(inter-integrated circuit sound,i2s)接口,脉冲编码调制(pulse code modulation,pcm)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,uart)接口,移动产业处理器接口(mobile industry processor interface,mipi),通用输入输出(general-purpose input/output,gpio)接口,用户标识模块(subscriber identity module,sim)接口,和/或通用串行总线(universal serial bus,usb)接口等。
61.可以理解的是,本实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备的结构限定。在另一些实施例中,电子设备也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
62.电子设备通过gpu,显示屏294,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏294和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。
63.显示屏294用于显示图像,视频等。该显示屏294包括显示面板。在本技术的实施例中,该显示屏可用于提供视频会议的会议界面,该会议界面用于显示一个或多个会场的视频流对应的会场画面。
64.电子设备可以通过isp,摄像头293,视频编解码器,gpu,显示屏294以及应用处理器等实现拍摄功能。isp用于处理摄像头293反馈的数据。摄像头293用于捕获静态图像或视频。在一些实施例中,电子设备可以包括1个或n个摄像头293,n为大于1的正整数。
65.外部存储器接口220可以用于连接外部存储卡,例如micro sd卡,实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口220与处理器210通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
66.内部存储器221可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令,从而执行电子设备的各种功能应用以及数据处理。例如,在本技术实施例中,处理器210可以通过执行存储在内部存储器221中的指令,内部存储器221可以包括存储程序区和存储数据区。
67.其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,ufs)等。
68.可以理解的是,本技术实施例示意的结构并不构成对电子设备的具体限定。在本技术另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
69.为了下述各实施例的描述清楚简洁,首先给出相关概念或技术的简要介绍。
70.用户界面(user interface,ui),亦称使用者界面,是电子设备和用户之间进行交互和信息交换的媒介,ui可用于实现信息的内部形式与人类可以接受形式之间的转换。其中,图形用户界面(graphical user interface,gui)是指采用图形方式显示的计算机操作用户界面,示例性的,该gui是指视频会议场景中的电子设备提供的会议界面,会议界面可以是电子设备中显示屏提供的部分或全部显示区域,该会议界面可用于显示一个或多个画面,一个画面对应视频会议中的一个接入会场。会议界面还可用于向用户提供搜索、应用建议、屏幕共享、音频启闭、消息推送等功能的快捷键等。
71.如图2所示,图2为本技术中会议界面的示例图一,该会议界面可以是由前述图1所述的电子设备提供的显示区域,该会议界面也可以是与电子设备连接的外部显示屏提供的。示例性的,本技术实施例中的会议界面是一种大屏的操作用户界面,如该会议界面用于提供一种或多种会场规格的显示区域,该会场规格用于指示视频流对应的会场画面在会议界面中的区域大小信息。
72.在一种可选的情形中,该会场规格可以包括但不限于:第一规格、第二规格或第三规格,其中,多种会场规格所对应的显示区域的大小关系为:第一规格>第二规格>第三规格。
73.示例性的,如针对于不同的会议场景,会议界面可以包括一种或多种大小不一致的显示区域。如图2所示,该会议界面包括:大(large,l)会场画面(简称:l画面)、中(middle,m)画面会场(简称:m画面),以及小(small,s)会场画面(简称:s画面)。其中,l画面为第一规格所对应的显示区域,m画面为第二规格所对应的显示区域,s画面为第三规格所
对应的显示区域。
74.在一种可能的实施例中,会场画面的规格可以是由会场画面所包括的人脸数量来确定的。举例来说,会场画面中人脸数量越多,会场画面所需的会议界面中的显示区域越多。
75.以图2为例进行说明,会议界面提供了三种会场规格的显示区域,电子设备为会场画面包括的人脸数量设置了阈值:如第一阈值和第二阈值,该第一阈值大于第二阈值。
76.在一种示例中,若视频流的对应的会场画面中人脸数量大于第一阈值,则电子设备选择多种会场规格包括的第一规格作为该视频流的目标规格。
77.在另一种示例中,若视频流的对应的会场画面中人脸数量小于或等于第一阈值,且大于或等于第二阈值,则电子设备选择多种会场规格包括的第二规格作为该视频流的目标规格。
78.在又一种示例中,若视频流的对应的会场画面中人脸数量小于或等于第二阈值,则电子设备选择多种会场规格包括的第三规格作为该视频流的目标规格。
79.举例来说,假设第一阈值为4,第二阈值为2,例如,会场画面仅包括1个人脸,则电子设备为该会场画面分配的显示区域为s画面;又如,会场画面包括2至4个人脸,则电子设备为该会场画面分配的显示区域为m画面;还如,会场画面包括5个人脸或以上,则电子设备为该会场画面分配的显示区域为l画面。
80.在另一种可选的情形中,多种会场规格所对应的显示区域(会场画面)还可以存在比例关系,如各会场画面的大小比例关系可以是,但不限于:l=4m、m=2s,或者,l=4m、m=4s,或者,l=9m、m=2s等。
81.示例性的,若会议界面的宽高比为16:9,且l=4m、m=2s,如图2所示,l画面、m画面的宽高比是16:9,s画面宽高比是8:9,该会议界面包括多个尺寸不同的画面,如2个大会场画面(l1和l2)、3个中会场画面(m1、m2和m3),9个小会场画面(s1至s9),以及一个空置的小会场画面(图2中的斜线区域)。值得注意的是,上述三种会场规格之间的比例关系是相对比例关系,而非固定尺寸,所有会场画面的整体排布大小尽可能适应屏幕画面(会议界面),如只有一个大会场画面时,该会场画面的大小与会议界面的大小一致。
82.在本技术的实施例中,一个会场画面是由电子设备解析一个数据流(如视频流、或者指示了视频或图像信息的其他媒体流)获得的。在一种可能的情形中,数据流可以是由会场中的视频采集设备根据视野内的参会人员以及其他信息生成的。该视频采集设备可以是布置在会场的电子设备(如图1所示出的摄像头293),或者与该电子设备连接的相机、摄像头或者其他包含摄像装置的设备。
83.作为一种可选的实现方式,在会场中,视频采集设备内可部署有人脸检测模型,该人脸检测模型可用于获得:视频采集设备的视野内的人脸特征信息、人脸数量以及人脸之间的距离等。在一些情形中,该人脸检测模型是指人工智能(artificial intelligent,ai)模型,或者基于神经网络确定的网络模型等,例如,该人脸检测模型可以是具有自动成帧(auto framing)功能的ai模型。可选的,视频采集设备还可部署有运动跟踪算法,该运动跟踪算法用于当会场内人员的位置发生变化的情况下,保证视频采集设备的视野内包含会场内的人员。
84.如此,视频采集设备可将会场内所有的参会人员用一个大矩形框从全景图像中截
取出来显示,对于那些会场中没有人的位置或物体进行屏蔽,从而避免与参会人员无关的物体被加入会场画面,达到了一个更加自然、沉浸式的视频画面体验。此外,电子设备可以基于智能取景、人脸检测等技术进行会场中人脸综合分析,结合大中小三类不同会场规格的会场画面,对会场画面进行区分,避免将参会人员的数量不同的会场统一的判定为相同的会场,导致会议界面中人脸图像模糊,提高了会议界面中人脸的显示效果。
85.可以理解的是,本技术提供的视频画面显示方法不仅可应用于视频会议,还可应用于办公应用的智能终端,如企业会议室、经理室、开放办公区等多种不同的场景,不予限定。例如,本技术提供的视频画面显示方法还可应用在其他的多人通话场景,或者,基于多个路口的摄像头进行监控的道路交通监控场景,或者,基于办公楼(或住宅楼、商场等)的多个监控设施的安防监控场景等。
86.另外,本技术的实施例是以会议界面可提供三种不同会场规格的显示区域为例进行说明的,但本技术的视频画面显示方法还可应用于提供有更多或更少种会场规格的会议界面,如会议界面提供有两种、四种或其他数量的会场规格,不予限定。
87.下面将结合附图对本实施例提供的视频画面显示方法的具体实现方式进行详细描述。
88.如图3所示,图3为本技术提供的视频画面显示方法的流程示意图一,该视频画面显示方法可由电子设备300执行,该电子设备300可以实现图1所提供的电子设备的功能,该电子设备300提供有用于实现视频会议的会议界面320。该视频画面显示方法包括以下步骤s310至s330。
89.s310,电子设备接收至少一条视频流。
90.在一种情形中,s310中的视频流是与电子设备通信的一个或多个视频采集设备生成的。如该视频采集设备是指相机、摄像机(如监控摄像头等)。
91.在另一种情形中,s310中的视频流是电子设备的相机310采集生成的。
92.在又一种情形中,s310中的视频流是云计算中心、数据处理中心或者视频管理平台发送的。
93.以上三种情形仅为本实施例提供的示例,不应理解为对本技术的限定。
94.其中,一条视频流对应一个会场画面。当电子设备接收到多个视频流时,可以解析该多条视频流获得多个会场画面。关于会场画面和视频流的内容可以参考图2的相关阐述,不予赘述。
95.例如,s310中的至少一条视频流包括第一视频流,如图3所示,该第一视频流对应的会场画面为第一画面。其中,该第一画面包含一个或多个人脸,如以第一人脸为该第一画面中包含的任一个人脸。
96.s320,电子设备根据第一画面包含的人脸信息,为第一视频流分配第一区域。
97.在一种可选的示例中,该第一区域包含电子设备提供的会议界面中部分显示区域。如图3所示,该第一区域321为会议界面320中标记为第一个大会场画面(l1)的显示区域。
98.在另一种可选的示例中,该第一区域包含电子设备提供的会议界面中全部显示区域。例如,若电子设备接收的视频流仅包括第一视频流,则电子设备可将会议界面的全部显示区域作为第一区域。
99.以上两种可选的示例仅为本实施例提供的可能实现方式,不应理解为对本技术的限定。
100.此外,针对于会议界面所包括的显示区域,电子设备可为第一视频流提供一个或多个备选区域,继而,电子设备将第一画面中第一人脸对应的显示区域与设定的阈值进行比对,当第一人脸在备选区域中所占的显示区域大于或等于设定的阈值时,将该备选区域作为第一视频流对应的第一区域。关于备选区域更详尽的描述可参考下述图5提供的实施例,不予赘述。
101.在一种可选的实现方式中,前述的人脸信息包括以下一种或几种的组合:人脸数量、至少两个人脸之间的距离以及人脸大小。
102.作为一种可行的实施例,人脸信息可以仅包括画面中的人脸数量,该人脸数量可用于确定视频流的会场规格。关于电子设备根据画面中人脸数量来确定画面的会场规格的内容可参考图2的相关阐述,不予赘述。
103.作为另一种可行的实施例,人脸信息可包括:画面中的人脸数量,至少两个人脸之间的距离以及人脸大小。人脸大小是指第一画面中人脸所占据的区域大小信息,如第一人脸在第一区域中所占区域的大小;至少两个人脸之间的距离可以是以第一画面中人脸对应的画面大小为计量单位来表示的。如图3所示,至少两个人脸之间的距离包括:l2中左侧人脸和右侧人脸之间的人脸距离。
104.示例性的,为提高会议界面中人脸图像的清晰度,电子设备在根据人脸数量初步确定视频流的会场规格(或称该视频流的预估规格)后,电子设备还可根据人脸大小和至少两个人脸之间的距离等信息,更新视频流的会场规格。例如,针对于第一画面包含的人脸数量较少时,电子设备除了判断第一视频流对应的第一画面中人脸的多少以外,还可以计算该第一画面中人脸大小、以及人脸之间的相对距离。比如,一个视频流中只有两个人,但是这两个人距离又比较远,那么也会给这个视频流分配比较大的ui(如l画面)。
105.举例来说,当电子设备接收到多条视频流的情况下,为了给该多条视频流分配会议界面中的显示区域,电子设备可以根据视频流对应的会场画面所包含的人脸信息,确定每个会场画面所需的会场规格,如图4所示,图4为本技术提供的视频画面显示方法的流程示意图二,s320中电子设备为第一视频流分配第一区域的过程,可以包括以下步骤s321至s325。
106.s321,电子设备从设定的多种会场规格中选择与人脸数量匹配的预估规格。
107.关于电子设备根据画面中人脸数量来确定画面的会场规格的内容可参考图2的相关阐述,不予赘述。
108.s322,电子设备判断人脸信息中人脸距离的最大值是否处于设定的阈值范围。
109.该阈值范围包括最大值和最小值,该最大值和最小值可用画面中人脸的大小作为计量单位。若视频流的预估规格不同,则该预估规格对应的阈值范围也可以不同。
110.例如,若预估规格为前述的第二规格(对应m画面),则阈值范围的最小值为5倍人脸大小,阈值范围的最大值为7倍人脸大小。
111.又如,若预估规格为前述的第三规格(对应s画面),则阈值范围的最小值为0倍人脸大小,阈值范围的最大值为5倍人脸大小。
112.另外,若预估规格为前述的第一规格(对应l画面),则电子设备可以不用更新视频
流的会场规格,并将该第一规格作为第一视频流的目标规格。
113.请继续参见图4,若人脸距离的最大值处于阈值范围,则电子设备执行s323。
114.s323,电子设备将预估规格作为第一视频流的目标规格。
115.若人脸距离的最大值大于阈值范围中的最大值,则电子设备执行s324。
116.s324,电子设备从多种会场规格中,选择区域大于预估规格指示的区域的会场规格作为第一视频流的目标规格。
117.例如,若预估规格为前述的第二规格(对应m画面)、阈值范围中最大值为7倍人脸,且人脸距离的最大值大于该7倍人脸,则电子设备可为该视频流分配区域大于预估规格指示的区域的会场规格,如前述的第一规格(对应l画面),从而增大视频流对应的会场画面在会议界面的显示区域,增大会场画面中人脸在会议界面所占的区域,进而,提高人脸在会议界面中的清晰度,提高视频画面的显示效果。
118.此外,若人脸距离的最大值小于阈值范围中的最大值,电子设备也可将预估规格作为第一视频流的目标规格。
119.请继续参见图4,电子设备确定第一区域的过程还包括s325。
120.s325,电子设备根据目标规格,选择会议界面中的显示区域作为第一区域。
121.该目标规格可以是电子设备执行s323或者s324确定的。
122.作为一种可能的具体实施例,电子设备根据视频流中图像左右两边人脸的距离进行判断。例如,当两个人脸之间的距离小于5个人脸的时候,将视频流对应的画面设置为小会场画面(s画面);当两个人脸之间的距离大于或等于5个人脸、小于或等于7个人脸的时候,将视频流对应的画面设置为中会场画面(m画面);当两个人脸之间的距离大于7个人脸的时候,将视频流对应的画面设置为大会场画面(l画面)。
123.在本具体实施例中,电子设备根据人脸之间的距离确定视频流对应的会场规格(画面的大小),避免了视频流对应的人脸数量较低时,电子设备为该视频流分配较小的显示区域,导致人脸的图像模糊,提高了人脸在会议界面中的清晰度,提高了视频会议的显示效果。
124.作为另一种可能的具体实施例,电子设备判断两个人之间的距离比较远的策略包括:当两个人脸之间的距离超过两个人脸中较大人脸宽度的5倍距离时,将由人脸数量确定的会场规格放大到上一级,如从s画面放大到m画面。当两个人脸的距离超过另外一个阈值的时候,例如7倍人脸距离,将由人脸数量确定的会场规格放大两级,如从s画面放大到l画面。
125.在本具体实施例中,电子设备根据第一画面中的人脸数量初步确定第一视频流对应的会场规格后,还可以根据至少两个人脸之间的距离更新该会场规格,避免了会议界面中人脸的图像模糊等,提高了视频会议的画面质量以及qoe。
126.以上两种可能的具体实施例仅为本技术提供的电子设备根据人脸之间的距离确定会场规格的示例,不应理解为对本技术的限定。
127.在一种可选的情形中,若人脸距离的最大值小于阈值范围中的最小值,则电子设备还从多种会场规格中,选择区域小于预估规格指示的区域的会场规格作为第一视频流的目标规格。示例性的,若视频流对应的会场画面包括5个人脸、且电子设备根据该会场画面中人脸数量判定视频流的预估规格为第一规格,但该会场画面中任意2个人脸之间的距离
小于阈值范围中的最小值,电子设备可将设定的多种会场中,选择区域小于该预估规格指示的区域的会场规格作为视频流的目标规格,如前述的第二规格或第三规格。如此,电子设备在会场画面包括的人脸数量较多,但是参会人员的距离较近的情况下,可以将会场画面从预估规格指示的区域调整到较小的显示区域进行展示,且不影响会议界面中人脸的清晰度;在会议界面展示的会场画面较多的情况下,一个或多个会场画面可展示更多的人脸数量,增大了会议界面中可展示的参会人员的总数量,提高了视频会议中参会人员的qoe。
128.在本技术的实施例中,电子设备可以通过人脸数量、距离、大小等信息进行综合测算和分析,对多个会场画面进行规格分层,进而组合排布显示,缓解了部分人的脸部无法看清的问题,在一定程度上满足了需要所有人面对面交流的会议需求。
129.请继续参见图3,本技术的实施例提供的视频画面显示方法还包括以下步骤s330。
130.s330,电子设备在第一区域321显示第一画面。
131.如图3所示,第一区域321(l1)可以用于显示第一流对应的第一画面。此外,电子设备还可以在会议界面320包括的其他区域中显示其他视频流对应的画面,如电子设备还接收了其他视频流,该电子设备可为其他视频流对应的会场画面分配显示区域(如图3所示出的m1),则电子设备还可以在m1中显示该其他视频流对应的会场画面。
132.在一些可能的情形中,会议界面320还可以包括其他显示区域,如m1为第三区域、m2为第四区域等。
133.值得注意的是,上述的第一区域至第四区域仅为本实施例说明视频流对应的会场画面的显示区域的示例,不应理解为对本技术的限定。例如,第一区域也可以是指如3中的s1或者m3等。
134.在本实施例中,电子设备在会议界面中显示的人脸所占的区域大于或等于设定的阈值,即会议界面中人脸大小不受会场视频画面的大小和排布方式的影响,避免了参会人员的脸部图像较小、不清晰等问题,提高了人脸的显示效果。此外,由于会场画面的大小取决于参会人员的人脸信息,进而选择合适的会场规格并在会议界面进行排布显示,不受限于固定的几种会场画面的大小以及排布方式,避免了参会人员在会议界面中的脸部显示过小、不清晰等问题。
135.由于会议界面对应的显示区域是有限的,针对于不同会场规格的会场画面,会议界面所能提供给会场画面的数量也是有限的,如图5所示,图5为本技术中不同会场规格会场画面示意图,若各会场画面大小没有固定规格限制,当会场画面的数量过多时,会议界面中的视频画面容易过小导致人脸模糊,因此会议界面中会场画面数量的限制规则可以包括,但不限于:
136.限制规则1:当电子设备判定所有视频流对应的会场画面为大(l)会场画面时,屏幕中的会议界面最多呈现9路画面,如图5中的(a)。
137.限制规则2:当电子设备判定所有视频流对应的会场画面为中(m)会场画面时,屏幕中的会议界面最多呈现36路画面,如图5中的(b)。
138.限制规则3:当电子设备判定所有视频流对应的会场画面为小(s)会场画面时,屏幕中的会议界面最多呈现72路画面,如图5中的(c)。
139.以上3个关于画面数量的限制规则仅为本实施例提供的示例,在一些情形中,会议界面也可以仅提供4个大会场画面,或者4
×
4个中会场画面,或者,8
×
4个小会场画面。在另
一些情形中,会议界面还可以提供其他数量的大会场画面或中会场画面或小会场画面。
140.在本实施例中,电子设备可通过对大中小三种会场规格对应的会场画面进行有规律的排布,同时适配电子设备提供的会议界面,在保证了会议界面中人脸大小的基础上,使会议界面对应的显示区域利用率最大化。
141.在一种可能的实现方式中,电子设备中可部署有画面排布模型,该画面排布模型用于为电子设备接收到的一条或多条视频流分配显示区域。示例的,前述的画面排布模型中可以设置有画面排布规则,该画面排布规则可以包括但不限于:会议界面中所能显示的画面数量,不同会场规格指示的区域中会场画面的排布优先级,以及其他指示画面排布顺序的信息。
142.视频流对应的会场规格不同,会议界面中所能显示的画面数量也不同。关于会议界面中所能显示的画面数量可参考图5所示出的内容,不予赘述。
143.在第一种可选的情形中,电子设备可根据前述的第一规格(即多种会场规格指示的区域中,最大区域对应的会场规格)为基准,对接收到的视频流的会场画面进行占位。
144.进一步的,画面排布模型还以第一规格为基准,对电子设备接收到的视频流对应的所有会场画面进行占位排布。如会议界面优先显示第一规格对应的会场画面,并将该第一规格对应的会场画面置于会议界面中排序靠前的位置。示例性的,会议界面中的所有会场画面以大会场画面(l画面)为基准进行占位排布。电子设备接收到的视频流的数量不同,会场画面在会议界面中的占位排布方式也不同,如图6所示,图6为本技术中会议界面的示例图二,图6示出了一画面、四画面和九画面三种不同的占位排布方式。
145.如图6中的一画面占位布局所示,若会议界面仅需显示1个大会场画面,电子设备可将该会场画面显示在会议界面的全部显示区域。
146.如图6中的四画面占位布局所示,若会议界面需显示2至4个大会场画面,电子设备可将该多个画面按照设定的顺序显示在会议界面中的不同位置。如该设定的顺序为:针对于多个会场画面,按照从左到右、从上到下的顺序进行占位。当会议界面显示4个会场画面时,该4个会场画面将会议界面占满;当会议界面显示3个会场画面时,电子设备将会议界面中的一个大会场画面占位设置为空白占位;当会议界面显示2个会场画面时,电子设备将该2个会场画面在一行显示(或者在一列显示),且在会场画面的上侧和下侧留出空白位置。
147.如图6中的九画面占位布局所示,若会议界面需显示5至9个大会场画面,电子设备可将该多个画面按照设定的顺序显示在会议界面中的不同位置。如该设定的顺序为:针对于多个会场画面,按照从左到右、从上到下的顺序进行占位。当会议界面显示9个会场画面时,该9个会场画面将会议界面占满;当会议界面显示8(或7)个会场画面时,电子设备将会议界面中的一个(或者两个)大会场画面占位设置为空白占位;当会议界面显示6个会场画面时,电子设备将该6个会场画面显示在两行(或者两列),且在会场画面的上侧和下侧留出空白位置;当会议界面显示5个会场画面时,电子设备将该5个会场画面显示在两行(或者两列),并将其中一个大会场画面占位设置为空白占位,且在会场画面的上侧和下侧留出空白位置。
148.在本实施例中,优先以大会场画面为基准进行会场画面的排布,有利于增大会议界面中人脸的显示区域、提高人脸的清晰度,以及,缓解了部分人的脸部无法看清的问题、解决了多数参会人员同框显示的问题。
149.在第二种可选的情形中,针对于电子设备接收到的多条视频流,该多条视频流对应的会场画面在会议界面中排布顺序可以包括:从左至右、从上至下,且不同会场规格的会场画面在会议界面中的排布优先级为:大会场画面>中会场画面>小会场画面。即大会场画面、中会场画面和小会场画面的优先级依次降低,换言之,高层级画面(如大会场画面)排好后,次层级画面(如中会场画面或小会场画面)补足,以此类推。
150.在第三种可选的情形中,为保证会议界面中参会人员的人脸大小基本统一,电子设备还可以将会场画面的整体排布大小适应会议界面的大小和位置,如会议界面中多个会场画面遵循左右顶格、上下居中的显示原则。
151.作为一种可选的实现方式,在会议界面已经显示一条或多条视频流对应的会场画面的情况下,电子设备还可以根据以下一种或几种条件的组合对会议界面中的画面排布进行更新:电子设备接收到其他视频流,或者,电子设备未继续接收到会议界面中会场画面对应的视频流;会议界面中已展示的会场画面包含的人脸信息发生变化等。
152.在第一种可能的情形中,若会议界面已经显示一条或多条视频流对应的会场画面,电子设备还可以在接收到其他视频流的情况下,为该其他视频流分配会议界面中的显示区域,如图7a所示,图7a为本技术提供的视频画面显示方法的流程示意图二,会议界面中已分配区域包括:一个或多个会场画面对应的显示区域,如图7a中的l4和s10,电子设备为该其他视频流分配显示区域的过程可包括以下步骤s710和s720。
153.s710,电子设备根据已分配区域中会场画面包含的人脸信息,确定会议界面的排布信息。
154.其中,该排布信息可包含以下任意一种或几种的组合:会议界面中各会场画面包含的人脸信息,会议界面中空白区域的大小、位置,以及会议界面中可提供给电子设备分配的会场规格信息,如该会场规格信息包括可分配的会场规格的类型和数量。
155.在一种可能的示例中,会议界面包括空白区域。例如,该排布信息包括会议界面中空白区域的大小、位置,以及会议界面中可提供给电子设备分配的会场规格信息。如图7a所示,会议界面320包括两个空白区域:l4和s10;l4处于会议界面320中第四个大会场画面的位置,会场规格为大会场画面,数量为1;s10处于会议界面320的第三个大会场画面中的末尾位置,会场规格为小会场画面,数量为1,会议界面320可提供给电子设备的会场规格信息包括:1个大会场画面以及一个小会场画面。
156.在另一种可能的示例中,会议界面不包括空白区域。如图3所示,会议界面320中所有显示区域已被占据,则该排布信息包括已分配区域包含的人脸信息。如会议界面320的已分配区域包括:l1、l2,m1至m3,以及s1至s9。其中,l1包含5个人脸、会场规格为大会场画面;l2包含3个人脸,人脸之间的距离的最大值大于设定的阈值,会场规格为大会场画面;m1包含3个人脸,人脸之间的距离的最大值小于设定的阈值,会场规格为中会场画面;s3包含1个人脸,会场规格为小会场画面。
157.s720,电子设备根据画面排布模型和s710中确定的排布信息,为其他视频流分配显示区域。
158.其中,会议界面中分配后的显示区域用于:显示该其他视频流对应的会场画面以及已分配区域对应的会场画面中至少一个会场画面。在一些情形中,该其他视频流可以是指前述的第一视频流,电子设备为该第一视频流分配的显示区域为第一区域。
159.在一种示例中,若会议界面包括空白区域,且该其他视频流对应的会场画面所需的显示区域小于或等于空白区域,即会议界面所能提供的显示区域满足其他视频流的需求,则电子设备根据会议界面中所有区域的会场规格进行排序,排序的方式可由画面排布模型确定,从而,电子设备在会议界面中显示一条或多条视频流的会场画面。
160.这里结合图3和图7a进行说明,若电子设备已分配的区域如图7a所示,且电子设备确定该其他视频流对应的会场画面所需的会场规格为大会场画面,则该其他视频流对应的会场画面所需的会场规格为大会场画面,则电子设备将图7a所示出的l4作为该其他视频流的显示区域,进一步的,电子设备根据画面排布模型确定的会场规格的排序,将l4置于图7a中所有已分配区域之前,如获得图3所示出的画面。
161.在另一种示例中,若会议界面包括空白区域,但该其他视频流对应的会场画面所需的显示区域大于空白区域,如该其他视频流对应的会场画面为大会场画面,但会议界面仅能提供中会场画面和小会场画面,则电子设备根据画面排布模型,对其他视频流对应的会场画面和已分配区域包含的会场画面进行排序,将排序靠前的会场画面作为第一组待显示画面,将排序靠后的会场画面作为第二组待显示画面,进而,电子设备在会议界面中按照设定的周期轮流显示前述的第一组待显示画面和第二组待显示画面。
162.在又一种示例中,若会议界面不包括空白区域,则电子设备先根据其他视频流对应的会场画面所包含的人脸信息,确定该其他视频流的会场规格;其次,电子设备根据画面排布模型,对其他视频流的会场规格对应的会场画面和已分配区域包含的会场画面进行排序,将排序靠前的会场画面作为第一组待显示画面,将排序靠后的会场画面作为第二组待显示画面,进而,电子设备在会议界面中按照设定的周期轮流显示前述的第一组待显示画面和第二组待显示画面。
163.值得注意的是,当电子设备接收到的视频流较多、且每个视频流对应的会场画面所需的会场规格较大的情况下,电子设备可将多条视频流对应的会场画面划分为多组待显示画面,其中的一组待显示画面包括一个或多个画面,进而,电子设备在会议界面中轮流显示该多组待显示画面。
164.在第二种可能的情形中,若会议界面已经显示一条或多条视频流对应的会场画面,电子设备还可以在不再接收到一个或多个会场画面对应的视频流情况下时,更新会议界面中剩余会场画面的排布方式。
165.示例性的,电子设备可对根据会议界面中剩余会场画面所包含的人脸信息,确定剩余会场画面中每个会场画面的会场规格,并根据画面排布模型对剩余会场画面进行排布,从而在会议界面中显示该剩余会场画面。
166.在第三种可能的情形中,若会议界面中已展示的会场画面包含的人脸信息发生变化,电子设备还可以根据会议界面中各会场画面的人脸信息,更新会议界面中各会场画面的排布方式,该排布方式包括:会议界面中会场画面的占位排布方式(如附图6所示),各会场画面所需的会场规格,以及会场画面所占区域在会议界面中的位置等。
167.在一种示例中,电子设备在监测到会议界面中已展示的会场画面包含的人脸信息发生变化,使得该会场画面的会场规格产生变化,且该人脸信息确定的会场规格在设定的时间阈值内未发生其他变化时,确定该会议界面中的会场画面需重新排布。进而,电子设备根据会议界面中各会场画面的会场规格,以及根据画面排布模型更新会议界面中各会场画
面的排布方式。
168.举例来说,如图7a所示,m3包括2个人脸,若该m3对应的会场新加入了3个参会人员,使得该m3对应的会场所需的会场规格从中会场画面更新为大会场画面,且该m3对应的会场中在设定的时间阈值(如3秒、5秒或其他时间等)内持续具有5个人脸,则电子设备更新该m3对应的会场所需的会场规格为大会场画面,并将该m3对应的大会场画面置于m1和m2之前,并获得如图7b所示出的会场画面排布示意。
169.或者,如图7a所示,m3包括2个人脸,若该m3对应的会场减少了1个参会人员,使得该m3对应的会场所需的会场规格从中会场画面更新为小会场画面,且该m3对应的会场中在设定的时间阈值(如1秒、3秒或其他时间等)内持续具有1个人脸,则电子设备更新该m3对应的会场所需的会场规格为小会场画面,并将该m3对应的小会场画面置于s10,并获得如图7c所示出的会场画面排布示意。
170.在本实施例中,电子设备可获取会议界面的排布信息,并在会议界面已经显示一条或多条视频流对应的会场画面的情况下,更新会议界面中的显示区域的排布,使得会场画面中的人脸在会场画面对应的显示区域中所占的区域大于或等于设定阈值,避免了参会人员的脸部图像较小、不清晰等问题,提高了人脸的显示效果。
171.可选的,针对于上述第一种至第三种可选的情形示出的会场画面的排布方式,如在电子设备接收到第一视频流之前,电子设备还为第二视频流分配了第二区域(如图3所示出的l2),该第二区域用于显示第二视频流对应的第二画面,以及,电子设备可根据第二画面包括的人脸信息,确定第二区域的会场规格为第二规格。
172.例如,若第一区域的会场规格为第一规格,则电子设备在会议界面中,将第一区域排布在第二区域之前。如图7a所示,若第二区域为m2,在第一区域对应的会场规格为l画面时,电子设备将第一区域排布在m2之前,如l1。
173.又如,若第一区域的会场规格为第二规格,则电子设备在会议界面中,将第一区域排布在第二区域之前。如图7a所示,若第二区域为m2,在第一区域对应的会场规格为m画面时,电子设备将第一区域排布在m2之前,如m1。
174.或者,当第一区域和第二区域的会场规格均为第二规格,电子设备在会议界面中,将第一区域排布在第二区域之后。如图7a所示,若第二区域为m2,在第一区域对应的会场规格为m画面时,电子设备将第一区域排布在m2之后,如m3。
175.可以理解的是,当第一区域和第二区域的会场规格一致(如第一规格、第三规格或其他规格)时,电子设备可根据不同区域对应的视频流到达电子设备的先后顺序对两个区域进行排布,如先到达电子设备的视频流对应会议界面中排布靠前的显示区域。
176.还如,若第一区域的会场规格为第三规格,则电子设备在会议界面中,将第一区域排布在第二区域之后。如图7a所示,若第二区域为m2,在第一区域对应的会场规格为s画面时,电子设备将第一区域排布在m2之后,如s1。
177.在本实施例中,若在电子设备接收到第一视频流之前,还接收到其他视频流,并在会议界面中显示了该其他视频流对应的会场画面,电子设备可根据第一视频流与该其他视频流对应的会场规格之间的优先级关系,将会场规格对应的显示区域更大的视频流对应的会场画面置于会议界面中靠前的位置,从而提高会议界面的屏幕利用率。
178.结合上述实施例提供的视频画面显示方法,下面以前述的画面排布模型通过公式
来实现,对会议界面包括的会场画面排布方式进行说明:电子设备以大会场画面为基准排布,设当前大会场画面显示基准画面数量为p(即按p个视频画面排列,假设数量限制为:p≤9),设大会场视频流数量为l、中会场视频流数量为m、小会场视频流数量为s。因为中会场画面大小是小会场画面的2倍,所以当中会场画面数量不是2的倍数时,则向上取整按2倍处理,即小会场画面数量不足2个也算占用1个中会场画面,实际占用中会场画面数量为:m
实
=m+ceiling(s/2)。同理,中会场画面数量不足4个也算占用1个大会场画面,实际占用大会场画面数量为:l
实
=l+ceiling(m
实
/4)。因此所有视频流实际共占用大会场画面数量公式为:
[0179][0180]
在画面排布模型中,l
实
=1时,p=1,即当所有视频流实际占用大会场画面数量为1个时,大会场画面与会议界面等大。
[0181]
1<l
实
≤4时,p=l
实
,即当所有视频流实际占用大会场画面数量为2个、3个或4个时,按照如图6所示出的四画面布局占位排布。
[0182]
4<l
实
≤9时,p=l
实
,即当所有视频流实际占用大会场画面数量多于4个但不超过9个时,按照如图6所示出的九画面布局占位、按实际占用画面数量依次排布。
[0183]
l
实
》9时,p=9,即当所有视频流实际共占用大会场画面数量超过9个时,按照九画面排布,并可以手动切换整体画面或按照一定时间进行画面轮播。
[0184]
举例说明,如图3所示,当会议界面同时存在大中小三种会场画面,大会场画面l=2,中会场画面m=3,小会场画面s=9,代入公式p=4,即占用4个大会场画面位置,按照整体适应会议界面原则,获得如图3所示出的会议界面320。
[0185]
在一些可选的实现方式中,电子设备接收的视频流对应的会场画面可能会存在无大会场画面、无中会场画面或无小会场画面的情况,按照公式排布时会出现画面布局零散、不美观的问题,故基于这3种情况,归纳出6类具体场景并对排布规则进行说明:
[0186]
1),会议界面只有大会场画面。
[0187]
2),会议界面只有大中会场画面。
[0188]
3),会议界面只有大小会场画面。
[0189]
4),会议界面只有中会场画面。
[0190]
5),会议界面只有中小会场画面。
[0191]
6),会议界面只有小会场画面。
[0192]
结合上述实施例提供的画面排布模型提供的策略,会议界面中所有画面以大会场画面为基准进行占位排布,且会场画面整体排布大小适应会议界面,故可以按大会场画面为基准、画面间保持2:1关系进行排布,具体说明如下:
[0193]
1)会议界面只有大会场画面,即m=0,s=0。
[0194]
此情况完全符合“所有画面以大会场画面为基准进行排布”及画面数量公式,故无需特别定义,即l
实
=l。会议界面中所有画面以大会场画面为基准进行占位排布的示例可参考图6所包含的任一个示意图,不予赘述。
[0195]
2)会议界面只有大中会场画面,即s=0。
[0196]
此情况完全符合“所有画面以大会场画面为基准进行排布”及画面数量公式,即l
实
=l+ceiling(m/4)。举例说明,大会场画面l=1,中会场画面m=3,代入公式,p=2,p《4,即
占用2个大会场画面位置,如图8中的(a)所示。
[0197]
另外,当会议界面中只有1个大会场画面和1个中会场画面,即l=1、m=1时,代入公式,p=2,p《4,即占用2个大会场画面位置,如图8中的(b)所示。
[0198]
3)会议界面只有大小会场画面,即m=0。
[0199]
此时,按照2:1关系,大小会场画面关系调整为为l=2*s,即小会场画面变为大会场画面进行排布,所有视频流实际共占用大会场画面数量公式变形为:l
实
=l+ceiling(s/2)。
[0200]
因为存在大小2类画面,故不讨论l
实
=1的情况;1<l
实
≤4时,p=l
实
,即按照四画面布局占位排布。
[0201]
4《l
实
≤9时,p=l
实
,即按照九画面布局占位、按实际占用画面数量依次排布。
[0202]
l
实
》9时,p=9,即当所有视频流实际共占用大会场画面数量超过9个时,按照9画面排布,并可以手动切换整体画面或按照一定时间进行画面轮播。
[0203]
举例说明,当中会场画面m=2,小会场画面s=3,代入公式,p=4,即占用4个大会场画面,如图9中的(a)所示。
[0204]
另外,当会议界面中只有1个大会场画面和1个小会场画面,即l=1、m=1时,代入公式,p=2,p《4,即占用2个大会场画面位置,如图9中的(b)所示。
[0205]
4)会议界面只有中会场画面,即l=0,s=0。
[0206]
当会议界面中的中(m)会场画面不多于9个时,按大(l)会场画面占位,所有视频流实际共占用大会场画面数量公式变形为:l
实
=m
实
=m(m≤9)。此时,l
实
=1时,p=1,即中会场画面与会议界面等大;1<l
实
≤4时,p=l
实
,即按照四画面布局占位排布;4《l
实
≤9时,p=l
实
,即按照九画面布局占位、按实际占用画面数量依次排布。举例说明,当中会场画面m=8,代入公式,p=8,即占用8个大会场画面,如图10所示。
[0207]
当会议界面中的中(m)会场画面多于9个时,此情况完全符合“所有画面以大会场画面为基准进行排布”及画面数量公式,即l
实
=ceiling(m/4)(9≤m≤36)。此时,当m≤16时,l
实
≤4,则p=l
实
,按照四画面布局占位排布;当16《m≤36时,4《l
实
≤9,则p=l
实
,按照九画面布局占位、按实际占用画面数量依次排布;当m>36时,l
实
》9,则p=9,即当所有视频流实际共占用大会场画面数量超过9个时,按照9画面排布,并可以手动切换整体画面或按照一定时间进行画面轮播。
[0208]
举例说明,当中会场画面m=35,代入公式,p=9,即占用9个大会场画面,会议界面中按照九画面布局占位,并提供一个空白的m画面,如图11所示。
[0209]
5)会议界面只有中小会场画面,即l=0。
[0210]
在第一种可能的情况中,若会议界面中实际占用的中会场画面数量不多于9个,中(m)会场画面按大(l)会场画面占位,同时小会场画面随之变大,仍满足m=2*s画面关系,所有视频流实际共占用大会场画面数量公式变形为:l
实
=m
实
=m+ceiling(s/2)(m
实
≤9)。
[0211]
因为存在中小2类画面,故不讨论l
实
=1的情况;1<l
实
≤4时,p=l
实
,即按照四画面布局占位排布;4《l
实
≤9时,p=l
实
,即按照九画面布局占位、按实际占用画面数量依次排布;l
实
》9时,p=9,即当所有视频流实际共占用大会场画面数量超过9个时,按照9画面排布,并按照一定时间进行画面轮播。举例说明,当中会场画面m=2,小会场画面s=3,代入公式,p=4,p≤4,即占用4个大会场画面,如图12中的(a)所示。
[0212]
另外,当只有1个中会场画面和1个小会场画面,即m=1、s=1时,代入公式,p=2,p《4,即占用2个大会场画面位置,如图12中的(b)所示。
[0213]
在第二种可能的情况中,若会议界面中实际占用中会场画面数量多于9个时,此情况完全符合“所有画面以大会场画面为基准进行排布”及画面数量公式,即所有视频流实际共占用中会场画面数量超过9个时,按照9画面排布,并可以手动切换整体画面或按照一定时间进行画面轮播。
[0214]
6)会议界面只有小会场画面,即l=0,m=0。
[0215]
该情况与只有中小会场画面的情况处理思路一致,依照“所有画面以大会场画面为基准进行排布”及2:1画面关系,小画面按大会场画面一半进行占位排布,即l=2*s,所有视频流实际共占用大会场画面数量公式变形为:l
实
=ceiling(s/2)。
[0216]
此时,l
实
=1时,p=1,即小会场画面与会议界面等大/高;1<l
实
≤4时,p=l
实
,即按照四画面布局占位排布;4《l
实
≤9时,p=l
实
,即按照九画面布局占位、按实际占用画面数量依次排布;9《l
实
《16时,p=9,即当所有视频流实际共占用大会场画面数量超过9个时,按照9画面排布,并按照一定时间进行画面轮播。
[0217]
举例说明,当小会场画面s=7,代入公式,p=4,p≤4,即占用4个大会场画面,按照四画面布局占位排布,对7个小会场画面进行显示,如图13所示。
[0218]
以上六类具体场景仅为本实施例提供的示例,不应理解为对本技术的限定。
[0219]
在本实施例中,画面排布模型可通过公式实现,也可通过其他方式(如函数)来实现,不予限定。电子设备可通过画面排布模型对大中小三种会场进行有规律排布,同时适配屏幕大画面,在保证了人脸大小的基础上,使屏幕画面利用率最大化。当会议界面包括多种会场规格不同的画面时,电子设备保证了会议界面中人脸对应的显示区域大于或等于设定的阈值,避免了人脸模糊的问题。
[0220]
在一些情况中,电子设备在对会场画面进行排布的过程中,还可以调整多个会场画面包括的人脸区域,使得会议界面显示的多个会场画面中的人脸大小趋于一致,提高了会议界面的人脸显示效果。
[0221]
也就是说,在本技术的实施例提供的视频画面显示方法中,电子设备以会场画面中的人脸信息为基础,从而以人脸为中心,为不同的视频流分配会议界面提供的显示区域,使得视频会议场景中,即使一个会场画面包含了多个人,电子设备也可以将该多个人的人脸在会议界面中进行清晰地显示,避免了会场画面较小导致的人脸图像较小,导致人脸模糊的问题。
[0222]
可以理解的是,为了实现上述实施例中功能,电子设备包括了执行各个功能相应的硬件结构和/或软件模块,如图1所示。本领域技术人员应该很容易意识到,结合本技术中所公开的实施例描述的各示例的单元及方法步骤,本技术能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用场景和设计约束条件。
[0223]
如图14所示,图14本技术提供的视频画面显示装置的结构示意图,该视频画面显示装置1400可以用于实现上述方法实施例中电子设备的功能,因此也能实现上述方法实施例所具备的有益效果。在本技术的实施例中,该视频画面显示装置1400可以是电子设备,如上述实施例所示出的电子设备,还可以是应用于电子设备的模块(如芯片)。
[0224]
如图14所示,视频画面显示装置1400包括:获取单元1410、处理单元1420、显示单元1430和排布单元1440。该视频画面显示装置1400用于实现上述附图中所示的方法实施例中电子设备的功能。在一种可能的示例中,该视频画面显示装置1400用于实现上述视频画面显示方法,下面具体说明视频画面显示装置1400的各组成部分的功能。
[0225]
获取单元1410用于接收至少一条视频流,其中第一视频流对应第一画面。处理单元1420用于根据第一画面包含的人脸信息,为第一视频流分配第一区域,使得第一画面中的人脸在第一区域中所占的区域大于或等于设定阈值;该第一区域包含电子设备提供的会议界面中部分或全部显示区域。显示单元1430用于在第一区域显示第一画面。
[0226]
当视频画面显示装置1400用于实现图3所示的方法实施例时,获取单元1410用于执行s310,处理单元1420用于执行s320,显示单元用于执行s330。
[0227]
当视频画面显示装置1400用于实现图4所示的方法实施例时,处理单元1420用于执行s321至s325。
[0228]
示例的,该处理单元1420可包括选择单元1421、判断单元1422和区域适配单元1423。选择单元1421用于执行s321、s323和s324,判断单元1422用于执行s322,区域适配单元1423用于执行s325。
[0229]
当视频画面显示装置1400用于实现图7a所示的方法实施例时,区域适配单元1423用于执行s710和s720。
[0230]
关于上述视频画面显示装置1400执行前述附图提供的实施例中方法的操作步骤时,有益效果可以参见前述实施例的描述,此处不再赘述。如排布单元1440可用于对会议界面中的多个区域进行排布。
[0231]
视频画面显示装置1400通过软件实现前述附图中任一所示的视频画面显示方法时,视频画面显示装置1400及其各个模块也可以为软件模块。通过处理器调用该软件模块实现上述的视频画面显示方法。该处理器可以是中央处理单元(central processing unit,cpu),特定应用集成电路(application-specific integrated circuit,asic)实现,或可编程逻辑器件(programmable logic device,pld),上述pld可以是复杂程序逻辑器件(complex programmable logical device,cpld)、现场可编程门阵列(field programmable gate array,fpga)、通用阵列逻辑(generic array logic,gal)或其任意组合。
[0232]
有关上述视频画面显示装置1400更详细的描述可以参考前述附图所示的实施例中相关描述,这里不加赘述。
[0233]
当视频画面显示装置1400通过硬件实现时,该硬件可以通过处理器或芯片实现。芯片包括接口电路和控制电路。接口电路用于接收来自处理器之外的其它设备的数据并传输至控制电路,或将来自控制电路的数据发送给处理器之外的其它设备。
[0234]
控制电路通过逻辑电路或执行代码指令用于实现上述实施例中任一种可能实现方式的方法。有益效果可以参见上述实施例中任一方面的描述,此处不再赘述。
[0235]
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时,全部或部分地执行本技术实施例所述的流程或功能。所述计算机可以是电子设备、通用
计算机、专用计算机、计算机网络、网络设备、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,例如,软盘、硬盘、磁带;也可以是光介质,例如,数字视频光盘(digital video disc,dvd);还可以是半导体介质,例如,固态硬盘(solid state drive,ssd)。
[0236]
在本技术的各个实施例中,如果没有特殊说明以及逻辑冲突,不同的实施例之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。在本技术的实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本技术的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定。
技术特征:
1.一种视频画面显示方法,其特征在于,所述方法包括:电子设备接收至少一条视频流,其中第一视频流对应第一画面;所述电子设备根据第一画面包含的人脸信息,为所述第一视频流分配第一区域,使得所述第一画面中的人脸在所述第一区域中所占的区域大于或等于设定阈值;所述第一区域包含所述电子设备提供的会议界面中部分或全部显示区域;所述电子设备在所述第一区域显示所述第一画面。2.根据权利要求1所述的方法,其特征在于,所述人脸信息包括以下一种或几种的组合:人脸数量、至少两个人脸之间的距离以及人脸大小。3.根据权利要求1或2所述的方法,其特征在于,所述人脸信息包括:人脸数量和至少两个人脸之间的人脸距离;所述电子设备根据第一画面包含的人脸信息,为所述第一视频流分配第一区域,包括:所述电子设备从设定的多种会场规格中选择与所述人脸数量匹配的预估规格;所述会场规格用于指示视频流对应的会场画面在所述会议界面中的区域大小信息;所述电子设备判断所述人脸信息中人脸距离的最大值是否处于设定的阈值范围;若所述人脸距离的最大值处于所述阈值范围,则所述电子设备将所述预估规格作为所述第一视频流的目标规格;所述电子设备根据所述目标规格,选择所述会议界面中的显示区域作为所述第一区域。4.根据权利要求3所述的方法,其特征在于,若所述人脸距离的最大值大于所述阈值范围中的最大值,则所述电子设备从所述多种会场规格中,选择区域大于所述预估规格指示的区域的会场规格作为所述第一视频流的目标规格。5.根据权利要求3或4所述的方法,其特征在于,所述电子设备从设定的多种会场规格中选择与所述人脸数量匹配的预估规格,包括:若所述人脸数量大于第一阈值,则所述电子设备选择所述多种会场规格包括的第一规格作为所述预估规格;若所述人脸数量小于或等于所述第一阈值,且大于或等于第二阈值,则所述电子设备选择所述多种会场规格包括的第二规格作为所述预估规格;其中,所述第二阈值小于所述第一阈值,所述第二规格指示的区域小于所述第一规格指示的区域;若所述人脸数量小于或等于所述第二阈值,则所述电子设备选择所述多种会场规格包括的第三规格作为所述预估规格;其中,所述第三规格指示的区域小于所述第二规格指示的区域。6.根据权利要求3至5中任一项所述的方法,其特征在于,所述电子设备根据所述目标规格,选择所述会议界面中的显示区域作为所述第一区域,包括:所述电子设备根据已分配区域中会场画面包含的人脸信息,确定所述会议界面的排布信息;其中,所述排布信息包括以下任意一种或几种的组合:所述会议界面中各会场画面包含的人脸信息,所述会议界面中空白区域的大小、位置,以及所述会议界面中可提供给所述电子设备分配的会场规格信息;
所述电子设备根据画面排布模型和所述排布信息,为所述第一视频流分配与所述目标规格匹配的第一区域;所述画面排布模型用于分配所述会议界面中与会场规格中匹配的显示区域。7.根据权利要求1至6中任一项所述的方法,其特征在于,所述会议界面中已分配的区域包括第二区域,所述第二区域用于显示所述至少一条视频流中第二视频流对应的第二画面;所述方法还包括:所述电子设备根据所述第二画面包括的人脸信息,确定所述第二区域的会场规格为第二规格;所述会场规格用于指示视频流对应的会场画面在所述会议界面中的区域大小信息;若所述第一区域的会场规格为第一规格,则所述电子设备在所述会议界面中,将所述第一区域排布在所述第二区域之前;所述第二规格指示的区域小于所述第一规格指示的区域;若所述第一区域的会场规格为第二规格,则所述电子设备在所述会议界面中,将所述第一区域排布在所述第二区域之前,或者,将所述第一区域排布在所述第二区域之后;若所述第一区域的会场规格为第三规格,则所述电子设备在所述会议界面中,将所述第一区域排布在所述第二区域之后;所述第三规格指示的区域小于所述第二规格指示的区域。8.一种视频画面显示装置,其特征在于,所述装置应用于电子设备,所述装置包括:获取单元,用于接收至少一条视频流,其中第一视频流对应第一画面;处理单元,用于根据第一画面包含的人脸信息,为所述第一视频流分配第一区域,使得所述第一画面中的人脸在所述第一区域中所占的区域大于或等于设定阈值;所述第一区域包含所述电子设备提供的会议界面中部分或全部显示区域;显示单元,用于在所述第一区域显示所述第一画面。9.根据权利要求8所述的装置,其特征在于,所述人脸信息包括以下一种或几种的组合:人脸数量、至少两个人脸之间的距离以及人脸大小。10.根据权利要求8或9所述的装置,其特征在于,所述人脸信息包括:人脸数量和至少两个人脸之间的人脸距离;所述处理单元,包括:选择单元,用于从设定的多种会场规格中选择与所述人脸数量匹配的预估规格;所述会场规格用于指示视频流对应的会场画面在所述会议界面中的区域大小信息;判断单元,用于判断所述人脸信息中人脸距离的最大值是否处于设定的阈值范围;若所述人脸距离的最大值处于所述阈值范围,则所述选择单元还用于将所述预估规格作为所述第一视频流的目标规格;区域适配单元,用于根据所述目标规格,选择所述会议界面中的显示区域作为所述第一区域。11.根据权利要求10所述的装置,其特征在于,若所述人脸距离的最大值大于所述阈值范围中的最大值,则所述选择单元,还用于从所述多种会场规格中,选择区域大于所述预估规格指示的区域的会场规格作为所述第一视
频流的目标规格。12.根据权利要求10或11所述的装置,其特征在于,所述选择单元,具体用于:若所述人脸数量大于第一阈值,选择所述多种会场规格包括的第一规格作为所述预估规格;所述选择单元,还具体用于:若所述人脸数量小于或等于所述第一阈值,且大于或等于第二阈值,选择所述多种会场规格包括的第二规格作为所述预估规格;其中,所述第二阈值小于所述第一阈值,所述第二规格指示的区域小于所述第一规格指示的区域;所述选择单元,还具体用于:若所述人脸数量小于或等于所述第二阈值,选择所述多种会场规格包括的第三规格作为所述预估规格;其中,所述第三规格指示的区域小于所述第二规格指示的区域。13.根据权利要求10至12中任一项所述的装置,其特征在于,所述区域适配单元,具体用于:根据已分配区域中会场画面包含的人脸信息,确定所述会议界面的排布信息,其中,所述排布信息包括以下任意一种或几种的组合:所述会议界面中各会场画面包含的人脸信息,所述会议界面中空白区域的大小、位置,以及所述会议界面中可提供给所述电子设备分配的会场规格信息;以及,根据画面排布模型和所述排布信息,为所述第一视频流分配与所述目标规格匹配的第一区域;所述画面排布模型用于分配所述会议界面中与会场规格中匹配的显示区域。14.根据权利要求8至13中任一项所述的装置,其特征在于,所述会议界面中已分配的区域包括第二区域,所述第二区域用于显示所述至少一条视频流中第二视频流对应的第二画面;所述装置还包括:排布单元,用于根据所述第二画面包括的人脸信息,确定所述第二区域的会场规格为第二规格;所述会场规格用于指示视频流对应的会场画面在所述会议界面中的区域大小信息;所述排布单元,还用于:若所述第一区域的会场规格为第一规格,则在所述会议界面中,将所述第一区域排布在所述第二区域之前;所述第二规格指示的区域小于所述第一规格指示的区域;所述排布单元,还用于:若所述第一区域的会场规格为第二规格,则在所述会议界面中,将所述第一区域排布在所述第二区域之前,或者,将所述第一区域排布在所述第二区域之后;所述排布单元,还用于:若所述第一区域的会场规格为第三规格,则在所述会议界面中,将所述第一区域排布在所述第二区域之后;所述第三规格指示的区域小于所述第二规格指示的区域。15.一种电子设备,其特征在于,包括:存储器和处理器;所述存储器用于存储程序代码;所述处理器用于调用所述程序代码实现权利要求1至7中任意一项所述的方法。16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机软件指令;当所述计算机软件指令在电子设备中运行时,使得电子设备实现权利要求1至7中任意一项所述的方法。
技术总结
一种视频画面显示方法、装置、电子设备及存储介质,涉及视频处理技术领域。首先,电子设备接收至少一条视频流,其中的第一视频流对应第一画面。其次,电子设备根据第一画面包括的人脸信息,为第一视频流分配第一区域,使得第一画面中的人脸在第一区域中所占的区域大于或等于设定阈值,第一区域包含会议界面中部分或全部显示区域。最后,电子设备在第一区域显示第一画面。电子设备可根据画面中的人脸信息确定视频流的显示区域,避免了画面的固定排布导致的参会人员的脸部图像较小的问题;且人脸的显示区域大于或等于设定阈值,因此会议界面中人脸大小不受画面的大小和排布方式的影响,提高了会议界面中人脸图像的清晰度以及人脸的显示效果。的显示效果。的显示效果。
技术研发人员:胡凯程 田韬 徐海
受保护的技术使用者:华为技术有限公司
技术研发日:2022.03.18
技术公布日:2023/9/22
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/