音频处理方法、装置、非易失性存储介质及电子设备与流程

1.本技术涉及音频处理领域，具体而言，涉及一种音频处理方法、装置、非易失性存储介质及电子设备。


背景技术：

2.为用户用来观看视频的设备，通常包括图像显示设备和声音播放设备。其中，图像显示设备可以包括任意显示视频图像的屏幕，也可以是投影幕布，声音播放设备可以是单个或者一组扬声器。
3.当采用一组扬声器播放声音时，由于屏幕上发声的对象发出的声音直接由扬声器播放出来，因此存在音画空间位置不一致的情况，即用户通过视觉确定的发声对象的方位与通过听觉确定的该发生对象的方位不一致。因此该问题可能会导致用户对屏幕上的哪个对象在发声产生错误认识，进而导致视频通话效率降低或者观看视频时产生歧义理解，直接影响了的视频用户的体验。
4.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本技术实施例提供了一种音频处理方法、装置、非易失性存储介质及电子设备，以至少解决用户观看视频终端播放的视频时感知到声音和发声对象的空间方向不一致的技术问题。
6.根据本技术实施例的一个方面，提供了一种音频处理方法，包括：确定第一位置、目标对象所处的第二位置和扬声器组中的每个扬声器所处的第三位置，其中，所述目标对象通过图像显示设备进行显示，所述第一位置位于可接收到所述图像显示设备发出的光信号的位置；根据所述第一位置和所述第二位置确定所述目标对象相对于所述第一位置的第一位置关系，以及根据所述第一位置和所述第三位置确定所述每个扬声器相对于所述第一位置的第二位置关系；基于所述第一位置关系和所述第二位置关系，将与所述目标对象对应的目标音频数据处理为至少一个第一音频信号，其中，所述至少一个第一音频信号与所述扬声器组中的至少一个目标扬声器对应；根据所述至少一个第一音频信号与所述至少一个目标扬声器的对应关系，发送所述至少一个第一音频信号至所述至少一个目标扬声器。
7.可选地，所述确定目标对象所处的第二位置，包括：根据所述图像显示设备的显示参数，以及与所述目标音频数据对应的图像数据，确定所述目标对象与所述图像显示设备的图像位置关系，其中，所述目标对象位于所述图像显示设备基于所述图像数据生成的显示画面中；确定所述图像显示设备所处的第四位置，并根据所述第四位置和所述图像位置关系，确定所述目标对象所处的所述第二位置。
8.可选地，所述确定所述目标对象与所述图像显示设备的图像位置关系，包括：基于所述图像数据，确定所述目标对象在所述显示画面中所处的第一图像位置；基于所述图像显示设备的显示参数，确定所述显示画面在所述图像显示设备中所处的第二图像位置；基
于所述第一图像位置和所述第二图像位置，确定所述目标对象与所述图像显示设备的所述图像位置关系。
9.可选地，所述根据所述第一位置和所述第二位置确定所述目标对象相对于所述第一位置的第一位置关系，以及根据所述第一位置和所述第三位置确定所述每个扬声器相对于所述第一位置的第二位置关系，包括：根据所述第一位置和所述第二位置，确定与所述目标对象对应的第一矢量，其中，所述第一矢量表示所述第一位置关系；以及，根据所述第一位置和所述第三位置，确定分别与所述每个扬声器对应第二矢量，其中，所述第二矢量表示所述第二位置关系。
10.可选地，基于所述第一位置关系和所述第二位置关系，将与所述目标对象对应的目标音频数据处理为至少一个第一音频信号，包括：基于所述第一矢量和所述第二矢量，确定所述扬声器组中的多个扬声器为目标扬声器，其中，所述目标对象位于封闭图形的范围内，所述封闭图形通过连接所述目标扬声器得到；基于所述第一矢量的单位方向矢量和多个第三矢量的单位方向矢量，生成多个音频处理参数，其中，所述多个第三矢量为所述第二矢量中与所述目标扬声器对应的多个矢量，所述多个音频处理参数与所述多个目标扬声器一一对应；基于所述多个音频处理参数处理所述目标音频数据，得到与所述多个目标扬声器一一对应的多个所述第一音频信号。
11.可选地，所述基于所述第一矢量的单位方向矢量和多个第三矢量的单位方向矢量，生成多个音频处理参数，包括：基于所述第一矢量的单位方向矢量和所述多个第三矢量的单位方向矢量，采用基于矢量的幅度馈给方法进行计算，得到与所述多个目标扬声器一一对应的多个振幅权重，其中，所述音频处理参数包括所述振幅权重。
12.可选地，所述发送所述至少一个第一音频信号至所述至少一个目标扬声器之前，还包括：将所述第一音频信号与第二音频信号混合，得到通路音频信号，其中，所述第二音频信号与所述第一音频信号均对应于同一个目标扬声器；发送所述通路音频信号至所述第一音频信号对应的所述目标扬声器。
13.根据本技术实施例的另一方面，还提供了一种音频处理装置，包括：第一确定模块，用于确定第一位置、目标对象所处的第二位置和扬声器组中的每个扬声器所处的第三位置，其中，所述目标对象通过图像显示设备进行显示，所述第一位置位于可接收到所述图像显示设备发出的光信号的位置；第二确定模块，用于根据所述第一位置和所述第二位置确定所述目标对象相对于所述第一位置的第一位置关系，以及根据所述第一位置和所述第三位置确定所述每个扬声器相对于所述第一位置的第二位置关系；处理模块，用于基于所述第一位置关系和所述第二位置关系，将与所述目标对象对应的目标音频数据处理为至少一个第一音频信号，其中，所述至少一个第一音频信号与所述扬声器组中的至少一个目标扬声器对应；发送模块，用于根据所述至少一个第一音频信号与所述至少一个目标扬声器的对应关系，发送所述至少一个第一音频信号至所述至少一个目标扬声器。
14.根据本技术实施例的又一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行上述任意一项所述音频处理方法。
15.根据本技术实施例的再一方面，还提供了一种电子设备，包括：存储器和处理器，其中，所述存储器，包括存储的程序；所述处理器，用于运行所述存储器中存储的程序，其
中，所述程序运行时执行上述任意一项所述音频处理方法。
16.在本技术实施例中，通过确定第一位置、通过图像显示设备进行显示的目标对象所处的第二位置和扬声器组中的每个扬声器所处的第三位置；根据第一位置和第二位置确定目标对象相对于第一位置的第一位置关系，以及根据第一位置和第三位置确定每个扬声器相对于第一位置的第二位置关系；基于第一和第二位置关系将与目标对象对应的目标音频数据处理为第一音频信号，其中，第一音频信号与扬声器组中的目标扬声器对应；根据第一音频信号与目标扬声器的对应关系，发送第一音频信号至目标扬声器，达到了为扬声器提供与发声的目标对象和收听用户的相对位置关系对应的音频信号的目的，从而实现了提高用户观看视频时看到的对象与听到的声音在空间方向上的一致性的技术效果，进而解决了用户观看视频终端播放的视频时感知到声音和发声对象的空间方向不一致的技术问题。
附图说明
17.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
18.图1示出了一种用于实现音频处理方法的计算机终端的硬件结构框图；
19.图2是根据本技术实施例提供的音频处理方法的流程示意图；
20.图3是根据本技术实施例提供的一种可选的建立空间坐标系的示意图；
21.图4是根据本技术实施例提供的一种可选的建立图像坐标系的示意图；
22.图5是根据本技术可选实施方式提供的多视频对象的音频处理方法的流程图；
23.图6是根据本技术实施例提供的音频处理装置的结构框图。
具体实施方式
24.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
25.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.首先，对本技术实施例进行描述的过程中出现的部分名词或者术语适用于如下解释：
27.基于矢量的幅度馈给方法(vector-based amplitude panning，简称vbap方法)，一种空间声编解码的方法，可以用于为扬声器馈给音频信号。
28.根据本技术实施例，提供了一种音频处理的方法实施例，需要说明的是，在附图的
流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
29.本技术实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现音频处理方法的计算机终端的硬件结构框图。如图1所示，计算机终端10可以包括一个或多个(图中采用102a、102b，
……
，102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为bus总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
30.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
31.存储器104可用于存储应用软件的软件程序以及模块，如本技术实施例中的音频处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
32.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算机终端10的用户界面进行交互。
33.图2是根据本技术实施例提供的音频处理方法的流程示意图，如图2所示，该方法包括如下步骤：
34.步骤s202，确定第一位置、目标对象所处的第二位置和扬声器组中的每个扬声器所处的第三位置，其中，目标对象通过图像显示设备进行显示，第一位置位于可接收到图像显示设备发出的光信号的位置。
35.可选地，第一位置可以为听众或者观看视频的用户所在的位置，也可以是图像显示设备前面的其他固定位置。当用户通过图像显示设备观看视频画面，扬声器组中的每个扬声器用于播放来自视频的声音。目标对象为图像显示设备显示的画面中的对象，例如可以是画面中的正在说话的人物对象，也可以是画面中的发声物体或者发声动物。其中，图像显示设备可以是一种显示屏。
36.步骤s204，根据第一位置和第二位置确定目标对象相对于第一位置的第一位置关系，以及根据第一位置和第三位置确定每个扬声器相对于第一位置的第二位置关系。
37.可选地，步骤s202至步骤s204中，可以通过建立空间坐标系的方式定义位置以及
位置关系。例如，将第一位置、第二位置和第三位置定义为三维的坐标系中的坐标，进一步地根据位置的坐标定义位置之间的位置关系。
38.具体的，图3是根据本技术实施例提供的一种可选的建立空间坐标系的示意图，如图3所示，空间坐标系可以以用户所处的第一位置为坐标原点，并根据坐标原点与显示屏的位置和姿态建立空间坐标系，其中，可以将与显示屏幕水平横向边框平行并在图3中朝左的方向作为空间坐标系的x轴正方向，将与显示屏幕竖直边框平行且在图3中向上的方向作为空间坐标系z轴正方向，将过坐标原点垂直指向显示屏幕的方向作为空间坐标系的y轴正方向。根据本可选方法所建立的空间坐标系中，表示扬声器组中的各个扬声器的第三位置的坐标可以记为(xi,yi,zi)，i＝1，2，...,l。其中i表示扬声器组中的第i个扬声器，l表示的扬声器组中的扬声器的总个数，(xi,yi,zi)分别表示第i个扬声器到坐标原点的矢量在x、y、z方向上的投影。可选地，扬声器在空间坐标系中的位置可以根据其布置位置计算得到，其中，扬声器可以和显示屏布置在同一个整机上，也可以是脱离显示屏单独存在的。
39.进一步地，第一位置关系和第二位置关系可以用由第一位置指向第二位置以及第一位置指向第三位置的向量表示。
40.步骤s206，基于第一位置关系和第二位置关系，将与目标对象对应的目标音频数据处理为至少一个第一音频信号，其中，至少一个第一音频信号与扬声器组中的至少一个目标扬声器对应。
41.本步骤中，目标音频数据与目标对象对应可以包括如下几种场景：目标音频数据是目标对象在视频中发声时视频音频中与目标对象对应的音频数据，或者，目标音频数据还可以是目标对象对应的视频的完整音频数据。在上述第一种场景中，与目标对象所属视频的音频数据可能进行了标记，将目标对象发声而产生的音频数据进行了标记得到目标音频数据。需要说明的是，第一音频信号可以为一个或者多个，且为扬声器可以直接接收并据此驱动扬声器发声的信号，处理得到的第一音频信号的个数取决于目标扬声器的个数。目标扬声器根据与其对应的第一音频信号驱动发声后，可以让第一位置的用户产生目标对象的视觉方位与听觉方位相同的感受，即对于第一位置而言，采用至少一个目标扬声器根据第一音频信号驱动发声的听觉效果与采用位于第二位置的单一扬声器直接发声的听觉效果相同。
42.步骤s208，根据至少一个第一音频信号与至少一个目标扬声器的对应关系，发送至少一个第一音频信号至至少一个目标扬声器。目标扬声器接收到第一音频信号之后，根据第一音频信号驱动发声。
43.上述步骤中，通过确定第一位置、通过图像显示设备进行显示的目标对象所处的第二位置和扬声器组中的每个扬声器所处的第三位置；根据第一位置和第二位置确定目标对象相对于第一位置的第一位置关系，以及根据第一位置和第三位置确定每个扬声器相对于第一位置的第二位置关系；基于第一和第二位置关系将与目标对象对应的目标音频数据处理为第一音频信号，其中，第一音频信号与扬声器组中的目标扬声器对应；根据第一音频信号与目标扬声器的对应关系，发送第一音频信号至目标扬声器，达到了为扬声器提供与发声的目标对象和收听用户的相对位置关系对应的音频信号的目的，从而实现了提高用户观看视频时看到的对象与听到的声音在空间方向上的一致性的技术效果，进而解决了用户观看视频终端播放的视频时感知到声音和发声对象的空间方向不一致的技术问题。
44.作为一种可选的实施例，确定目标对象所处的第二位置，可以采用如下方式：根据图像显示设备的显示参数，以及与目标音频数据对应的图像数据，确定目标对象与图像显示设备的图像位置关系，其中，目标对象位于图像显示设备基于图像数据生成的显示画面中；确定图像显示设备所处的第四位置，并根据第四位置和图像位置关系，确定目标对象所处的第二位置。
45.可选地，图像显示设备可以包括显示屏，显示参数可以包括显示屏的分辨率，即显示屏的横向和纵向的像素点数目，显示参数还可以包括显示屏中显示目标对象所述视频的区域位置、区域大小等参数信息。
46.需要说明的是，显示屏可以全屏显示与目标音频数据对应的图像数据，也可以仅在显示屏中的一个窗口中显示该图像。例如，显示屏中可以展示多组视频通话的视频画面，目标对象可以为一组视频通话中的一个正在说话的人，视频的图像数据中包括这个人的画面，视频的音频数据中包括这个人的声音。与目标对象对应的图像数据可以仅在显示屏中占据一小块区域，因此根据显示屏的显示参数可以确定目标对象与显示屏的图像位置关系。此外，图像显示设备所处的第四位置可以是显示屏的中心在空间坐标系中的位置坐标，也可以采用其他定义方式。根据目标对象与显示屏的图像位置关系以及显示屏在空间坐标系中的位置坐标，可以进行代换计算，得到目标对象在空间坐标系中的第二位置。
47.图4是根据本技术实施例提供的一种可选的建立图像坐标系的示意图，可选地，可以采用如图4的方式建立与显示屏平面平行的二维图像坐标系并据此确定目标对象与显示屏的图像位置关系：
48.假设显示屏的横向像素点的数目为m+1，纵向像素点的数目为n+1。则定义方形显示屏的四个顶点为a、b、c和d，则a、b、c和d在图像坐标系中的位置为(0，0)，(0，n)，(n，m)和(m，0)。确定目标对象在图像坐标系中的坐标(m,n)，进而确定目标对象与显示屏的图像位置关系，即目标对象到显示屏左上角的角度和距离或者到显示屏中心的角度和距离。
49.作为一种可选的实施例，确定目标对象与图像显示设备的图像位置关系，可以采用如下方式：基于图像数据，确定目标对象在显示画面中所处的第一图像位置；基于图像显示设备的显示参数，确定显示画面在图像显示设备中所处的第二图像位置；基于第一图像位置和第二图像位置，确定目标对象与图像显示设备的图像位置关系。
50.本可选的实施例中，可以先获取目标对象在其所属的显示画面中的第一图像位置，然后基于显示参数，在显示屏中确定显示画面所处的第二图像位置，然后进行位置代换，得到目标对象在显示屏中的图像位置关系。可选地，确定目标对象在其所属的显示画面中的第一图像位置，可以识别目标对象的嘴部在其所属显示画面中的位置作为上述第一图像位置，实现更精确的听觉方位拟合。可选地，还可以将目标对象所属的显示画面的中心位置确定为目标对象的位置。
51.可选地，根据图3和图4建立的坐标空间，可以通过如下方式确定目标对象所处的第二位置：基于显示屏的第四位置，在空间坐标系中将显示屏的四个顶点表示为(xa,ya,za)，(xb,yb,zb)，(xc,yc,zc)和(xd,yd,zd)，本可选地实施例中，可以确定ya＝yb＝yc。然后根据目标对象在图像坐标系中的坐标(m,n)，采用线性插值法得到目标对象所处的第二位置的坐标(xe,ye,ze)如下：
52.(xe,ye,ze)＝((x
d-xa)*m/m,ya，(z
b-za)*n/n)。
53.作为一种可选的实施例，可以通过如下方式确定第一位置关系和第二位置关系：根据第一位置和第二位置，确定与目标对象对应的第一矢量，其中，第一矢量表示第一位置关系；以及，根据第一位置和第三位置，确定分别与每个扬声器对应第二矢量，其中，第二矢量表示第二位置关系。其中，第一矢量和第二矢量均为包括方向和距离的矢量。例如，在空间坐标系中，第一矢量的方向可以为坐标原点指向第二位置的方向，大小为坐标原点到第二位置的线段的模长。
54.作为一种可选的实施例，基于第一位置关系和第二位置关系，将与目标对象对应的目标音频数据处理为至少一个第一音频信号，可以基于第一矢量和第二矢量，确定扬声器组中的多个扬声器为目标扬声器，其中，目标对象位于封闭图形的范围内，封闭图形通过连接目标扬声器得到；基于第一矢量的单位方向矢量和多个第三矢量的单位方向矢量，生成多个音频处理参数，其中，多个第三矢量为第二矢量中与目标扬声器对应的多个矢量，多个音频处理参数与多个目标扬声器一一对应；基于多个音频处理参数处理目标音频数据，得到与多个目标扬声器一一对应的多个第一音频信号。
55.可选地，目标对象位于封闭图形的范围内即从用户所在的第一位置向目标对象的方向看过去，目标对象位于多个目标扬声器连接而成的多边形中。此处的连接并不是指目标扬声器进行物理或者通讯连接，而是指的空间中的几何连线。选定多个目标扬声器后，还可以进一步基于目标对象的单位方向矢量和目标扬声器的单位方向矢量为每个目标扬声器分配音频处理参数，采用音频处理参数分别处理目标音频数据，得到第一音频信号。
56.此外，在采用音频处理参数分别处理目标音频数据的过程中，还可以采用包括但不限于自动增益控制(automatic gain control，agc)，声学回声消除(acoustic echo canceller，aec)，自动噪声抑制(automatic noise suppression，ans)等音频增强相关的音频信号处理方法。
57.作为一种可选的实施例，基于第一矢量的单位方向矢量和多个第三矢量的单位方向矢量，生成多个音频处理参数，可以采用如下方式：基于第一矢量的单位方向矢量和多个第三矢量的单位方向矢量，采用基于矢量的幅度馈给方法进行计算，得到与多个目标扬声器一一对应的多个振幅权重，其中，音频处理参数包括振幅权重。
58.可选地，在所述第一矢量的单位方向矢量与所述第二矢量中的某个矢量的单位方向矢量存在重叠时，可以直接确定第二矢量中的该矢量所对应的扬声器为目标扬声器，直接将第一矢量对应的第一音频信号发送至该目标扬声器。本可选的步骤中，与第一音频信号对应的目标对象的位置与目标扬声器在空间中的位置相同，可以直接采用该扬声器播放目标对象所在视频中的声音，让用户通过视觉和声觉感知目标对象时，两种方式感知到的目标对象的方位是一致的。
59.可选地，以选取的目标扬声器为三个为例，可以采用基于振幅矢量的信号馈给法(vbap)进行音频信号的绘制，将目标音频数据进行绘制后得到三个第一音频信号，三个第一音频信号对应处于三个位置的目标扬声器。具体实现算法如下：
60.首先确定扬声器组中的各个扬声器在空间坐标系下的坐标(xi,yi,zi)，并计算各扬声器的单位方向矢量扬声器的单位方向矢量和各个扬声器到空间参考坐标系的坐标原点的距离
61.式中
62.进一步地，获取目标对象在空间坐标系中的坐标(
xe
,
ye
,
ze
)，计算目标对象的单位方向矢量和各个扬声器到空间参考坐标系的坐标原点的距离
63.式中
64.根据各扬声器的单位方向矢量，选出三个单位方向矢量，使得目标对象的单位方向矢量在选出的三个单位方向矢量构成的三角区域内，三个单位方向矢量对应三个目标扬声器，分别记为扬声器1，扬声器2和扬声器3。
65.由选出的三个扬声器的单位方向矢量和目标对象的单位方向矢量进行vbap空间解码，得到馈给该三个扬声器的目标对象的目标音频数据的振幅权重。假设三个目标扬声器的单位方向矢量分别为视频对象的单位方向矢量为则得到三个目标扬声器对应目标音频数据的振幅权重为
[0066][0067]
其中w1表示扬声器1对应的振幅权重，w2表示扬声器2对应的振幅权重，w3表示扬声器3对应的振幅权重。
[0068]
将上述得到的三个目标扬声器的振幅权重进行归一化，即三个振幅权重分别乘上归一化因子得到三个扬声器重放视频对象音频流的归一化振幅权重，可采用功率归一化，得到归一化因子w
av
：
[0069][0070]
采用归一化后的振幅权重处理目标音频数据，即可得到对应于三个目标扬声器的三路第一音频信号。
[0071]
作为一种可选的实施例，发送至少一个第一音频信号至至少一个目标扬声器之前，还可以将第一音频信号与第二音频信号混合，得到通路音频信号，其中，第二音频信号与第一音频信号均对应于同一个目标扬声器；发送通路音频信号至第一音频信号对应的目标扬声器。
[0072]
可选地，图像显示设备的不同区域可以开放多个窗口，分别显示多个视频的画面，每个视频的音频数据可以分别处理为多组音频信号，对于需要馈向同一个扬声器的音频信号，可以将这些音频信号进行混合，得到对应于这个扬声器的通路音频信号，然后将通路音频信号馈给扬声器，由扬声器发出声音，使得第一位置处的用户可以同时收听到多个视频的声音且各个视频声音的听觉方位与其视频画面的视觉方位相同。
[0073]
图5是根据本技术可选实施方式提供的多视频对象的音频处理方法的流程图。图5所示的多视频对象的音频处理方法可以应用于负责处理视频流的本地设备中的处理器中，
例如可以是主机的cpu芯片，也可以是专业的dsp芯片。如图5所示，处理器中接收到n路视频对象(即视频流数据)后，首先对数据进行音视频的编解码，然后将解码后的图像数据发送至图像显示设备进行视频的视觉播放；同时，将音频数据给到音频增强信号处理模块，对音频数据进行自动增益控制，声学回声消除或者自动噪声抑制等音频增强相关的信号基本处理，然后将基本处理后的音频数据进行“目标绘制”，得到对应于多路目标扬声器的第一音频信号；分别对多个视频对象的音频数据进行信号处理和“目标绘制”后，将对应于同一目标扬声器的第一音频信号和第二音频信号进行混合，然后将所有混合后的音频信号发送给对应的目标扬声器，由目标扬声器进行发声。
[0074]
根据本技术实施例，还提供了一种用于实施上述音频处理方法的音频处理装置，图6是根据本技术实施例提供的音频处理装置的结构框图，如图6所示，该音频处理装置包括：第一确定模块62，第二确定模块64，处理模块66和发送模块68，下面对该音频处理装置进行说明。
[0075]
第一确定模块62，用于确定第一位置、目标对象所处的第二位置和扬声器组中的每个扬声器所处的第三位置，其中，所述目标对象通过图像显示设备进行显示，第一位置位于可接收到图像显示设备发出的光信号的位置；
[0076]
第二确定模块64，连接于上述第一确定模块62，用于根据所述第一位置和所述第二位置确定所述目标对象相对于所述第一位置的第一位置关系，以及根据所述第一位置和所述第三位置确定所述每个扬声器相对于所述第一位置的第二位置关系；
[0077]
处理模块66，连接于上述第二确定模块64，用于基于所述第一位置关系和所述第二位置关系，将与所述目标对象对应的目标音频数据处理为至少一个第一音频信号，其中，所述至少一个第一音频信号与所述扬声器组中的至少一个目标扬声器对应；
[0078]
发送模块68，连接于上述处理模块66，用于根据所述至少一个第一音频信号与所述至少一个目标扬声器的对应关系，发送所述至少一个第一音频信号至所述至少一个目标扬声器。
[0079]
此处需要说明的是，上述第一确定模块62，第二确定模块64，处理模块66和发送模块68对应于实施例1中的步骤s202至步骤s208，多个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
[0080]
本技术的实施例可以提供一种电子设备，可选地，在本实施例中，上述电子设备可以位于计算机设备中，计算机设备可以位于计算机网络的多个网络设备中的至少一个网络设备。该电子设备包括存储器和处理器。
[0081]
其中，存储器可用于存储软件程序以及模块，如本技术实施例中的音频处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的音频处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0082]
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：
确定第一位置、目标对象所处的第二位置和扬声器组中的每个扬声器所处的第三位置，其中，所述目标对象通过图像显示设备进行显示，第一位置位于可接收到图像显示设备发出的光信号的位置；根据所述第一位置和所述第二位置确定所述目标对象相对于所述第一位置的第一位置关系，以及根据所述第一位置和所述第三位置确定所述每个扬声器相对于所述第一位置的第二位置关系；基于所述第一位置关系和所述第二位置关系，将与所述目标对象对应的目标音频数据处理为至少一个第一音频信号，其中，所述至少一个第一音频信号与所述扬声器组中的至少一个目标扬声器对应；根据所述至少一个第一音频信号与所述至少一个目标扬声器的对应关系，发送所述至少一个第一音频信号至所述至少一个目标扬声器。
[0083]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一非易失性存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
[0084]
本技术的实施例还提供了一种非易失性存储介质。可选地，在本实施例中，上述非易失性存储介质可以用于保存上述实施例1所提供的音频处理方法所执行的程序代码。
[0085]
可选地，在本实施例中，上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
[0086]
可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：确定第一位置、目标对象所处的第二位置和扬声器组中的每个扬声器所处的第三位置，其中，所述目标对象通过图像显示设备进行显示，第一位置位于可接收到图像显示设备发出的光信号的位置；根据所述第一位置和所述第二位置确定所述目标对象相对于所述第一位置的第一位置关系，以及根据所述第一位置和所述第三位置确定所述每个扬声器相对于所述第一位置的第二位置关系；基于所述第一位置关系和所述第二位置关系，将与所述目标对象对应的目标音频数据处理为至少一个第一音频信号，其中，所述至少一个第一音频信号与所述扬声器组中的至少一个目标扬声器对应；根据所述至少一个第一音频信号与所述至少一个目标扬声器的对应关系，发送所述至少一个第一音频信号至所述至少一个目标扬声器。
[0087]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0088]
在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0089]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0090]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0091]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0092]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0093]
以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。

技术特征：
1.一种音频处理方法，其特征在于，包括：确定第一位置、目标对象所处的第二位置和扬声器组中的每个扬声器所处的第三位置，其中，所述目标对象通过图像显示设备进行显示，所述第一位置位于可接收到所述图像显示设备发出的光信号的位置；根据所述第一位置和所述第二位置确定所述目标对象相对于所述第一位置的第一位置关系，以及根据所述第一位置和所述第三位置确定所述每个扬声器相对于所述第一位置的第二位置关系；基于所述第一位置关系和所述第二位置关系，将与所述目标对象对应的目标音频数据处理为至少一个第一音频信号，其中，所述至少一个第一音频信号与所述扬声器组中的至少一个目标扬声器对应；根据所述至少一个第一音频信号与所述至少一个目标扬声器的对应关系，发送所述至少一个第一音频信号至所述至少一个目标扬声器。2.根据权利要求1所述的方法，其特征在于，所述确定目标对象所处的第二位置，包括：根据所述图像显示设备的显示参数，以及与所述目标音频数据对应的图像数据，确定所述目标对象与所述图像显示设备的图像位置关系，其中，所述目标对象位于所述图像显示设备基于所述图像数据生成的显示画面中；确定所述图像显示设备所处的第四位置，并根据所述第四位置和所述图像位置关系，确定所述目标对象所处的所述第二位置。3.根据权利要求2所述的方法，其特征在于，所述确定所述目标对象与所述图像显示设备的图像位置关系，包括：基于所述图像数据，确定所述目标对象在所述显示画面中所处的第一图像位置；基于所述图像显示设备的显示参数，确定所述显示画面在所述图像显示设备中所处的第二图像位置；基于所述第一图像位置和所述第二图像位置，确定所述目标对象与所述图像显示设备的所述图像位置关系。4.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置和所述第二位置确定所述目标对象相对于所述第一位置的第一位置关系，以及根据所述第一位置和所述第三位置确定所述每个扬声器相对于所述第一位置的第二位置关系，包括：根据所述第一位置和所述第二位置，确定与所述目标对象对应的第一矢量，其中，所述第一矢量表示所述第一位置关系；以及，根据所述第一位置和所述第三位置，确定分别与所述每个扬声器对应第二矢量，其中，所述第二矢量表示所述第二位置关系。5.根据权利要求4所述的方法，其特征在于，基于所述第一位置关系和所述第二位置关系，将与所述目标对象对应的目标音频数据处理为至少一个第一音频信号，包括：基于所述第一矢量和所述第二矢量，确定所述扬声器组中的多个扬声器为目标扬声器，其中，所述目标对象位于封闭图形的范围内，所述封闭图形通过连接所述目标扬声器得到；基于所述第一矢量的单位方向矢量和多个第三矢量的单位方向矢量，生成多个音频处理参数，其中，所述多个第三矢量为所述第二矢量中与所述目标扬声器对应的多个矢量，所
述多个音频处理参数与所述多个目标扬声器一一对应；基于所述多个音频处理参数处理所述目标音频数据，得到与所述多个目标扬声器一一对应的多个所述第一音频信号。6.根据权利要求5所述的方法，其特征在于，所述基于所述第一矢量的单位方向矢量和多个第三矢量的单位方向矢量，生成多个音频处理参数，包括：基于所述第一矢量的单位方向矢量和所述多个第三矢量的单位方向矢量，采用基于矢量的幅度馈给方法进行计算，得到与所述多个目标扬声器一一对应的多个振幅权重，其中，所述音频处理参数包括所述振幅权重。7.根据权利要求1所述的方法，其特征在于，所述发送所述至少一个第一音频信号至所述至少一个目标扬声器之前，还包括：将所述第一音频信号与第二音频信号混合，得到通路音频信号，其中，所述第二音频信号与所述第一音频信号均对应于同一个目标扬声器；发送所述通路音频信号至所述第一音频信号对应的所述目标扬声器。8.一种音频处理装置，其特征在于，包括：第一确定模块，用于确定第一位置、目标对象所处的第二位置和扬声器组中的每个扬声器所处的第三位置，其中，所述目标对象通过图像显示设备进行显示，所述第一位置位于可接收到所述图像显示设备发出的光信号的位置；第二确定模块，用于根据所述第一位置和所述第二位置确定所述目标对象相对于所述第一位置的第一位置关系，以及根据所述第一位置和所述第三位置确定所述每个扬声器相对于所述第一位置的第二位置关系；处理模块，用于基于所述第一位置关系和所述第二位置关系，将与所述目标对象对应的目标音频数据处理为至少一个第一音频信号，其中，所述至少一个第一音频信号与所述扬声器组中的至少一个目标扬声器对应；发送模块，用于根据所述至少一个第一音频信号与所述至少一个目标扬声器的对应关系，发送所述至少一个第一音频信号至所述至少一个目标扬声器。9.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述音频处理方法。10.一种电子设备，其特征在于，包括：存储器和处理器，其中，所述存储器，包括存储的程序；所述处理器，用于运行所述存储器中存储的程序，其中，所述程序运行时执行权利要求1至7中任意一项所述音频处理方法。

技术总结
本申请公开了一种音频处理方法、装置、非易失性存储介质及电子设备。其中，该方法包括：确定第一位置、通过图像显示设备进行显示的目标对象所处的第二位置和扬声器组中的每个扬声器所处的第三位置；根据第一位置和第二位置确定目标对象相对于第一位置的第一位置关系，以及根据第一位置和第三位置确定每个扬声器相对于第一位置的第二位置关系；基于第一和第二位置关系将与目标对象对应的目标音频数据处理为第一音频信号，其中，第一音频信号与扬声器组中的目标扬声器对应；根据第一音频信号与目标扬声器的对应关系，发送第一音频信号至目标扬声器。本申请解决了用户观看视频终端播放的视频时感知到声音和发声对象的空间方向不一致的技术问题。不一致的技术问题。不一致的技术问题。


技术研发人员：江建亮
受保护的技术使用者：广州视臻信息科技有限公司
技术研发日：2022.01.07
技术公布日：2023/7/21