一种空间音频数据输出方法和电子设备与流程

未命名 08-22 阅读:87 评论:0


1.本技术涉及音频领域,特别涉及一种空间音频数据输出方法和电子设备。


背景技术:

2.近年来,空间音频技术的发展逐渐成为音频领域关注的热点,声音在真实空间或虚拟空间中的空间感和立体感是所有空间音频技术不断追求的目标。
3.在虚拟现实场景中,在使用空间音频算法,对音频数据和位姿数据进行处理,生成空间音频数据时,需要获取声源和听者的位置信息。目前,在获取声源和听者的位置信息时,会造成音效变化的延迟和不连贯的现象。


技术实现要素:

4.本技术实施例提供一种空间音频数据输出方法和电子设备,可以保证音效的连贯变化,减小延迟现象。
5.第一方面,本技术实施例提供了一种空间音频数据输出方法,所述方法包括:
6.基于音频数据的采样参数,确定目标位姿数据的获取频率;
7.在基于所述获取频率确定的每个时刻,获取目标位姿数据,并基于所述音频数据和所述目标位姿数据,输出空间音频数据;相邻两个时刻之间的时间长度用于表征所述获取频率;所述目标位姿数据是根据通过传感器采集的真实位姿数据确定的。
8.第二方面,本技术实施例提供一种空间音频数据输出装置,所述装置包括:
9.确定单元,基于音频数据的采样参数,确定目标位姿数据的获取频率;
10.输出单元,在基于所述获取频率确定的每个时刻,获取目标位姿数据,并基于所述音频数据和所述目标位姿数据,输出空间音频数据;相邻两个时刻之间的时间长度用于表征所述获取频率;所述目标位姿数据是根据通过传感器采集的真实位姿数据确定的。
11.第三方面,本技术实施例提供一种电子设备,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,当所述计算机程序被所述处理器执行时,实现第一方面所述的方法。
12.第四方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现第一方面所述的方法。
13.本技术实施例提供了一种空间音频数据输出方法和电子设备,可以基于获取到的音频数据的采样参数,确定目标位姿数据的获取频率;基于获取频率确定的每个时刻,获取目标位姿数据,并基于音频数据和目标位姿数据,输出空间音频数据;其中,相邻两个时刻之间的时间长度可以用于表征获取频率;目标位姿数据是根据通过传感器采集的真实位姿数据确定的。通过该方法,可以使音频数据和目标位姿数据的获取频率保持一致,从而可以保证音效的连贯变化,减少音效变化的延迟现象。
附图说明
14.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
15.图1为本技术实施例提供的一种空间音频数据输出方法的应用场景图;
16.图2为本技术实施例提供的一种空间音频数据输出方法的流程示意图;
17.图3为本技术实施例提供的一种输出目标位姿数据的示意图;
18.图4为本技术实施例提供的一种输出目标位姿数据的示意图;
19.图5为本技术实施例提供的一种空间音频数据输出方法的流程示意图;
20.图6为本技术实施例提供的一种获取目标位姿数据的流程示意图;
21.图7为本技术实施例提供的一种空间音频数据输出装置的结构框图;
22.图8为本技术实施例提供的一种电子设备的结构框图。
具体实施方式
23.为使本技术的目的、实施方式和优点更加清楚,下面将结合本技术示例性实施例中的附图,对本技术示例性实施方式进行清楚、完整地描述,显然,所描述的示例性实施例仅是本技术一部分实施例,而不是全部的实施例。
24.基于本技术描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术所附权利要求保护的范围。此外,虽然本技术中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
25.此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
26.图1示例性示出了本技术实施例提供的一种空间音频数据输出方法的应用场景图。如图1所示,在虚拟现实场景中,扬声器101和扬声器102为声音播放器,103为听者对应的虚拟角色,虚拟角色与听者的位姿保持一致,例如,在虚拟影院中,当听者的头部向右转动时,虚拟角色103的头部也向右转动;其中,扬声器101和扬声器102也可以为除虚拟角色103以外的其他虚拟角色对应的听者的声音播放器,例如,在虚拟影院中,扬声器101可以为电影的声音播放器,扬声器102可以为除虚拟角色103以外的其他虚拟角色的声音播放器,其中,虚拟角色发出的声音即为该虚拟角色对应的听者发出的声音。
27.音频设备可以获取到扬声器101和扬声器102的音频数据,并根据声音的位置信息和虚拟角色103的位姿信息,可以确定出声源和虚拟角色103在虚拟空间中的相对空间位置,并基于该相对空间位置和获取到的音频数据,生成空间音频数据,并通过音频设备将空间音频数据播放给虚拟角色103对应的听者。
28.近年来,空间音频技术的发展逐渐成为音频领域关注的热点,声音在真实空间或虚拟空间中的空间感和立体感是所有空间音频技术不断追求的目标。在虚拟空间中,在使用空间音频算法,对音频数据和位姿数据进行处理,生成空间音频数据时,需要获取声源和
听者的位置信息。目前,在获取声源和听者的位置信息时,会造成空间音效变化的延迟和不连贯的现象。
29.基于此,本技术实施例提供了一种空间音频数据输出方法和电子设备,可以基于获取到的音频数据,确定出目标位姿数据的获取频率;按照确定的获取频率,在每次确定目标位姿数据时,若检测到新的真实位姿数据,则将真实位姿数据作为目标位姿数据,并将目标位姿数据存储至位姿预测数组中;若没有检测到新的真实位姿数据,则可以根据位姿预测数组中保存的数据,生成目标位姿数据,并将目标位姿数据存储至位姿预测数组中;最后基于音频数据和目标位姿数据,生成空间音频数据,并输出该空间音频数据。通过该方法,在有真实位姿数据生成时,可以根据真实位姿数据和音频数据生成对应的空间音频数据,在没有真实位姿数据生成时,可以根据位姿预测数组中的数据进行预测,生成目标位姿数据,并根据目标位姿数据和音频数据生成对应的空间音频数据,可以保证音效的连贯变化,减少音效变化的延迟现象。
30.为进一步说明本技术实施例提供的技术方案,下面结合附图以及具体实施方式对此进行详细的说明。虽然本技术实施例提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本技术实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时,可按照实施例或者附图所示的方法顺序执行或者并执行。
31.为了便于理解,下文通过具体实施例对本技术提供的一种空间音频数据输出方法进行详细说明,图2示出了一种空间音频数据输出方法的流程图。如图2所示,该方法可以包括如下步骤:
32.步骤s201,基于音频数据的采样参数,确定目标位姿数据的获取频率。
33.在一种可选的实施方式中,采样参数可以为音频数据的音频解码速度和音频缓冲区的大小,即可以根据音频数据的音频解码速度和音频缓冲区的大小,确定目标位姿数据的获取频率。
34.具体地,在获取到音频设备针对任一音频数据的音频解码速度和音频缓冲区的大小后,可以根据获取到的音频解码速度和音频缓冲区的大小确定出空间音频算法的采样频率,其中,空间音频算法是指根据音频数据和音频数据对应的目标位姿数据生成空间音频数据的算法。在确定出空间音频算法的采样频率后,可以根据该采样频率确定目标位姿数据的获取频率。
35.示例性地,在一种实施例中,假设根据获取到的音频解码速度和音频缓冲区的大小确定出空间音频算法的计算频率为每10ms计算一次,即每10ms就需要根据音频数据和音频数据对应的目标位姿数据生成一次空间音频数据,因此,每10ms就需要获取一个目标位姿数据,即目标位姿数据的获取频率为100hz。
36.在另一种实施例中,采样参数可以为音频数据的采样率,位深和封装格式等参数,采样参数也可以是根据服务器的性能参数确定的。本技术对此不做限定。
37.步骤s202,在基于获取频率确定的每个时刻,获取目标位姿数据,并基于音频数据和目标位姿数据,输出空间音频数据。
38.其中,目标位姿数据是根据通过传感器采集的真实位姿数据确定的。在一种可选
的实施方式中,在基于获取频率确定的每个时刻,获取目标位姿数据时,若检测到新的真实位姿数据输入,则将真实位姿数据作为目标位姿数据;并将目标位姿数据存储至位姿预测数组中;若没有检测到新的真实位姿数据输入,则根据位姿预测数组中的数据,生成目标位姿数据,并将目标位姿数据存储至位姿预测数组中。其中,相邻两个时刻之间的时间长度用于表征获取频率,例如,当获取频率为100hz时,相邻两个时刻之间的时间长度为获取频率的倒数0.01s,也就是10ms,即音频设备每间隔10ms获取一次目标位姿数据,假设音频设备在t时刻获取了一个目标位姿数据,则音频数据在t+10ms时获取下一个目标位姿数据。
39.通过步骤s201对目标位姿数据的获取频率进行设置后,可以在基于获取频率确定的每个时刻,获取目标位姿数据。在一种可选的实施方式中,每次接收到传感器采集的真实位姿数据,可以将真实位姿数据保存在寄存器中。在每个时刻,可以先检测寄存器中是否有新的真实位姿数据。若寄存器中存储有新的真实位姿数据,则将真实位姿数据作为目标位姿数据,并将该目标位姿数据存储至位姿预测数组中;若寄存器中没有新的真实位姿数据,则可以根据位姿预测数组中的数据,生成目标位姿数据,并将该目标位姿数据存储至位姿预测数组中。
40.在一种可选的实施方式中,真实位姿数据可以包括声源位置数据和人体位姿数据,声源位置数据可以通过声源传感器获取,3d引擎为一种可选的声源传感器,例如unity、unreal等进行实时获取,具体地,可以将声源位置转换为以听者在虚拟现实场景中对应的虚拟角色的头部位置为坐标原点的相对位置,基于hrtf算法和多普勒效应,实现对声源位置数据的实时获取。人体位姿数据用于表征听者头部的位置信息和姿态,可以通过位姿传感器,例如,激光定位、陀螺仪等感应器对听者进行头部追踪,结合头部追踪算法,例如,slam算法和hrtf算法,实现对人体位姿数据的实时获取,在获取到声源位置数据和人体位姿数据后,可以将声源位置数据和人体位姿数据存储至位姿信息缓存区中,并根据位姿信息缓存区中的数据,计算出听者和声源的相对空间数据,该相对空间数据即为真实位姿数据,在生成真实位姿数据后,可以将真实位姿数据存储至寄存器中。
41.示例性地,在一种实施例中,假设设置的目标位姿数据的获取频率为100hz,音频设备生成真实位姿数据的频率为60hz,如图3所示,其中,realdata为音频设备按60hz的频率生成的真实位姿数据,outputdata为按100hz的频率获取的目标位姿数据。音频设备生成真实位姿数据realdata_1后,可以将realdata_1存储至寄存器中,当音频设备获取outputdata_1时,检测到寄存器中有存储的真实位姿数据realdata_1,因此,可以将realdata_1作为目标位姿数据,即将realdata_1的值赋值给outputdata_1,输出outputdata_1,并将outputdata_1的值保存至位姿预测数组中。
42.当音频设备输出outputdata_2时,没有检测到寄存器中有存储的新的真实位姿数据,可以根据位姿预测数组中的值进行预测,即基于存储的outputdata_1的值,通过预测算法,例如,基于lstm的移动对象位置预测算法,该算法可以将采集到的用户的位姿数据输入至与预先训练好的lstm模型中,得到目标位姿数据。即通过该算法可以得到outputdata_2,输出outputdata_2,并将outputdata_2的值保存至位姿预测数组中。
43.在一种可选的实施方式中,当音频设备将寄存器中存储的真实位姿数据作为目标位姿数据进行输出,并存储至位姿预测数组中后,可以将该真实位姿数据从寄存器中删除。
44.在一种可选的实施方式中,通过上述方法获取到音频数据和位姿数据后,可以通
过空间音频算法对该音频数据和位姿数据进行音效处理,例如,可以通过傅里叶逆变换等算法对该音频数据和位姿数据进行音效处理,生成有空间音效的音频数据,即空间音频数据,并输出该空间音频数据。
45.在一种可选的实施方式中,可以将位姿预测数组的长度为n;其中,n为大于等于1的正整数;假设位姿预测数组中包含m个数据;m为大于等于1的正整数;若m小于n,则将目标位姿数据作为第m+1个数据存储至位姿预测数组中;若m等于n,则删除位姿预测数组中的第一个数据,并将目标位姿数据作为第m个数据存储至位姿预测数组中。
46.示例性地,在一种实施例中,假设n为5,目标位姿数据的获取频率为100hz,音频设备生成真实位姿数据的频率为60hz,如图4所示,其中,realdata为音频设备按60hz的频率生成的真实位姿数据,outputdata为按100hz的频率获取的目标位姿数据。
47.当音频设备输出outputdata_1时,检测到寄存器中有存储的真实位姿数据realdata_1,因此,可以将realdata_1作为目标位姿数据,即将realdata_1的值赋值给outputdata_1,输出outputdata_1,此时,位姿预测数组中包含0个数据,小于5,因此可以将outputdata_1的值作为第1个数据保存至位姿预测数组中。当音频设备输出outputdata_2时,检测到寄存器中没有存储的真实位姿数据,因此,可以根据位姿预测数组中包含的数值进行预测,即基于存储的outputdata_1的值,通过预测算法,得出outputdata_2,并进行输出,此时,位姿预测数组中包含1个数据,小于5,因此可以将outputdata_2的值作为第2个数据保存至位姿预测数组中。
48.当音频设备输出outputdata_6时,检测到寄存器中没有存储的真实位姿数据,因此,可以根据位姿预测数组中包含的数值进行预测,即基于存储的outputdata_1、outputdata_2、outputdata_3、outputdata_4和outputdata_5的值,通过预测算法,得出outputdata_6,并进行输出,此时,位姿预测数组中包含5个数据,等于5,因此可以将位姿预测数组中的第一个数据进行删除,并将剩余4个数据进行前移,即将outputdata_2作为第一个数据,outputdata_3作为第二个数据,outputdata_4作为第三个数据,outputdata_5作为第四个数据,并将outputdata_6的值作为第5个数据保存至位姿预测数组中。
49.在一种可选的实施方式中,位姿预测数组的长度n可以根据确定的目标位姿数据的获取频率进行确定,具体地,位姿预测数组的长度n可以根据预测算法的需要和目标位姿数据的获取频率以及音频设备生成真实位姿数据的频率三者来决定。
50.示例性地,假设根据预测算法、目标位姿数据的获取频率以及音频设备生成真实位姿数据的频率得出通过5个数据就可以进行预测,得出新的目标位姿数据,可以把n设置为5,在保证位姿预测数组中数据的数量足够预测新的目标位姿数据的同时,还可以节省存储空间,不会造成数据冗余。
51.在另一种可选的实施方式中,音频设备可以在基于获取频率确定的每个时刻,依次读取目标位姿获取序列中的数据,作为目标位姿数据。示例性地,音频设备可以按照预设的时间间隔,检测是否接收到新的真实位姿数据,例如,对任意一个当前时刻,若接收到新的真实位姿数据,则将真实位姿数据作为当前时刻对应的位姿数据,存储至目标位姿获取序列中;若没有接收到新的真实位姿数据,则可以根据目标位姿获取序列中当前时刻之前的n个数据,生成预测位姿数据,将预测位姿数据作为当前时刻对应的位姿数据存储至目标位姿获取序列中。其中,预设的时间间隔也可以根据获取频率确定。
52.音频设备在基于获取频率确定的每个时刻,获取目标位姿数据时,可以从目标位姿获取序列中读取目标位姿数据,并基于获取的音频数据和目标位姿数据,生成空间音频数据,并进行输出。
53.在一种可选的实施方式中,当音频设备接收到切换指令时,即从第一段音频切换到第二段音频时,音频设备可以指示该音频设备的各个模块停止输出第一段音频对应的音频数据,因此在该切换过程中,不需要去获取目标位姿数据,同时将音频缓冲区中的存储的与第一段音频相关的音频数据进行清除操作。当接收到第二段音频对应的音频数据时,将第二段音频对应的音频数据存储至音频缓冲区中,并根据第二段音频的音频数据的采样参数,按照上文中记载的方法重新获取目标位姿数据。
54.图5示出了本技术实施例提供的一种空间音频数据输出方法的流程示意图,如图5所示,该方法可以包括以下步骤:
55.步骤s501,获取音频数据;
56.步骤s502,通过音频解码模块将音频数据转化为pcm数据;
57.步骤s503,将pcm数据加入音频信息缓存区中;
58.步骤s504,对音频信息缓存区中的pcm数据进行处理,得到变换后的音频数据;
59.步骤s505,获取目标位姿数据;
60.步骤s506,对变换后的音频数据和目标位姿数据进行音效变化处理;得到空间音频数据;
61.步骤s507,输出空间音频数据。
62.图6示出了本技术实施例提供的一种获取目标位姿数据的流程示意图,如图6所示,该方法可以包括以下步骤:
63.步骤s601,获取音频解码速度和音频缓冲区的大小;
64.步骤s602,根据音频解码速度和音频缓冲区的大小确定目标位姿数据的获取频率;
65.步骤s603,根据目标位姿数据的获取频率确定预测依据数组的长度n;
66.步骤s604,获取声源位置数据和人体位姿数据;
67.步骤s605,根据声源位置数据和人体位姿数据,生成真实位姿数据,并存储至寄存器中;
68.步骤s606,在按照目标位姿数据的获取频率,获取目标位姿数据的过程中,判断寄存器中是否有真实位姿数据;若是,则执行步骤s607;若否,则执行步骤s608;
69.步骤s607,将真实位姿数据作为目标位姿数据;
70.步骤s608,判断预测依据数组中是否有数据;若是,则执行步骤s609;若否,则执行步骤s610;
71.步骤s609,根据预测依据数组中的数据,生成目标位姿数据;
72.步骤s610,等待数据填充;
73.步骤s611,获取目标位姿数据,并将目标位姿数据存储至预测依据数组中。
74.步骤s612,判断预测依据数组中的数据长度m是否小于n;若是,则执行步骤s613;若否,则执行步骤s614;
75.步骤s613,将目标位姿数据作为第m+1个数据存储至预测依据数组中;
76.步骤s614,删除预测依据数组中的第一个数据,将剩余n-1个数据依次前移,并将目标位姿数据作为第n个数据存储至预测依据数组中。
77.基于同一发明构思,本技术实施例中还提供了一种空间音频数据输出装置,如图7所示,该空间音频数据输出装置包括确定单元701和输出单元702。
78.确定单元701,基于音频数据的采样参数,确定目标位姿数据的获取频率;
79.输出单元702,在基于所述获取频率确定的每个时刻,获取目标位姿数据,并基于所述音频数据和所述目标位姿数据,输出空间音频数据;相邻两个时刻之间的时间长度用于表征所述获取频率;所述目标位姿数据是根据通过传感器采集的真实位姿数据确定的。
80.在一种可能的实施方式中,所述确定单元701,具体用于:
81.基于所述音频数据的音频解码速度和音频缓冲区的大小,确定所述目标位姿数据的获取频率。
82.在一种可能的实施方式中,所述输出单元702,具体用于:
83.在每个时刻,若检测到新的真实位姿数据,则将所述真实位姿数据作为所述目标位姿数据,并将所述目标位姿数据存储至位姿预测数组中;
84.若没有检测到新的真实位姿数据,则根据位姿预测数组中保存的数据,生成目标位姿数据,并将所述目标位姿数据存储至位姿预测数组中。
85.在一种可能的实施方式中,所述位姿预测数组的长度为n;所述n为大于等于1的正整数;所述输出单元702,还可以用于:
86.所述位姿预测数组中包含m个数据;所述m为大于等于1的正整数;
87.若所述m小于n,则将所述目标位姿数据作为第m+1个数据存储至所述位姿预测数组中;
88.若所述m等于n,则删除所述位姿预测数组中的第一个数据,并将所述目标位姿数据作为第m个数据存储至所述位姿预测数组中。
89.在一种可能的实施方式中,所述n的值是根据所述目标位姿数据的获取频率确定的。
90.在一种可能的实施方式中,所述传感器包括声源传感器和人体传感器;所述真实位姿数据根据声源位置数据和人体位姿数据生成的;所述声源位置数据是通过声源传感器获取的;所述人体位姿数据是通过人体传感器获取的。
91.在一种可能的实施方式中,所述声源位置数据用于表征声源与听者的相对空间位置。
92.在一种可能的实施方式中,所述人体位姿数据用于表征听者头部的位置信息。
93.在一种可能的实施方式中,所述装置还包括处理单元,所述处理单元具体用于:
94.每次获取到新的真实位姿数据,将所述真实位姿数据保存至寄存器中;
95.每次将所述真实位姿数据作为所述目标位姿数据之后,将所述寄存器清空;
96.在每次确定所述目标位姿数据时,通过检测所述寄存器是否为空,确定是否检测到新的真实位姿数据。
97.基于同一发明构思,本技术实施例还提供了一种电子设备,该电子设备可以包括中央处理器(center processing unit,cpu)、存储器、输入/输出设备等。
98.存储器,可以包括只读存储器(rom)和随机存取存储器(ram),并向处理器提供存
储器中存储的程序指令和数据。在本技术实施例中,存储器可以用于存储基于几何的三维模型拼接方法的程序指令;处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行基于几何的三维模型拼接方法。
99.如图8所示,为本技术实施例提供的一种电子设备的示意图,该电子设备包括:
100.处理器801、存储器802、收发器803、总线接口804;其中,处理器801、存储器802与收发器803之间通过总线805连接;
101.所述处理器801,用于读取所述存储器802中的程序,执行上述空间音频数据输出方法;
102.处理器801可以是中央处理器(central processing unit,简称cpu),网络处理器(network processor,简称np)或者cpu和np的组合。还可以是硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,简称asic),可编程逻辑器件(programmable logic device,简称pld)或其组合。上述pld可以是复杂可编程逻辑器件(complex programmable logic device,简称cpld),现场可编程逻辑门阵列(field-programmable gate array,简称fpga),通用阵列逻辑(generic array logic,简称gal)或其任意组合。
103.所述存储器802,用于存储一个或多个可执行程序,可以存储所述处理器801在执行操作时所使用的数据。
104.具体地,程序可以包括程序代码,程序代码包括计算机操作指令。存储器802可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,简称ram);存储器802也可以包括非易失性存储器(non-volatile memory),例如快闪存储器(flash memory),硬盘(hard disk drive,简称hdd)或固态硬盘(solid-state drive,简称ssd);存储器802还可以包括上述种类的存储器的组合。
105.存储器802存储了如下的元素,可执行模块或者数据结构,或者它们的子集,或者它们的扩展集:
106.操作指令:包括各种操作指令,用于实现各种操作。
107.操作系统:包括各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。
108.总线805可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
109.总线接口804可以为有线通信接入口,无线总线接口或其组合,其中,有线总线接口例如可以为以太网接口。以太网接口可以是光接口,电接口或其组合。无线总线接口可以为wlan接口。
110.基于同一发明构思,本技术实施例中还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现上述任一项空间音频数据输出方法。
111.本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
112.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
113.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
114.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
115.显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。

技术特征:
1.一种空间音频数据输出方法,其特征在于,所述方法包括:基于音频数据的采样参数,确定目标位姿数据的获取频率;在基于所述获取频率确定的每个时刻,获取目标位姿数据,并基于所述音频数据和所述目标位姿数据,输出空间音频数据;相邻两个时刻之间的时间长度用于表征所述获取频率;所述目标位姿数据是根据通过传感器采集的真实位姿数据确定的。2.根据权利要求1所述的方法,其特征在于,所述基于音频数据的采样参数,确定目标位姿数据的获取频率,包括:基于所述音频数据的音频解码速度和音频缓冲区的大小,确定所述目标位姿数据的获取频率。3.根据权利要求1所述的方法,其特征在于,所述获取目标位姿数据,包括:在每个时刻,若检测到新的真实位姿数据,则将所述真实位姿数据作为所述目标位姿数据,并将所述目标位姿数据存储至位姿预测数组中;若没有检测到新的真实位姿数据,则根据位姿预测数组中保存的数据,生成目标位姿数据,并将所述目标位姿数据存储至位姿预测数组中。4.根据权利要求3所述的方法,其特征在于,所述位姿预测数组的长度为n;所述n为大于等于1的正整数;所述将所述目标位姿数据存储至位姿预测数组中,包括:所述位姿预测数组中包含m个数据;所述m为大于等于1的正整数;若所述m小于n,则将所述目标位姿数据作为第m+1个数据存储至所述位姿预测数组中;若所述m等于n,则删除所述位姿预测数组中的第一个数据,并将所述目标位姿数据作为第m个数据存储至所述位姿预测数组中。5.根据权利要求4所述的方法,其特征在于,所述n的值是根据所述目标位姿数据的获取频率确定的。6.根据权利要求1所述的方法,其特征在于,所述传感器包括声源传感器和位姿传感器;所述真实位姿数据根据声源位置数据和人体位姿数据生成的;所述声源位置数据是通过声源传感器获取的;所述人体位姿数据是通过位姿传感器获取的。7.根据权利要求6所述的方法,其特征在于,所述声源位置数据用于表征声源与听者的相对空间位置。8.根据权利要求6所述的方法,其特征在于,所述人体位姿数据用于表征听者头部的位置信息和姿态。9.根据权利要求3所述的方法,其特征在于,所述方法还包括:每次获取到新的真实位姿数据,将所述真实位姿数据保存至寄存器中;每次将所述真实位姿数据作为所述目标位姿数据之后,将所述寄存器清空;在每次确定所述目标位姿数据时,通过检测所述寄存器是否为空,确定是否检测到新的真实位姿数据。10.一种电子设备,其特征在于,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,当所述计算机程序被所述处理器执行时,实现权利要求1~9中任一项所述的方法。

技术总结
本申请提供一种空间音频数据输出方法和电子设备,涉及音频领域。其中,音频设备可以基于获取到的音频数据的采样参数,确定目标位姿数据的获取频率;基于获取频率确定的每个时刻,获取目标位姿数据,并基于音频数据和目标位姿数据,输出空间音频数据;其中,相邻两个时刻之间的时间长度可以用于表征获取频率;目标位姿数据是根据通过传感器采集的真实位姿数据确定的。通过该方法,可以使音频数据和目标位姿数据的获取频率保持一致,从而可以保证音效的连贯变化,减少音效变化的延迟现象。减少音效变化的延迟现象。减少音效变化的延迟现象。


技术研发人员:郭红
受保护的技术使用者:海信视像科技股份有限公司
技术研发日:2022.02.08
技术公布日:2023/8/21
版权声明

本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

航空之家 https://www.aerohome.com.cn/

飞机超市 https://mall.aerohome.com.cn/

航空资讯 https://news.aerohome.com.cn/

分享:

扫一扫在手机阅读、分享本文

相关推荐