音频处理方法、系统、设备及计算机可读存储介质与流程

1.本发明涉及空间音频技术领域，尤其涉及一种音频处理方法、系统、设备及计算机可读存储介质。


背景技术：

2.空间音频技术是指在传输音频数据的过程中，同时传输音频数据产生源的空间信息，在播放音频数据时，利用与音频数据对应的空间信息为用户营造三维空间效果，以使用户产生身临其境的听觉体验，空间信息主要是由耳机内部imu单元(惯性测量单元)测出头部姿态信息确定。
3.在相关技术中，一般由单侧耳机集成imu单元，单侧耳机基于imu单元获取的头部姿态信息后，通过蓝牙传给另一侧耳机，另一侧耳机再基于收到头部姿态信息后再处理得到音频数据对应的空间信息。但这样会导致另一侧耳机得到的空间信息出现时延，导致两侧耳机在同一时刻播放的音频数据不对应，使得双耳听感差异较大。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供一种音频处理方法、系统、设备及计算机可读存储介质，旨在达成提高不同耳机的听感同步性的效果。
6.为实现上述目的，本发明提供一种音频处理方法，所述音频处理方法包括：
7.获取音频播放设备中部分耳机采集的姿态数据；
8.根据所述姿态数据确定在待播放音频帧播放时的头部姿态数据；
9.根据所述头部姿态数据将所述待播放音频帧处理为音频播放设备中各个耳机的空间音频流；
10.将各所述空间音频流分别发送至对应耳机进行播放。
11.可选地，所述姿态数据包括当前头部姿态数据及所述当前头部姿态数据对应的当前角速度信息和当前加速度信息，所述根据所述姿态数据确定在待播放音频帧播放时的头部姿态数据的步骤包括：
12.根据所述当前头部姿态数据、所述当前角速度信息和所述当前加速度信息确定所述头部姿态数据。
13.可选地，所述根据所述姿态数据确定在待播放音频帧播放时的头部姿态数据的步骤包括：
14.获取所述姿态数据确定对应的修正系数；
15.根据所述修正系数修正所述姿态数据，并基于修正后的姿态数据确定所述头部姿态数据。
16.可选地，所述将各所述空间音频流分别发送至对应耳机进行播放的步骤之后，还
包括：
17.确定所述待播放音频播放时的实际头部姿态数据和所述头部姿态数据之间的差异；
18.根据所述差异更新所述修正系数。
19.可选地，所述姿态数据包括多个不同时间点采集的第一头部姿态数据，所述多个时间点之一为当前时刻，所述根据所述姿态数据确定在待播放音频帧播放时的头部姿态数据的步骤包括：
20.根据多个所述第一头部姿态数据确定用户头部的运动趋势；
21.根据所述运动趋势确定所述头部姿态数据。
22.可选地，所述根据所述头部姿态数据将所述待播放音频帧处理为音频播放设备中各个耳机的空间音频流的步骤包括：
23.根据所述头部姿态数据将所述待播放音频帧处理为多个空间音频流；
24.将多个所述空间音频流混合为各个耳机对应的空间音频流。
25.可选地，所述根据所述头部姿态数据将所述待播放音频帧处理为多个空间音频流的步骤包括：
26.确定所述待播放音频帧对应的待播放音频数据和声道信息；
27.根据所述头部姿态数据和所述声道信息将所述待播放音频渲染为多个所述空间音频流。
28.可选地，所述将所述空间音频流发送至对应耳机进行播放的步骤之后，还包括：
29.接收各个耳机发送的所述耳机对应的所述空间音频流的实际播放时间；
30.根据各个耳机在同一音频帧下对应的实际播放时间，确定下一帧空间音频流发送至对应耳机的发送时间。
31.此外，为实现上述目的，本发明还提供一种音频处理设备，所述音频处理设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音频处理程序，所述音频处理程序被所述处理器执行时实现如上所述的音频处理方法的步骤。
32.此外，为实现上述目的，本发明还提供一种音频处理系统，所述音频处理系统包括音频播放设备以及音频处理设备，所述音频播放设备包括至少两个耳机；
33.所述音频处理设备用于按照如上所述任一项所述的音频处理方法处理得到所述音频播放设备中各耳机对应的空间音频流发送至对应的耳机；
34.所述音频播放设备中的部分耳机用于检测姿态数据并将所述姿态数据发送至音频处理设备，所述音频播放设备中的每个耳机还用于播放接收到的空间音频流。
35.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有音频处理程序，所述音频处理程序被处理器执行时实现如上所述的音频处理方法的步骤。
36.本发明提出的一种音频处理方法，该方法通过音频播放设备的部分耳机采集的姿态数据，确定待播放音频帧播放时的头部姿态数据，并根据头部姿态数据对待播放音频帧进行处理，得到的各个耳机需要播放的空间音频流。这样在部分耳机可以采集姿态数据的情况下，其他耳机无需接收部分耳机发送的姿态数据后，再对当前音频帧进行处理。而是均基于待播放音频帧播放时的头部姿态数据对待播放音频帧进行处理，使得各个耳机播放的
空间音频流的时间差异减小，从而降低了不同耳机的播音差异，提高了不同耳机的听感同步性。
附图说明
37.图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
38.图2为本发明音频处理方法的一实施例的流程示意图；
39.图3为本发明音频处理方法的另一实施例的流程示意图；
40.图4为本发明实施例涉及的音频处理系统架构示意图。
41.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
42.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
43.由于在相关技术中，一般由单侧耳机集成imu单元，单侧耳机基于imu单元获取的头部姿态信息后，通过蓝牙传给另一侧耳机，另一侧耳机再基于收到头部姿态信息后再处理得到音频数据对应的空间信息。但这样会导致另一侧耳机得到的空间信息出现时延，导致两侧耳机在同一时刻播放的音频数据不对应，使得双耳听感差异较大。
44.为了提高不同耳机的听感同步性，本发明实施例提出一种音频处理方法、系统、设备及计算机可读存储介质，其中，所述方法的主要步骤包括：
45.获取音频播放设备中部分耳机采集的姿态数据；
46.根据所述姿态数据确定在待播放音频帧播放时的头部姿态数据；
47.根据所述头部姿态数据将所述待播放音频帧处理为音频播放设备中各个耳机的空间音频流；
48.将各所述空间音频流分别发送至对应耳机进行播放。
49.这样在部分耳机可以采集姿态数据的情况下，均基于待播放音频帧播放时的头部姿态数据对待播放音频帧进行处理，使得各个耳机播放的空间音频流的时间差异减小，从而降低了不同耳机的播音差异，提高了不同耳机的听感同步性。
50.以下结合附图对本发明权利要求要求保护的内容进行详细说明。
51.如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
52.本发明实施例终端可以是音频处理设备，例如手机、平板、电脑等终端设备、虚拟现实设备、增强现实设备等头戴设备。
53.如图1所示，该终端可以包括：处理器1001，例如cpu，存储器1003，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。存储器1003可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1003可选的还可以是独立于前述处理器1001的存储装置。
54.本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
55.如图1所示，作为一种计算机存储介质的存储器1003中可以包括操作系统以及音频处理程序。
56.在图1所示的终端中，处理器1001可以用于调用存储器1003中存储的音频处理程
序，并执行以下操作：
57.获取音频播放设备中部分耳机采集的姿态数据；
58.根据所述姿态数据确定在待播放音频帧播放时的头部姿态数据；
59.根据所述头部姿态数据将所述待播放音频帧处理为音频播放设备中各个耳机的空间音频流；
60.将各所述空间音频流分别发送至对应耳机进行播放。
61.进一步地，处理器1001可以调用存储器1003中存储的音频处理程序，还执行以下操作：
62.根据所述当前头部姿态数据、所述当前角速度信息和所述当前加速度信息确定所述头部姿态数据。
63.进一步地，处理器1001可以调用存储器1003中存储的音频处理程序，还执行以下操作：
64.获取所述姿态数据确定对应的修正系数；
65.根据所述修正系数修正所述姿态数据，并基于修正后的姿态数据确定所述头部姿态数据。
66.进一步地，处理器1001可以调用存储器1003中存储的音频处理程序，还执行以下操作：
67.确定所述待播放音频播放时的实际头部姿态数据和所述头部姿态数据之间的差异；
68.根据所述差异更新所述修正系数。
69.进一步地，处理器1001可以调用存储器1003中存储的音频处理程序，还执行以下操作：
70.根据多个所述第一头部姿态数据确定用户头部的运动趋势；
71.根据所述运动趋势确定所述头部姿态数据。
72.进一步地，处理器1001可以调用存储器1003中存储的音频处理程序，还执行以下操作：
73.根据所述头部姿态数据将所述待播放音频帧处理为多个空间音频流；
74.将多个所述空间音频流混合为各个耳机对应的空间音频流。
75.进一步地，处理器1001可以调用存储器1003中存储的音频处理程序，还执行以下操作：
76.确定所述待播放音频帧对应的待播放音频数据和声道信息；
77.根据所述头部姿态数据和所述声道信息将所述待播放音频渲染为多个所述空间音频流。
78.进一步地，处理器1001可以调用存储器1003中存储的音频处理程序，还执行以下操作：
79.接收各个耳机发送的所述耳机对应的所述空间音频流的实际播放时间；
80.根据各个耳机在同一音频帧下对应的实际播放时间，确定下一帧空间音频流发送至对应耳机的发送时间。
81.以下，通过具体示例性方案对本发明权利要求要求保护的内容，进行解释说明，以
便本领域技术人员更好地理解本发明权利要求的保护范围。可以理解的是，以下示例性方案不对本发明的保护范围进行限定，仅用于解释本发明。
82.示例性地，参照图2，在本发明音频处理方法的一实施例中，所述音频处理方法包括以下步骤：
83.步骤s10、获取音频播放设备中部分耳机采集的姿态数据；
84.在本实施例中，执行音频处理方法的主体可以是音频处理设备，音频处理设备可以是音频播放设备中采集姿态数据的部分耳机，也可以是与音频播放设备连接的其他渲染设备，例如终端设备。音频播放设备可以包括至少两个耳机，耳机可以用于播放空间音频的播音设备，例如tws(true wireless stereo真正无线立体声)耳机。
85.需要说明的是，本实施例中的耳机大多数情况下是指佩戴于用户左耳或右耳的可以播放空音频的播音设备，但是本实施中的耳机还可以是指佩戴于用户头部上的可以播放空音频的播音设备，并不局限于佩戴在用户耳部的播音设备。例如对于一些虚拟现实设备来说，为了获得更好的空间播音效果，会在虚拟显示设备的多个方位上设置播音设备。因而，随着用户头部运动的可以播放空间音频的播音设备，均可以作为本实施例中的耳机。
86.音频播放设备中的多个耳机可以播放空间音频流，实现空间播音效果。而空间播音效果与用户头部姿态有关，因此对待播放音频帧进行处理时，需要获取对应时刻用户的头部姿态数据对待播放音频帧进行处理，以得到对应时刻的空间音频流。耳机会佩戴于用户的头部或耳部，因此耳机中可以设置姿态数据采集模块，用于采集用户头部的姿态数据。出于成本、产品体积等因素的考虑，可以只在音频播放设备中的部分耳机上设置姿态数据采集模块，一般在单个耳机设置姿态数据采集模块，获取音频播音设备中单个耳机采集的姿态数据。
87.可选地，姿态数据采集模块可以采集用户头部的姿态信息、角速度信息和加速度信息，姿态数据采集模块可以是惯性测量单元。惯性测量单元可以实现检测同一时刻的姿态信息、角速度信息和加速度信息，从而节省计算消耗。
88.可选地，音频播放设备的部分可以间隔预设时间或者实时检测当前用户头部的姿态数据，然后可以将当前采集到的姿态数据或者连续采集到的姿态数据发送给音频处理设备。
89.可选地，音频播放设备中任意一个耳机上包括姿态数据采集模块，获取音频播放设备中任意一个耳机采集的姿态数据。
90.步骤s20、根据所述姿态数据确定在待播放音频帧播放时的头部姿态数据；
91.在本实施例中，音频播放设备中部分耳机采集到的姿态数据可以是用户头部的姿态数据，根据采集的姿态数据确定在待播放音频帧播放时的头部姿态数据，待播放音频帧包括在固定时间或固定时间段内的待播放音频数据。
92.可选地，由于姿态数据也是用户头部的姿态数据，那么在姿态数据的采集时间和待播放音频帧的播放时间的间隔非常小的情况下，可以将姿态数据作为待播放音频帧播放时的头部姿态数据，以简化计算流程。但是由于待播放音频帧的播放仍是未发生的事件，直接将姿态数据作为待播放音频帧播放时的头部姿态数据仍然可能会存在一定的差异，那么可以通过部分耳机采集的姿态数据预测在待播放音频帧播放时的头部姿态数据，以提高播放的空间音频流时头部姿态和空间音频流的匹配性，减少播音误差。
93.步骤s30、根据所述头部姿态数据将所述待播放音频帧处理为音频播放设备中各个耳机的空间音频流；
94.在本实施例中，空间音频流是在能够给用户带来空间位置感知的音频数据。用户在听到空间音频流播放时，可以确定空间音频流对应的音源位置，需要根据头部姿态信息确定待播放音频帧对应音源位置与用户头部的相对位置关系，从而才能基于这个相对位置关系对待播放音频帧进行处理，得到具有准确空间位置感知的空间音频流。
95.步骤s40、将各所述空间音频流分别发送至对应耳机进行播放。
96.在本实施例中，待播放音频帧可能存在有多个不同音源位置的音频数据，需要将这种音频数据分别处理为多个不同听感位置的空间音频流。由于这些空间音频流对应的听感位置不同，而多个耳机相对于用户头部的位置也不相同，需要根据空间音频流对应的听感位置确定要播放该空间音频流的耳机，例如在用户头部左侧对应的空间音频流发送给用户头部左侧，在用户头部右侧对应的空间音频流发送给用户头部右侧。将各个空间音频流分别发送至对应耳机之后，由对应耳机进行播放。
97.在本实施例公开的技术方案中，通过音频播放设备的部分耳机采集的姿态数据，确定待播放音频帧播放时的头部姿态数据，并根据头部姿态数据对待播放音频帧进行处理，得到的各个耳机需要播放的空间音频流。这样仅通过部分耳机采集姿态数据，并均基于待播放音频帧播放时的头部姿态数据对待播放音频帧进行处理，使得各个耳机播放的空间音频流的时间差异减小，从而降低了不同耳机的播音差异，提高了不同耳机的听感同步性。另外，无需在每个耳机上设置采集姿态数据的检测模块，减少检测模块数量，有利于提高听感同步性的同时降低硬件成本。
98.进一步地，所述姿态数据包括当前头部姿态数据及所述当前头部姿态数据对应的当前角速度信息和当前加速度信息，所述根据所述姿态数据确定在待播放音频帧播放时的头部姿态数据的步骤包括：
99.根据所述当前头部姿态数据、所述当前角速度信息和所述当前加速度信息确定所述头部姿态数据。
100.姿态数据可以包括音频播音设备中部分耳机采集的实时的用户头部的姿态数据，也即当前头部姿态数据，音频处理设备可以根据当前采集到的头部姿态数据预测未来的头部姿态数据，包括待播放音频帧播放时的头部姿态数据。确定采集当前头部姿态数据的采集时间，以及用户头部的当前角速度信息和当前加速度信息，再确定采集时间与待播放音频帧播放时的时间差。基于当前加速度信息和当前角速度信息确定这段时间差内用户头部的位移量和转动量，结合当前姿态数据可以预测出待播放音频帧播放时的头部姿态数据。
101.具体地，音频播放设备中部分耳机上可以设置imu单元，imu单元包括加速度传感器、陀螺仪等，可以同时采集用户头部的当前头部姿态数据、当前加速度信息和当前角速度信息。音频处理设备可以获取上述信息，得到待处理音频帧播放时的头部姿态数据。
102.这样通过当前姿态数据、当前角速度信息和当前加速度信息，预测出的头部姿态数据与未来待播放音频帧更匹配，从而提高空间音频流的听感准确性，提高耳机的听感效果。
103.进一步地，所述根据所述姿态数据确定在待播放音频帧播放时的头部姿态数据的步骤包括：
104.获取所述姿态数据确定对应的修正系数；
105.根据所述修正系数修正所述姿态数据，并基于修正后的姿态数据确定所述头部姿态数据。
106.在获取耳机采集的姿态数据是当前头部姿态数据时，可以考虑耳机与音频设备之间的通信时延。耳机将采集到的当前头部姿态数据发送给音频处理设备之后，音频设备会将其作为当前头部姿态数据确定待处理音频帧播放时头部姿态数据，由于通信时延，音频设备认为的当前头部姿态数据并不是当前实际的头部姿态数据，因而可以通过姿态数据对应的修正系数对姿态数据进行修正。其中，由于耳机和音频设备之间的通路一般是固定的。
107.具体地，将姿态数据中的位置数据、角度数据等分离，得到用户头部在三个自由度上(x轴、y轴和z轴)不同方向和不同轴向对应的坐标值和角度值，均乘以修正参数，得到的坐标值和角度值对应保存为修正后的姿态数据。在确定修正参数的过程中，可以通过第三设备等方式确定音频处理设备接收到姿态数据时，耳机采集到的姿态数据，与音频数据设备接收到的以姿态数据进行三个自由度上的坐标值和角度值中至少一对数值的比较，得到至少一个三个自由度上不同方向和不同轴向对应的修正系数。
108.这样使修正后的姿态数据与当前实际的头部姿态数据之间的差异减小，从而得到更准确地待处理音频帧播放时头部姿态数据，从而提高空间音频流的听感准确性，提高耳机的听感效果。
109.进一步地，所述将各所述空间音频流分别发送至对应耳机进行播放的步骤之后，还包括：
110.确定所述待播放音频播放时的实际头部姿态数据和所述头部姿态数据之间的差异；
111.根据所述差异更新所述修正系数。
112.在耳机与音频处理设备是无线连接等情况下，耳机与音频处理设备之间的通路会发生变化，使得通信时延也会发生变化，原有的修正系数可能会失效，需要对修正系数进行更新。具体地，由于预测头部姿态数据是根据受一定时延影响的姿态数据确定的，因而获取待播放音频播放时的实际头部姿态数据，根据待播放音频播放时的实际头部姿态数据和预测时的头部姿态数据之间的差异可以确定新的修正系数，对原有的修正系数进行更新。
113.可选地，可以将耳机上完成两者的比较：在步骤s20之后，音频处理设备在空间音频流播放之前，将确定待播放音频播放时的头部姿态数据发送给耳机，耳机在待播放音频播放时采集实际头部姿态数据，并将其与音频处理设备确定的头部姿态数据进行比较，得到实际头部姿态数据和预测时的头部姿态数据之间的差异，确定方式可以参考上述修正参数的确定方式，并将差异发送给音频处理设备，音频处理设备在确定差异后，对修正系数进行更新。
114.这样通过实际头部姿态数据和预测的头部姿态数据之间的差异对修正系数进行更新，得到更准确地修正系数，使得根据修正后的姿态数据预测的头部姿态数据与实际头部姿态数据更匹配，从而提高空间音频流的听感准确性，提高耳机的听感效果。
115.可选地，所述姿态数据包括多个不同时间点采集的第一头部姿态数据，所述多个时间点之一为当前时刻，所述根据所述姿态数据确定在待播放音频帧播放时的头部姿态数据的步骤包括：
116.根据多个所述第一头部姿态数据确定用户头部的运动趋势；
117.根据所述运动趋势确定所述头部姿态数据。
118.姿态数据可以是多个不同时间点采集的第一头部姿态数据，多个时间点之一为当前时刻。可以在部分耳机采集当前头部姿态数据的同时，采集加速度信息和加速度信息，进而预测待播放音频帧播放时的头部姿态数据，虽然预测速度快，但是如果待播放音频帧播放时间与当前间隔较大时容易出现误差，换句话说，预测范围较小。因而可以由部分耳机在包括当前时刻在内的时间点采集的第一头部姿态数据。
119.具体地，音频播放设备中部分耳机可以设置有陀螺仪，在多个时间点采集第一头部姿态数据，从而可以减小耳机体积和降低成本。根据这些第一头部姿态数据可以在三个自由度的轴向或方向上拟合出用户头部的运动曲线，从当前时刻开始延长运动曲线，该运动曲线的延长可以作为用户头部的运动趋势，运动曲线的延长线表示未来多个时间点和多个头部姿态数据的对应关系，可以将多个待播放音频帧的播放时间代入上述对应关系，得到对应的头部姿态数据，具体得，根据各个可以将可以预测头部姿态数据的预测范围扩大，这样根据运动趋势可以确定多个待播放音频帧播放时的头部姿态数据。
120.这样预测多个待播放音频帧播放时的头部姿态数据，可以快速得到多个待播放音频帧播放时的头部姿态数据，从而快速生成空间音频流，使得播放更连贯。并且部分耳机可以间隔预设数量个时间点向音频处理设备发送最新采集的预设数量个第一头部姿态数据，从而减少了由于姿态数据传输造成的时延，使得运动趋势的预测更准确，预测出的头部姿态数据与未来待播放音频帧播放时更匹配，从而提高空间音频流的听感准确性，提高耳机的听感效果。
121.进一步地，所述根据所述头部姿态数据将待播放音频帧处理为各个耳机的空间音频流的步骤包括：
122.根据所述头部姿态数据将所述待播放音频帧处理为多个空间音频流；
123.将多个所述空间音频流混合为各个耳机对应的空间音频流。
124.在本实施例中，确定空间音频流的方式可以先将根据头部姿态数据将待播放音频帧处理为多个具有不同听感位置的空间音频流，然后将这些空间音频流混合为各个耳机对应的空间音频流。
125.具体地，音频处理设备中包括空间音频算法模块，以及流选择和混合模块，其中，空间音频算法模块根据头部姿态数据处理音频数据，渲染出具有三维空间效果听感的多个空间音频流，并将多个空间音频流发送到流选择和混合模块，流选择和混合模块中包括流选择算法(streamselection)和混合算法(audiomix)，其中，流选择算法先对各个空间音频流进行挑选，根据空间音频流对应的听感位置确定空间音频流对应的播音耳机，将同一耳机待播放的空间音频流进行归类。混合算法将同一个耳机对应的空间音频流进行合并，合并为该耳机对应声道下的空间音频流，并通过无线连接发送给对应的耳机。
126.这样先生成多个空间音频流，再根据耳机对应声道将多个空间音频流混合为耳机对应的空间音频流，可以快速完成数据处理，避免不同耳机对应的空间音频流数量不同，造成各个耳机接收到空间音频流的时间不同的情况，提高不同耳机的听感同步性。
127.进一步地，所述根据所述头部姿态数据将所述待播放音频帧处理为多个空间音频流的步骤包括：
128.确定所述待播放音频帧对应的待播放音频数据和声道信息；
129.根据所述头部姿态数据和所述声道信息将所述待播放音频渲染为多个所述空间音频流。
130.待播放音频帧可以包括多个音源位置不同的待播放音频数据，为了区分不同音源位置，根据音源位置确定传输待播放音频帧中的待播放音频数据的声道。从待播放音频帧中分离出待播放音频数据，并获取待播放音频数据的声道信息，声道信息根据传输待播放音频帧中待播放音频数据的声道确定。然后根据声道信息确定各个待播放音频数据对应的音源位置，根据头部姿态数据和音源位置确定待播放音频数据对应的听感位置，根据听感位置和待播放音频数据生成对应的空间音频流，空间音频流是具有空间效果的待播放音频数据。
131.这样可以快速确定空间音频流，从而减少由于时延产生的听感差异，提高耳机的听感效果。
132.可选地，参照图3，基于上述任一实施例，在本发明音频处理方法的另一实施例中，步骤s40之后，还包括：
133.步骤s50、接收各个耳机发送的所述耳机对应空间音频流的实际播放时间；
134.在本实施例中，音频播放设备中包括至少两个耳机，各个耳机与音频处理设备之间难免存在不同的通信时延。可以调整发送空间音频流至不同耳机的发送时间，以补偿不同耳机通信时延的差异。各个耳机可以记录其播放空间音频流的实际播放时间，然后将实际播放时间反馈给音频处理设备。
135.步骤s60、根据各个耳机在同一音频帧下对应的实际播放时间，确定下一次空间音频流发送至对应耳机的发送时间。
136.音频处理设备在接收到空间音频流的实际播放时间后，根据各个耳机空间音频流中确定同一帧音频流，并确定对应的实际播放时间，然后各个耳机在同一帧音频帧下对应的实际播放时间之间时间差，根据时间差确定下一次待播放的空间音频流发送至对应耳机的发送时间。
137.在本实施例公开的技术方案中，根据各个耳机发送的其空间音频流的实际播放时间，调整下一次空间音频流发送至各个耳机的发送时间，以补偿各个耳机与音频播放设备之间的通信时延，提高不同耳机的听音同步性。
138.可选地，为了提高不同耳机的听感同步性，各个耳机可以分别与音频处理设备直接建立通讯连接。各个耳机都设置有与音频处理设备进行连接的模块，如蓝牙模块。音频播放设备也可以设置一个独立于耳机且与音频处理设备进行连接的模块，再由此模块统一下发至各个耳机。从而进一步减少通信时延，提高不同耳机听感的同步性。
139.此外，本发明实施例还提出一种音频处理设备，所述音频处理设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音频处理程序，所述音频处理程序被所述处理器执行时实现如上各个实施例所述的音频处理方法的步骤。
140.此外，参照图4，本发明实施例还提出一种音频处理系统100，所述音频处理系统100包括音频播放设备10以及音频处理设备20，所述音频播放设备包括至少两个耳机；
141.所述音频处理设备20用于按照如上任意一实时例所述的音频处理方法处理得到所述音频播放设备10中各耳机对应的空间音频流发送至对应的耳机；
142.所述音频播放设备10中的部分耳机用于检测姿态数据并将所述姿态数据发送至音频处理设备20，所述音频播放设备10中的每个耳机还用于播放接收到的空间音频流。
143.此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有音频处理程序，所述音频处理程序被处理器执行时实现如上各个实施例所述的音频处理方法的步骤。
144.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
145.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
146.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得音频处理设备执行本发明各个实施例所述的方法。
147.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种音频处理方法，其特征在于，所述音频处理方法包括：获取音频播放设备中部分耳机采集的姿态数据；根据所述姿态数据确定在待播放音频帧播放时的头部姿态数据；根据所述头部姿态数据将所述待播放音频帧处理为音频播放设备中各个耳机的空间音频流；将各所述空间音频流分别发送至对应耳机进行播放。2.如权利要求1所述的音频处理方法，其特征在于，所述姿态数据包括当前头部姿态数据及所述当前头部姿态数据对应的当前角速度信息和当前加速度信息，所述根据所述姿态数据确定在待播放音频帧播放时的头部姿态数据的步骤包括：根据所述当前头部姿态数据、所述当前角速度信息和所述当前加速度信息确定所述头部姿态数据。3.如权利要求1所述的音频处理方法，其特征在于，所述根据所述姿态数据确定在待播放音频帧播放时的头部姿态数据的步骤包括：获取所述姿态数据确定对应的修正系数；根据所述修正系数修正所述姿态数据，并基于修正后的姿态数据确定所述头部姿态数据。4.如权利要求3所述的音频处理方法，其特征在于，所述将各所述空间音频流分别发送至对应耳机进行播放的步骤之后，还包括：确定所述待播放音频播放时的实际头部姿态数据和所述头部姿态数据之间的差异；根据所述差异更新所述修正系数。5.如权利要求1所述的音频处理方法，其特征在于，所述姿态数据包括多个不同时间点采集的第一头部姿态数据，所述多个时间点之一为当前时刻，所述根据所述姿态数据确定在待播放音频帧播放时的头部姿态数据的步骤包括：根据多个所述第一头部姿态数据确定用户头部的运动趋势；根据所述运动趋势确定所述头部姿态数据。6.如权利要求1所述的音频处理方法，其特征在于，所述根据所述头部姿态数据将所述待播放音频帧处理为音频播放设备中各个耳机的空间音频流的步骤包括：根据所述头部姿态数据将所述待播放音频帧处理为多个空间音频流；将多个所述空间音频流混合为各个耳机对应的空间音频流。7.如权利要求6所述的音频处理方法，其特征在于，所述根据所述头部姿态数据将所述待播放音频帧处理为多个空间音频流的步骤包括：确定所述待播放音频帧对应的待播放音频数据和声道信息；根据所述头部姿态数据和所述声道信息将所述待播放音频渲染为多个所述空间音频流。8.如权利要求1-7任意一项所述的音频处理方法，其特征在于，所述将所述空间音频流发送至对应耳机进行播放的步骤之后，还包括：接收各个耳机发送的所述耳机对应的所述空间音频流的实际播放时间；根据各个耳机在同一音频帧下对应的实际播放时间，确定下一帧空间音频流发送至对应耳机的发送时间。
9.一种音频处理系统，其特征在于，所述音频处理系统包括音频播放设备以及音频处理设备，所述音频播放设备包括至少两个耳机；所述音频处理设备用于按照如权利要求1至8中任一项所述的音频处理方法处理得到所述音频播放设备中各耳机对应的空间音频流发送至对应的耳机；所述音频播放设备中的部分耳机用于检测姿态数据并将所述姿态数据发送至音频处理设备，所述音频播放设备中的每个耳机还用于播放接收到的空间音频流。10.一种音频处理设备，其特征在于，所述音频处理设备上存储有音频处理程序，所述音频处理程序被处理器执行时实现如权利要求1至8中任一项所述的音频处理方法的步骤。11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有音频处理程序，所述音频处理程序被处理器执行时实现如权利要求1至8中任一项所述的音频处理方法的步骤。

技术总结
本发明公开了一种音频处理方法、系统、设备及计算机可读存储介质，其中，所述方法包括：获取音频播放设备中部分耳机采集的姿态数据；根据所述姿态数据确定在待播放音频帧播放时的头部姿态数据；根据所述头部姿态数据将所述待播放音频帧处理为音频播放设备中各个耳机的空间音频流；将各所述空间音频流分别发送至对应耳机进行播放。本发明旨在提高不同耳机的听感同步性。听感同步性。听感同步性。


技术研发人员：蔡智超
受保护的技术使用者：歌尔智能科技有限公司
技术研发日：2023.05.30
技术公布日：2023/8/13