车内声场控制方法、控制系统及设备与流程

车内声场控制方法、控制系统及设备
【技术领域】
1.本发明涉及音声场控制技术领域，尤其涉及一种车内声场控制方法、控制系统及设备。


背景技术：

2.传统车辆绝大部分音箱都缺失动态音场的概念，只是好的音响喇叭，只是带来了更好的音质音色，但要想用户在车内不同位置，可以享受到在当前位置最好的音场体验，一定是要动态调节车内不同喇叭的音量和功率的。比如远一点的喇叭，声音大一点；近一点的喇叭，声音就小一点等。
3.但现有的车内声场控制方法依赖于固定的位置，这些位置信息都是一些预先固定好的参数集合，无法与音场数据使用场景、传感器硬件等多种实际使用因素良好的契合，不能为用户提供沉浸式音效体验。


技术实现要素：

4.为了解决上述技术问题，本发明实施例提供一种根据车内用户位置对音场进行优化，进而使用户获得沉浸式音效体验的车内声场控制方法、系统及设备。
5.为解决上述技术问题，本发明实施例提供以下技术方案：一种车内声场控制方法。
6.该方法包括：
7.获取车内区域用户输入的语音指令；
8.根据所述语音指令，确定所述车内区域用户输入的语音指令的声源位置信息；
9.根据所述语音指令、声源位置信息及播放装置位置信息，控制所述播放装置播放音视频数据。
10.可选地，所述车内区域包括若干个预设的麦克风组成的麦克风阵列；其中，所述确定所述车内区域用户输入的语音指令的声源位置信息包括：
11.获取麦克风阵列中各个麦克风拾音的时间差，计算所述用户与各个麦克风之间的距离差；
12.根据所述距离差，获取所述车内区域用户输入的语音指令的声源位置信息。
13.可选地，所述车内区域包括若干个预设的空间点，所述根据所述距离差，获取所述车内区域用户输入的语音指令的声源位置信息包括：
14.根据所述距离差，确认对应的空间点；
15.获取所述空间点在三维坐标系中的坐标；
16.根据所述坐标确定所述声源位置信息。
17.可选地，该方法还包括：所述根据所述语音指令、声源位置信息及播放装置位置信息，控制所述播放装置播放音视频数据包括：
18.根据所述声源位置信息及播放装置位置信息，确定音场中心；
19.根据所述音场中心控制所述播放装置的播放参数，所述播放参数包括音量及声
压；
20.根据所述语音指令及播放参数控制所述播放装置播放音视频数据。
21.可选地，该方法还包括：
22.识别所述语音指令，根据所述语音指令启动所述播放装置工作。
23.本发明又一实施例提供以下技术方案：一种车内声场控制系统。该控制系统包括：
24.采集单元，所述采集单元包括用于获取车内区域用户输入的语音指令；
25.域控制器，所述域控制器用于根据所述语音指令，确定所述车内区域用户输入的语音指令的声源位置信息；并
26.根据所述语音指令、声源位置信息及播放装置位置信息，控制所述播放装置播放音视频数据。
27.可选地，所述车内区域包括若干个预设的麦克风组成的麦克风阵列；其中，所述域控制器还用于：
28.获取麦克风阵列中各个麦克风拾音的时间差，计算所述用户与各个麦克风之间的距离差；
29.根据所述距离差，获取所述车内区域用户输入的语音指令的声源位置信息。
30.可选地，所述车内区域包括若干个预设的空间点，所述域控制器还用于：
31.根据所述距离差，确认对应的空间点；
32.获取所述空间点在三维坐标系中的坐标；
33.根据所述坐标确定所述声源位置信息。
34.可选地，所述域控制器还用于：
35.根据所述声源位置信息及播放装置位置信息，确定音场中心；
36.根据所述音场中心控制所述播放装置的播放参数，所述播放参数包括音量及声压；
37.根据所述语音指令及播放参数控制所述播放装置播放音视频数据。
38.可选地，所述控制系统还包括语音识别装置，所述语音识别装置还用于：
39.识别所述语音指令，根据所述语音指令启动所述播放装置工作。
40.本发明又一实施例提供以下技术方案：一种非易失性计算机可读存储介质。所述非易失性计算机可读存储介质存储有可执行计算机程序指令，所述可执行计算机程序指令被调用时，执行如上所述的控制方法。
41.本发明又一实施例提供以下技术方案：一种控制设备。该控制设备包括：处理器以及与所述处理器通信连接的存储器；所述存储器内存储有计算机可执行程序指令，所述计算机可执行程序指令被调用时，以使所述处理器执行如上所述的控制方法，获得车内空间动态音场控制效果。
42.与现有技术相比较，本发明实施例提供的车内声场控制方法通过识别车内用户输入的语音指令，并根据语音指令确定声源位置信息，以实现根据车内用户的具体位置自动生成具有空间音频效果的音视频数据，可为用户提供较好的沉浸式音频体验效果。
【附图说明】
43.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说
明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
44.图1为本发明实施例提供的声场控制系统的结构示意图；
45.图2为本发明实施例提供的声场控制设备的结构示意图；
46.图3为本发明实施例提供的声场控制方法的方法流程图；
47.图4为本发明实施例提供的用户所在空间点在车内区域平面的投影示意图。
【具体实施方式】
48.为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
49.除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
50.此外，下面所描述的本发明不同实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
51.空间音频是指具有空间感的音频，其着重于对声波、声源、声场等特性的可量化的表述；空间音频所产生的播放效果可简称为空间音频效果，即空间音频效果是指具有空间感的音频播放效果。所谓的具有空间感的含义是指：可给用户营造一种多种声音从用户的不同方位传出的感觉；后续所提及的具备空间音频效果的含义则是指：音频数据所表达出的位置，与用户的空间位置对应。例如基于声道的空间音频，此类空间音频可通过不同的声道产生空间音频效果。此类空间音频通常涉及环绕声技术，所谓的环绕声技术是用来表达空间音频的一套基础方案；环绕声技术可将环境空间中的音频元素分成若干个声道，配合喇叭摆放的位置和用户所处的位置，为用户模拟出一个符合所表达内容的音频环境，而不只是让用户感受到喇叭的位置。
52.由此，车内声场控制结果主要取决于计算出的用户在车内区域的具体空间位置信息。通过把每个采集点出现的声音(ambisonic，或称声场)尽可能全方位记录下来，在播放时基于用户的观看角度来渲染出对应的音频数据，从而达到空间音频效果的。在此类空间音频的实现过程中，声场需要有专门设备来采集，且该声场至少由4个声道组成，该4个声道包括用于表示环境的三维空间的xyz轴中的各轴所对应的声道，以及用于表示全方向的w轴所对应的声道；并且，需要经过计算转换成能进行旋转处理的声场数据格式来进行编辑和播放。
53.需要说明的是，在本发明实施例中，该声场控制方案也可由服务器和车端共同执
行；服务器和车端通过网络(如有线网络、无线网络等)连接，对此不作限定。例如，可由车端负责获取语音指令，然后将语音指令发送至服务器；由服务器负责对语音指令进行处理获取声源定位信息，并对语音指令进行识别，以及利用识别结果，根据声源定位结果以及语音识别结果构建视频数据的空间音频信息，并通过该空间音频信息、音频数据和播放装置位置信息生成音视频数据，由车端的播放装置播放音视频数据
54.图1为本发明实施例提供的车内声场控制系统。该控制系统具有的其中一个技术效果是能够根据用户的具体空间位置适应性的动态生成空间音频。
55.如图1所示，该控制系统包括：采集装置110，域控制器120，播放装置位置130，以及语音识别装置140。
56.其中，所述采集装置110包括用于采集语音指令的设置于车内区域的若干个预设的麦克风组成的麦克风阵列。
57.具体的，麦克风阵列可以采用任何类型，具有符合使用要求的性能参数的声音采集装置。另外，麦克风阵列的安装位置可依据车内区域的车辆座舱的区域对应设置。
58.在另一些实施例中，采集装置110还可以进一步的增加一些额外的设备或者装置。例如，用于固定和收纳麦克风的固定支架或者控制麦克风设备进行数据采集的触发装置。
59.采集装置110的麦克风阵列在整个控制系统中所处的位置是固定不变的。由此，麦克风阵列中两者之间存在恒定的位置关系，可以通过预先进行的标定过程完成。
60.所述域控制器120与采集装置110连接，用于接收采集获得的语音指令，并对所述麦克风阵列采集的语音指令执行声源定位算法，以计算所述车内区域用户输入的语音指令的声源位置信息。
61.典型的，通过预先进行的标定可以计算获得获取麦克风阵列中各个麦克风拾音的时间差。然后，依据时间差计算所述用户与各个麦克风之间的距离差。车内区域包括若干个预设的空间点，根据所述距离差，确认对应的空间点；获取所述空间点在三维坐标系中的坐标；根据所述坐标确定所述声源位置信息。在本说明书中，车内区域用户输入的语音指令的声源位置信息即为用户在车内对应空间点在三维坐标系中的坐标。
62.所述域控制器120与播放装置位置130连接。其中，可以域控制器120根据所述声源位置信息及播放装置位置130信息，确定音场中心；根据所述音场中心控制所述播放装置130的播放参数，所述播放参数包括音量及声压；根据所述语音指令及播放参数控制所述播放装置130播放音视频数据。
63.在一实施例中，语音识别装置140与播放装置位置130连接，语音识别装置140识别所述语音指令，根据所述语音指令启动所述播放装置130工作。播放装置130包括音响等，但不局限于车内音响，也可以是后装的组合音响硬件，对于前装音响不够好的情况，除了更换车内音响，也可以通过加装智能硬件的方式增加车内的音箱外设，进而提高用户的使用体验。
64.如上所记载的，麦克风阵列之间的相对位置关系是不变的。因此，在采集过程中，采集区域内用户在车内区域所对应的某个特定的空间点在真实的三维立体世界内的具体位置是确定的。
65.应当说明的是，图1所示的控制系统以功能框图为例，详细的描述了本发明实施例提供的采集装置110，域控制器120，以及播放装置位置130和语音识别装置140。本领域技术
人员根据说明书揭露的发明思想以及采集装置110，域控制器120，以及播放装置位置130和语音识别装置140所要执行的步骤和实现的功能，可以根据实际情况的需求(例如芯片功耗、发热的限制、硅片成本或者芯片的体积等)可以选择使用软件、硬件或者软硬件结合的方式实现。例如，使用更多的软件部分可以降低芯片的成本和占用的电路面积，并且便于修改。而使用更多的硬件电路实现可以提高可靠性和运算速度。
66.图2为本发明实施例提供的控制设备的结构框图。本发明实施例的采集装置110，域控制器120，以及播放装置位置130和语音识别装置140可以由所述电子设备所执行。如图2所示，该电子设备20可以包括：处理器21以及存储器22。
67.所述处理器21以及存储器22之间通过总线的方式，建立两者之间的通信连接。
68.处理器21可以为任何类型，具备一个或者多个处理核心的片上电路。其可以执行单线程或者多线程的操作，用于解析指令以执行获取数据、执行逻辑运算功能以及下发运算处理结果等操作。在一些实施例中，处理器21还可以具有若干数据接口，可以配置形成数据输入端或者输出端。
69.存储器22作为一种非易失性计算机可读存储介质，例如至少一个磁盘存储器件、闪存器件、相对于处理器21远程设置的分布式存储设备或者其他非易失性固态存储器件。
70.存储器22可以具有程序存储区，用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，供处理器21调用以使处理器21执行一个或者多个方法步骤，实现采集装置110，域控制器120，以及播放装置位置130和语音识别装置140的功能。存储器22还可以具有数据存储区，用以存储处理器21下发输出的运算处理结果。
71.基于本发明实施例提供的控制系统，本发明实施例还提供了一种车内声场控制方法。该控制方法可以灵活的提供用户位置信息用于进行车内声场控制，动态调整音场中心，为用户提供空间音频体验，突破了现有固定音场所存在的限制。
72.图3为本发明实施例提供的声场控制方法。如图3所示，该方法包括如下步骤：
73.310、获取车内区域用户输入的语音指令。
[0074]“车内区域”具体可以是任何大小或者面积的特定区域。其具体取决于采集车辆三维信息和平面图像。三维信息和平面图像可以分别来自于不同的设备，只需要能够获得采样区域的三维信息和二维图像信息即可。例如，通过预先加载的三维数据和平面图像作为所述车内区域信息。在另一些实施例中，也可以通过服务器远程实时加载更新。
[0075]
具体的，该采样区域具体可以看作若干个空间点组成。相应地，所述三维信息为所述空间点在三维坐标系中的坐标，所述平面图像则由所述采样区域的各个空间点在成像平面上的投影所组成。
[0076]
320、根据所述语音指令，确定所述车内区域用户输入的语音指令的声源位置信息。
[0077]
如图4所示的车内区域平面示意图，车内区域包括若干个预设的麦克风组成的麦克风阵列，在三维系统中的用户所对应的空间点在平面的投影关系可以看到，用户与实际的麦克风阵列各个麦克风位置之间的空间关系(d1，d2)，麦克风位置之间的空间关系，具有相应的几何约束。通过获取麦克风阵列中各个麦克风拾音的时间差，计算所述用户与各个麦克风之间的距离差(d1，d2)，根据所述距离差，获取所述车内区域用户输入的语音指令的声源位置信息。
[0078]
具体的，所述车内区域包括若干个预设的空间点，根据所述距离差，确认对应的空间点；获取所述空间点在三维坐标系中的坐标；根据所述坐标确定所述声源位置信息。
[0079]
在本说明书中，通过一个或者多个标定参数来定义所述空间点的三维信息与在平面图像上的投影位置之间存在的几何约束。该标定参数可以通过预先进行的标定过程，基于一些先验知识而测量确定。具体需要使用的一个或者多个标定参数可以根据实际的采集设备设置情况以及测量方式等所确定。
[0080]
在已知标定参数的情况下，便可以确定三维信息与平面图像之间的对应关系，实现三维信息到平面图像的转换，并最终得到该用户在特定位置(例如某个座舱)的具体坐标。进而，根据所述坐标确定所述声源位置信息。
[0081]
330、根据所述语音指令、声源位置信息及播放装置位置信息，控制所述播放装置播放音视频数据。
[0082]
具体的，根据所述声源位置信息及播放装置位置信息，确定音场中心；根据所述音场中心控制所述播放装置的播放参数，所述播放参数包括音量及声压；根据所述语音指令及播放参数控制所述播放装置播放音视频数据。
[0083]
在一实施例中，识别所述语音指令，根据所述语音指令启动所述播放装置工作。播放装置包括音响等，但不局限于车内音响，也可以是后装的组合音响硬件，对于前装音响不够好的情况，除了更换车内音响，也可以通过加装智能硬件的方式增加车内的音箱外设，进而提高用户的使用体验。
[0084]
本发明实施例提供的车内声场控制方法通过识别车内用户输入的语音指令，并根据语音指令确定声源位置信息，以实现根据车内用户的具体位置自动生成具有空间音频效果的音视频数据，可为用户提供较好的沉浸式音频体验效果。上述技术控制方案简单，易于在电子设备中实现。
[0085]
本领域技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的示例性的数据传输控制方法的各个步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。
[0086]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种车内声场控制方法，其特征在于，包括：获取车内区域用户输入的语音指令；根据所述语音指令，确定所述车内区域用户输入的语音指令的声源位置信息；根据所述语音指令、声源位置信息及播放装置位置信息，控制所述播放装置播放音视频数据。2.根据权利要求1所述的控制方法，其特征在于，所述车内区域包括若干个预设的麦克风组成的麦克风阵列；其中，所述确定所述车内区域用户输入的语音指令的声源位置信息包括：获取麦克风阵列中各个麦克风拾音的时间差，计算所述用户与各个麦克风之间的距离差；根据所述距离差，获取所述车内区域用户输入的语音指令的声源位置信息。3.根据权利要求2所述的控制方法，其特征在于，所述车内区域包括若干个预设的空间点，所述根据所述距离差，获取所述车内区域用户输入的语音指令的声源位置信息包括：根据所述距离差，确认对应的空间点；获取所述空间点在三维坐标系中的坐标；根据所述坐标确定所述声源位置信息。4.根据权利要求1-3任一项所述的控制方法，其特征在于，所述根据所述语音指令、声源位置信息及播放装置位置信息，控制所述播放装置播放音视频数据包括：根据所述声源位置信息及播放装置位置信息，确定音场中心；根据所述音场中心控制所述播放装置的播放参数，所述播放参数包括音量及声压；根据所述语音指令及播放参数控制所述播放装置播放音视频数据。5.根据权利要求4所述的控制方法，其特征在于，该方法还包括：识别所述语音指令，根据所述语音指令启动所述播放装置工作。6.一种车内声场控制系统，其特征在于，包括：采集单元，所述采集单元包括用于获取车内区域用户输入的语音指令；域控制器，所述域控制器用于根据所述语音指令，确定所述车内区域用户输入的语音指令的声源位置信息；并根据所述语音指令、声源位置信息及播放装置位置信息，控制所述播放装置播放音视频数据。7.根据权利要求6所述的控制系统，其特征在于，所述车内区域包括若干个预设的麦克风组成的麦克风阵列；其中，所述域控制器还用于：获取麦克风阵列中各个麦克风拾音的时间差，计算所述用户与各个麦克风之间的距离差；根据所述距离差，获取所述车内区域用户输入的语音指令的声源位置信息。8.根据权利要求7所述的控制系统，其特征在于，所述车内区域包括若干个预设的空间点，所述域控制器还用于：根据所述距离差，确认对应的空间点；获取所述空间点在三维坐标系中的坐标；根据所述坐标确定所述声源位置信息。
9.根据权利要求6-8任一项所述的控制系统，其特征在于，所述域控制器还用于：根据所述声源位置信息及播放装置位置信息，确定音场中心；根据所述音场中心控制所述播放装置的播放参数，所述播放参数包括音量及声压；根据所述语音指令及播放参数控制所述播放装置播放音视频数据。10.根据权利要求9所述的控制系统，其特征在于，所述控制系统还包括语音识别装置，所述语音识别装置还用于：识别所述语音指令，根据所述语音指令启动所述播放装置工作。

技术总结
本发明实施例涉及一种车内声场控制方法、系统及设备。该控制方法包括：获取车内区域用户输入的语音指令；根据所述语音指令，确定所述车内区域用户输入的语音指令的声源位置信息；根据所述语音指令、声源位置信息及播放装置位置信息，控制所述播放装置播放音视频数据。该方法利用声源位置信息确认用户车内的具体位置，以实现根据车内用户的具体位置自动生成具有空间音频效果的音视频数据，可为用户提供较好的沉浸式音频体验效果。供较好的沉浸式音频体验效果。供较好的沉浸式音频体验效果。


技术研发人员：于显双 文帅举
受保护的技术使用者：深圳联友科技有限公司
技术研发日：2022.03.25
技术公布日：2023/10/6