AR导航处理方法、装置、电子设备及存储介质与流程

ar导航处理方法、装置、电子设备及存储介质
技术领域
1.本发明涉及车辆ar导航技术领域，具体涉及一种ar导航处理方法、装置、电子设备及存储介质。


背景技术：

2.增强现实技术能够将虚拟信息与真实世界巧妙融合，其运用多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，
3.车载ar(augmented reality，增强现实)导航区别于传统的地图导航方式，其基于摄像头捕捉的真实画面，实时地计算摄像机的位置和角度，结合地图导航引导信息以及视觉ai(artificial intelligence，人工智能)识别的车辆、道路、行人等场景目标，生成虚拟的三维(3d)导航指引模型，最终将屏幕上的虚拟世界叠加到现实世界中，创建出更加直观的导航体验。
4.然而，车辆行驶在过程中，由于路面颠簸，摄像头捕捉到的视频画面抖动，导致ar导航系统渲染得到的导航标识无法与视频画面匹配。


技术实现要素：

5.本发明要解决的技术问题是为了克服现有技术中车载ar导航在车辆行驶过程中，ar导航系统渲染得到的导航标识无法与视频画面匹配的缺陷，提供一种ar导航处理方法、装置、电子设备及存储介质。
6.本发明是通过下述技术方案来解决上述技术问题：
7.本发明提供一种ar导航处理方法，所述方法包括：
8.当车辆处于行驶状态时，获取陀螺仪检测到的车身姿态数据；
9.根据所述车身姿态数据的变化更新旋转矩阵；
10.使用更新后的所述旋转矩阵修正投影矩阵，以使修正后的所述投影矩阵与所述车身姿态数据的变化相匹配；
11.根据修正后的所述投影矩阵对相应的视频帧进行渲染，以得到ar导航图像。
12.本发明还提供一种ar导航处理装置，所述装置包括第一处理单元、第二处理单元、第三处理单元；当车辆处于行驶状态时，
13.所述第一处理单元用于获取陀螺仪检测到的车身姿态数据；
14.所述第二处理单元用于根据所述车身姿态数据的变化，更新旋转矩阵，以及使用更新后的所述旋转矩阵修正投影矩阵，以使修正后的所述投影矩阵与所述车身姿态数据的变化相匹配；
15.所述第三处理单元用于根据修正后的所述投影矩阵对相应的视频帧进行渲染，以得到ar导航图像。
16.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述的ar导航处理方
法。
17.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的ar导航处理方法。
18.本发明的积极进步效果在于：
19.本发明提供了一种ar导航处理方法、装置、电子设备及存储介质，ar导航处理方法通过获取陀螺仪检测到的车身姿态数据更新旋转矩阵，使用更新后的旋转矩阵修正投影矩阵，将修正后的投影矩阵对相应的视频帧进行渲染，从而有效降低了抖动对于ar投影的影响，进而使得车载ar导航在车辆行驶过程中，克服了ar导航系统渲染得到的导航标识无法与视频画面匹配的缺陷。同时，也大大降低了算法的复杂度，进而降低了算力功耗。
附图说明
20.图1为本发明实施例1的ar导航处理方法的第一流程图。
21.图2为本发明实施例1的ar导航处理方法的第二流程图。
22.图3为本发明实施例2的ar导航处理装置的模块示意图。
23.图4为本发明实施例3的电子设备的结构示意图。
具体实施方式
24.下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
25.实施例1
26.如图1所示，本实施例公开了一种ar导航处理方法，所述方法包括：
27.步骤s101、当车辆处于行驶状态时，获取陀螺仪检测到的车身姿态数据；具体地，所述车身姿态数据包括所述车辆在预设坐标系中的欧拉角。欧拉角包括：在第一坐标轴(x)方向上的俯仰角、在第二坐标轴(y)方向上的翻滚角、在第三坐标轴(z)方向上的航向角，其中，所述第一坐标轴、所述第二坐标轴、所述第三坐标轴垂直相交于一点。在三维空间中，旋转可以通过三个欧拉角(α，β，γ)来定义。
28.步骤s102、根据所述车身姿态数据的变化更新旋转矩阵；
29.具体地，当获取到陀螺仪检测到的车身姿态数据，如，陀螺仪的俯仰角向下5
°
时，将俯仰角向下5
°
传输至算法模块，由算法模块根据接收到的角度根据欧拉角旋转矩阵公式计算旋转矩阵。
30.步骤s103、使用更新后的所述旋转矩阵修正投影矩阵，以使修正后的所述投影矩阵与所述车身姿态数据的变化相匹配；
31.具体地，可以使用更新后的所述旋转矩阵乘以初始的所述投影矩阵，以得到修正后的所述投影矩阵。修正后的投影矩阵与车身姿态数据的变化相匹配。
32.步骤s104、根据修正后的所述投影矩阵对相应的视频帧进行渲染，以得到ar导航图像。
33.在本方案中，将修正后的投影矩阵加入到经纬度坐标系与车头坐标系之间的转换矩阵计算中，生成新的投影矩阵。以基准投影矩阵为基准，每一次颠簸对应的帧，都对应一个修正投影矩阵。
34.本方案中，通过获取陀螺仪检测到的车身姿态数据更新旋转矩阵，使用更新后的旋转矩阵修正投影矩阵，将修正后的投影矩阵对相应的视频帧进行渲染，从而有效降低了抖动对于ar投影的影响，进而使得车载ar导航在车辆行驶过程中，克服了ar导航系统渲染得到的导航标识无法与视频画面匹配的缺陷。同时，也大大降低了算法的复杂度，进而降低了算力功耗。
35.如图2所示，在一种可实施的方式中，所述方法还包括：
36.步骤s201、当所述车辆处于静止状态时，获取所述车辆中摄像模组的参数；车辆中摄像模组的参数相当于是出厂设定的数据。
37.步骤s202、基于所述摄像模组的参数建立初始的所述投影矩阵，其中，所述摄像模组的参数包括所述摄像模组的内参和外参，并且，所述外参包括所述摄像模组在所述车辆中的安装位置和安装角度。
38.本方案，通过获取所述车辆中摄像模组的参数建立初始的所述投影矩阵，从而实现了当车辆处于静止状态时，对ar导航的有效处理。
39.在一可实施的方式中，所述方法还包括：
40.当所述车辆处于静止状态时，初始化所述陀螺仪和所述旋转矩阵。
41.本方案中，当车辆处于静止状态时，通过对陀螺仪和旋转矩阵的初始化，从而提高了陀螺仪和旋转矩阵的准确度，进一步克服了ar导航系统渲染得到的导航标识无法与视频画面匹配的缺陷。
42.在一可实施的方式中，步骤s102包括：
43.获取所述车辆在所述预设坐标系中的欧拉角的变化，并根据欧拉角旋转矩阵公式更新所述旋转矩阵。
44.本方案中，通过获取车辆在预设坐标系中的欧拉角的变化，并根据欧拉角旋转矩阵公式更新所述旋转矩阵，使得旋转矩阵能够随着欧拉角的变化而进行更新，从而确保后续步骤所采用的旋转矩阵的准确性，进而克服了ar导航系统渲染得到的导航标识无法与视频画面匹配的缺陷。
45.在另一可实施的方式中，步骤s102包括：
46.获取当前导航路径中所述车辆的历史值，并根据所述车辆在当前导航路径中的车身姿态数据的变化以及所述历史值更新所述旋转矩阵，其中，所述历史值包括当前导航路径中所述车辆的历史车身姿态数据。
47.本方案中，通过经纬度匹配的方式，把需要的角度调取出来，如果当前陀螺仪为失效状态，则利用历史值中的角度计算投影矩阵，以解决陀螺仪失效所带来的渲染异常。
48.尽管两次行驶中车速可能不同，影响两次采集到的点的经纬度，即经纬度匹配的方式可能无法实现，但是考虑到实际中点与点的位置差距小，且经纬度数据的精度有限，所以两次行驶路径中，还是会有一部分点共用同一经纬度的，就算完全没有重叠，也可以参考临近经纬度的点的角度。
49.本方案中，历史值的存储格式是以经纬度作为唯一标签对应的陀螺仪的角度数据，中短期内这种对应关系不会出现较大改变，且与车速无关。本质上是根据形式过的轨迹数据，建立了一个路面模型数据，所以这个历史值可以作为参考值提前预警前方的坡度参数。
50.实施例2
51.如图3所示，本实施例公开了一种ar导航处理装置，所述装置包括第一处理单元1、第二处理单元2、第三处理单元3。
52.当车辆处于行驶状态时，
53.所述第一处理单元1，用于获取陀螺仪检测到的车身姿态数据；具体地，所述车身姿态数据包括所述车辆在预设坐标系中的欧拉角。欧拉角包括：在第一坐标轴(x)方向上的俯仰角、在第二坐标轴(y)方向上的翻滚角、在第三坐标轴(z)方向上的航向角，其中，所述第一坐标轴、所述第二坐标轴、所述第三坐标轴垂直相交于一点。在三维空间中，旋转可以通过三个欧拉角(α，β，γ)来定义。
54.所述第二处理单元2，用于根据所述车身姿态数据的变化，更新旋转矩阵，以及使用更新后的所述旋转矩阵修正投影矩阵，以使修正后的所述投影矩阵与所述车身姿态数据的变化相匹配；具体地，当获取到陀螺仪检测到的车身姿态数据，如，陀螺仪的俯仰角向下5
°
时，将俯仰角向下5
°
传输至算法模块，由算法模块根据接收到的角度根据欧拉角旋转矩阵公式计算旋转矩阵。
55.本方案，可以使用更新后的所述旋转矩阵乘以初始的所述投影矩阵，以得到修正后的所述投影矩阵。修正后的投影矩阵与车身姿态数据的变化相匹配。
56.所述第三处理单元3，用于根据修正后的所述投影矩阵对相应的视频帧进行渲染，以得到ar导航图像。
57.在本方案中，将修正后的投影矩阵加入到经纬度坐标系与车头坐标系之间的转换矩阵计算中，生成新的投影矩阵。以基准投影矩阵为基准，每一次颠簸对应的帧，都对应一个修正投影矩阵。
58.本方案中，通过获取陀螺仪检测到的车身姿态数据更新旋转矩阵，使用更新后的旋转矩阵修正投影矩阵，将修正后的投影矩阵对相应的视频帧进行渲染，从而有效降低了抖动对于ar投影的影响，进而使得车载ar导航在车辆行驶过程中，克服了ar导航系统渲染得到的导航标识无法与视频画面匹配的缺陷。同时，也大大降低了算法的复杂度，进而降低了算力功耗。
59.在一可实施的方式中，所述ar导航处理装置还包括：
60.获取单元4，用于当所述车辆处于静止状态时，获取所述车辆中摄像模组的参数；车辆中摄像模组的参数相当于是出厂设定的数据。
61.创建单元5、基于所述摄像模组的参数建立初始的所述投影矩阵，其中，所述摄像模组的参数包括所述摄像模组的内参和外参，并且，所述外参包括所述摄像模组在所述车辆中的安装位置和安装角度。
62.本方案，通过获取所述车辆中摄像模组的参数建立初始的所述投影矩阵，从而实现了当车辆处于静止状态时，对ar导航的有效处理。
63.在一种可实施的方式中，所述ar导航处理装置还包括：
64.初始化单元6，用于当所述车辆处于静止状态时，初始化所述陀螺仪和所述旋转矩阵。
65.本方案中，当车辆处于静止状态时，通过对陀螺仪和旋转矩阵的初始化，从而提高了陀螺仪和旋转矩阵的准确度，进一步克服了ar导航系统渲染得到的导航标识无法与视频
画面匹配的缺陷。
66.在一可实施的方式中，第二处理单元2具体用于获取所述车辆在所述预设坐标系中的欧拉角的变化，并根据欧拉角旋转矩阵公式更新所述旋转矩阵。
67.本方案中，通过获取车辆在预设坐标系中的欧拉角的变化，并根据欧拉角旋转矩阵公式更新所述旋转矩阵，使得旋转矩阵能够随着欧拉角的变化而进行更新，从而确保后续步骤所采用的旋转矩阵的准确性，进而克服了ar导航系统渲染得到的导航标识无法与视频画面匹配的缺陷。
68.在另一可实施的方式中，第二处理单元2具体用于获取当前导航路径中所述车辆的历史值，并根据所述车辆在当前导航路径中的车身姿态数据的变化以及所述历史值更新所述旋转矩阵，其中，所述历史值包括当前导航路径中所述车辆的历史车身姿态数据。
69.本方案中，通过经纬度匹配的方式，把需要的角度调取出来，如果当前陀螺仪为失效状态，则利用历史值中的角度计算投影矩阵，以解决陀螺仪失效所带来的渲染异常。
70.尽管两次行驶中车速可能不同，影响两次采集到的点的经纬度，即经纬度匹配的方式可能无法实现，但是考虑到实际中点与点的位置差距小，且经纬度数据的精度有限，所以两次行驶路径中，还是会有一部分点共用同一经纬度的，就算完全没有重叠，也可以参考临近经纬度的点的角度。
71.本方案中，历史值的存储格式是以经纬度作为唯一标签对应的陀螺仪的角度数据，中短期内这种对应关系不会出现较大改变，且与车速无关。本质上是根据形式过的轨迹数据，建立了一个路面模型数据，所以这个历史值可以作为参考值提前预警前方的坡度参数。
72.实施例3
73.图4为本发明实施例3提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1所提供的ar导航处理方法。图4显示的电子设备40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
74.如图4所示，电子设备40可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备40的组件可以包括但不限于：上述至少一个处理器41、上述至少一个存储器42、连接不同系统组件(包括存储器42和处理器41)的总线43。
75.总线43包括数据总线、地址总线和控制总线。
76.存储器42可以包括易失性存储器，例如随机存取存储器(ram)421和/或高速缓存存储器422，还可以进一步包括只读存储器(rom)423。
77.存储器42还可以包括具有一组(至少一个)程序模块424的程序/实用工具425，这样的程序模块424包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
78.处理器41通过运行存储在存储器42中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1所提供的ar导航处理方法。
79.电子设备40也可以与一个或多个外部设备44(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口45进行。并且，模型生成的设备40还可以通过网络适配器46与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通
信。如图所示，网络适配器46通过总线43与模型生成的设备40的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备40使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
80.应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
81.实施例4
82.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1所提供的ar导航处理方法。
83.其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
84.在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1所提供的ar导航处理方法。
85.其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
86.虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

技术特征：
1.一种ar导航处理方法，其特征在于，所述方法包括：当车辆处于行驶状态时，获取陀螺仪检测到的车身姿态数据；根据所述车身姿态数据的变化更新旋转矩阵；使用更新后的所述旋转矩阵修正投影矩阵，以使修正后的所述投影矩阵与所述车身姿态数据的变化相匹配；根据修正后的所述投影矩阵对相应的视频帧进行渲染，以得到ar导航图像。2.根据权利要求1所述的方法，所述方法还包括：当所述车辆处于静止状态时，获取所述车辆中摄像模组的参数；基于所述摄像模组的参数建立初始的所述投影矩阵，其中，所述摄像模组的参数包括所述摄像模组的内参和外参，并且，所述外参包括所述摄像模组在所述车辆中的安装位置和安装角度。3.根据权利要求1所述的方法，所述方法还包括：当所述车辆处于静止状态时，初始化所述陀螺仪和所述旋转矩阵。4.根据权利要求1所述的方法，所述车身姿态数据包括：所述车辆在预设坐标系中的欧拉角。5.根据权利要求4所述的方法，所述根据所述车身姿态数据的变化更新旋转矩阵的步骤包括：获取所述车辆在所述预设坐标系中的欧拉角的变化，并根据欧拉角旋转矩阵公式更新所述旋转矩阵。6.根据权利要求5所述的方法，所述使用更新后的所述旋转矩阵修正投影矩阵的步骤包括：使用更新后的所述旋转矩阵乘以初始的所述投影矩阵，以得到修正后的所述投影矩阵。7.根据权利要求1所述的方法，所述根据所述车身姿态数据的变化更新旋转矩阵的步骤还包括：获取当前导航路径中所述车辆的历史值，并根据所述车辆在当前导航路径中的车身姿态数据的变化以及所述历史值更新所述旋转矩阵，其中，所述历史值包括当前导航路径中所述车辆的历史车身姿态数据。8.一种ar导航处理装置，其特征在于，所述装置包括第一处理单元、第二处理单元、第三处理单元；当车辆处于行驶状态时，所述第一处理单元用于获取陀螺仪检测到的车身姿态数据；所述第二处理单元用于根据所述车身姿态数据的变化，更新旋转矩阵，以及使用更新后的所述旋转矩阵修正投影矩阵，以使修正后的所述投影矩阵与所述车身姿态数据的变化相匹配；所述第三处理单元用于根据修正后的所述投影矩阵对相应的视频帧进行渲染，以得到ar导航图像。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。

技术总结
本发明公开了一种AR导航处理方法、装置、电子设备及存储介质，所述方法包括：当车辆处于行驶状态时，获取陀螺仪检测到的车身姿态数据；根据所述车身姿态数据的变化更新旋转矩阵；使用更新后的所述旋转矩阵修正投影矩阵，以使修正后的所述投影矩阵与所述车身姿态数据的变化相匹配；根据修正后的所述投影矩阵对相应的视频帧进行渲染，以得到AR导航图像。从而有效降低了抖动对于AR投影的影响，进而使得车载AR导航在车辆行驶过程中，克服了AR导航系统渲染得到的导航标识无法与视频画面匹配的缺陷。同时，也大大降低了算法的复杂度，进而降低了算力功耗。低了算力功耗。低了算力功耗。


技术研发人员：李力杉
受保护的技术使用者：上海博泰悦臻网络技术服务有限公司
技术研发日：2022.02.16
技术公布日：2023/8/28