基于AR的远程标记方法、系统、电子设备及介质与流程

基于ar的远程标记方法、系统、电子设备及介质
技术领域
1.本发明涉及增强现实领域，尤其涉及一种基于ar的远程标记方法、系统、电子设备及介质。


背景技术：

2.当前基于增强现实技术，通过智能手机、ar(augmented reality，增强现实)眼镜等智能设备，远程用户发送标记信息至现场用户，标记信息会叠加至现场用户的携带摄像机的智能设备上，从而实现远程用户对现场用户的远程周期性地指挥。但是在上述技术中，在现场用户的智能设备中周期性地显示的标记信息的位置往往会有较大偏移，这是由远程通讯的网络延迟以及现场用户使用的摄像机晃动导致的。


技术实现要素：

3.本发明要解决的技术问题是为了克服现有技术中存在远程用户发送的实际标记位置与现场用户看到的标记位置偏差较大的缺陷，提供一种基于ar的远程标记方法、系统、电子设备及介质。
4.本发明是通过下述技术方案来解决上述技术问题：
5.本发明提供一种基于ar的远程标记方法，应用于具有拍摄功能的ar设备，所述基于ar的远程标记方法包括：
6.确定ar设备与远程标记设备的通信延迟时长；
7.获取所述ar设备在拍摄时的姿态与拍摄获得的图像帧之间的对应关系；
8.发送所述通信延迟时长内的图像帧至所述远程标记设备；
9.获取所述远程标记设备从所述通信延迟时长内的图像帧中选取的关键帧，所述关键帧上标有标记；
10.根据所述对应关系确定与所述关键帧对应的所述ar设备的姿态；
11.根据与所述关键帧对应的所述ar设备的姿态，将所述标记显示在所述ar设备的显示界面。
12.优选地，所述发送所述通信延迟时长内的图像帧至所述远程标记设备的步骤包括：
13.在获取所述远程标记设备发送的标记指令时，发送所述通信延迟时长内的图像帧至所述远程标记设备；
14.或，
15.周期性地发送所述通信延迟时长内的图像帧至所述远程标记设备。
16.优选地，所述确定ar设备与远程标记设备的通信延迟时长的步骤包括：
17.根据ar设备与远程标记设备的网络延迟时长，确定通信延迟时长。
18.优选地，所述确定ar设备与远程标记设备的通信延迟时长的步骤包括：
19.根据ar设备与远程标记设备的网络延迟时长和预设冗余时长，确定通信延迟时
长。
20.优选地，所述ar设备的姿态由根据六个自由度建立的转移矩阵信息确定；
21.其中，所述转移矩阵信息包括所述ar设备的三维位置坐标信息和旋转姿态信息。
22.优选地，所述根据与所述关键帧对应的所述ar设备的姿态，将所述标记显示在所述ar设备的显示界面的步骤包括：
23.根据与所述关键帧对应的所述ar设备的姿态确定三维环境模型；
24.将所述标记以所述ar设备的拍摄方向延伸至与所述三维环境模型相交，以将所述标记显示在所述ar设备的显示界面上。
25.优选地，所述根据与所述关键帧对应的所述ar设备的姿态确定三维环境模型的步骤包括：
26.通过slam扫描技术，根据与所述关键帧对应的所述ar设备的姿态确定三维环境模型。
27.本发明还提供一种基于ar的远程标记系统，所述基于ar的远程标记系统包括：
28.第一确定模块，用于确定ar设备与远程标记设备的通信延迟时长；
29.第一获取模块，用于获取所述ar设备在拍摄时的姿态与拍摄获得的图像帧之间的对应关系；
30.发送模块，用于发送所述通信延迟时长内的图像帧至所述远程标记设备；
31.第二获取模块，用于获取所述远程标记设备从所述通信延迟时长内的图像帧中选取的关键帧，所述关键帧上标有标记；
32.第二确定模块，用于根据所述对应关系确定与所述关键帧对应的所述ar设备的姿态；
33.显示模块，用于根据与所述关键帧对应的所述ar设备的姿态，将所述标记显示在所述ar设备的显示界面。
34.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的基于ar的远程标记方法。
35.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于ar的远程标记方法。
36.在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
37.本发明的积极进步效果在于：
38.本发明通过获取所述ar设备在拍摄时的姿态与拍摄获得的图像帧之间的对应关系，和远程用户通过远程标记设备确定在通信延迟时长内的关键帧，关键帧上标有远程用户的标记，从而推断出关键帧对应的ar设备的姿态，进而根据姿态确定标记实际应当在ar设备的显示界面上的显示位置，降低了因网络延迟以及ar设备晃动导致的标记位置偏移影响，提高了标记位置的准确性。
附图说明
39.图1为现有技术的远程标记位置示意图；
40.图2为本发明实施例1的基于ar的远程标记方法的流程示意图；
41.图3为本发明实施例1的基于ar的远程标记方法的示例标记位置示意图；
42.图4为本发明实施例1的基于ar的远程标记方法的示例的ar设备在拍摄时的姿态与拍摄获得的图像帧之间的对应关系示意图；
43.图5为本发明实施例1的基于ar的远程标记方法的示例的现有的标记方法与本示例的标记方法的误差数据比较图；
44.图6为本发明实施例2的基于ar的远程标记系统的结构示意图；
45.图7为本发明实施例3的电子设备的结构示意图。
具体实施方式
46.下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
47.实施例1
48.本实施例提供一种基于ar的远程标记方法，应用于具有拍摄功能的ar设备，即ar设备上具备摄像机等具有拍摄功能的硬件装置。
49.本实施例的具体应用场景通常为远程用户通过远程标记设备对现场用户进行实时指挥场景，例如日常生活以及工业、医疗、教育等领域的监督、指导。现场用户使用ar设备接收远程用户的远程操作指挥内容。具体地：首先，现场用户通过ar设备中的摄像机等带有拍摄功能的装置实时拍摄关于目标对象的视频信息，目标对象处于真实环境中，可以能是一个操作设备，也可以是一棵树等具体实物，目标对象为需要被标记的对象。其次，ar设备将视频信息发送至远程标记设备。然后，远程标记设备接收视频信息，并在视频信息标记，并将标记发送至ar设备。最后，基于增强现实技术，现场用户可以通过ar设备将标记叠加显示于ar设备的显示界面上。但是参见图1，现有技术的标记位置通常因网络延迟以及ar设备晃动等会产生较大的偏差，即应当标记在ar设备的显示界面上的位置与实际标记在ar设备的显示界面上的位置有较大差距。
50.本实施例对此技术问题优化了标记方法，具体地参见图2，基于ar的远程标记方法包括：
51.s1、确定ar设备与远程标记设备的通信延迟时长。
52.其中，远程标记设备包括手机、平板等智能设备。ar设备包括ar眼镜、ar头盔等ar设备。
53.在一个可选的实施方式中，步骤s1包括：
54.s11、根据ar设备与远程标记设备的网络延迟时长，确定通信延迟时长。
55.其中，网络延迟时长可以由ping(网络延时)值确定，即指一个数据包从远程标记设备发送到ar设备，然后再立即从ar设备返回远程标记设备的来回时间的一半时长，通常以毫秒计算。
56.在一个可选的实施方式中，步骤s1包括：
57.s12、根据ar设备与远程标记设备的网络延迟时长和预设冗余时长，确定通信延迟时长。
58.其中，预设冗余时长根据实际需求自行设置。
59.在实践中，通信延迟时长不仅包括网络延迟时长，还可能包括系统延迟时长，在本实施方式中，通过网络延迟时长和预设冗余时长之和确定通信延迟时长，以满足更多的应用场景。
60.s2、获取ar设备在拍摄时的姿态与拍摄获得的图像帧之间的对应关系。
61.其中，图像帧由ar设备拍摄视频获得，ar设备姿态为拍摄图像帧时对应的ar设备姿态。ar设备姿态为ar设备与其拍摄的目标对象的相对位置姿态，目标对象处于ar设备拍摄的真实环境中。目标对象为需要被标记的对象。
62.在一个可选的实施方式中，ar设备的姿态由根据六个自由度(6dof)建立的转移矩阵信息确定。
63.其中，转移矩阵信息包括ar设备的三维位置坐标信息和旋转姿态信息，可以通过ar设备内置的传感器如陀螺仪等，或结合slam(simultaneous localization and mapping，同步定位与建图)算法获得ar设备自身姿态的转移矩阵。
64.s3、发送通信延迟时长内的图像帧至远程标记设备。
65.在一个可选的实施方式中，步骤s3包括：
66.s31、在获取远程标记设备发送的标记指令时，发送通信延迟时长内的图像帧至远程标记设备。
67.即在本实施方式中，以获取标记指令的时刻为起始时刻，发送通信延迟时长内的图像帧至远程标记设备，从而提高了标记效率，减少通信资源的浪费。
68.在一个可选的实施方式中，步骤s3包括：
69.s32、周期性地发送通信延迟时长内的图像帧至远程标记设备。
70.即在本实施方式中，周期性地发送通信延迟时长内的图像帧至远程标记设备，当远程标记设备进行标记时，只要从最近接收到通信延迟时长内的图像帧中选取关键帧进行标记，从而最大限度地减少因网络延迟导致标记位置的误差。
71.s4、获取远程标记设备从通信延迟时长内的图像帧中选取的关键帧，关键帧上标有标记。
72.其中，标记包括远程用户通过远程标记设备对ar设备拍摄内容的操作指示标记。
73.s5、根据对应关系确定与关键帧对应的ar设备的姿态。
74.s6、根据与关键帧对应的ar设备的姿态，将标记显示在ar设备的显示界面。
75.在一个可选的实施方式中，步骤s6包括：
76.s61、根据与关键帧对应的ar设备的姿态确定三维环境模型。
77.在一个可选的实施方式中，s61步骤包括：
78.s611、通过slam扫描技术，根据与关键帧对应的ar设备的姿态确定三维环境模型。
79.s62、将标记以ar设备的拍摄方向延伸至与三维环境模型相交，以将标记显示在ar设备的显示界面上。
80.其中，若ar设备上携带摄像机，ar设备的拍摄方向指摄像机的镜头与目标对象之间的连线方向。
81.本实施例通过获取ar设备在拍摄时的姿态与拍摄获得的图像帧之间的对应关系，和远程用户通过远程标记设备确定在通信延迟时长内的关键帧，关键帧上标有远程用户的标记，从而推断出关键帧对应的ar设备的姿态，进而根据姿态确定标记实际应当在ar设备
的显示界面上的显示位置，降低了因网络延迟以及ar设备晃动导致的标记位置偏移影响，提高了标记位置的准确性。
82.下面介绍一种具体示例，详细地解释基于ar地远程标记方法。
83.在本示例中，远程标记设备通过有线或者无线的方式通过局域或者互联网与ar设备连接。本示例所期望达到地效果如图3所示，即应该显示在ar设备的显示界面上的标记位置与远程用户通过远程标记设备标记的实际标记位置重合。
84.具体的执行步骤如下：
85.s401、在程序运行期间，记录通信延迟时长t。
86.s402、初始化时，通过ar设备对真实环境进行slam扫描，确定需要被标记的目标对象。
87.s403、在ar设备与远程标记设备视频通信过程中，ar设备始终记录通信流媒体在延迟时间内的所有图像帧的帧序号以对应的ar设备相对于目标对象的姿态。
88.其中，帧序号为整数，用来区分每帧图像，在本示例中记为f，例如f1、f2等。
89.ar设备的姿态被记为一个6dof(六个自由度)的3*2矩阵，分别为记录了ar设备在真实环境中的三维坐标，以及ar设备在真实环境中的旋转姿态。在本示例中，每一图像帧所对应时刻的ar设备的姿态被记为m，例如m1、m2等。ar设备在拍摄时的姿态与拍摄获得的图像帧之间的对应关系如图4所示。
90.而ar设备的姿态矩阵可以通过内置的传感器如陀螺仪等，或结合slam算法获得。
91.s404、当远程标记设备发出标记指令时，ar设备记录通信延迟时长t与预设冗余时长之和时间内的图像帧组(即一个时间段内的连续图像帧)和每个图像帧所对应的ar设备的姿态。
92.s405、ar设备将图像帧组通过网络发送给远程标记设备。
93.s406、在远程标记设备接收到ar设备发送的图像帧组后，远程用户通过远程标记设备的显示界面选取图像帧组当中的一个，并对选取的图像帧进行标记。
94.例如在图3中，远程用户选取了f2这一图像帧，并在f2图像帧上进行圈画标记。
95.s407、远程标记设备发送带有标记的图像帧至ar设备。
96.s408、ar设备接收带有标记的图像帧，并根据图像帧确定对应的ar设备的姿态。
97.s409、ar设备以图像帧对应的ar设备的姿态为基准，确定标记在ar设备的显示界面上的显示位置。
98.例如，如图3，ar设备可以从f2确定m2，再根据m2，得知标记位置。
99.其中，标记位置则是通过远程用户在远程标记设备的屏幕上圈画后，圈画的点发送至ar设备，然后圈画的点以垂直于ar设备的方向延伸至ar设备外，与slam扫描形成的三维环境模型相交，从而最终在ar设备的显示界面上确定标记位置。
100.图5为现有的标记方法与本示例的标记方法的误差数据对比。从图5可以看出同在1920*1080分辨率下，不使用任何对齐技术，在ar设备的显示界面上显示的标记位置与实际远程标记设备的标记位置的平均误差为223.25像素，本示例在ar设备的显示界面上显示的标记位置与实际远程标记设备的标记位置的平均误差为63.5像素，误差缩小了29％左右，提高了标记的准确性。
101.在本示例中，ar设备记录并存储通信延迟时长范围内的图像帧以及图像帧与ar设
备的姿态的对应关系，让远程用户通过回溯性地选取图像帧，从而对齐远程用户的标记时刻以及程序执行时刻，以及该时刻下的ar设备姿态，降低标记位置误差。
102.实施例2
103.本实施例提供一种基于ar的远程标记系统，参见图6，基于ar的远程标记系统包括：
104.第一确定模块1，用于确定ar设备与远程标记设备的通信延迟时长。
105.第一获取模块2，用于获取ar设备在拍摄时的姿态与拍摄获得的图像帧之间的对应关系。
106.ar设备的姿态由根据六个自由度建立的转移矩阵信息确定。
107.其中，转移矩阵信息包括ar设备的三维位置坐标信息和旋转姿态信息。
108.发送模块3，用于发送通信延迟时长内的图像帧至远程标记设备。
109.第二获取模块4，用于获取远程标记设备从通信延迟时长内的图像帧中选取的关键帧，关键帧上标有标记。
110.第二确定模块5，用于根据对应关系确定与关键帧对应的ar设备的姿态。
111.显示模块6，用于根据与关键帧对应的ar设备的姿态，将标记显示在ar设备的显示界面。
112.在一个可选的实施方式中，发送模块3，还用于在获取远程标记设备发送的标记指令时，发送通信延迟时长内的图像帧至远程标记设备。
113.在一个可选的实施方式中，发送模块3，还用于周期性地发送通信延迟时长内的图像帧至远程标记设备。
114.在一个可选的实施方式中，第一确定模块1，还用于根据ar设备与远程标记设备的网络延迟时长，确定通信延迟时长。
115.在一个可选的实施方式中，第一确定模块1，还用于根据ar设备与远程标记设备的网络延迟时长和预设冗余时长，确定通信延迟时长。
116.在一个可选的实施方式中，第二确定模块5，还用于根据与关键帧对应的ar设备的姿态确定三维环境模型。
117.显示模块4，还用于将标记以垂直于ar设备的方向延伸至与三维环境模型相交，以将标记显示在ar设备的显示界面上。
118.在一个可选的实施方式中，第二确定模块5，还用于通过slam扫描技术，根据与关键帧对应的ar设备的姿态确定三维环境模型。
119.需要说明的是，本实施例的各个模块的实现原理和技术效果可以参考实施例1的对应部分，在此不再赘述。
120.实施例3
121.本实施例提供了一种电子设备，图7为该电子设备的模块示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现实施例1的基于ar的远程标记方法。图7显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
122.如图7所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器
32、连接不同系统组件(包括存储器32和处理器31)的总线33。
123.总线33包括数据总线、地址总线和控制总线。
124.存储器32可以包括易失性存储器，例如随机存取存储器(ram)321和/或高速缓存存储器322，还可以进一步包括只读存储器(rom)323。
125.存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
126.处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1的基于ar的远程标记方法。
127.电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图7所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
128.应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
129.实施例4
130.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现实施例1的基于ar的远程标记方法。
131.其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
132.在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现实施例1的基于ar的远程标记方法。
133.其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
134.虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

技术特征：
1.一种基于ar的远程标记方法，其特征在于，应用于具有拍摄功能的ar设备，所述基于ar的远程标记方法包括：确定ar设备与远程标记设备的通信延迟时长；获取所述ar设备在拍摄时的姿态与拍摄获得的图像帧之间的对应关系；发送所述通信延迟时长内的图像帧至所述远程标记设备；获取所述远程标记设备从所述通信延迟时长内的图像帧中选取的关键帧，所述关键帧上标有标记；根据所述对应关系确定与所述关键帧对应的所述ar设备的姿态；根据与所述关键帧对应的所述ar设备的姿态，将所述标记显示在所述ar设备的显示界面。2.如权利要求1所述的基于ar的远程标记方法，其特征在于，所述发送所述通信延迟时长内的图像帧至所述远程标记设备的步骤包括：在获取所述远程标记设备发送的标记指令时，发送所述通信延迟时长内的图像帧至所述远程标记设备；或，周期性地发送所述通信延迟时长内的图像帧至所述远程标记设备。3.如权利要求1所述的基于ar的远程标记方法，其特征在于，所述确定ar设备与远程标记设备的通信延迟时长的步骤包括：根据ar设备与远程标记设备的网络延迟时长，确定通信延迟时长。4.如权利要求1所述的基于ar的远程标记方法，其特征在于，所述确定ar设备与远程标记设备的通信延迟时长的步骤包括：根据ar设备与远程标记设备的网络延迟时长和预设冗余时长，确定通信延迟时长。5.如权利要求1所述的基于ar的远程标记方法，其特征在于，所述ar设备的姿态由根据六个自由度建立的转移矩阵信息确定；其中，所述转移矩阵信息包括所述ar设备的三维位置坐标信息和旋转姿态信息。6.如权利要求1所述的基于ar的远程标记方法，其特征在于，所述根据与所述关键帧对应的所述ar设备的姿态，将所述标记显示在所述ar设备的显示界面的步骤包括：根据与所述关键帧对应的所述ar设备的姿态确定三维环境模型；将所述标记以所述ar设备的拍摄方向延伸至与所述三维环境模型相交，以将所述标记显示在所述ar设备的显示界面上。7.如权利要求6所述的基于ar的远程标记方法，其特征在于，所述根据与所述关键帧对应的所述ar设备的姿态确定三维环境模型的步骤包括：通过slam扫描技术，根据与所述关键帧对应的所述ar设备的姿态确定三维环境模型。8.一种基于ar的远程标记系统，其特征在于，所述基于ar的远程标记系统包括：第一确定模块，用于确定ar设备与远程标记设备的通信延迟时长；第一获取模块，用于获取所述ar设备在拍摄时的姿态与拍摄获得的图像帧之间的对应关系；发送模块，用于发送所述通信延迟时长内的图像帧至所述远程标记设备；第二获取模块，用于获取所述远程标记设备从所述通信延迟时长内的图像帧中选取的
关键帧，所述关键帧上标有标记；第二确定模块，用于根据所述对应关系确定与所述关键帧对应的所述ar设备的姿态；显示模块，用于根据与所述关键帧对应的所述ar设备的姿态，将所述标记显示在所述ar设备的显示界面。9.一种电子设备，包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的基于ar的远程标记方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的基于ar的远程标记方法。

技术总结
本发明公开了一种基于AR的远程标记方法、系统、电子设备及介质，其中，基于AR的远程标记方法包括：确定AR设备与远程标记设备的通信延迟时长；获取AR设备在拍摄时的姿态与拍摄获得的图像帧之间的对应关系；发送通信延迟时长内的图像帧至远程标记设备；获取远程标记设备从通信延迟时长内的图像帧中选取的关键帧，关键帧上标有标记；根据对应关系确定与关键帧对应的AR设备的姿态；根据与关键帧对应的AR设备的姿态，将标记显示在AR设备的显示界面。本发明降低了因网络延迟以及AR设备晃动导致的标记位置偏移影响，提高了标记位置的准确性。提高了标记位置的准确性。提高了标记位置的准确性。


技术研发人员：陈罡 钱广璞 徐欣
受保护的技术使用者：上海电气集团股份有限公司
技术研发日：2023.05.06
技术公布日：2023/8/6