面向增强现实的视频处理方法、装置和计算机设备与流程

1.本技术涉及增强现实技术领域，特别是涉及一种面向增强现实的视频处理方法、装置和计算机设备。


背景技术：

2.增强现实(augmented reality，简称ar)技术是一种基于计算机实时计算和多传感器融合，将现实世界与虚拟信息结合起来的技术。该技术通过对人的视觉、听觉、嗅觉、触觉等感受进行模拟和再输出，并将虚拟信息叠加到真实信息上，给人提供超越真实世界感受的体验。
3.然而现有的增强现实系统通常是将虚拟三维模型作为数据对象进行展示和交互，显然，现有的增强现实系统存在对真实场景交互能力不足的问题。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高对真实场景交互能力的面向增强现实的视频处理方法、装置和计算机设备。
5.第一方面，本技术提供了一种面向增强现实的视频处理方法。应用于增强现实设备；所述方法包括：
6.接收立体视觉视频；所述立体视觉视频包含真实对象；
7.基于所述立体视觉视频生成左目动态纹理和右目动态纹理；
8.将所述左目动态纹理映射于左网格，将所述右目动态纹理映射于右网格；
9.将所述左网格连同三维虚拟世界渲染至左目虚拟相机中，得到左目渲染结果，以及将所述右网格连同所述三维虚拟世界渲染至右目虚拟相机中，得到右目渲染结果；
10.将所述左目渲染结果投影至所述增强现实设备的左目显示镜，将所述右目渲染结果投影至所述增强现实设备的右目显示镜，以实现所述增强现实场景下的所述立体视觉视频的立体视觉。
11.在其中一个实施例中，所述方法还包括：
12.接收对象信息；所述对象信息包括对象动作、对象表情和对象手势，且是通过对所述立体视觉视频进行识别得到的；
13.依据对象信息控制对应的虚拟三维模型。
14.在其中一个实施例中，所述方法还包括：
15.确定所述虚拟三维模型的局部坐标系；
16.依据所述局部坐标系分别对所述左网格和所述右网格进行绑定处理，以使所述立体视觉视频伴随于所述虚拟三维模型的周围。
17.在其中一个实施例中，所述方法还包括：
18.通过传感器实时采集三维空间信息；
19.依据所述三维空间信息控制所述左目虚拟相机和所述右目虚拟相机进行移动。
20.在其中一个实施例中，所述将所述左目动态纹理映射于左网格，将所述右目动态纹理映射于右网格之后，所述方法还包括：
21.依据所述真实对象对所述左网格进行剪裁处理，得到左目头像网格；
22.依据所述真实对象对所述右网格进行剪裁处理，得到右目头像网格；
23.将所述左目头像网格渲染至所述左目虚拟相机中，得到所述左目渲染结果，以及将所述右目头像网格渲染至所述右目虚拟相机中，得到所述右目渲染结果。在其中一个实施例中，所述基于所述立体视觉视频生成左目动态纹理和右目动态纹理包括：
24.将所述立体视觉视频拆分为左目视频和右目视频；
25.依据所述左目视频生成左目动态纹理；
26.依据所述右目视频生成右目动态纹理。
27.第二方面，本技术还提供了一种面向增强现实的视频处理装置。所述装置包括：
28.接收模块，用于接收立体视觉视频；所述立体视觉视频包含真实对象；
29.生成模块，用于基于所述立体视觉视频生成左目动态纹理和右目动态纹理；
30.映射模块，用于将所述左目动态纹理映射于左网格，将所述右目动态纹理映射于右网格；
31.渲染模块，用于将所述左网格连同三维虚拟世界渲染至左目虚拟相机中，得到左目渲染结果，以及将所述右网格连同所述三维虚拟世界渲染至右目虚拟相机中，得到右目渲染结果；
32.投影模块，用于将所述左目渲染结果投影至所述增强现实设备的左目显示镜，将所述右目渲染结果投影至所述增强现实设备的右目显示镜，以实现增强现实场景下的所述立体视觉视频的立体视觉。
33.在其中一个实施例中，所述装置还包括：
34.控制模块，用于接收对象信息；所述对象信息包括对象动作、对象表情和对象手势，且是通过对所述立体视觉视频进行识别得到的；依据对象信息控制对应的虚拟三维模型。
35.在其中一个实施例中，所述装置还包括：
36.绑定模块，用于确定所述虚拟三维模型的局部坐标系；依据所述局部坐标系分别对所述左网格和所述右网格进行绑定处理，以使所述立体视觉视频伴随于所述虚拟三维模型的周围。
37.在其中一个实施例中，所述控制模块还用于通过传感器实时采集三维空间信息；依据所述三维空间信息控制所述左目虚拟相机和所述右目虚拟相机进行移动。
38.在其中一个实施例中，所述渲染模块还用于
39.依据所述真实对象对所述左网格进行剪裁处理，得到左目头像网格；
40.依据所述真实对象对所述右网格进行剪裁处理，得到右目头像网格；
41.将所述左目头像网格渲染至所述左目虚拟相机中，得到所述左目渲染结果，以及将所述右目头像网格渲染至所述右目虚拟相机中，得到所述右目渲染结果。在其中一个实施例中，所述生成模块还用于将所述立体视觉视频拆分为左目视频和右目视频；依据所述左目视频生成左目动态纹理；依据所述右目视频生成右目动态纹理。
42.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理
器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
43.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
44.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
45.上述面向增强现实的视频处理方法、装置、计算机设备、存储介质和计算机程序产品，通过接收立体视觉视频；立体视觉视频包含真实对象；基于立体视觉视频生成左目动态纹理和右目动态纹理；将左目动态纹理映射于左网格，将右目动态纹理映射于右网格；将左网格连同三维虚拟世界渲染至左目虚拟相机中，得到左目渲染结果，以及将右网格连同三维虚拟世界渲染至右目虚拟相机中，得到右目渲染结果；将左目渲染结果投影至增强现实设备的左目显示镜，将右目渲染结果投影至增强现实设备的右目显示镜，以实现增强现实场景下的立体视觉视频的立体视觉，通过实现包含真实对象的立体视觉视频的立体视觉，即实现了用户可利用增强现实系统与真实对象的立体视觉进行交互，有效的提升了增强现实系统对真实场景的交互能力。
附图说明
46.图1为一个实施例中面向增强现实的视频处理方法的应用环境图；
47.图2为一个实施例中面向增强现实的视频处理方法的流程示意图；
48.图3为一个实施例中渲染步骤的流程示意图；
49.图4为一个实施例中增强现实系统中用户端的设备节点示意图；
50.图5为一个实施例中增强现实系统的示意图；
51.图6为一个实施例中增强现实设备的示意图；
52.图7a为一个实施例中立体视频采集设备的示意图；
53.图7b为另一个实施例中增强现实设备的示意图；
54.图8为一个实施例中面向增强现实的视频处理装置的结构框图；
55.图9为一个实施例中面向增强现实的视频处理装置的结构框图；
56.图10为一个实施例中计算机设备的内部结构图。
具体实施方式
57.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
58.本技术实施例提供的面向增强现实的视频处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。本实施例以终端102为增强现实设备执行为例进行说明。
59.增强现实设备接收立体视觉视频；立体视觉视频包含真实对象；增强现实设备基于立体视觉视频生成左目动态纹理和右目动态纹理；增强现实设备将左目动态纹理映射于
左网格，将右目动态纹理映射于右网格；增强现实设备将左网格连同三维虚拟世界渲染至左目虚拟相机中，得到左目渲染结果，以及将右网格连同三维虚拟世界渲染至右目虚拟相机中，得到右目渲染结果；增强现实设备将左目渲染结果投影至增强现实设备的左目显示镜，将右目渲染结果投影至增强现实设备的右目显示镜，以实现增强现实场景下的立体视觉视频的立体视觉。
60.其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为增强现实设备、智能手表、智能手环、头戴设备等。增强现实设备可为增强现实眼镜设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
61.在一个实施例中，如图2所示，提供了一种面向增强现实的视频处理方法，以该方法应用于图1中的终端102为增强现实设备为例进行说明，包括以下步骤：
62.s202，接收立体视觉视频；立体视觉视频包含真实对象。
63.其中，立体视觉视频在本案中可以指反映立体视觉的真实场景视频。立体视觉(steroscopic vision)可用于感受三维视觉空间和感知深度，立体视觉以双眼单视为基础，其形成是由于两眼在观察一个三维物体时，由于两眼球之间存在距离，故而存在视差角，物体在两眼视网膜上的成像存在相似性及一定的差异，形成双眼视差(binocular disparity)。真实对象可以指现实中的对象，例如，真实对象可为真人和真动物。
64.具体地，增强现实设备响应于视频的接收指令，接收云端发送的立体视觉视频；立体视觉视频包含真实对象。
65.s204，基于立体视觉视频生成左目动态纹理和右目动态纹理。
66.其中，左目动态纹理可以指左目对应的动态纹理。右目动态纹理可以指右目对应的动态纹理。动态纹理是相对于常规的纹理而言的，通常的纹理都是静态的，而动态纹理就是模型保持不动，而纹理动态变化，凡是能够对模型应用的变换，也能作用于纹理，比如平移，旋转，缩放，投影和shear(错切)操作等。常规的纹理包括物体表面的纹理即使物体表面呈现凹凸不平的沟纹，同时也包括在物体的光滑表面上的彩色图案，对于沟纹而言，实际上也是要在表面绘出彩色花纹或图案，同时要求视觉上给人以凹凸不平感即可。
67.具体地，将立体视觉视频拆分为左目视频和右目视频；依据左目视频生成左目动态纹理；依据右目视频生成右目动态纹理。
68.其中，左目视频可以指左目(左眼)对应的视频。右目视频可以指右目(右眼)对应的视频。
69.s206，将左目动态纹理映射于左网格，将右目动态纹理映射于右网格。
70.其中，左网格可指图形学世界坐标系中对应虚拟三维模型的局部坐标系下的与左目虚拟相机对应的网格区域。右网格可指图形学世界坐标系中对应虚拟三维模型的局部坐标系下的与右目虚拟相机对应的网格区域。增强现实设备还包括左目虚拟相机和右目虚拟相机。左目虚拟相机可以指观察虚拟世界的第一人称的虚拟三维模型的左目对应的虚拟相机，左目虚拟相机可用于处理观察虚拟世界的第一人称的虚拟三维模型的左目所看到画面的相关数据。右目虚拟相机可以指观察虚拟世界的第一人称的虚拟三维模型的右目对应的虚拟相机，右目虚拟相机可用于处理观察虚拟世界的第一人称的虚拟三维模型的右目所看
到画面的相关数据，虚拟世界包括虚拟三维世界，虚拟三维世界又可称三维虚拟世界。
71.在一个实施例中，在基于图形学和gpu管线的虚拟三维世界中，建立对应虚拟世界的第三人称某用户角色的虚拟三维模型，在该模型的模型局部坐标系下，建立两个图元，分别是左网格和右网格，这两个网格在局部坐标系下叠放，也就是说二者拥有相同的(x,y,z)坐标值。作为伴随虚拟三维模型运动的真实视频展示板。
72.在一个实施例中，在左网格上，对左目动态纹理进行纹理映射，在右网格上，对右目动态纹理进行纹理映射。
73.其中，纹理映射(texture mapping)是一种将物体空间坐标点转化为纹理坐标，进而从纹理上获取对应点的值，以增强着色细节的方法，在本技术中，上述“物体空间坐标”是指左网格或右网格中各网格的坐标，纹理上对应点的值是指左目动态纹理或右目动态纹理中各点的值。
74.设置观察虚拟三维世界的两部虚拟相机，分别是左目虚拟相机和右目虚拟相机。其中，虚拟相机(virtul camera)是将虚拟三维世界的世界坐标系下的三维点进行模型视点变换(model-view transform)到视点坐标系下，从而映射到屏幕的表示视点状态的(包括外部参数：三自由度平移，三自由度旋转；和内部参数：视场角大小)数学模型。为了实现观察虚拟三维世界的立体视觉效果，本实施例设置具有符合人眼视差的左目虚拟相机和右目虚拟相机，也就是说这两部虚拟相机在世界坐标系下具有相同的(y,z)值，而水平方向(x)值相差对应人眼瞳距距离，本实施例采用80mm取得符合人眼视差的立体视觉效果，本实施例下可操作性的操作是将左目虚拟相机与观察虚拟世界的第一人称角色的左眼绑定，将右目虚拟相机与观察虚拟世界的第一人称角色的右眼绑定。
75.s208，将左网格连同三维虚拟世界渲染至左目虚拟相机中，得到左目渲染结果，以及将右网格连同三维虚拟世界渲染至右目虚拟相机中，得到右目渲染结果。
76.本实施中，该渲染结果已经包括了传统增强现实场景中的虚拟三维模型和展示真实场景视频的左、右网格。
77.其中，左目渲染结果可以指将左网格进行渲染处理后得到的图像。右目渲染结果可以指将右网格进行渲染处理后得到的图像。渲染(render)在电脑绘图中指从模型生成图像的过程。模型是用严格定义的语言或者数据结构对于三维物体的描述，它包括几何、视点、纹理以及照明信息，在本技术中上述“模型”指左网格或右网格。图像是数字图像或者位图图像。
78.具体地，将包含左目动态纹理的左网格连同三维虚拟世界渲染至左目虚拟相机中，得到左目渲染结果，以及将包含右目动态纹理的右网格连同三维虚拟世界渲染至右目虚拟相机中，得到右目渲染结果。
79.在一个实施例中，在左目虚拟相机中，对包含左目动态纹理的左网格连同三维虚拟世界进行渲染处理，得到左目渲染结果，并对右网格进行消隐处理；在右目虚拟相机中，对包含右目动态纹理的右网格连同三维虚拟世界进行渲染处理，得到右目渲染结果，并对右网格进行消隐处理。
80.其中，消隐处理又可称消除处理，可通过z-buffer算法、扫描线算法、warnock消隐算法、roberts算法和光线投射法等等算法实现。
81.在一个实施例中，将左网格连同整个虚拟世界渲染至左目虚拟相机中，得到左目
渲染结果称之为虚拟世界左投影，左虚拟世界将投影至左目显示镜。
82.在一个实施例中，将右网格连同整个虚拟世界渲染至右目虚拟相机中，得到右目渲染结果称之为虚拟世界右投影，右虚拟世界将投影至右目显示镜。
83.其中，虚拟世界左投影和虚拟世界右投影对应的虚拟模型除左、右网格外，其他部分为相同的虚拟世界模型。
84.在一个实施例中，增强现实设备可以先确定左网格在虚拟三维世界中的位置，再通过左目模型视点变换，渲染到左目虚拟相机，得到左目渲染结果，以及确定右网格在虚拟三维世界中的位置，再通过右目模型视点变换，渲染到右目虚拟相机，得到右目渲染结果。
85.其中，左网格位置可以指左网格在虚拟三维世界中的位置；右网格位置可以指右网格在虚拟三维世界中的位置，依据双目立体视觉的原理，双目所看为同一目标，所以左网格和右网格位置重合叠放。
86.s210，将左目渲染结果投影至增强现实设备的左目显示镜，将右目渲染结果投影至增强现实设备的右目显示镜，以实现增强现实场景下的立体视觉视频的立体视觉。
87.其中，左目显示镜是指增强现实设备中左目对应的显示镜。右目显示镜是指增强现实设备中右目对应的显示镜。投影又可称投射，可指用一组光线将物体的形状投射到一个平面上，在本案中“平面”是指左目显示镜或右目显示镜。
88.在一个实施例中，增强现实设备可获取左目虚拟相机的外部参数从而确定左目模型视点矩阵，依据左目模型视点矩阵将左目渲染结果投影至增强现实设备的左目显示镜，以及获取右目虚拟相机的外部参数从而确定右目模型视点矩阵，依据右目模型视点矩阵将右目渲染结果投影至增强现实设备的右目显示镜，以实现立体视觉视频的立体视觉。
89.其中，左目虚拟相机的外部参数可指左目虚拟相机在虚拟三维世界中的三维平移数据，与三维旋转数据。右目虚拟相机的外部参数可指右目虚拟相机在虚拟三维世界中的三维平移数据，与三维旋转数据。左目模型视点矩阵可指左目对应的模型视点矩阵。右目模型视点矩阵可以指右目对应的模型视点矩阵。模型视点矩阵可以指基于模型视点变换得到的矩阵。
90.在一个实施例中，接收对象信息；对象信息包括对象动作、对象表情和对象手势，且是通过对立体视觉视频进行识别得到的；依据对象信息控制对应的虚拟三维模型。
91.其中，对象信息可以指真实对象的相关信息，对象信息包括对象动作、对象表情和对象手势。对象动作可以指与对象的肢体动作相关的信息。对象表情可以指与对象的表情相关的信息。对象手势可以指与对象手的姿势相关的信息。虚拟三维模型可指三维的虚拟形象，虚拟形象包括人物形象、拟人的动物形象、拟人的植物形象和自定义的形象等等。
92.在一个实施例中，依据对象信息控制对应的虚拟三维模型包括依据对象动作、对象表情和对象手势控制真实对象对应的虚拟三维模型的动作、表情和手势。
93.在一个实施例中，确定虚拟三维模型的局部坐标系；依据局部坐标系分别对左网格和右网格进行绑定处理，以使立体视觉视频伴随于虚拟三维模型的周围，例如，立体视觉视频伴位于虚拟三维模型的左上角、右上角、左下角和右下角等等。其中，虚拟三维模型的局部坐标系是指以虚拟三维模型的中心为原点建立的坐标系。
94.在一个实施例中，通过传感器实时采集三维空间信息；依据三维空间信息控制虚拟三维模型左目虚拟相机和右目虚拟相机进行移动。
95.在一个实施例中，通过传感器实时采集三维空间信息；依据三维空间信息反算用户运动行为，从而控制观察虚拟世界的第一人称虚拟三维模型进行移动。
96.其中，三维空间信息可指真实环境中与空间相关的信息。
97.在一个实施例中，依据三维空间信息控制观察虚拟世界的第一人称虚拟三维模型进行移动包括依据三维空间信息确定真实环境中的真实对象的三自由度移动速度和移动位置，三自由度旋转角度与旋转角速度，依据该三自由度移动速度和移动位置、三自由度旋转角度与旋转角速度控制虚拟三维模型进行移动。
98.上述面向增强现实的视频处理方法中，通过接收立体视觉视频；立体视觉视频包含真实对象；基于立体视觉视频生成左目动态纹理和右目动态纹理；在虚拟三维世界坐标系中对应虚拟三维模型的局部坐标系下设置左网格和右网格；将左目动态纹理映射于左网格，将右目动态纹理映射于右网格；将左网格渲染至左目虚拟相机中，得到左目渲染结果，以及将右网格渲染至右目虚拟相机中，得到右目渲染结果；将左目渲染结果投影至增强现实设备的左目显示镜，将右目渲染结果投影至增强现实设备的右目显示镜，以实现立体视觉视频的立体视觉，通过实现包含真实对象的立体视觉视频的立体视觉，即实现了用户可利用增强现实系统与真实对象的立体视觉进行交互，有效的提升了增强现实系统对真实场景的交互能力。
99.在一个实施例中，如图3所示，渲染步骤包括：
100.s302，依据真实对象对左网格进行剪裁处理，得到左目头像网格。
101.其中，左目头像网格可指主要包含真实对象的头像的网格，左目头像网格可用于生成左目渲染结果。
102.在一个实施例中，增强现实设备获取真实对象对应的左目剪裁参数，依据左目剪裁参数对左网格进行剪裁处理，得到左目头像网格。
103.其中，左目剪裁参数包括第一左侧剪裁长度、第一右侧剪裁长度、第一上侧剪裁宽度和第一下侧剪裁宽度。第一左侧剪裁长度是指对左网格左侧的剪裁长度。第一右侧剪裁长度是指对左网格右侧的剪裁长度。第一上侧剪裁宽度是指对左网格上侧的剪裁宽度。第一下侧剪裁宽度是指对左网格下侧的剪裁宽度。
104.s304，依据真实对象对右网格进行剪裁处理，得到右目头像网格。
105.其中，右目头像网格可指主要包含真实对象的头像的网格，右目头像网格可用于生成右目渲染结果。
106.在一个实施例中，增强现实设备获取真实对象对应的右目剪裁参数，依据右目剪裁参数对右网格进行剪裁处理，得到右目头像网格。
107.其中，右目剪裁参数包括第二左侧剪裁长度、第二右侧剪裁长度、第二上侧剪裁宽度和第二下侧剪裁宽度。第二左侧剪裁长度是指对右网格左侧的剪裁长度。第二右侧剪裁长度是指对右网格右侧的剪裁长度。第二上侧剪裁宽度是指对右网格上侧的剪裁宽度。第二下侧剪裁宽度是指对右网格下侧的剪裁宽度。
108.s306，将左目头像网格渲染至左目虚拟相机中，得到左目渲染结果，以及将右目头像网格渲染至右目虚拟相机中，得到右目渲染结果。
109.本实施例中，通过依据真实对象对左网格进行剪裁处理，得到左目头像网格，依据真实对象对右网格进行剪裁处理，得到右目头像网格，将左目头像网格渲染至左目虚拟相
机中，得到左目渲染结果，以及将右目头像网格渲染至右目虚拟相机中，得到右目渲染结果，实现了用户可利用增强现实系统与真实对象的头像的立体视觉进行交互，将实时真人头像展示在到其虚拟化身(虚拟三维模型)身旁，有效地补充了虚拟化身的实时真实视频信息，有效的提升了增强现实系统对真实场景的交互能力。
110.在一个实施例中，增强现实系统包括增强现实设备、立体视频采集设备和云端，其中，立体视频采集设备可称双目的视频采集设备，立体视频采集设备中的左目摄像头和右目摄像头分别对真实对象进行视频采集，分别得到左目视频和右目视频，将左目视频和右目视频组合成立体视觉视频，并将立体视觉视频发送至云端，云端对立体视觉视频进行识别，得到对象的人体动作捕捉信息(对象信息)，并将该立体视觉视频和对象信息发送至增强现实设备。
111.在一个实施例中，左目摄像头和右目摄像头分别对真实对象进行视频采集，分别得到左目视频和右目视频包括：当左目摄像头和右目摄像头为广角摄像头时，分别直接对真实对象进行视频采集，分别得到左目视频和右目视频；当左目摄像头和右目摄像头为窄角摄像头时，根据预设距离分别对真实对象进行视频采集，分别得到左目视频和右目视频。
112.其中，预设距离可以指预先设置的距离，预设距离在本技术中需以能拍摄到完整的真实对象进行设置。
113.作为一个示例，本实施例如下：
114.本方案提供了一种立体视觉视频辅助的增强现实多地协同系统(增强现实系统)。该系统将增强现实构造的三维虚拟世界和立体视频采集设备采集的立体视觉视频有机的融合在一起，借助双目增强现实眼镜(增强现实眼镜设备)呈现，符合人体立体视觉的习惯，实现了三维增强现实环境和立体视觉视频的优势互补。
115.本增强现实系统中的每个用户拥有两个设备节点，图4为一个实施例中增强现实系统中用户端的设备节点示意图；如图4所示，其中一个为增强现实眼镜设备节点，下文称眼镜节点，另一个为立体视频采集设备节点。进一步地，图5为一个实施例中增强现实系统的示意图；如图5所示，众多用户间的眼镜节点，通过云端处理中心相互联网。
116.图6为一个实施例中增强现实设备的示意图；如图6所示，当增强现实设备为增强现实眼镜设备时，该增强现实眼镜设备具有1.传感器装置2.双目显示装置(半反半透双目显示装置)3.处理模块。其中，
117.传感器装置包括但不限于1.摄像头等视觉传感器2.陀螺仪惯导传感器3.深度传感器4.gps传感器。传感器装置负责感知三维空间信息。
118.双目显示装置可以是双目半反半透光学显示镜，还可以是两个内置显示器的独立显示镜片，在设置该双目显示模块的相对位置时，可以将其设置为基本符合人体双眼的相对位置。
119.处理器模块负责处理三维空间信息，进而求解出渲染增强现实场景的模型视点矩阵，渲染正确的增强现实场景。增强现实场景，该场景中有1.一般三维对象，经过前述矩阵变换以正确的三维位姿进行渲染；2.双目对应的立体视频显示网格：左网格和右网格，用以分别呈现多媒体采集节点传来的左目和右目视频流。处理模块还包括接收互联网数据的4g/5g/wifi基带。
120.图7a为一个实施例中立体视频采集设备的示意图；如图7a所示，立体视频采集设
备节点具有1.双目立体视觉采集摄像头；2.处理模块，其中：
121.双目的立体视觉采集摄像头通过符合人双眼瞳距设置的双目摄像头分别采集对应左目的左目视频和右目对应的右目视频。处理模块，将独立的左目视频和右目视频组装成立体视觉视频，并通过4g/5g/wifi基带将立体视觉视频流上传到互联网。
122.云端处理中心负责立体视觉视频流进行人工智能处理(人体动作识别处理)，并分发到远程用户的眼镜端。
123.各个远程用户在自己的增强现实眼镜设备节点中看到增强现实场景，场景包括每个远程用户对应的虚拟人形象，以及融合在场景中各个远程用户的真实世界的立体视觉视频。
124.增强现实系统工作时，各个用户通过各自的立体视频采集节点采集立体视觉视频，并上传到云端，云端对立体视觉视频信息进行人工智能处理，检测用户的真实场景中的物体信息，提取人体动作、表情、手势等人体信息，将人体动作、表情、手势等人体信息实时映射到虚拟化身虚拟三维模型上，并将立体视觉视频分发给系统中获权看到视频的对应用户，放置在虚拟化身三维模型身旁的左右网格中，具体方案如下：
125.多地协同的增强现实系统中，云端处理中心维护参与协作空间的多名用户身份、位置、行为等数据，比如代表用户a的信息，会广播到每个眼镜节点，每个用户的增强现实场景中会看到代表用户a的虚拟人三维模型，虚拟人a。眼镜节点对虚拟人a分别进行左、右两个虚拟视角的投影-透视变换，变换后经过gpu管线渲染符合左、右目人眼的立体视觉3d场景到眼镜的双目显示装置，佩戴眼镜的用户一次看到符合人眼立体视觉的虚拟人a呈现在眼前；注意，虚拟人a模型对象在每个眼镜节点中只有一份，但对于左、右目虚拟各渲染一次，因此总共渲染2次，分别送给左右目显示镜，虚拟人a的立体视觉得以呈现。
126.立体视觉视频来自于用户a的立体视频采集设备节点采集的立体视频，立体视觉视频a，经有云端处理中心分派，将立体视觉视频a传送到需要观看的用户的眼镜节点，眼镜节点的处理模块获得网络传来的立体视觉视频a，将其对应的左右目部分分拆为左目动态纹理和右目动态纹理。左目动态纹理映射到增强现实场景的左网格，右目动态纹理映射到增强现实场景的右网格。图7b为另一个实施例中增强现实设备的示意图；如图7b所示，左网格只渲染到左目虚拟相机，在右目虚拟相机中消隐，右网格只渲染到右目虚拟相机，在左目虚拟相机中消隐，又因为左目虚拟相机渲染的结果将投影到眼镜节点的左目显示镜，右目虚拟相机渲染的结果将投影到眼镜节点的右目显示镜，最终呈现的增强现实场景就会呈现出立体视觉的视频流(立体视觉视频)。实施方案中，可将左右网格绑定虚拟人a的局部坐标系，这样在增强现实眼镜中就会体现随虚拟人a运动的立体视觉视频，伴随在虚拟人a周围。
127.应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
128.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的面向增
强现实的视频处理方法的面向增强现实的视频处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个面向增强现实的视频处理装置实施例中的具体限定可以参见上文中对于面向增强现实的视频处理方法的限定，在此不再赘述。
129.在一个实施例中，如图8所示，提供了一种面向增强现实的视频处理装置，包括：接收模块802、生成模块804、映射模块806、渲染模块808和投影模块810，其中：
130.接收模块802，用于接收立体视觉视频；立体视觉视频包含真实对象；
131.生成模块804，用于基于立体视觉视频生成左目动态纹理和右目动态纹理；
132.映射模块806，用于将左目动态纹理映射于左网格，将右目动态纹理映射于右网格；
133.渲染模块808，用于将左网格连同三维虚拟世界渲染至左目虚拟相机中，得到左目渲染结果，以及将右网格连同三维虚拟世界渲染至右目虚拟相机中，得到右目渲染结果；
134.投影模块810，用于将左目渲染结果投影至增强现实设备的左目显示镜，将右目渲染结果投影至增强现实设备的右目显示镜，以实现增强现实场景下的立体视觉视频的立体视觉。
135.在一个实施例中，渲染模块808还用于依据真实对象对左网格进行剪裁处理，得到左目头像网格；依据真实对象对右网格进行剪裁处理，得到右目头像网格；将左目头像网格渲染至左目虚拟相机中，得到左目渲染结果，以及将右目头像网格渲染至右目虚拟相机中，得到右目渲染结果。
136.在一个实施例中，生成模块804还用于将立体视觉视频拆分为左目视频和右目视频；依据左目视频生成左目动态纹理；依据右目视频生成右目动态纹理。
137.在一个实施例中，如图9所示，提供了一种面向增强现实的视频处理装置，包括：控制模块812和绑定模块814，其中：
138.控制模块812，用于接收对象信息；对象信息包括对象动作、对象表情和对象手势，且是通过对立体视觉视频进行识别得到的；依据对象信息控制对应的虚拟三维模型。
139.绑定模块814，用于确定虚拟三维模型的局部坐标系；依据局部坐标系分别对左网格和右网格进行绑定处理，以使立体视觉视频伴随于虚拟三维模型的周围。
140.在一个实施例中，控制模块812还用于通过传感器实时采集三维空间信息；依据三维空间信息控制左目虚拟相机和右目虚拟相机进行移动。
141.上述实施例，通过接收立体视觉视频；立体视觉视频包含真实对象；基于立体视觉视频生成左目动态纹理和右目动态纹理；将左目动态纹理映射于左网格，将右目动态纹理映射于右网格；将左网格连同三维虚拟世界渲染至左目虚拟相机中，得到左目渲染结果，以及将右网格连同三维虚拟世界渲染至右目虚拟相机中，得到右目渲染结果；将左目渲染结果投影至增强现实设备的左目显示镜，将右目渲染结果投影至增强现实设备的右目显示镜，以实现增强现实场景下的立体视觉视频的立体视觉，通过实现包含真实对象的立体视觉视频的立体视觉，即实现了用户可利用增强现实系统与真实对象的立体视觉进行交互，有效的提升了增强现实系统对真实场景的交互能力。
142.上述面向增强现实的视频处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可
access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
150.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
151.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种面向增强现实的视频处理方法，其特征在于，应用于增强现实设备；所述方法包括：接收立体视觉视频；所述立体视觉视频包含真实对象；基于所述立体视觉视频生成左目动态纹理和右目动态纹理；将所述左目动态纹理映射于左网格，将所述右目动态纹理映射于右网格；将所述左网格连同三维虚拟世界渲染至左目虚拟相机中，得到左目渲染结果，以及将所述右网格连同所述三维虚拟世界渲染至右目虚拟相机中，得到右目渲染结果；将所述左目渲染结果投影至所述增强现实设备的左目显示镜，将所述右目渲染结果投影至所述增强现实设备的右目显示镜，以实现增强现实场景下的所述立体视觉视频的立体视觉。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收对象信息；所述对象信息包括对象动作、对象表情和对象手势，且是通过对所述立体视觉视频进行识别得到的；依据对象信息控制对应的虚拟三维模型。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：确定所述虚拟三维模型的局部坐标系；依据所述局部坐标系分别对所述左网格和所述右网格进行绑定处理，以使所述立体视觉视频伴随于所述虚拟三维模型的周围。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：通过传感器实时采集三维空间信息；依据所述三维空间信息控制所述左目虚拟相机和所述右目虚拟相机进行移动。5.根据权利要求1所述的方法，其特征在于，所述将所述左目动态纹理映射于左网格，将所述右目动态纹理映射于右网格之后，所述方法还包括：依据所述真实对象对所述左网格进行剪裁处理，得到左目头像网格；依据所述真实对象对所述右网格进行剪裁处理，得到右目头像网格；将所述左目头像网格渲染至所述左目虚拟相机中，得到所述左目渲染结果，以及将所述右目头像网格渲染至所述右目虚拟相机中，得到所述右目渲染结果。6.根据权利要求1所述的方法，其特征在于，所述基于所述立体视觉视频生成左目动态纹理和右目动态纹理包括：将所述立体视觉视频拆分为左目视频和右目视频；依据所述左目视频生成左目动态纹理；依据所述右目视频生成右目动态纹理。7.一种面向增强现实的视频处理装置，其特征在于，应用于增强现实眼镜设备；所述装置包括：接收模块，用于接收立体视觉视频；所述立体视觉视频包含真实对象；生成模块，用于基于所述立体视觉视频生成左目动态纹理和右目动态纹理；映射模块，用于将所述左目动态纹理映射于左网格，将所述右目动态纹理映射于右网格；渲染模块，用于将所述左网格连同三维虚拟世界渲染至左目虚拟相机中，得到左目渲
染结果，以及将所述右网格连同所述三维虚拟世界渲染至右目虚拟相机中，得到右目渲染结果；投影模块，用于将所述左目渲染结果投影至所述增强现实设备的左目显示镜，将所述右目渲染结果投影至所述增强现实设备的右目显示镜，以实现增强现实场景下的所述立体视觉视频的立体视觉。8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请涉及一种面向增强现实的视频处理方法、装置、计算机设备、存储介质和计算机程序产品。应用于增强现实设备；接收立体视觉视频；立体视觉视频包含真实对象；基于立体视觉视频生成左目动态纹理和右目动态纹理；将左目动态纹理映射于左网格，将右目动态纹理映射于右网格；将左网格连同三维虚拟世界渲染至左目虚拟相机中，得到左目渲染结果，以及将右网格连同三维虚拟世界渲染至右目虚拟相机中，得到右目渲染结果；将左目渲染结果投影至增强现实设备的左目显示镜，将右目渲染结果投影至增强现实设备的右目显示镜，以实现增强现实场景下的立体视觉视频的立体视觉。采用本方法能够提升增强现实系统对真实场景的交互能力。强现实系统对真实场景的交互能力。强现实系统对真实场景的交互能力。


技术研发人员：孙超 李巍 潘卫敏
受保护的技术使用者：上海北冕信息科技有限公司
技术研发日：2023.05.29
技术公布日：2023/8/14