一种图像显示方法、装置、设备及存储介质与流程

1.本公开涉及图像处理领域，尤其涉及一种图像显示方法、装置、设备及存储介质。


背景技术：

2.在向图像渲染工具的虚拟三维空间中添加图像时，通常需要用户手动操作生成与特定视角对应的图像后，再将图像传输至图像渲染工具，效率低下。


技术实现要素：

3.本公开提供了一种图像显示方法、装置、设备及存储介质。
4.根据本公开的第一方面，提供了一种图像显示方法，所述方法包括：
5.确定虚拟三维空间的目标显示视角，所述虚拟三维空间中添加有虚拟三维对象；所述虚拟三维对象在图像渲染工具的显示界面上呈现为与所述目标显示视角对应的第二图像；
6.根据所述目标显示视角确定目标视角信息；
7.将所述目标视角信息发送至服务端；
8.接收服务端根据所述目标视角信息返回的第一图像；
9.将所述第一图像添加至所述虚拟三维空间，以使所述第一图像与所述第二图像融合显示为第三图像。
10.在本技术一实施中，所述方法还包括：
11.接收多个输入图像；
12.将所述多个输入图像发送至所述服务端，以使所述服务端根据所述多个输入图像构建第一模型，其中，所述第一图像为根据所述目标视角信息和所述第一模型得到的图像。
13.在本技术一实施中，所述方法还包括：
14.接收所述服务端根据所述目标视角信息返回的所述第一图像对应的第一深度信息；
15.获取所述第二图像对应的第二深度信息；
16.根据所述第一深度信息和所述第二深度信息确定所述第一图像和所述第二图像的遮挡关系；
17.根据所述遮挡关系对所述第一图像和所述第二图像进行调整；
18.将调整后的所述第一图像和调整后的所述第二图像进行融合显示，得到所述第三图像。
19.在本技术一实施中，所述根据所述第一深度信息和所述第二深度信息确定所述第一图像和所述第二图像的遮挡关系，包括：
20.根据所述第一图像和所述第二图像的重叠区域，从所述第一深度信息中确定所述重叠区域对应的子深度信息，所述第一图像的显示区域大于所述第二图像的显示区域；
21.根据所述子深度信息和所述第二深度信息确定所述第一图像和所述第二图像的
遮挡关系。
22.在本技术一实施中，所述第一图像为根据所述目标视角信息和第一模型得到的图像，所述第一模型被训练为在输入视角信息的情况下输出视角信息对应的以下信息的至少之一：视角图像、深度信息。
23.在本技术一实施中，所述根据所述目标显示视角确定目标视角信息，包括：
24.根据所述目标显示视角确定第一视角信息；
25.获得所述虚拟三维空间与第一模型的视角对应关系，所述第一模型设置于所述服务端，所述第一图像为根据所述目标视角信息和所述第一模型得到的图像；
26.根据所述第一视角信息和所述视角对应关系确定所述目标视角信息。
27.在本技术一实施中，所述方法还包括：
28.根据所述第三图像对所述视角对应关系进行调整。
29.根据本公开的第二方面，提供了一种图像显示装置，所述装置包括：
30.显示视角确定模块，用于确定虚拟三维空间的目标显示视角，所述虚拟三维空间中添加有虚拟三维对象；所述虚拟三维对象在图像渲染工具的显示界面上呈现为与所述目标显示视角对应的第二图像；
31.视角信息确定模块，用于根据所述目标显示视角确定目标视角信息；
32.发送模块，用于将所述目标视角信息发送至服务端；
33.接收模块，用于接收服务端根据所述目标视角信息返回的第一图像；
34.图像显示模块，用于将所述第一图像添加至所述虚拟三维空间，以使所述第一图像与所述第二图像融合显示为第三图像。
35.根据本公开的第三方面，提供了一种电子设备，包括：
36.至少一个处理器；以及
37.与所述至少一个处理器通信连接的存储器；其中，
38.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的方法。
39.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开所述的方法。
40.本公开的图像显示方法、装置、设备及存储介质，确定虚拟三维空间的目标显示视角，虚拟三维空间中添加有虚拟三维对象；虚拟三维对象在图像渲染工具的显示界面上呈现为与目标显示视角对应的第二图像；根据目标显示视角确定目标视角信息；将目标视角信息发送至服务端；接收服务端根据所述目标视角信息返回的第一图像；将第一图像添加至虚拟三维空间，以使第一图像与第二图像融合显示为第三图像。
41.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
42.通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
43.在附图中，相同或对应的标号表示相同或对应的部分。
44.图1示出了本公开实施例提供的图像显示方法的一种流程示意图；
45.图2示出了本公开实施例提供的虚拟三维空间的一种示意图；
46.图3示出了本公开实施例提供的一种视角信息确定流程示意图；
47.图4示出了本公开实施例提供的一种模型构建流程示意图；
48.图5示出了本公开实施例提供的一种输入图像示意图；
49.图6示出了本公开实施例提供的一种图像融合显示流程示意图；
50.图7示出了本公开实施例提供的一种图像融合显示示意图；
51.图8示出了本公开实施例提供的图像显示装置的一种结构示意图；
52.图9示出了本公开实施例一种电子设备的组成结构示意图。
具体实施方式
53.为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
54.由于nerf(neural radiance fields，神经网络辐射场)图像不具备深度信息，因此，目前利用nerf图像进行二次开发时很难准确地显示nerf图像中的物体之间的遮挡关系。所以，为了准确地显示nerf图像中的物体之间的遮挡关系，本公开提供了一种图像显示方法、装置、设备及存储介质。本公开提供的图像显示方法可以应用于任何可以进行图像处理的电子设备，包括不限于电脑、手机和平板电脑等。
55.下面将结合本公开实施例中的附图，对本公开实施例的技术方案进行描述。
56.图1示出了本公开实施例提供的图像显示方法的一种流程示意图，如图1所示，所述方法包括：
57.s101，确定虚拟三维空间的目标显示视角。
58.所述虚拟三维空间中添加有虚拟三维对象；所述虚拟三维对象在图像渲染工具的显示界面上呈现为与所述目标显示视角对应的第二图像。
59.虚拟三维空间是指需要添加或添加了渲染物体的虚拟三维场景。在一种可能的实施方式中，图2示出了本公开实施例提供的虚拟三维空间的一种示意图，如图2所示，图像200是该虚拟三维空间的其中一个视角下的图像在图像渲染工具的显示界面上呈现出的效果，该虚拟三维空间200中添加了多个渲染物体201和两个虚拟三维对象202。
60.图像渲染工具是指运行于本地的三维图像处理软件，比如unity(实时内容开发平台)软件。如图2所示，图2中显示的虚拟三维对象202的图像即虚拟三维对象202在该虚拟三维空间的当前视角下的显示图像，若该虚拟三维空间的当前视角为目标显示视角，则虚拟三维对象202在该虚拟三维空间的当前视角下的显示图像为虚拟三维对象202的第二图像。
61.目标显示视角包括虚拟三维空间显示在图像渲染工具的显示界面上的角度。在一种可能的实施方式中，所述确定虚拟三维空间的目标显示视角，可以包括步骤a1-a2：
62.步骤a1，获取虚拟三维空间对应的各个显示视角。
63.虚拟三维空间的每个显示视角包括6dof(自由度)信息。
64.步骤a2，从所述各个显示视角中，确定出虚拟三维空间当前在图像渲染工具的显示界面上所显示的显示视角，作为目标显示视角。
65.s102，根据所述目标显示视角确定目标视角信息。
66.本公开中，目标视角信息可以为设置于服务端的第一模型中与目标显示视角相对应的视角。在一种可能的实施方式中，图3示出了本公开实施例提供的一种视角信息确定流程示意图，如图3所示，所述根据所述目标显示视角确定目标视角信息，包括：
67.s301，根据所述目标显示视角确定第一视角信息。
68.本公开中，可以将目标显示视角对应的目标6dof信息确定为第一视角信息。
69.s302，获得所述虚拟三维空间与第一模型的视角对应关系。
70.所述第一模型设置于所述服务端，所述第一图像为根据所述目标视角信息和所述第一模型得到的图像。
71.本公开中可以在服务端根据多个待渲染的图像和各个待渲染的图像对应的视角预先训练待训练模型，作为第一模型。第一模型可以为能够进行三维图像渲染的模型，比如nerf模型。
72.s303，根据所述第一视角信息和所述视角对应关系确定所述目标视角信息。
73.本公开中，虚拟三维空间的各个视角与第一模型的渲染视角存在视角对应关系，第一模型的各个渲染视角包括6dof信息。本步骤中可以根据第一视角信息所包括的目标6dof信息，从视角对应关系中查找渲染视角为目标6dof信息的目标渲染视角，作为目标视角信息。
74.s103，将所述目标视角信息发送至服务端。
75.s104，接收服务端根据所述目标视角信息返回的第一图像。
76.服务端可以根据目标视角信息确定出包括虚拟三维空间中各个物体的渲染图像，作为第一图像，并将第一图像返回至本地的渲染工具。
77.s105，将所述第一图像添加至所述虚拟三维空间，以使所述第一图像与所述第二图像融合显示为第三图像。
78.本地的渲染工具在接收到服务端返回的第一图像后，可以根据第一图像中各个物体的深度信息确定出第一图像中各个物体和第二图像中的虚拟三维对象之间的遮挡关系，根据该遮挡关系确定出融合第一图像和第二图像后的第三图像，并显示第三图像。
79.本公开中，还可以根据所述第三图像对所述视角对应关系进行调整。例如，在根据第一图像与第二图像确定出融合显示的第三图像后，可以将第一模型输出第一图像的视角与虚拟三维空间的显示界面显示第三图像的视角进行对应，更新虚拟三维空间与第一模型的视角对应关系。
80.采用该方法，确定虚拟三维空间的目标显示视角，虚拟三维空间中添加有虚拟三维对象；虚拟三维对象在图像渲染工具的显示界面上呈现为与目标显示视角对应的第二图像；根据目标显示视角确定目标视角信息；将目标视角信息发送至服务端；接收服务端根据所述目标视角信息返回的第一图像；将第一图像添加至虚拟三维空间，以使第一图像与第二图像融合显示为第三图像。由于服务端基于目标视角信息确定的第一图像和虚拟三维对象呈现的与目标显示视角对应的第二图像是同一视角对应的图像，因此可以清楚第一图像中各个物体和虚拟三维对象之间的遮挡关系，从而更准确地显示融合后的第三图像。
81.在一种可能的实施方式中，图4示出了本公开实施例提供的一种模型构建流程示意图，如图4所示，所述第一模型的构建流程包括：
82.s401，接收多个输入图像。
83.本公开中，图像渲染工具可以获取虚拟三维空间各个视角下的图像作为输入图像，用于训练第一模型。在一可实施方式中，可以从虚拟三维空间对应的三维模型数据中获取虚拟三维空间各个视角下的图像，虚拟三维空间对应的三维模型数据可以是虚拟三维空间的三维nerf模型数据。例如，图5示出了本公开实施例提供的一种输入图像示意图。如图5所示，图5展示了虚拟三维空间在目标显示视角下的一种未经渲染的图像，可以将该图像作为输入图像用于训练第一模型。
84.s402，将所述多个输入图像发送至所述服务端，以使所述服务端根据所述多个输入图像构建第一模型。
85.其中，所述第一图像为根据所述目标视角信息和所述第一模型得到的图像。
86.本公开中，本地的图像渲染工具具有向服务端上传图像的功能，可以通过图像渲染工具向服务端上传各个输入图像，使服务端基于多个输入图像构建第一模型。在一可实施方式中，服务端基于多个输入图像构建第一模型的步骤，可以包括步骤b1-b4：
87.步骤b1，将各个输入图像和每个输入图像对应的视角信息输入待训练模型，得到每个输入图像对应的预测渲染图像和预测渲染图像中各个像素点对应的深度信息。
88.其中，每个输入图像的视角信息包括该输入图像中各个像素点的分辨率、光束起点、光束方向和像素坐标等信息。
89.步骤b2，根据各个输入图像对应的视角信息和预设渲染图像，和各个输入图像对应的预测渲染图像，确定待训练模型的损失函数。
90.具体的，可以根据同一视角下预测渲染图像和预设渲染图像之间的颜色差异，计算对数损失函数或交叉熵损失函数，作为待训练模型的损失函数。
91.步骤b3，如果损失函数收敛，将当前的待训练模型确定为所述第一模型。
92.步骤b4，如果损失函数未收敛，调整待训练模型的参数，并返回步骤b1。
93.本公开中，待训练模型可以为nerf模型，如果待训练模型为nerf网络，则训练得到的第一模型为可以根据视角信息进行图像渲染和图像深度信息确定的nerf模型。在训练得到第一模型后，可以采用第一模型基于目标视角信息确定出第一图像和第一图像中各个像素点对应的深度信息。
94.本公开中，所述第一图像为根据所述目标视角信息和第一模型得到的图像，所述第一模型被训练为在输入视角信息的情况下输出视角信息对应的以下信息的至少之一：视角图像、深度信息。比如，将目标视角信息输入第一模型，可以得到第一图像和第一图像中各个像素点的深度信息。
95.在一种可能的实施方式中，图6示出了本公开实施例提供的一种图像融合显示流程示意图，如图6所示，所述图像显示方法还包括：
96.s601，接收所述服务端根据所述目标视角信息返回的所述第一图像对应的第一深度信息。
97.本公开中，服务端可以根据目标视角信息，确定出虚拟三维空间在目标显示视角下的渲染图像作为第一图像，以及确定出第一图像对应的第一深度信息，并将第一深度信
息也返回至本地运行的图像渲染工具。
98.第一深度信息中包括第一图像中每个像素点对应的深度信息。例如，若第一模型为nerf渲染模型，nerf渲染模型可以确定出第一图像中各个像素点相对于第一图像对应的视角下的指定位置之间的距离，作为第一图像对应的第一深度信息。其中，第一图像对应的视角下的指定位置可以为以第一图像对应的视角采集虚拟三维空间的二维图像的相机所处的位置。
99.s602，获取所述第二图像对应的第二深度信息。
100.本公开中，本地的图像渲染工具也可以确定出第二图像中各个像素点相对于目标视角下的指定位置之间的距离，作为第二深度信息。
101.s603，根据所述第一深度信息和所述第二深度信息确定所述第一图像和所述第二图像的遮挡关系。
102.在一可实施方式中，所述根据所述第一深度信息和所述第二深度信息确定所述第一图像和所述第二图像的遮挡关系，可以包括步骤c1-c2：
103.步骤c1，根据所述第一图像和所述第二图像的重叠区域，从所述第一深度信息中确定所述重叠区域对应的子深度信息。
104.所述第一图像的显示区域大于所述第二图像的显示区域。
105.本公开中，在确定出第一深度信息和第二深度信息后，且第一图像对应的第一坐标系和第二图像对应的第二坐标系对齐的情况下，可以根据第一图像对应的第一坐标系和第二图像对应的第二坐标系确定第一图像和第二图像的重叠区域。然后，针对重叠区域，可以从第一深度信息中确定出第一图像在重叠区域中的各个像素点对应的深度信息，作为子深度信息。
106.由于虚拟三维对象是添加在第一图像构建的虚拟三维空间中的小物体，虚拟三维空间中除了虚拟三维对象外均现实第一图像的内容，因此，第一图像的显示区域一般大于第二图像的显示区域。
107.步骤c2，根据所述子深度信息和所述第二深度信息确定所述第一图像和所述第二图像的遮挡关系。
108.在确定出第一图像在重叠区域中的各个像素点对应的子深度信息后，可以针对第二图像的每个像素点，根据该像素点对应的第二深度信息和该像素点对应的重叠像素点所对应的子深度信息，确定该像素点与该像素点对应的重叠像素点之间的遮挡关系。其中，该像素点对应的重叠像素点为第一图像在重叠区域中与该像素点相重叠的像素点。
109.s604，根据所述遮挡关系对所述第一图像和所述第二图像进行调整。
110.具体的，针对第二图像的每个像素点，若该像素点与该像素点对应的重叠像素点之间的遮挡关系为该像素点的深度小于该像素点对应的重叠像素点的深度，则在进行显示时该像素点遮挡住该像素点对应的重叠像素点，若该像素点与该像素点对应的重叠像素点之间的遮挡关系为该像素点的深度不小于该像素点对应的重叠像素点的深度，则在进行显示时该像素点对应的重叠像素点遮挡住该像素点。其中，该像素点对应的重叠像素点为第一图像在重叠区域中与该像素点相重叠的像素点。
111.s605，将调整后的所述第一图像和调整后的所述第二图像进行融合显示，得到所述第三图像。
112.根据遮挡关系，对重叠区域中第一图像和第二图像的像素点的显示位置进行调整后，将调整后得到的第一图像和第二图像进行融合得到第三图像，第三图像中所对应的第一图像和第二图像的重叠区域，按照第一图像和第二图像在重叠区域的各个像素点之间的遮挡关系进行显示。例如，图7示出了本公开实施例提供的一种图像融合显示示意图，如图7所示，经过服务端渲染返回的第一图像700中包括渲染后的各个物体701，并且，由图7可知，虚拟三维对象702在图像渲染工具的显示界面上呈现的第二图像与第一图像700重叠区域的遮挡关系为：虚拟三维对象702的第二图像部分被第一图像遮挡住，部分遮挡住与第一图像700的重叠区域作为融合后的第三图像的一部分显示在显示界面上。仍由图7可知，虚拟三维对象703在图像渲染工具的显示界面上呈现的第二图像与第一图像700重叠区域的遮挡关系为：虚拟三维对象703的第二图像与第一图像700的重叠区域作为融合后的第三图像的一部分全部显示在显示界面上。并且，仍由图7可知，第一图像700显示区域大于第二图像的显示区域。
113.采用该方法，服务端可以根据目标视角信息确定第一图像和第一图像对应的第一深度信息，并将第一图像和第一图像对应的第一深度信息返回至本地的图像渲染工具，由于第一深度信息和第二深度信息都是同一视角下的深度信息，因此本地的图像渲染工具可以根据第二图像对应的第二深度信息和第一深度信息确定出第一图像和第二图像重叠区域的遮挡住关系，从而准确地显示融合后的第三图像。也就是说，采用该方法，用户可以通过服务端确定的第一图像和第一图像的第一深度信息，结合本地的图像渲染工具确定的第二图像和第二图从而达到逼真的物体在三维场景中移动的效果。
114.基于同一发明构思，根据本公开上述实施例提供的图像显示方法，相应地，本公开另一实施例还提供了一种图像显示装置，其结构示意图如图8所示，具体包括：
115.显示视角确定模块801，用于确定虚拟三维空间的目标显示视角，所述虚拟三维空间中添加有虚拟三维对象；所述虚拟三维对象在图像渲染工具的显示界面上呈现为与所述目标显示视角对应的第二图像；
116.视角信息确定模块802，用于根据所述目标显示视角确定目标视角信息；
117.发送模块803，用于将所述目标视角信息发送至服务端；
118.接收模块804，用于接收服务端根据所述目标视角信息返回的第一图像；
119.图像显示模块805，用于将所述第一图像添加至所述虚拟三维空间，以使所述第一图像与所述第二图像融合显示为第三图像。
120.采用该装置，确定虚拟三维空间的目标显示视角，虚拟三维空间中添加有虚拟三维对象；虚拟三维对象在图像渲染工具的显示界面上呈现为与目标显示视角对应的第二图像；根据目标显示视角确定目标视角信息；将目标视角信息发送至服务端；接收服务端根据所述目标视角信息返回的第一图像；将第一图像添加至虚拟三维空间，以使第一图像与第二图像融合显示为第三图像。由于服务端基于目标视角信息确定的第一图像和虚拟三维对象呈现的与目标显示视角对应的第二图像是同一视角对应的图像，因此可以清楚第一图像中各个物体和虚拟三维对象之间的遮挡关系，从而更准确地显示融合后的第三图像。
121.在本技术一实施中，所述装置还包括：
122.模型构建模块(图中未示出)，用于接收多个输入图像；将所述多个输入图像发送至所述服务端，以使所述服务端根据所述多个输入图像构建第一模型，其中，所述第一图像
为根据所述目标视角信息和所述第一模型得到的图像。
123.在本技术一实施中，所述图像显示模块805，还用于接收所述服务端根据所述目标视角信息返回的所述第一图像对应的第一深度信息；获取所述第二图像对应的第二深度信息；根据所述第一深度信息和所述第二深度信息确定所述第一图像和所述第二图像的遮挡关系；根据所述遮挡关系对所述第一图像和所述第二图像进行调整；将调整后的所述第一图像和调整后的所述第二图像进行融合显示，得到所述第三图像。
124.在本技术一实施中，所述图像显示模块805，具体用于根据所述第一图像和所述第二图像的重叠区域，从所述第一深度信息中确定所述重叠区域对应的子深度信息，所述第一图像的显示区域大于所述第二图像的显示区域；根据所述子深度信息和所述第二深度信息确定所述第一图像和所述第二图像的遮挡关系。
125.在本技术一实施中，所述第一图像为根据所述目标视角信息和第一模型得到的图像，所述第一模型被训练为在输入视角信息的情况下输出视角信息对应的以下信息的至少之一：视角图像、深度信息。
126.在本技术一实施中，所述视角信息确定模块802，具体用于根据所述目标显示视角确定第一视角信息；获得所述虚拟三维空间与第一模型的视角对应关系，所述第一模型设置于所述服务端，所述第一图像为根据所述目标视角信息和所述第一模型得到的图像；根据所述第一视角信息和所述视角对应关系确定所述目标视角信息。
127.在本技术一实施中，所述装置还包括：
128.对应关系调整模块(图中未示出)，用于根据所述第三图像对所述视角对应关系进行调整。
129.采用该装置，服务端可以根据目标视角信息确定第一图像和第一图像对应的第一深度信息，并将第一图像和第一图像对应的第一深度信息返回至本地的图像渲染工具，由于第一深度信息和第二深度信息都是同一视角下的深度信息，因此本地的图像渲染工具可以根据第二图像对应的第二深度信息和第一深度信息确定出第一图像和第二图像重叠区域的遮挡住关系，从而准确地显示融合后的第三图像。也就是说，采用该装置，用户可以通过服务端确定的第一图像和第一图像的第一深度信息，结合本地的图像渲染工具确定的第二图像和第二图从而达到逼真的物体在三维场景中移动的效果。
130.根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
131.图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
132.如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序，来执行各种适当的动作和处理。在ram 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
133.设备900中的多个部件连接至i/o接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
134.计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如图像显示方法。例如，在一些实施例中，图像显示方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由rom 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到ram 903并由计算单元901执行时，可以执行上文描述的图像显示方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像显示方法。
135.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上集成系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
136.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
137.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
138.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的
反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
139.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
140.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
141.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
142.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
143.以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种图像显示方法，所述方法包括：确定虚拟三维空间的目标显示视角，所述虚拟三维空间中添加有虚拟三维对象；所述虚拟三维对象在图像渲染工具的显示界面上呈现为与所述目标显示视角对应的第二图像；根据所述目标显示视角确定目标视角信息；将所述目标视角信息发送至服务端；接收服务端根据所述目标视角信息返回的第一图像；将所述第一图像添加至所述虚拟三维空间，以使所述第一图像与所述第二图像融合显示为第三图像。2.根据权利要求1所述的方法，所述方法还包括：接收多个输入图像；将所述多个输入图像发送至所述服务端，以使所述服务端根据所述多个输入图像构建第一模型，其中，所述第一图像为根据所述目标视角信息和所述第一模型得到的图像。3.根据权利要求1所述的方法，所述方法还包括：接收所述服务端根据所述目标视角信息返回的所述第一图像对应的第一深度信息；获取所述第二图像对应的第二深度信息；根据所述第一深度信息和所述第二深度信息确定所述第一图像和所述第二图像的遮挡关系；根据所述遮挡关系对所述第一图像和所述第二图像进行调整；将调整后的所述第一图像和调整后的所述第二图像进行融合显示，得到所述第三图像。4.根据权利要求3所述的方法，所述根据所述第一深度信息和所述第二深度信息确定所述第一图像和所述第二图像的遮挡关系，包括：根据所述第一图像和所述第二图像的重叠区域，从所述第一深度信息中确定所述重叠区域对应的子深度信息，所述第一图像的显示区域大于所述第二图像的显示区域；根据所述子深度信息和所述第二深度信息确定所述第一图像和所述第二图像的遮挡关系。5.根据权利要求1-4中任意一项所述的方法，所述第一图像为根据所述目标视角信息和第一模型得到的图像，所述第一模型被训练为在输入视角信息的情况下输出视角信息对应的以下信息的至少之一：视角图像、深度信息。6.根据权利要求1所述的方法，所述根据所述目标显示视角确定目标视角信息，包括：根据所述目标显示视角确定第一视角信息；获得所述虚拟三维空间与第一模型的视角对应关系，所述第一模型设置于所述服务端，所述第一图像为根据所述目标视角信息和所述第一模型得到的图像；根据所述第一视角信息和所述视角对应关系确定所述目标视角信息。7.根据权利要求6所述的方法，所述方法还包括：根据所述第三图像对所述视角对应关系进行调整。8.一种图像显示装置，所述装置包括：显示视角确定模块，用于确定虚拟三维空间的目标显示视角，所述虚拟三维空间中添加有虚拟三维对象；所述虚拟三维对象在图像渲染工具的显示界面上呈现为与所述目标显
示视角对应的第二图像；视角信息确定模块，用于根据所述目标显示视角确定目标视角信息；发送模块，用于将所述目标视角信息发送至服务端；接收模块，用于接收服务端根据所述目标视角信息返回的第一图像；图像显示模块，用于将所述第一图像添加至所述虚拟三维空间，以使所述第一图像与所述第二图像融合显示为第三图像。9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行根据权利要求1-7中任一项所述的方法。

技术总结
本公开提供了一种图像显示方法、装置、设备及存储介质，所述方法包括：确定虚拟三维空间的目标显示视角，虚拟三维空间中添加有虚拟三维对象；虚拟三维对象在图像渲染工具的显示界面上呈现为与目标显示视角对应的第二图像；根据目标显示视角确定目标视角信息；将目标视角信息发送至服务端；接收服务端根据所述目标视角信息返回的第一图像；将第一图像添加至虚拟三维空间，以使第一图像与第二图像融合显示为第三图像。为第三图像。为第三图像。


技术研发人员：陆柳慧 盛兴东
受保护的技术使用者：联想（北京）有限公司
技术研发日：2023.06.28
技术公布日：2023/10/8