全景图像数据处理方法和系统、电子设备及存储介质与流程

1.本发明涉及图像处理技术领域，尤其是一种全景图像数据处理方法和系统、电子设备及存储介质。


背景技术：

2.全景图片通常是指符合人的双眼正常有效视角(大约水平90度、垂直70度)或包括双眼余光视角(大约水平180度、垂直90度)乃至360度完整场景范围拍摄的照片。
3.传统的光学摄影全景照片，是把90度至360度的场景(柱形全景)全部展现在一个二维平面上，将完整的全景内容基于二维平面进行呈现。现有的针对全景图像数据的处理方案受限于数据质量的不同，业内并不存在统一的处理方法和使用方法，而关于全景数据的处理、数据存储的设计、可视装置及可视化展示的设计也不尽相同。特别是对于精度较高的全景图像数据，现有方案往往只能够实现数据的统一存储和渲染展示，无法根据用户的需求进行针对性地动态展示，使得渲染所需的资源开销极大，影响了全景图像数据的渲染效率和用户的浏览体验。


技术实现要素：

4.本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
5.为此，本发明实施例的一个目的在于提供一种全景图像数据处理方法，该方法提高了全景图像数据的渲染效率和用户的浏览体验。
6.本发明实施例的另一个目的在于提供一种全景图像数据处理系统。
7.为了达到上述技术目的，本发明实施例所采取的技术方案包括：
8.第一方面，本发明实施例提供了一种全景图像数据处理方法，包括以下步骤：
9.对待处理全景图像数据进行预处理，得到预设尺寸的第一全景图像；
10.对所述第一全景图像进行多层切片处理，得到不同深度等级的多个切片图像组，并确定各所述切片图像组中各个切片图像的切片位置；
11.根据所述深度等级和所述切片位置，确定各所述切片图像的索引标签，并根据所述索引标签和所述切片图像组生成切片图像数据库；
12.构建全景球体模型并获取目标用户的观察点，根据所述全景球体模型和所述观察点确定待展示切片图像对应的目标深度等级和目标切片位置，进而从所述切片图像数据库中索引得到所述待展示切片图像，并通过所述全景球体模型的球体表面进行展示。
13.进一步地，在本发明的一个实施例中，所述对待处理全景图像数据进行预处理，得到预设尺寸的第一全景图像这一步骤，其具体包括：
14.根据所述预设尺寸确定第一长宽比和第一宽度值；
15.根据所述第一长宽比对所述待处理全景图像进行裁剪、拉伸或者压缩得到第二全景图像，使得所述第二全景图像的长宽比等于所述第一长宽比；
16.确定所述第二全景图像的第二图像宽度，并将所述图像宽度与所述第一宽度值进
行比对；
17.当所述第二图像宽度小于所述第一宽度值，对所述第二全景图像进行放大得到所述第一全景图像，使得所述第一全景图像的图像宽度等于所述第一宽度值；
18.当所述第二图像宽度等于所述第一宽度值，确定所述第二全景图像为所述第一全景图像；
19.当所述第二图像宽度大于所述第一宽度值，对所述第二全景图像进行缩小得到所述第一全景图像，使得所述第一全景图像的图像宽度等于所述第一宽度值。
20.进一步地，在本发明的一个实施例中，所述对所述第一全景图像进行多层切片处理，得到不同深度等级的多个切片图像组这一步骤，其具体包括：
21.对所述第一全景图像进行切片处理，得到初始深度等级的多个切片图像，并根据初始深度等级的多个切片图像生成初始深度等级的所述切片图像组；
22.对当前深度等级的多个切片图像进行切片处理得到下一深度等级的多个切片图像，并根据下一深度等级的多个切片图像生成下一深度等级的所述切片图像组；
23.重复执行上一步骤直至深度等级达到预设的第一阈值，停止切片处理，得到不同深度等级的多个切片图像组。
24.进一步地，在本发明的一个实施例中，所述确定各所述切片图像组中各个切片图像的切片位置这一步骤，其具体包括：
25.根据所述第一全景图像和切片图像组生成切片图像矩阵，所述切片图像矩阵的元素为所述切片图像组中的切片图像，所述元素的排列顺序与所述切片图像在所述第一全景图像中的位置关系相对应；
26.确定各所述切片图像在所述切片图像矩阵中的行号和列号，并根据所述行号和所述列号确定所述切片图像的切片位置。
27.进一步地，在本发明的一个实施例中，所述根据所述深度等级和所述切片位置，确定各所述切片图像的索引标签，并根据所述索引标签和所述切片图像组生成切片图像数据库这一步骤，其具体包括：
28.根据所述深度等级生成一级索引标签，并建立所述一级索引标签与所述切片图像组的第一映射关系；
29.对于每一个所述切片图像组，根据所述切片位置生成多个二级索引标签，并建立各所述二级索引标签与所述切片图像组内各所述切片图像的第二映射关系；
30.根据所述切片图像组、所述第一映射关系以及所述第二映射关系生成所述切片图像数据库。
31.进一步地，在本发明的一个实施例中，所述构建全景球体模型并获取目标用户的观察点，根据所述全景球体模型和所述观察点确定待展示切片图像对应的目标深度等级和目标切片位置这一步骤，其具体包括：
32.根据所述预设尺寸构建全景球体模型；
33.响应于目标用户的第一操作指令，获取所述目标用户的观察点，并确定所述全景球体模型的球体中心与所述观察点的第一距离；
34.根据所述全景球体模型的球体半径与所述第一距离的比值确定所述待展示切片图像对应的目标深度等级；
35.根据所述全景球体模型的球体表面与所述观察点的位置关系确定所述目标用户的视界范围；
36.根据所述视界范围确定所述待展示切片图像对应的目标切片位置。
37.进一步地，在本发明的一个实施例中，所述从所述切片图像数据库中索引得到所述待展示切片图像，并通过所述全景球体模型的球体表面进行展示这一步骤，其具体包括：
38.根据所述目标深度等级和所述第一映射关系，在所述切片图像数据库中索引得到对应的目标切片图像组；
39.根据所述目标切片位置和所述第二映射关系，在所述目标切片图像组中索引得到所述待展示切片图像；
40.根据所述视界范围在所述全景球体模型的球体表面确定显示区域，并在所述显示区域对所述待展示切片图像进行渲染展示。
41.第二方面，本发明实施例提供了一种全景图像数据处理系统，包括：
42.图像数据预处理模块，用于对待处理全景图像数据进行预处理，得到预设尺寸的第一全景图像；
43.多层切片处理模块，用于对所述第一全景图像进行多层切片处理，得到不同深度等级的多个切片图像组，并确定各所述切片图像组中各个切片图像的切片位置；
44.切片图像数据库生成模块，用于根据所述深度等级和所述切片位置，确定各所述切片图像的索引标签，并根据所述索引标签和所述切片图像组生成切片图像数据库；
45.切片图像展示模块，用于构建全景球体模型并获取目标用户的观察点，根据所述全景球体模型和所述观察点确定待展示切片图像对应的目标深度等级和目标切片位置，进而从所述切片图像数据库中索引得到所述待展示切片图像，并通过所述全景球体模型的球体表面进行展示。
46.第三方面，本发明实施例提供了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如上述第一方面所述的全景图像数据处理方法。
47.第四方面，本发明实施例还提供了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述第一方面所述的全景图像数据处理方法。
48.本发明的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到：
49.本发明实施例对待处理全景图像数据进行预处理，得到预设尺寸的第一全景图像，然后对第一全景图像进行多层切片处理得到不同深度等级的多个切片图像组，并确定各切片图像组中各个切片图像的切片位置，再根据深度等级和切片位置确定各切片图像的索引标签，并根据索引标签和切片图像组生成切片图像数据库，最后构建全景球体模型并获取目标用户的观察点，根据全景球体模型和观察点确定待展示切片图像对应的目标深度等级和目标切片位置，进而从切片图像数据库中索引得到待展示切片图像并通过全景球体模型的球体表面进行展示。本发明实施例对通过多层切片处理将全景图像数据转化为多个
深度等级的切片图像组，并基于深度等级和切片图像组中的切片位置确定切片图像的索引标签，进而可以以切片图像组为单位对不同深度等级的切片图像进行存储和调用，从而可以基于用户需求对特定深度等级和切片位置的切片图像进行动态渲染展示，降低了渲染所需的资源开销，提高了全景图像数据的渲染效率和用户的浏览体验。
附图说明
50.为了更清楚地说明本发明实施例中的技术方案，下面对本发明实施例中所需要使用的附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
51.图1为本发明实施例提供的一种全景图像数据处理方法的步骤流程图；
52.图2为本发明实施例提供的步骤s101的一种流程图；
53.图3为本发明实施例提供的步骤s102的一种流程图；
54.图4为本发明实施例提供的步骤s102的另一种流程图；
55.图5为本发明实施例提供的步骤s103的一种流程图；
56.图6为本发明实施例提供的步骤s104的一种流程图；
57.图7为本发明实施例提供的步骤s104的另一种流程图；
58.图8为本发明实施例提供的全景球体模型、视界范围以及显示区域的示意图；
59.图9为本发明实施例提供的全景图像数据处理系统的结构示意图；
60.图10为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
61.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能理解为对本技术的限制。需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统示意图中的模块划分，或流程图中的顺序执行所示出或描述的步骤。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
62.在本发明的描述中，多个的含义是两个或两个以上，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。此外，除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
63.首先，对本技术中涉及的若干名词进行解释如下：
64.全景图像展示：通过广角的表现手段以及绘画、相片、视频、三维模型等形式，尽可能多表现出周围的环境。对专业相机捕捉整个场景的图像信息或者使用建模软件渲染过后的图片，使用软件进行图片拼合，并用专门的播放器进行播放，即将平面照片或者计算机建
模图片变为360度全观，用于虚拟现实浏览，把二维的平面图模拟成真实的三维空间，呈现给观赏者。
65.图像切片处理：通过python等工具将原始图像分割为相同尺寸的多个切片图像。
66.全景球体模型：为实现水平360
°
、垂直180
°
无死角的全景体验，搭建一个球体模型，将拍摄到的全景图片贴图到球体模型的内部，从而实现全景体验。
67.本技术实施例提供的全景图像数据处理方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现全景图像数据处理方法的应用等，但并不局限于以上形式。
68.本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
69.需要说明的是，在本技术的各个具体实施方式中，当涉及到需要根据用户信息、用户行为数据，用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本技术实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本技术实施例能够正常运行的必要的用户相关数据。
70.如图1所示为本发明实施例提供的一种全景图像数据处理方法的步骤流程图，参照图1，本发明实施例提供了一种全景图像数据处理方法，具体包括以下步骤：
71.s101、对待处理全景图像数据进行预处理，得到预设尺寸的第一全景图像。
72.具体地，本发明实施例在对全景图像数据进行切片处理之前，需要对其进行预处理以达到预设的尺寸要求，该尺寸要求为预先设定，例如长宽比为2:1、宽度为1000mm或10000像素等等，具体可根据实际情况进行设定，本发明实施例对此不作限定。
73.如图2所示为本发明实施例提供的步骤s101的一种流程图，参照图2，进一步作为可选的实施方式，对待处理全景图像数据进行预处理，得到预设尺寸的第一全景图像这一步骤，其具体包括：
74.s1011、根据预设尺寸确定第一长宽比和第一宽度值；
75.s1012、根据第一长宽比对待处理全景图像进行裁剪、拉伸或者压缩得到第二全景图像，使得第二全景图像的长宽比等于第一长宽比；
76.s1013、确定第二全景图像的第二图像宽度，并将图像宽度与第一宽度值进行比对；
77.s1014、当第二图像宽度小于第一宽度值，对第二全景图像进行放大得到第一全景图像，使得第一全景图像的图像宽度等于第一宽度值；
78.s1015、当第二图像宽度等于第一宽度值，确定第二全景图像为第一全景图像；
79.s1016、当第二图像宽度大于第一宽度值，对第二全景图像进行缩小得到第一全景图像，使得第一全景图像的图像宽度等于第一宽度值。
80.具体地，以第一长宽比为2:1、第一宽度值为d为例，先确定待处理全景图像的长宽比，若其长宽比大于2:1，则需要在其长度方向上进行裁剪/压缩或在宽度方向上进行拉伸；若其长宽比小于2:1，则需要在其宽度方向上进行裁剪/压缩或在长度方向上进行拉伸；若其长宽比等于2:1，则无需进行裁剪、拉伸或者压缩。
81.在一些可选的实施例中，当待处理全景图像的长宽比与第一长宽比差异过大时，通过裁剪得到第二全景图像，当待处理全景图像的长宽比为第一长宽比差异较小时，通过拉伸得到第二全景图像，从而保证第二全景图像在图像比例上不会失真。
82.针对长宽比为2:1的第二全景图像，设其长度为a，宽度为b，如果b＝d，则不做处理；如果b＜d，则将长度为a、宽度为b的第二全景图像整体放大为长度为2d、宽度为d的第一全景图像；如果b＞d，则将长度为a、宽度为b的第二全景图像整体缩小为长度为2d、宽度为d的第一全景图像。
83.在一些可选的实施例中，可同时设置d和d/2这两个第一宽度值，如果b＝d或d/2，则不做处理；如果b＜d/2，则将长度为a、宽度为b的第二全景图像整体放大为长度为d、宽度为d/2的第一全景图像；如果b＞d，则将长度为a、宽度为b的第二全景图像整体缩小为长度为2d、宽度为d的第一全景图像；如果d/2＜b＜d，且b-d/2＞d-b，则将长度为a、宽度为b的第二全景图像整体放大为长度为2d、宽度为d的第一全景图像；如果d/2＜b＜d，且b-d/2＜d-b，则将长度为a、宽度为b的第二全景图像整体缩小为长度为d、宽度为d/2的第一全景图像。
84.s102、对第一全景图像进行多层切片处理，得到不同深度等级的多个切片图像组，并确定各切片图像组中各个切片图像的切片位置。
85.具体地，本发明实施例中，对第一全景图像的多层切片处理为逐层进行，即，先对第一全景图像进行切片得到多个第一切片图像，此时对应的的深度等级为1；再对所有第一切片图像切片得到多个第二切片图像，此时对应的深度等级为2；依次类推即可得到不同深度等级的多个切片图像组。各个深度等级的切片图像属于同一切片图像组，其在第一全景图像中的位置即对应其在切片图像组内的切片位置。
86.如图3所示为本发明实施例提供的步骤s102的一种流程图，参照图3，进一步作为可选的实施方式，对第一全景图像进行多层切片处理，得到不同深度等级的多个切片图像组这一步骤，其具体包括：
87.s1021、对第一全景图像进行切片处理，得到初始深度等级的多个切片图像，并根据初始深度等级的多个切片图像生成初始深度等级的切片图像组；
88.s1022、对当前深度等级的多个切片图像进行切片处理得到下一深度等级的多个切片图像，并根据下一深度等级的多个切片图像生成下一深度等级的切片图像组；
89.s1023、重复执行上一步骤直至深度等级达到预设的第一阈值，停止切片处理，得
到不同深度等级的多个切片图像组。
90.具体地，以长度为2d，宽度为d的第一全景图像为例，对其进行切片处理得到两个长宽均为d的第一切片图像，对应的深度等级为1级，其清晰度与精度最高；对每个第一切片图像再次进行切片处理得到四个长宽均为d/2的第二切片图像，此时第二切片图像的总数为8，对应的深度等级为2级；以此类推，不断进行切片处理直至深度等级达到预设的第一阈值(如10级)，最终将第一全景图像处理成具备多个深度等级且每个深度等级存在多个切片图像的切片图像组。在一些可选的实施例中，多层切片处理可通过对第一全景图像进行若干轮下采样来实现。
91.如图4所示为本发明实施例提供的步骤s102的另一种流程图，参照图4，进一步作为可选的实施方式，确定各切片图像组中各个切片图像的切片位置这一步骤，其具体包括：
92.s1024、根据第一全景图像和切片图像组生成切片图像矩阵，切片图像矩阵的元素为切片图像组中的切片图像，元素的排列顺序与切片图像在第一全景图像中的位置关系相对应；
93.s1025、确定各切片图像在切片图像矩阵中的行号和列号，并根据行号和列号确定切片图像的切片位置。
94.具体地，切片图像的图像内容与第一全景图像各个位置的图像内容一一对应，通过切片图像在第一全景图像中的位置即可确定切片图像在对应深度等级的切片图像组中的排列顺序，具体体现为行号和列号。例如，以长度为2d，宽度为d的第一全景图像为例，对其进行切片处理得到两个长宽均为d的第一切片图像，对应的深度等级为1级，形成的切片图像矩阵即可表示为[x
11 x
12
]，则切片图像x
11
的行号和列号均为1，其切片位置可以表示为(1,1)，切片图像x
12
的行号为1、列号为2，且切片位置可以表示为(1,2)。可以理解的是，对于不同深度等级的切片图像，其切片位置会存在相同的现象(如各个切片图像组左上角第一个切片图像的切片位置均为(1,1))，但由于每个切片图像组的深度等级并不相同，因此在存储和调用时并不会造成混淆。
[0095]
s103、根据深度等级和切片位置确定各切片图像的索引标签，并根据索引标签和切片图像组生成切片图像数据库。
[0096]
具体地，本发明实施例使用一种特定的组织方式来存储与管理切片数据，通过一级索引标签对切片图像组进行索引，通过二级索引标签对每一切片图像组内的切片图像进行索引，从而实现了所有切片图像的存储和管理，以便于后续渲染过程对切片图像的调用。
[0097]
如图5所示为本发明实施例提供的步骤s103的一种流程图，参照图5，进一步作为可选的实施方式，根据深度等级和切片位置，确定各切片图像的索引标签，并根据索引标签和切片图像组生成切片图像数据库这一步骤，其具体包括：
[0098]
s1031、根据深度等级生成一级索引标签，并建立一级索引标签与切片图像组的第一映射关系；
[0099]
s1032、对于每一个切片图像组，根据切片位置生成多个二级索引标签，并建立各二级索引标签与切片图像组内各切片图像的第二映射关系；
[0100]
s1033、根据切片图像组、第一映射关系以及第二映射关系生成切片图像数据库。
[0101]
具体地，以深度等级为n、切片图像数量为m的切片图像组为例，设计一个特定的文件结构，该文件结构为由文件头、索引区和数据区三部分组成，其中文件头为固定长度，存
储有切片图像的文件格式(如png、jpg等)以及根据深度等级n生成的一级索引标签；索引区存储有切片图像的文件长度以及根据切片位置生成的二级索引标签，其中切片位置根据切片图像的行号和列号生成；数据区存储有该切片图像组的所有切片图像。
[0102]
基于上述结构，在后续全景图像渲染的过程中，通过访问用户对屏幕界面的缩放控制可以确定用户想要访问的切片图像的深度等级，根据用户点击屏幕的坐标信息可以换算出来对应的切片位置，从而确定所需要访问的切片图像行号、列号等信息，从而可以在切片图像数据库中快速索引到需要展示的切片图像进行渲染展示。
[0103]
s104、构建全景球体模型并获取目标用户的观察点，根据全景球体模型和观察点确定待展示切片图像对应的目标深度等级和目标切片位置，进而从切片图像数据库中索引得到待展示切片图像，并通过全景球体模型的球体表面进行展示。
[0104]
具体地，本发明实施例通过全景球体模型来展示全景图像数据，传统的全景球体模型是将观察点固定设置在球体的正中心，将全景图像数据投影到球体的内表面，这种方法只能够对整张全景图像数据进行同时渲染，且用户不能进行视角调整和关注区域的选择，本发明实施例可基于用户操作进行观察点调整，从而对特定深度等级、特定切片位置的切片图像进行渲染展示，降低了渲染所需的资源开销，提高了全景图像数据的渲染效率和用户的浏览体验。
[0105]
如图6所示为本发明实施例提供的步骤s104的一种流程图，参照图6，进一步作为可选的实施方式，构建全景球体模型并获取目标用户的观察点，根据全景球体模型和观察点确定待展示切片图像对应的目标深度等级和目标切片位置这一步骤，其具体包括：
[0106]
s1041、根据预设尺寸构建全景球体模型；
[0107]
s1042、响应于目标用户的第一操作指令，获取目标用户的观察点，并确定全景球体模型的球体中心与观察点的第一距离；
[0108]
s1043、根据全景球体模型的球体半径与第一距离的比值确定待展示切片图像对应的目标深度等级；
[0109]
s1044、根据全景球体模型的球体表面与观察点的位置关系确定目标用户的视界范围；
[0110]
s1045、根据视界范围确定待展示切片图像对应的目标切片位置。
[0111]
具体地，根据前述的预设尺寸来确定全景球体模型的半径，例如，当第一宽度值为d，则可以等比例确定全景球体模型的半径为d/z，z为固定的比例系数。设切片图像组的最大深度级别为l，用户的观察点可以沿全景球体模型的任意半径在球体内表面和球体中心之间移动(根据用户在屏幕上通过鼠标滑轮等操作进行显示界面的缩放来控制观察点的移动)，当观察点位于球体中心时，则显示深度级别为l的切片图像，观察点越靠近球体表面，则显示深度级别越低的切片图像，直至深度等级为1。具体可先确定全景球体模型的球体中心与观察点的第一距离，根据球体半径与第一距离的比值来确定对应的深度等级，如，当该比值大于l(包括无穷大)时，确定对应的深度等级为l，当该比值小于l时，将该比值向下取整得到对应的深度等级，从而可以确定对应的切片图像组。
[0112]
在确定深度等级之后，根据当前观察点与球体表面的距离，通过视椎体确定其视野范围，根据视野范围截取球体的区域来获取对应区域的切片图像，将切片图像渲染至球体内表面，即可完成对用户所需要的全景图像的展示。
[0113]
可以理解的是，在建立全景球体模型之后，各个切片图像组内的切片图像在球体表面的渲染位置已经确定，每个切片图像组都实现了对球体表面的全覆盖，后续根据用户观察点的改变来确定指定深度等级的切片图像组和指定切片位置的切片图像来完成渲染。
[0114]
如图7所示为本发明实施例提供的步骤s104的另一种流程图，参照图7，进一步作为可选的实施方式，从切片图像数据库中索引得到待展示切片图像并通过全景球体模型的球体表面进行展示这一步骤，其具体包括：
[0115]
s1046、根据目标深度等级和第一映射关系在切片图像数据库中索引得到对应的目标切片图像组；
[0116]
s1047、根据目标切片位置和第二映射关系在目标切片图像组中索引得到待展示切片图像；
[0117]
s1048、根据视界范围在全景球体模型的球体表面确定显示区域，并在显示区域对待展示切片图像进行渲染展示。
[0118]
具体地，在确定目标深度等级和目标切片位置之后，在前述步骤建立的切片图像数据库中可根据目标深度等级索引得到对应的目标切片图像组，然后根据目标切片位置索引得到待展示切片图像(一般为多个)，根据前述步骤确定的视界范围可以全景球体模型的内表面确定显示区域，将待展示切片图像渲染到球体内表面的显示区域即可完成对用户所需求的全景图像数据的展示。
[0119]
如图8所示为本发明实施例提供的全景球体模型、视界范围以及显示区域的示意图，其中，o表示球体中心，p表示观察点，需要说明的是，图中的显示区域只是为了指示出显示区域在全景球体模型上的位置，实际显示时是在所指示的位置对应的球体内表面进行显示。可以理解的是，当用户的观察点p沿着全景球体模型的半径向球体表面移动时，对应的切片图像的深度等级越低，且球体的显示区域越小，而用户端的实体显示界面的大小是不变的，因此实质上实现的效果就是对该显示区域的放大显示，由于深度等级低的切片图像具有更高清晰度的特点，因此并不会影响整体的呈现效果。
[0120]
以上对本发明实施例的方法步骤进行了说明。可以理解的是，本发明实施例对通过多层切片处理将全景图像数据转化为多个深度等级的切片图像组，并基于深度等级和切片图像组中的切片位置确定切片图像的索引标签，进而可以以切片图像组为单位对不同深度等级的切片图像进行存储和调用，从而可以基于用户需求对特定深度等级和切片位置的切片图像进行动态渲染展示，降低了渲染所需的资源开销，提高了全景图像数据的渲染效率和用户的浏览体验。下面从三个维度对本发明实施例的优点进行详细说明：
[0121]
首先，本发明实施例利用多层分级切片的方式处理全景图像数据，将全景图像数据处理成不同深度等级的切片图像组，通过对全景图片进行固定长宽比之后的切片方式，确定了全景图片的存储与管理方式；通过针对全景数据分级的数据处理方式，确定了全景数据分级的渲染方式；通过合适的切片深度等级设置，基于不连续的数据切片，在渲染过程中，可通过不断的切片级别切换保障渲染效果的连贯性，提供较好的全景图片可视效果，兼顾了全景图片的显示效果与显示效率，相比现有技术中其他类型的全景图像数据处理方案在渲染效果、渲染性能、交互体验上具有明显优势。
[0122]
其次，本发明实施例设计了一种专门用于全景图像数据切片化存储的文件系统，该文件系统可基于全景图像数据切片的深度等级、行号、列号来对切片图像进行定位，加快
了切片图像的获取速度，能够支持高频次、高效率的切片访问服务，相比传统的文件存储方案具有更好的性能优势。
[0123]
最后，本发明实施例设计了一种基于切片图像的全景图像数据渲染方案，将数据与最终的可视化模型相互结合，通过观察者的具体位置确定其可视域范围，动态地获得对应深度等级的切片图像；通过对用户操作的嗅探和并发的数据服务，可快速获得指定深度等级的切片图像组，基于观察点的显示策略，通过观察点与全景球体之间的位置关系可确定用户所需求的切片图像，通过前述的文件系统可快速获得对应的切片图像，完成整个渲染动作。该渲染方案每次只会获取显示范围内的对应切片图像，具备渲染流畅、资源开销少、性能稳定等优势。
[0124]
如图9所示为本发明实施例提供的全景图像数据处理系统的结构示意图，参照图9，本发明实施例提供了一种全景图像数据处理系统，包括：
[0125]
图像数据预处理模块，用于对待处理全景图像数据进行预处理，得到预设尺寸的第一全景图像；
[0126]
多层切片处理模块，用于对第一全景图像进行多层切片处理，得到不同深度等级的多个切片图像组，并确定各切片图像组中各个切片图像的切片位置；
[0127]
切片图像数据库生成模块，用于根据深度等级和切片位置，确定各切片图像的索引标签，并根据索引标签和切片图像组生成切片图像数据库；
[0128]
切片图像展示模块，用于构建全景球体模型并获取目标用户的观察点，根据全景球体模型和观察点确定待展示切片图像对应的目标深度等级和目标切片位置，进而从切片图像数据库中索引得到待展示切片图像并通过全景球体模型的球体表面进行展示。
[0129]
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0130]
本发明实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述全景图像数据处理方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
[0131]
如图10所示为本发明实施例提供的电子设备的硬件结构示意图，参照图10，本发明实施例提供了一种电子设备，包括：
[0132]
处理器1001，可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本发明实施例所提供的技术方案；
[0133]
存储器1002，可以采用只读存储器(readonlymemory，rom)、静态存储设备、动态存储设备或者随机存取存储器(randomaccessmemory，ram)等形式实现。存储器1002可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1002中，并由处理器1001来调用执行本发明实施例的全景图像数据处理方法；
[0134]
输入/输出接口1003，用于实现信息输入及输出；
[0135]
通信接口1004，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如
usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；
[0136]
总线1005，在设备的各个组件(例如处理器1001、存储器1002、输入/输出接口1003和通信接口1004)之间传输信息；
[0137]
其中处理器1001、存储器1002、输入/输出接口1003和通信接口1004通过总线1005实现彼此之间在设备内部的通信连接。
[0138]
本发明实施例还提供了一种存储介质，存储介质为计算机可读存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述全景图像数据处理方法。
[0139]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0140]
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
[0141]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或上述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0142]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，上述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0143]
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存
储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0144]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0145]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印上述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得上述程序，然后将其存储在计算机存储器中。
[0146]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0147]
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
[0148]
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0149]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

技术特征：
1.一种全景图像数据处理方法，其特征在于，包括以下步骤：对待处理全景图像数据进行预处理，得到预设尺寸的第一全景图像；对所述第一全景图像进行多层切片处理，得到不同深度等级的多个切片图像组，并确定各所述切片图像组中各个切片图像的切片位置；根据所述深度等级和所述切片位置，确定各所述切片图像的索引标签，并根据所述索引标签和所述切片图像组生成切片图像数据库；构建全景球体模型并获取目标用户的观察点，根据所述全景球体模型和所述观察点确定待展示切片图像对应的目标深度等级和目标切片位置，进而从所述切片图像数据库中索引得到所述待展示切片图像，并通过所述全景球体模型的球体表面进行展示。2.根据权利要求1所述的一种全景图像数据处理方法，其特征在于，所述对待处理全景图像数据进行预处理，得到预设尺寸的第一全景图像这一步骤，其具体包括：根据所述预设尺寸确定第一长宽比和第一宽度值；根据所述第一长宽比对所述待处理全景图像进行裁剪、拉伸或者压缩得到第二全景图像，使得所述第二全景图像的长宽比等于所述第一长宽比；确定所述第二全景图像的第二图像宽度，并将所述图像宽度与所述第一宽度值进行比对；当所述第二图像宽度小于所述第一宽度值，对所述第二全景图像进行放大得到所述第一全景图像，使得所述第一全景图像的图像宽度等于所述第一宽度值；当所述第二图像宽度等于所述第一宽度值，确定所述第二全景图像为所述第一全景图像；当所述第二图像宽度大于所述第一宽度值，对所述第二全景图像进行缩小得到所述第一全景图像，使得所述第一全景图像的图像宽度等于所述第一宽度值。3.根据权利要求1所述的一种全景图像数据处理方法，其特征在于，所述对所述第一全景图像进行多层切片处理，得到不同深度等级的多个切片图像组这一步骤，其具体包括：对所述第一全景图像进行切片处理，得到初始深度等级的多个切片图像，并根据初始深度等级的多个切片图像生成初始深度等级的所述切片图像组；对当前深度等级的多个切片图像进行切片处理得到下一深度等级的多个切片图像，并根据下一深度等级的多个切片图像生成下一深度等级的所述切片图像组；重复执行上一步骤直至深度等级达到预设的第一阈值，停止切片处理，得到不同深度等级的多个切片图像组。4.根据权利要求1所述的一种全景图像数据处理方法，其特征在于，所述确定各所述切片图像组中各个切片图像的切片位置这一步骤，其具体包括：根据所述第一全景图像和切片图像组生成切片图像矩阵，所述切片图像矩阵的元素为所述切片图像组中的切片图像，所述元素的排列顺序与所述切片图像在所述第一全景图像中的位置关系相对应；确定各所述切片图像在所述切片图像矩阵中的行号和列号，并根据所述行号和所述列号确定所述切片图像的切片位置。5.根据权利要求1至4中任一项所述的一种全景图像数据处理方法，其特征在于，所述根据所述深度等级和所述切片位置，确定各所述切片图像的索引标签，并根据所述索引标
签和所述切片图像组生成切片图像数据库这一步骤，其具体包括：根据所述深度等级生成一级索引标签，并建立所述一级索引标签与所述切片图像组的第一映射关系；对于每一个所述切片图像组，根据所述切片位置生成多个二级索引标签，并建立各所述二级索引标签与所述切片图像组内各所述切片图像的第二映射关系；根据所述切片图像组、所述第一映射关系以及所述第二映射关系生成所述切片图像数据库。6.根据权利要求5所述的一种全景图像数据处理方法，其特征在于，所述构建全景球体模型并获取目标用户的观察点，根据所述全景球体模型和所述观察点确定待展示切片图像对应的目标深度等级和目标切片位置这一步骤，其具体包括：根据所述预设尺寸构建全景球体模型；响应于目标用户的第一操作指令，获取所述目标用户的观察点，并确定所述全景球体模型的球体中心与所述观察点的第一距离；根据所述全景球体模型的球体半径与所述第一距离的比值确定所述待展示切片图像对应的目标深度等级；根据所述全景球体模型的球体表面与所述观察点的位置关系确定所述目标用户的视界范围；根据所述视界范围确定所述待展示切片图像对应的目标切片位置。7.根据权利要求6所述的一种全景图像数据处理方法，其特征在于，所述从所述切片图像数据库中索引得到所述待展示切片图像，并通过所述全景球体模型的球体表面进行展示这一步骤，其具体包括：根据所述目标深度等级和所述第一映射关系，在所述切片图像数据库中索引得到对应的目标切片图像组；根据所述目标切片位置和所述第二映射关系，在所述目标切片图像组中索引得到所述待展示切片图像；根据所述视界范围在所述全景球体模型的球体表面确定显示区域，并在所述显示区域对所述待展示切片图像进行渲染展示。8.一种全景图像数据处理系统，其特征在于，包括：图像数据预处理模块，用于对待处理全景图像数据进行预处理，得到预设尺寸的第一全景图像；多层切片处理模块，用于对所述第一全景图像进行多层切片处理，得到不同深度等级的多个切片图像组，并确定各所述切片图像组中各个切片图像的切片位置；切片图像数据库生成模块，用于根据所述深度等级和所述切片位置，确定各所述切片图像的索引标签，并根据所述索引标签和所述切片图像组生成切片图像数据库；切片图像展示模块，用于构建全景球体模型并获取目标用户的观察点，根据所述全景球体模型和所述观察点确定待展示切片图像对应的目标深度等级和目标切片位置，进而从所述切片图像数据库中索引得到所述待展示切片图像，并通过所述全景球体模型的球体表面进行展示。9.一种电子设备，其特征在于：所述电子设备包括存储器、处理器、存储在所述存储器
上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至7中任一项所述的全景图像数据处理方法的步骤。10.一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，其特征在于：所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的全景图像数据处理方法的步骤。

技术总结
本发明公开了全景图像数据处理方法和系统、电子设备及存储介质，包括：对待处理全景图像数据进行预处理，得到预设尺寸的第一全景图像；对第一全景图像进行多层切片处理得到不同深度等级的多个切片图像组，并确定各切片图像组中各个切片图像的切片位置；根据深度等级和切片位置确定各切片图像的索引标签，并根据索引标签和切片图像组生成切片图像数据库；构建全景球体模型并获取目标用户的观察点，根据全景球体模型和观察点确定待展示切片图像对应的深度等级和切片位置，进而从切片图像数据库中索引得到待展示切片图像并通过全景球体模型的球体表面进行展示。本发明提高了全景图像数据的渲染效率和用户的浏览体验，可广泛应用于图像处理技术领域。于图像处理技术领域。于图像处理技术领域。


技术研发人员：蔡伟娣
受保护的技术使用者：中国电信股份有限公司
技术研发日：2023.05.16
技术公布日：2023/7/21