一种适配云绘制系统的深度图压缩方法和装置与流程

1.本发明涉及图像压缩和实时绘制技术领域，具体涉及一种适配云绘制系统的深度图压缩方法和装置。


背景技术：

2.云计算是一种基于互联网的计算模式，它可以将计算资源、存储资源和应用程序等服务通过网络提供给用户。这种技术可以帮助用户节省成本、提高效率和灵活性，并且可以实现按需使用、弹性扩展和自动化管理等功能。
3.在这种背景下，云绘制技术应运而生。它是一种将复杂的实时图形绘制任务部署到云端的技术，从而使用户可以使用计算性能较弱的设备来使用高质量的图形应用。这种技术最常见的应用形式包括云游戏、vr和ar等，这些应用场景对实时性提出了极高的要求。
4.在过去，图形应用程序通常需要在本地设备上运行，并且需要具备足够的计算能力和存储空间才能保证良好的用户体验。然而，在移动设备和低端pc市场不断扩大的今天，许多用户无法满足这些要求。因此，云绘制技术成为了一种解决方案，它可以将图形应用程序部署到云端，从而使用户可以通过任何设备来访问高质量的图形应用。
5.最基础的云绘制系统在云服务器上运行图形绘制任务，使用视频编码器将图像压缩后通过网络传输到客户端上。在用户获得客户端上的一帧图像之前的每一个步骤都需要耗费一定的时间：获取用户交互的输入、上传相机参数至服务器、绘制图像、图像压缩、视频流传输、客户端视频流解码、视频帧渲染。在网络质量较差的条件下，视频流传输带来的延迟将会显著影响以上过程的总时延。
6.在实际应用场景中，多客户端的接入将会导致服务器计算压力成倍提升，分配给单个客户端的计算资源十分有限。为了降低服务器计算压力，提升图形应用的可交互性，通常可以在客户端上运行一个线程来执行异步重投影算法来降低绘制延迟。为了在云绘制系统中的客户端上实现3d图像重投影算法，除了需要参考帧的像素颜色信息，图像的深度信息作为基础的几何信息也必不可少。3d图形引擎的绘制副产物z-buffer作为3d重投影算法的输入，可以用于辅助重投影计算。而z-buffer中的深度值通常以24位定点数或32位浮点数的格式存储，如果不进行有效的压缩而直接在网络中传输，它所占用的带宽可能会高于视频流的传输。
7.因此，迫切需要一种低延迟、高压缩率的深度图压缩方法应用于云绘制系统，在多个客户端接入时，这种方法也可以降低服务器计算压力，并利用客户端算力提升应用可交互性。


技术实现要素：

8.鉴于上述，本发明的目的是提供一种适配云绘制系统的深度图压缩方法和装置，在降低深度图的传输带宽的同时，保证终端重投影图像的质量。
9.为实现上述发明目的，实施例提供的一种适配云绘制系统的深度图压缩方法，包
括以下步骤：
10.将云绘制系统生成的深度图划分为像素块；
11.针对像素块中每个深度像素，依据相邻深度像素计算深度预测值，并基于深度预测值筛选最优预测模式后，依据最优预测模式下的深度预测值生成残差块；
12.依据阈值对残差块修正后进行压缩得到压缩结果。
13.在一个实施例中，采用以下预测模式依据相邻深度像素计算深度预测值：
14.预测模式0：依据左侧相邻深度像素p
l
计算当前深度像素p的深度预测值pred0(p)，用于公式表示为：
[0015][0016]
预测模式1：依据右侧相邻深度像素pu计算当前深度像素p的深度预测值pred1(p)，用于公式表示为：
[0017][0018]
其中，f表示深度图中所有深度像素集合，表示左侧相邻深度像素p
l
的像素值，表示右侧相邻深度像素pu的深度像素值。
[0019]
在一个实施例中，所述基于深度预测值筛选最优预测模式包括：
[0020]
计算每个预测模式下，深度预测值与深度真实值的绝对残差，并根据像素块中所有像素的绝对残差和，选择最小残差和对应的预测模式为最优预测模式。
[0021]
在一个实施例中，所述依据阈值对残差块进行修正，包括：
[0022]
将残差块中小于阈值的残差值设置为0，以实现对残差块的修正。
[0023]
在一个实施例中，所述依据阈值对残差块进行修正，还包括：
[0024]
依据阈值对残差块进行部分有损和部分无损修正，具体为：将残差块中相邻两边缘残差值保持不变，实现部分无损修正，其他残差值依据阈值进行修正，即将残差块中小于阈值的残差值设置为0，实现部分有损修正。
[0025]
在一个实施例中，所述方法还包括：将深度图由高位存储转换为低位存储，并将低位存储的深度图划分为像素块；
[0026]
将压缩结果与最优预测模式组成压缩包传输至终端；
[0027]
终端接收压缩包后，进行解压还原深度图，包括：解压所述压缩结果得到解压的残差块，依据还原的相邻像素计算最优预测模式下当前像素点的深度预测值，并根据当前像素点的深度预测值与对应的残差值计算还原的深度像素值。
[0028]
在一个实施例中，采用rvl编码器对修正后的残差块进行压缩得到压缩结果，采用rvl解码器对压缩结果进行解码得到解压的残差块。
[0029]
为实现上述发明目的，实施例还提供了一种适配云绘制系统的深度图压缩装置，包括划分模块、残差生成模块、压缩模块；
[0030]
所述划分模块用于将云绘制系统生成的深度图划分为像素块；
[0031]
所述残差生成模块用于针对像素块中每个深度像素，依据相邻深度像素计算深度
预测值，并基于深度预测值筛选最优预测模式后，依据最优预测模式下的深度预测值生成残差块；
[0032]
所述压缩模块用于依据阈值对残差块修正后进行压缩得到压缩结果。
[0033]
为实现上述发明目的，实施例还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现上述适配云绘制系统的深度图压缩方法。
[0034]
为实现上述发明目的，实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现上述适配云绘制系统的深度图压缩方法的步骤。
[0035]
与现有技术相比，本发明具有的有益效果至少包括：
[0036]
在将深度图划分为像素块的基础上，依据相邻深度像素计算深度预测值，并基于深度预测值筛选最优预测模式后，依据最优预测模式下的深度预测值生成残差块，最后依据阈值对残差块修正后进行压缩得到压缩结果，这样可以降低压缩结果的传输宽带，同时因为选择最优预测模式和基于阈值对残差块修正后进行压缩，能在无损压缩的基础上进一步提升深度图压缩率。另外，本发明在提升深度图压缩率的基础上能保证终端重投影图像的质量。
附图说明
[0037]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
[0038]
图1是实施例提供的适配云绘制系统的深度图压缩方法的流程图；
[0039]
图2是实施例提供的对对残差块进行部分有损和部分无损修正的示意图；
[0040]
图3是另一实施例提供的适配云绘制系统的深度图压缩方法的流程图；
[0041]
图4是实施例提供的适配云绘制系统的深度图压缩装置的结构示意图；
[0042]
图5是实施例提供给深度图解压缩装置的结构示意图。
具体实施方式
[0043]
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
[0044]
为了解决现有深度图压缩率低且传输延迟高的问题，本发明实施例提供了一种适配云绘制系统的深度图压缩方法和装置，通过在选定最优预测模式下对深度图对应的残差块进行部分有损修正和部分无损修正后压缩，来提升深度图压缩率，并降低传输宽带进而降低传输延时，同时还能够保证终端重投影图像的质量。
[0045]
图1是实施例提供的适配云绘制系统的深度图压缩方法的流程图。如图1所示，实施例提供的适配云绘制系统的深度图压缩方法，包括以下步骤：
[0046]
步骤1，将云绘制系统生成的深度图划分为像素块。
[0047]
云绘制系统在绘制过程中会产生绘制产物-深度图，该深度图通常以24位定点数或32位浮点数的格式存储于z-buffer中，而考虑到压缩率及深度图应用场景对深度精度的需求，对16位精度的深度值进行压缩。因此，在压缩之前需要对深度图进行格式转换。具体地，将深度图从24位定点数或32位浮点数格式转换为16位定点数。
[0048]
在进行格式转换后，将深度图划分为像素块，具体地，可以划分成多个尺寸为16
×
16的像素块，接下来将以像素块为单位进行深度预测。
[0049]
步骤2，针对像素块中每个深度像素，依据相邻深度像素计算深度预测值，并基于深度预测值筛选最优预测模式后，依据最优预测模式下的深度预测值生成残差块。
[0050]
实施例中，提供了两种用于计算深度预测值的预测模式，分别为：
[0051]
预测模式0：依据左侧相邻深度像素p
l
计算当前深度像素p的深度预测值pred0(p)，用于公式表示为：
[0052][0053]
预测模式1：依据右侧相邻深度像素pu计算当前深度像素p的深度预测值pred1(p)，用于公式表示为：
[0054][0055]
其中，f表示深度图中所有深度像素集合，表示左侧相邻深度像素p
l
的像素值，表示右侧相邻深度像素pu的深度像素值。
[0056]
基于以上两个预测模式，对于16
×
16的像素块中的每个像素p，可以计算在每个预测模式下对应的深度预测值predi(p)，其中i的取值为0或1，分别表示预测模式0和预测模式1。
[0057]
在获得每个预测模式下对应的深度预测值为predi(p)后，计算每个预测模式下，深度预测值predi(p)与深度真实值z
p
的绝对残差，并根据像素块中所有像素的绝对残差和，选择最小残差和对应的预测模式为最优预测模式k，用公式表示为：
[0058][0059]
其中，p∈b表示像素点p来自于像素块b。
[0060]
在获得最优预测模式k后，计算最优预测模式下的深度预测值predk(p)计算深度残差r
p
，用公式表示如下，并基于所有像素点的深度残差并生成残差块。
[0061]rp
＝z
p-predk(p)
[0062]
步骤3，依据阈值对残差块修正后进行压缩得到压缩结果。
[0063]
深度图通常包括大面积的缓慢变化区域和物体边缘的突变区域。对于深度图的常见应用场景来说，物体边缘的突变区域的重要性远大于物体表面的轻微起伏。因此，本实施例采用基于阈值的方式对有损压缩的质量进行控制。将残差块中残差r
p
的绝对值和阈值进
行比较，如果|r
p
|≤thr，则将r
p
置为0，以实现对残差块的修正。这种方式可以让使用rvl编码器进行压缩的残差序列中包含更多的0，有利于提升深度图的压缩率。在压缩质量上，这种有损压缩模式基本上对物体边缘即r
p
较大的区域进行了无损压缩，保证了边缘的高频区域的质量。
[0064]
为了提升运行速率，可以挖掘步骤2及修正步骤中潜在的并行性。在阈值为零的模式即无损模式下，可以利用gpu等处理器进行并行化，因为各像素块的残差计算存在独立性。虽然像素块的残差计算需要使用相邻块的像素进行预测计算，但是，无损压缩压缩前和压缩后像素块的像素值不变，即各块可以将相邻块的原始像素值作为预测依据。但在有损压缩时，不能直接使用原始值进行预测。因此，有损压缩中通常存在很高的数据依赖，难以使用gpu进行并行化。
[0065]
由于gpu线程对显存的写入是不一致的，且gpu运行一个kernel时，不能保证线程块的执行顺序。因此在有损压缩中，相邻线程块计算的有损残差值通常是互相不可见的。为了使有损压缩的gpu实现能达到和无损压缩一样的并行度，本实施例以损失一定的压缩率为代价，解除了像素块间的数据依赖。具体地，依据阈值对残差块进行部分有损和部分无损修正，具体为将残差块中相邻两边缘残差值保持不变，实现部分无损修正，其他残差值依据阈值进行修正，即将残差块中小于阈值的残差值设置为0，实现部分有损修正。如图2所示，处于下侧边缘和右侧边缘的灰色像素采用无损修正，剩下其他白色像素使用有损修正，这样在压缩时，保证16
×
16像素块的右侧与下侧边缘的压缩是无损的，进而可以保证线程块预先读入共享内存的像素上下文是有效的。
[0066]
实施例中，对残差块修正后，采用rvl编码器对修正后的残差块进行压缩得到压缩结果，由于采用gpu对步骤2及修正步骤进行加速，随后将计算获得的残差拷贝至cpu进行rvl压缩。另外，在步骤2中进行深度预测时，计算获得的各16
×
16像素块的最优预测模式各占一个比特位进行存储，需要将最优预测模式从gpu拷贝至cpu后续与rvl压缩结果共同存储，形成压缩包。
[0067]
rvl算法结合了游程编码和变长编码。考虑到深度图的光栅化像素序列可以看作是一系列交错的连续零像素序列和连续非零像素序列。每组相邻零序列和非零序列都可以按顺序编码为以下形式：
[0068]
零像素数量；
[0069]
非零像素数量；
[0070]
连续非零像素的差值，其中非零序列的首个差值是首个非零像素和前一个非零序列的末尾像素的差值。
[0071]
其中，对像素数量和连续非零像素差值都采用类似变长编码的形式依次进行压缩。将零像素数量或非零像素数量从最低有效位开始将整数分割为若干组，三位为一组，直到最高的非零有效位。为每个分组填充第四位作为判断是否是最后一个分组的标志位。非零像素差值则不能直接采取以上方法进行压缩。考虑到如果对二进制补码直接按三位一组分组，则负数的补码最高位为1，无论负数的值为多少，永远会生成最多的分组。
[0072]
为了避免这个问题，rvl算法将正数和负数交错映射为正数，从而使绝对值较小的正数和负数仅需要较少的比特位进行压缩。如下式所示：
[0073][0074]
这种编码方式能很容易地使用如下方式，用没有分支的c代码进行实现，对32位有符号整数d进行移位和异或操作：
[0075]
int u＝(d《《1)^(d》》31)
[0076]
使用变长编码的优势在于可以使压缩后的整数长度和整数绝对值成正比。由于在深度图中变化缓慢的区域，非零像素序列的差值绝对值很小，使用变长编码仅需要使用较少的比特位进行压缩。对于交错映射后的正数u需要使用4到20个比特进行压缩。
[0077]
如图3所示，另一实施例提供的适配云绘制系统的深度图压缩方法，在上述实施例提供的深度图压缩方法上，还包括：
[0078]
步骤4，将压缩结果与最优预测模式组成压缩包传输至终端。
[0079]
步骤5，终端接收压缩包后，进行解压还原深度图。
[0080]
实施例中，针对包含压缩结果与最优预测模式的压缩包，通过解析获得最优预测模式和表示压缩结果的rvl码流部分，同时还采用rvl解码器对rvl码流部分进行解码得到解压的残差块。
[0081]
在获得解压的残差块后，以16
×
16的像素块为单位，逐块进行预测值计算，并将残差值叠加至预测值，具体地，依据还原的相邻像素计算最优预测模式k下当前像素点的深度预测值，并根据当前像素点的深度预测值与对应的残差值相加得到还原的深度像素值，进而得到还原的像素块，组合所有还原的像素块得到还原的深度图。
[0082]
需要说明的是，针对当前像素点不存还原的相邻像素值时，则以最优预测模式对应的固定值代替，具体为上述预测模式0和预测模式1中的32768。
[0083]
在获得还原的深度图之后，还需要将深度图由低位存储转换到原始高位存储格式，具体将16位定点数转换云绘制引擎的24位定点数或32位浮点数，以便用于引擎的计算。
[0084]
基于同样的发明构思，实施例还提供一种适配云绘制系统的深度图压缩装置，如图4所示，包括划分模块、残差生成模块、压缩模块，通信模块，
[0085]
其中，划分模块用于将云绘制系统生成的深度图划分为像素块；残差生成模块用于针对像素块中每个深度像素，依据相邻深度像素计算深度预测值，并基于深度预测值筛选最优预测模式后，依据最优预测模式下的深度预测值生成残差块；压缩模块用于依据阈值对残差块修正后进行压缩得到压缩结果，通信块用于将压缩结果与最优预测模式组成压缩包传输至终端。
[0086]
需要说明的是，上述实施例提供深度图压缩装置在进行深度图压缩时，应以上述各功能模块的划分进行举例说明，可以根据需要将上述功能分配由不同的功能模块完成，即在终端或服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的深度图压缩装置与深度图压缩方法提供的步骤1-步骤4实施例属于同一构思，其具体实现过程详见深度图压缩方法的步骤1-步骤4实施例，这里不再赘述。
[0087]
基于同样的发明构思，实施例还提供一种深度图解压缩装置，如图5所示，包括接收模块，解压模块。其中，接收模块用于接收包含压缩结果与最优预测模式的压缩包，解压缩模块用于对压缩包进行解压还原深度图。
[0088]
需要说明的是，上述实施例提供深度图解压缩装置在进行深度图解压缩时，应以上述各功能模块的划分进行举例说明，可以根据需要将上述功能分配由不同的功能模块完成，即在终端或服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的深度图解压缩装置与深度图压缩方法提供的步骤5实施例属于同一构思，其具体实现过程详见深度图压缩方法的步骤5实施例，这里不再赘述。
[0089]
上述实施例提供的方法和装置，能够将云绘制系统绘制过程中生成的深度图按16位定点数进行有损或无损压缩，降低深度图占用内存，降低传输深度图所需的带宽，且有损压缩精度能够满足云绘制系统中执行的重投影算法的需求，生成的码流能够进行快速编解码，有利于提升云绘制系统的可交互性。
[0090]
基于上述发明目的，实施例还提供了一种计算设备，包括存储器、处理器以及存储在存储器中并可在处理器上执行的计算机程序，处理器执行计算机程序时实现上述适配云绘制系统的深度图压缩方法，计算设备设置在云端时，包括以下步骤：
[0091]
步骤1，将云绘制系统生成的深度图划分为像素块；
[0092]
步骤2，针对像素块中每个深度像素，依据相邻深度像素计算深度预测值，并基于深度预测值筛选最优预测模式后，依据最优预测模式下的深度预测值生成残差块；
[0093]
步骤3，依据阈值对残差块修正后进行压缩得到压缩结果；
[0094]
步骤4，将压缩结果与最优预测模式组成压缩包传输至终端；
[0095]
计算设备设置在终端时，还包括以下步骤：
[0096]
步骤5，接收压缩包后，进行解压还原深度图。
[0097]
基于同样的发明构思，实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理执行时实现上述适配云绘制系统的深度图压缩方法，包括以下步骤：
[0098]
步骤1，将云绘制系统生成的深度图划分为像素块；
[0099]
步骤2，针对像素块中每个深度像素，依据相邻深度像素计算深度预测值，并基于深度预测值筛选最优预测模式后，依据最优预测模式下的深度预测值生成残差块；
[0100]
步骤3，依据阈值对残差块修正后进行压缩得到压缩结果；
[0101]
步骤4，将压缩结果与最优预测模式组成压缩包传输至终端；
[0102]
步骤5，接收压缩包后，进行解压还原深度图。
[0103]
其中，存储器可以为在近端的易失性存储器，如ram，还可以是非易失性存储器，如rom，flash，固态硬盘，机械硬盘等，还可以是远端的存储云。处理器可以为中央处理器(cpu)、微处理器(mpu)、数字信号处理器(dsp)、或现场可编程门阵列(fpga)，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘、固态硬盘和光数据存储设备等。
[0104]
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

技术特征：
1.一种适配云绘制系统的深度图压缩方法，其特征在于，包括以下步骤：将云绘制系统生成的深度图划分为像素块；针对像素块中每个深度像素，依据相邻深度像素计算深度预测值，并基于深度预测值筛选最优预测模式后，依据最优预测模式下的深度预测值生成残差块；依据阈值对残差块修正后进行压缩得到压缩结果。2.根据权利要求1所述的适配云绘制系统的深度图压缩方法，其特征在于，采用以下预测模式依据相邻深度像素计算深度预测值：预测模式0：依据左侧相邻深度像素p
l
计算当前深度像素p的深度预测值pred0(p)，用于公式表示为：预测模式1：依据右侧相邻深度像素p
u
计算当前深度像素p的深度预测值pred1(p)，用于公式表示为：其中，f表示深度图中所有深度像素集合，表示左侧相邻深度像素p
l
的像素值，表示右侧相邻深度像素p
u
的深度像素值。3.根据权利要求1所述的适配云绘制系统的深度图压缩方法，其特征在于，所述基于深度预测值筛选最优预测模式包括：计算每个预测模式下，深度预测值与深度真实值的绝对残差，并根据像素块中所有像素的绝对残差和，选择最小残差和对应的预测模式为最优预测模式。4.根据权利要求1所述的适配云绘制系统的深度图压缩方法，其特征在于，所述依据阈值对残差块进行修正，包括：将残差块中小于阈值的残差值设置为0，以实现对残差块的修正。5.根据权利要求1所述的适配云绘制系统的深度图压缩方法，其特征在于，所述依据阈值对残差块进行修正，还包括：依据阈值对残差块进行部分有损和部分无损修正，具体为：将残差块中相邻两边缘残差值保持不变，实现部分无损修正，其他残差值依据阈值进行修正，即将残差块中小于阈值的残差值设置为0，实现部分有损修正。6.根据权利要求1所述的适配云绘制系统的深度图压缩方法，其特征在于，还包括：将深度图由高位存储转换为低位存储，并将低位存储的深度图划分为像素块；将压缩结果与最优预测模式组成压缩包传输至终端；终端接收压缩包后，进行解压还原深度图，包括：解压所述压缩结果得到解压的残差块，依据还原的相邻像素计算最优预测模式下当前像素点的深度预测值，并根据当前像素点的深度预测值与对应的残差值计算还原的深度像素值。7.根据权利要求1或6所述的适配云绘制系统的深度图压缩方法，其特征在于，采用rvl编码器对修正后的残差块进行压缩得到压缩结果，采用rvl解码器对压缩结果进行解码得
到解压的残差块。8.一种适配云绘制系统的深度图压缩装置，其特征在于，包括划分模块、残差生成模块、压缩模块；所述划分模块用于将云绘制系统生成的深度图划分为像素块；所述残差生成模块用于针对像素块中每个深度像素，依据相邻深度像素计算深度预测值，并基于深度预测值筛选最优预测模式后，依据最优预测模式下的深度预测值生成残差块；所述压缩模块用于依据阈值对残差块修正后进行压缩得到压缩结果。9.一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7任一项所述的适配云绘制系统的深度图压缩方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理执行时实现权利要求1-7任一项所述的适配云绘制系统的深度图压缩方法的步骤。

技术总结
本发明公开了一种适配云绘制系统的深度图压缩方法和装置，包括：将云绘制系统生成的深度图划分为像素块；针对像素块中每个深度像素，依据相邻深度像素计算深度预测值，并基于深度预测值筛选最优预测模式后，依据最优预测模式下的深度预测值生成残差块；依据阈值对残差块修正后进行压缩得到压缩结果。该方法和装置能够在降低深度图的传输带宽的同时，保证终端重投影图像的质量。端重投影图像的质量。端重投影图像的质量。


技术研发人员：王锐 王园园 周礼
受保护的技术使用者：光线云（杭州）科技有限公司
技术研发日：2023.05.04
技术公布日：2023/8/13