一种融合语义-灰度特征的三维场景纹理优化方法

1.本发明涉及一种融合语义-灰度特征的三维场景纹理优化方法，属于图像图形处理技术领域。


背景技术：

2.随着三维成像技术的发展，越来越多的工具已被应用于精确感知三维世界，包括立体相机、激光测距仪和rgb-d相机等，三维场景数据能够精准而快速的获取，在数字娱乐、ar/vr、人机交互、文物修复、智慧城市等多个领域具有广阔的应用前景。其中，三维场景的纹理优化是各类应用研究的基础和关键。
3.近来，消费级rgb-d相机的普及使得三维场景重建技术在图像图形处理领域取得重大进展，重建场景的视觉真实性的不断提高，催化了融合特征的方法来优化三维场景纹理质量的研究。对于三维重建场景而言，单张图像不能涵盖场景的完整信息，往往需要多角度的彩色图像才能够实现完整的纹理映射，而实现三维场景纹理映射的一种简单方式是组合多角度彩色图像并投影到三维场景。理想情况，这些彩色图像在光度上是一致的，将它们组合可产生高质量的纹理映射，然而，在实际建模过程中，由于采集设备精度的限制以及采集过程中人为因素的影响，导致采集到的原始数据精度较低。同时，三维场景重建方法也总是引起重建场景纹理失真问题，使得重建的三维场景在各领域应用中受限，那么如何提高三维场景的纹理质量就至关重要。
4.现有的三维场景纹理优化方法主要分为基于图像拼接的纹理优化方法和基于图像融合的纹理优化方法。两者在三维场景纹理优化中都有一定的应用，但是都存在着一定的缺陷。首先，对于基于图像拼接的纹理优化方法，合成的纹理颜色直接取自拍摄的图像，其像素未经后期处理，虽保留了原始图像的细节，但由于几何配准误差和相机轨迹漂移等因素的影响，当三维网格相邻的三角面片对应于不同的视图时，三维场景的纹理映射结果容易产生视觉上的不连续性；其次，对于基于图像融合的纹理优化方法，由于对图像进行了加权平均处理，平滑了边界，最大程度消除了接缝，但同时也牺牲了图像的细节，特别是在相机误差较大的情况下，三维场景的纹理映射结果会产生模糊和伪影的现象。
5.通过分析发现，以上纹理优化方法对于恢复具有真实感的三维场景的同时，更加聚焦于如何提高图像数据的质量，并没有从根本上解决相机姿态误差和低精度重建几何体引起的纹理失真问题。


技术实现要素：

6.针对现有的三维场景纹理优化方法中，存在不能有效提高包含较大相机姿态误差以及低精度重建几何的三维场景纹理映射质量的问题，本发明的主要目的是提出一种融合语义-灰度特征的三维场景纹理优化方法。通过图像的语义-灰度特征以优化图像映射关系，基于最佳图像映射关系并结合三维信息生成清晰高保真的纹理图像，同时利用三维空间与图像空间的映射关系将纹理图像反投影到几何体，生成具有高保真纹理的三维场景。
优化相机姿态误差和低精度重建几何体引起的纹理失真问题，提升三维场景的纹理映射效果，改善数字娱乐、虚拟现实的人机交互性能和沉浸感。
7.本发明的目的是通过以下技术方案实现的：
8.本发明公开的一种融合语义-灰度特征的三维场景纹理优化方法，首先根据图像所对应的相机姿态计算出图像序列之间的映射关系；然后，融合语义特征对初始图像映射关系进行优化，提高场景中几何模型间颜色的正确性；接着，融合灰度特征对图像映射关系进一步优化，提高几何模型内部纹理颜色的正确性；最后，结合三维场景信息，采用加权平均策略融合像素合成纹理图像，同时根据优化后的映射关系将纹理图像反投影到几何体，生成具有高保真纹理的三维场景，提升三维场景的纹理映射效果。
9.本发明公开的一种融合语义-灰度特征的三维场景纹理优化方法，包括以下步骤：
10.步骤1：针对三维场景s和彩色图像序列c＝{ci}以及每张图像所对应的相机姿态t＝{ti}，建立图像序列c＝{ci}之间的映射关系，得到nc个映射矩阵r0＝{ri,i＝0,1,...nc-1}；
11.1.1、结合相机姿态t＝{ti}与透视投影∏，重新映射图像ci的像素颜色，将图像ci中的像素点pi投影到新的视角j下：
12.qj＝π(g(pi))
13.其中，pi表示图像ci中的像素位置；qj表示图像ci的像素到视角j的投影；g(pi)表示图像ci中的像素到世界坐标系的投影；π(g(pi))表示世界坐标系下的三维点到视角j的投影。
14.1.2、利用相机姿态t＝{ti}，实现图像坐标系与相机坐标系之间的相互转化：
[0015][0016]
其中，r为3*3的旋转矩阵，t为3*1的平移向量。
[0017]
1.3、利用透视投影π，实现相机坐标系与世界坐标系之间的相互转化：
[0018][0019]
其中，f
x
，fy为焦距，c
x
，cy是相机模型中光学中心的坐标，x，y，z分别为相机坐标系下的投影点vc＝[x,y,z]
t
的坐标分量。
[0020]
1.4、若图像ci中的像素点pi在其他视角下的图像cj中的投影点qj存在，则将qj的坐标存入映射矩阵；若所述投影点qj不存在，则将该坐标值记为pi→j＝(0,0)。得到所述映射矩阵r0＝{ri,i＝0,1,...nc-1}。
[0021]
步骤2：基于步骤1所述的映射矩阵，对图像序列映射关系进行优化，使每一张图像ci在保持自身细节的基础上又能融合来自其他视角图像的正确信息；
[0022]
步骤2.1、基于步骤1所述的映射矩阵，对图像序列映射关系进行融合语义特征的优化操作；
[0023]
步骤2.1.1、对图像ci中的每一个像素pi,识别其语义特征l(pi)；
[0024]
步骤2.1.2、对图像映射矩阵进行融合语义特征的优化操作。
[0025]
对每一个像素pi与其在其他视角j下图像cj中的投影点qj的语义特征，采用艾佛森
括号[.]判断两个像素之间的语义特征是否相同：
[0026]
l(p)＝[l(pi)＝l(qj)]
[0027]
其中，l(p)为判断图像ci中的像素pi与图像cj中的像素qj的语义特征是否相同的结果，[.]为艾佛森括号。
[0028]
若l(p)的值为1,将qj视为图像ci中的像素pi在视角j下的有效投影,在映射矩阵中保存pi→j的坐标值；若l(p)的值为0，则将qj视为像素pi的无效投影，并修改pi→j的坐标值pi→j＝(0,0)，得到融合语义特征优化的图像映射矩阵r1＝{ri,i＝0,1,...nc-1}。
[0029]
步骤2.2、基于融合语义特征优化的图像映射矩阵r1＝{ri,i＝0,1,...nc-1}，对图像映射矩阵进一步融合灰度特征进行优化操作；
[0030]
步骤2.2.1对图像ci中的每一个像素pi,识别其灰度特征g(pi)；
[0031]
步骤2.2.2对图像映射矩阵进行融合灰度特征的优化操作；
[0032]
对每一个像素pi与其在其他视角j下图像ci中的投影点qj的灰度特征，采用艾佛森括号[.]判断两个像素之间的灰度特征是否满足设定条件：
[0033]
g(p)＝[|g(pi)＝g(qj)|＜τ]
[0034]
其中，g(p)为判断图像ci中的像素pi在视角j下的投影点qj的灰度特征是否满足设定条件的结果，[.]为艾佛森括号，g(pi)为图像ci中的像素pi的灰度值，g(qj)为像素pi在视角j下的投影点qj的灰度值，τ为阈值。
[0035]
若g(p)的值为1,将qj视为图像ci中的像素pi在视角j下的有效投影,在映射矩阵中保存pi→j的坐标值；若g(p)的值为0，则将qj视为像素pi的无效投影，并修改pi→j的坐标值pi→j＝(0,0)，得到经过优化操作的最佳图像映射矩阵r＝{ri,i＝0,1,...nc-1}。
[0036]
步骤3：基于步骤2所述的最佳图像映射矩阵r＝{ri,i＝0,1,...nc-1}，合成每个视角下的纹理图像m＝{mi}；
[0037]
步骤3.1兼顾法向与距离，通过权重函数，评估像素对所映射到的三维点的最终颜色的贡献值w，其公式如下：
[0038][0039]
其中，θ表示像素p所对应的世界坐标系下的三维顶点的法线与相机的朝向之间的夹角，d表示像素到三维场景表面的距离。
[0040]
步骤3.2、基于所述最佳图像映射矩阵r＝{ri,i＝0,1,...nc-1}和像素对所映射到的三维点的最终颜色的贡献值w，合成纹理图像序列m＝{mi}：
[0041][0042]
其中，mi(pi)表示视角i下合成的纹理图像mi中的像素值，wj(pi→j)表示像素pi映射到视角j下所对应的像素pi→j的权重值，cj(pi→j)表示像素pi映射到视角j下所对应的像素值。
[0043]
步骤4、基于步骤3所述纹理图像序列m＝{mi}，完成三维场景的纹理映射；优化相机姿态误差和低精度重建几何体引起的纹理失真问题，提升三维场景的纹理映射效果。
[0044]
步骤4.1建立三维场景与图像序列的映射关系；
[0045]
首先利用相机姿态t＝{ti}与透视投影π建立三维网格场景与纹理图像序列m＝{mi}之间的映射关系，以三角面片为单位对三维网格场景进行纹理映射，得到三角面片在纹理图像的有效投影。
[0046]
三角面片的三个顶点必须全部落在图像范围内，其公式如下：
[0047]
π(v)＝{0≤π(v)
x
＜w∩0≤≤π(v)y＜h}
[0048]
其中，π(v)表示三角面片中的顶点在图像的投影，π(v)
x
表示该三角面片f上的顶点v在图像上投影点的x坐标分量，w表示图像的宽度，h表示图像的高度。
[0049]
三角面片的三个顶点必须全部在该视角下可见，才能判定三角面片在该视角下可见，即三个顶点的深度值必须在一定阈值内：
[0050]
π(v)d＝{d＜τ}
[0051]
其中，π(v)d表示投影点的深度值，τ表示范围阈值。
[0052]
三角面片的三个顶点的三维坐标转换到任意视角的坐标参考系下的z分量必须要在一定阈值内，以避免点被遮挡或者到摄像机的距离太近，限制z分量的值是为了避免造成纹理映射结果的错误：
[0053]
π(v)z＝{π(v)z＞d+τ∪π(v)z＜d-τ}
[0054]
其中，π(v)z表示投影点的z分量，d表示投影点的深度值。
[0055]
步骤4.2基于上述三维场景顶点在纹理图像获得的颜色值，利用三角形重心坐标关系插值计算三角面片内部的颜色，利用相机姿态t＝{ti}与透视投影π对三维场景进行纹理映射。
[0056]
有益效果
[0057]
1、本发明公开的一种融合语义-灰度特征的三维场景纹理优化方法，从引起三维场景纹理失真问题的根源出发，采用融合语义特征的优化方法对图像映射关系进行优化，解决三维场景中几何模型间纹理映射错误的问题，提升三维场景的纹理映射效果。
[0058]
2、本发明公开的一种融合语义-灰度特征的三维场景纹理优化方法，采用融合灰度特征的优化方法进一步优化图像映射关系，提升三维场景中几何模型内部纹理颜色的正确性。
[0059]
3、本发明公开的一种融合语义-灰度特征的三维场景纹理优化方法，通过图像的语义-灰度特征以优化图像映射关系，基于最佳图像映射关系并结合三维信息生成清晰高保真的纹理图像，同时利用三维空间与图像空间的映射关系将纹理图像反投影到几何体，生成具有高保真纹理的三维场景。优化相机姿态误差和低精度重建几何体引起的纹理失真问题，提升三维场景的纹理映射效果
附图说明
[0060]
图1是本发明公开一种融合语义-灰度特征的三维场景纹理优化方法流程图；
[0061]
图2是本实施例公开的一种融合语义-灰度特征的三维场景纹理优化方法的优化过程示意图；
[0062]
图3是本实施例公开的一种融合语义-灰度特征的三维场景纹理优化方法合成的纹理图像的示意图；
[0063]
图4是本实施例公开的一种融合语义-灰度特征的三维场景纹理优化方法的纹理映射过程示意图。
具体实施方式
[0064]
下面将结合附图和实施例对本发明加以详细说明。同时也叙述了本发明技术方案解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
[0065]
在虚拟现实的游戏或动画构建中，需要利用数据采集设备获得的数据重建得到高精度的场景模型以增加用户的沉浸感。然而，由于采集设备的限制以及采集过程中人为因素等的影响，使得输入的数据往往存在噪音、模糊和缺失等问题；同时，重建算法也总是引起重建场景的几何误差、特征模糊和纹理失真等问题。本实施例将针对上述虚拟现实的高精度三维场景的纹理映射优化，公开一种融合语义-灰度特征的三维场景纹理优化方法，如图1所示，包含以下步骤：
[0066]
a、针对三维场景s和彩色图像序列c＝{ci}以及每张图像所对应的相机姿态t＝{ti}，首先建立图像序列c＝{ci}之间的映射关系，得到nc个映射矩阵r0＝{ri,i＝0,1,...nc-1}；
[0067]
上述操作可通过多种方式实现，如利用特征点、特征线匹配等方法直接求出两张图像之间的映射矩阵，本例通过以下过程实现：
[0068]
步骤a.1，建立图像序列c＝{ci}之间的映射关系。建立图像序列c＝{ci}之间的映射关系的准则为：对于图像ci中的像素点p投影到新的视角j下,利用图像的相机姿态t＝{ti}和透视投影π重新映射该图像的像素颜色来完成，通过记录图像ci中的像素点pi在其他视角下的图像cj中的投影点qj，得到nc个映射矩阵，其集合为r0＝{ri,i＝0,1,...nc-1}；
[0069]
b、基于上述图像序列c＝{ci}之间的映射矩阵r0＝{ri,i＝0,1,...nc-1}，对图像序列映射关系进行优化操作，将优化后的坐标pi→j存入最佳映射矩阵r＝{ri,i＝0,1,...nc-1}中，优化过程的流程示意图如图2所示；
[0070]
具体的，通过以下过程实现：
[0071]
步骤b.1基于步骤a.1中计算的初始映射矩阵r0＝{ri,i＝0,1,...nc-1}，对图像序列映射关系进行融合语义特征的优化操作。
[0072]
具体的，融合语义特征的优化过程如下：
[0073]
步骤b.1.1对图像ci中的每一个像素pi,识别其语义特征l(pi)。
[0074]
步骤b.1.2基于语义特征l(pi)，判断每一个像素pi与其在其他视角j下图像cj中的投影点qj的语义特征，采用艾佛森括号[.]判断两个像素之间的语义特征是否相同，其公式如下所示：
[0075]
l(p)＝[l(pi)＝l(qj)]
[0076]
其中，l(p)为判断图像ci中的像素pi与图像cj中的像素qj的语义特征是否相同的结果，[.]为艾佛森括号。
[0077]
若l(p)的值为1,将qj视为图像ci中的像素pi在视角j下的有效投影,在映射矩阵中保存pi→j的坐标值，若l(p)的值为0，则将qj视为像素pi的无效投影，并修改pi→j的坐标值pi→j＝(0,0)，得到融合语义特征优化的图像映射矩阵r1＝{ri,i＝0,1,...nc-1}，如图2的映射
矩阵r0到映射矩阵r1的过程所示，经过融合语义的特征优化，映射矩阵中的无效投影pi→j的坐标值被修改为pi→j＝(0,0)。
[0078]
步骤b.2基于步骤b.1中得到的融合语义特征优化的映射矩阵r1＝{ri,i＝0,1,...nc-1}，对每一个映射矩阵进一步融合灰度特征进行优化操作。
[0079]
步骤b.2.1对图像ci中的每一个像素pi,识别其灰度特征g(pi)。
[0080]
步骤b.2.2基于灰度特征g(pi)，判断每一个像素pi与其在其他视角j下图像ci中的投影点qj的灰度特征是否满足设定条件，采用艾佛森括号[.]判断两个像素之间的灰度特征是否满足设定条件，其公式如下所示：
[0081]
g(p)＝[|g(pi)＝g(qj)|＜τ]
[0082]
其中，g(p)为判断图像ci中的像素pi在视角j下的投影点qj的灰度特征是否满足设定条件的结果；[.]为艾佛森括号；g(pi)为图像ci中的像素pi的灰度值；g(qj)为像素pi在视角j下的投影点qj的灰度值；τ为阈值，本实施中为像素pi的灰度值g(pi)的20％。
[0083]
在具体三维场景纹理映射的计算中，可根据实际情况选择阈值，不限于20％，其主要目的就是将灰度差异较大的像素值剔除，使其不参与后续加权平均的运算。
[0084]
若g(p)的值为1,将qj视为图像ci中的像素pi在视角j下的有效投影,在映射矩阵中保存pi→j的坐标值，若g(p)的值为0，则将qj视为像素pi的无效投影，并修改pi→j的坐标值pi→j＝(0,0)，得到经过优化操作的最佳图像映射矩阵r＝{ri,i＝0,1,...nc-1}。如图2的映射矩阵r1到映射矩阵r的过程所示，在融合语义特征优化的基础上，经过融合灰度特征的优化后，可以看出，映射矩阵中的大部分无效投影pi→j的坐标值已被修改为pi→j＝(0,0)。
[0085]
c、基于上述经过优化的图像映射关系r＝{ri,i＝0,1,...nc-1}，合成每个视角下的纹理图像m＝{mi}。合成的纹理图像m＝{mi}，如图3所示。
[0086]
具体的，通过以下过程实现：
[0087]
步骤c.1综合法向与距离设计权重函数来评估像素对所映射到的三维点的最终颜色的贡献值w，其公式如下：
[0088][0089]
其中，θ表示像素p所对应的世界坐标系下的三维顶点的法线与相机的朝向之间的夹角，d表示像素到三维场景表面的距离。
[0090]
步骤c.2基于上述最佳图像映射矩阵r＝{ri,i＝0,1,...nc-1}和权重函数w合成纹理图像序列m＝{mi}，其计算公式如下：
[0091][0092]
其中，mi(pi)表示视角i下合成的纹理图像mi中的像素值，wj(pi→j)表示像素pi映射到视角j下所对应的像素pi→j的权重值，cj(pi→j)表示像素pi映射到视角j下所对应的像素值。
[0093]
d、基于上述纹理图像序列m＝{mi}，完成三维场景的纹理映射；
[0094]
具体的，本步骤通过以下过程实现：
[0095]
步骤d.1对三维场景进行纹理映射，首先利用相机姿态t＝{ti}与透视投影π建立三维场景与纹理图像序列m＝{mi}之间的映射关系，作为优选，以三角面片为单位对三维场景进行纹理映射，得到三角面片在纹理图像的有效投影。
[0096]
首先确保三角面片的三个顶点必须全部落在图像范围内，其公式如下：
[0097]
π(v)＝{0≤π(v)
x
＜w∩0≤≤π(v)y＜h}
[0098]
其中，π(v)表示三角面片中的顶点在图像的投影,π(v)
x
表示该三角面片f上的顶点v在图像上投影点的x坐标分量，w表示图像的宽度，h表示图像的高度。
[0099]
其次，三角面片的三个顶点必须全部在该视角下可见,才能判定三角面片在该视角下可见,即三个顶点的深度值必须在一定阈值内,其公式如下：
[0100]
π(v)d＝{d＜τ}
[0101]
其中，π(v)d表示投影点的深度值，τ表示范围阈值，选择阈值为0.01。
[0102]
在具体三维场景纹理映射的计算中，可根据实际情况选择阈值，不限于0.01，其主要目的就是将深度值较小的像素点忽略不计，使用深度值满足设定条件的相对较大的那些有效像素值。
[0103]
最后，三角面片的三个顶点的三维坐标转换到任意视角的坐标参考系下的z分量必须要在一定阈值内,以避免点被遮挡或者到摄像机的距离太近,限制z分量的值是为了避免造成纹理映射结果的错误，其公式如下所示：
[0104]
π(v)z＝{π(v)z＞d+τ∪π(v)z＜d-τ}
[0105]
其中，π(v)d表示投影点的z分量，d表示投影点的深度值，选择阈值为0.02。
[0106]
在具体三维场景纹理映射的计算中，可根据实际情况选择阈值，不限于0.02，其主要目的被遮挡以及距离摄像机太近的像素点忽略不计，使用满足设定条件的那些有效像素值。
[0107]
步骤d.2基于上述三维场景顶点在纹理图像获得的颜色值，利用三角形重心坐标关系插值计算三角面片内部的颜色，并利用相机姿态t＝{ti}与透视投影π对三维场景进行纹理映射，如图4所示，得到具有高保真详细纹理的三维场景。优化相机姿态误差和低精度重建几何体引起的纹理失真问题，提升三维场景的纹理映射效果。
[0108]
以上所述的具体描述，对发明的目的、技术方案和有益效果进行进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种融合语义-灰度特征的三维场景纹理优化方法，其特征在于：包含以下步骤，步骤1：针对三维场景s和彩色图像序列c＝{c
i
}以及每张图像所对应的相机姿态t＝{t
i
}，建立图像序列c＝{c
i
}之间的映射关系，得到nc个映射矩阵r0＝{r
i
,i＝0,1,...nc-1}；步骤2：基于步骤1所述的映射矩阵，对图像序列映射关系进行优化，使每一张图像c
i
在保持自身细节的基础上又能融合来自其他视角图像的正确信息；步骤3：基于步骤2所述的最佳图像映射矩阵r＝{r
i
,i＝0,1,...nc-1}，合成每个视角下的纹理图像m＝{m
i
}；步骤4、基于步骤3所述纹理图像序列m＝{m
i
}，完成三维场景的纹理映射；优化相机姿态误差和低精度重建几何体引起的纹理失真问题，提升三维场景的纹理映射效果。2.如权利要求1所述的一种融合语义-灰度特征的三维场景纹理优化方法，其特征在于：步骤一的实现方法为，1.1、结合相机姿态t＝{t
i
}与透视投影∏，重新映射图像c
i
的像素颜色，将图像c
i
中的像素点p
i
投影到新的视角j下：q
j
＝π(g(p
i
))其中，p
i
表示图像c
i
中的像素位置；q
j
表示图像c
i
的像素到视角j的投影；g(p
i
)表示图像c
i
中的像素到世界坐标系的投影；π(g(p
i
))表示世界坐标系下的三维点到视角j的投影；1.2、利用相机姿态t＝{t
i
}，实现图像坐标系与相机坐标系之间的相互转化：其中，r为3*3的旋转矩阵，t为3*1的平移向量；1.3、利用透视投影π，实现相机坐标系与世界坐标系之间的相互转化：其中，f
x
，f
y
为焦距，c
x
，c
y
是相机模型中光学中心的坐标，x，y，z分别为相机坐标系下的投影点v
c
＝[x,y,z]
t
的坐标分量；1.4、若图像c
i
中的像素点p
i
在其他视角下的图像c
j
中的投影点q
j
存在，则将q
j
的坐标存入映射矩阵；若所述投影点q
j
不存在，则将该坐标值记为p
i
→
j
＝(0,0)；得到所述映射矩阵r0＝{r
i
,i＝0,1,...nc-1}。3.如权利要求2所述的一种融合语义-灰度特征的三维场景纹理优化方法，其特征在于：步骤二的实现方法为，步骤2.1、基于步骤1所述的映射矩阵，对图像序列映射关系进行融合语义特征的优化操作；步骤2.1.1、对图像c
i
中的每一个像素p
i
,识别其语义特征l(p
i
)；步骤2.1.2、对图像映射矩阵进行融合语义特征的优化操作；对每一个像素p
i
与其在其他视角j下图像c
j
中的投影点q
j
的语义特征，采用艾佛森括号[.]判断两个像素之间的语义特征是否相同：l(p)＝[l(p
i
)＝l(q
j
)]
其中，l(p)为判断图像c
i
中的像素p
i
与图像c
j
中的像素q
j
的语义特征是否相同的结果，[.]为艾佛森括号；若l(p)的值为1,将q
j
视为图像c
i
中的像素p
i
在视角j下的有效投影,在映射矩阵中保存p
i
→
j
的坐标值；若l(p)的值为0，则将q
j
视为像素p
i
的无效投影，并修改p
i
→
j
的坐标值p
i
→
j
＝(0,0)，得到融合语义特征优化的图像映射矩阵r1＝{r
i
,i＝0,1,...nc-1}；步骤2.2、基于融合语义特征优化的图像映射矩阵r1＝{r
i
,i＝0,1,...nc-1}，对图像映射矩阵进一步融合灰度特征进行优化操作；步骤2.2.1对图像c
i
中的每一个像素p
i
,识别其灰度特征g(p
i
)；步骤2.2.2对图像映射矩阵进行融合灰度特征的优化操作；对每一个像素p
i
与其在其他视角j下图像c
i
中的投影点q
j
的灰度特征，采用艾佛森括号[.]判断两个像素之间的灰度特征是否满足设定条件：g(p)＝[|g(p
i
)＝g(q
j
)|＜τ]其中，g(p)为判断图像c
i
中的像素p
i
在视角j下的投影点q
j
的灰度特征是否满足设定条件的结果，[.]为艾佛森括号，g(p
i
)为图像c
i
中的像素p
i
的灰度值，g(q
j
)为像素p
i
在视角j下的投影点q
j
的灰度值，τ为阈值；若g(p)的值为1,将q
j
视为图像c
i
中的像素p
i
在视角j下的有效投影,在映射矩阵中保存p
i
→
j
的坐标值；若g(p)的值为0，则将q
j
视为像素p
i
的无效投影，并修改p
i
→
j
的坐标值p
i
→
j
＝(0,0)，得到经过优化操作的最佳图像映射矩阵r＝{r
i
,i＝0,1,...nc-1}。4.如权利要求3所述的一种融合语义-灰度特征的三维场景纹理优化方法，其特征在于：步骤三的实现方法为，步骤3.1兼顾法向与距离，通过权重函数，评估像素对所映射到的三维点的最终颜色的贡献值w，其公式如下：其中，θ表示像素p所对应的世界坐标系下的三维顶点的法线与相机的朝向之间的夹角，d表示像素到三维场景表面的距离；步骤3.2、基于所述最佳图像映射矩阵r＝{r
i
,i＝0,1,...nc-1}和像素对所映射到的三维点的最终颜色的贡献值w，合成纹理图像序列m＝{m
i
}：其中，m
i
(p
i
)表示视角i下合成的纹理图像m
i
中的像素值，w
j
(p
i
→
j
)表示像素p
i
映射到视角j下所对应的像素p
i
→
j
的权重值，c
j
(p
i
→
j
)表示像素p
i
映射到视角j下所对应的像素值。5.如权利要求4所述的一种融合语义-灰度特征的三维场景纹理优化方法，其特征在于：步骤四的实现方法为，步骤4.1建立三维场景与图像序列的映射关系；首先利用相机姿态t＝{t
i
}与透视投影π建立三维网格场景与纹理图像序列m＝{m
i
}之间的映射关系，以三角面片为单位对三维网格场景进行纹理映射，得到三角面片在纹理图
像的有效投影；三角面片的三个顶点必须全部落在图像范围内，其公式如下：π(v)＝{0≤π(v)
x
＜w∩0≤≤π(v)
y
＜h}其中，π(v)表示三角面片中的顶点在图像的投影，π(v)
x
表示该三角面片f上的顶点v在图像上投影点的x坐标分量，w表示图像的宽度，h表示图像的高度；三角面片的三个顶点必须全部在该视角下可见，才能判定三角面片在该视角下可见，即三个顶点的深度值必须在一定阈值内：π(v)
d
＝{d＜τ}其中，π(v)
d
表示投影点的深度值，τ表示范围阈值；三角面片的三个顶点的三维坐标转换到任意视角的坐标参考系下的z分量必须要在一定阈值内，以避免点被遮挡或者到摄像机的距离太近，限制z分量的值是为了避免造成纹理映射结果的错误：π(v)
z
＝{π(v)
z
＞d+τ∪π(v)
z
＜d-τ}其中，π(v)
z
表示投影点的z分量，d表示投影点的深度值；步骤4.2基于上述三维场景顶点在纹理图像获得的颜色值，利用三角形重心坐标关系插值计算三角面片内部的颜色，利用相机姿态t＝{t
i
}与透视投影π对三维场景进行纹理映射。

技术总结
本发明公开的一种融合语义-灰度特征的三维场景纹理优化方法，属于图像图形处理技术领域。本发明实现方法为：根据图像所对应的相机姿态计算出初始图像映射关系；融合语义特征对初始映射关系进行优化，保证场景中几何模型间颜色的正确性；再融合灰度特征进一步优化，以保证几何模型内部纹理颜色的正确性；结合三维场景信息采用加权平均策略融合像素合成纹理图像，同时根据映射关系将纹理图像反投影到几何体，生成具有高保真纹理的三维场景。本发明适用于数字娱乐、虚拟现实的等领域，优化相机姿态误差和低精度重建几何体引起的纹理失真问题，提升三维场景的纹理映射效果，改善数字娱乐、虚拟现实的人机交互性能和沉浸感。虚拟现实的人机交互性能和沉浸感。虚拟现实的人机交互性能和沉浸感。


技术研发人员：吴晓群 于柳
受保护的技术使用者：北京工商大学
技术研发日：2023.06.06
技术公布日：2023/8/28