基于跨区域Transformer的神经辐射场的图像去阴影方法及系统与流程

基于跨区域transformer的神经辐射场的图像去阴影方法及系统
技术领域
1.本发明属于计算机视觉领域,尤其涉及到一种基于跨区域transformer的神经辐射场的图像去阴影方法及系统。


背景技术：

2.基于图像的视点合成是计算机图形学与计算机视觉领域共同关注的重要问题，主要是指利用已知拍摄视点的若干图像作为输入，对这些图像所拍摄的三维物体或者场景进行几何、外观、光照等性质的表达，从而可以对其他未拍摄到的视点的图像进行合成，最终得到具有高真实感的绘制结果。相比传统的三维重建结合图形绘制的流程，此类方法能够得到照片级别的合成效果。
3.虽然传统的计算机图形学允许生成高质量的可控场景图像，但场景的所有物理参数，例如相机参数、照度和物体的材料都需要作为输入提供。如果想生成真实世界场景的可控图像，就需要从现有的观察结果(如图像和视频)来估计这些物理属性。这种估计任务被称为逆向渲染，是非常具有挑战性的，特别是当目标是照片逼真的合成。相比之下，神经渲染是一个迅速兴起的领域，它可以紧凑地表示场景，通过利用神经网络，可以从现有的观察中学习渲染。神经渲染的主要思想是将经典计算机图形学的见解与深度学习的最新进展相结合。与经典计算机图形学类似，神经渲染的目标是以一种可控的方式生成照片般真实的图像。
4.随着神经渲染(nerf)技术的兴起，类似的方法也被扩展到视点合成的领域中，使用神经辐射场表示三维场景或模型，并结合体绘制方法，将该表示方法成功应用到视点合成领域，取得了高质量的合成效果。并且对该方法进行优化、扩展。nerf作为一种隐式表示，为传统的图形处理方法提供了一种新的思路，即从隐式神经表示，或者神经场的角度来处理图像。
5.但是神经渲染结果可能会出现不良阴影，并降低视觉质量。阴影还会影响图像的特征表示，并可能不利地影响后续的图像、视频处理任务。


技术实现要素：

6.本发明的目的在于克服现有技术的不足，提出一种基于跨区域transformer的神经辐射场的图像去阴影方法及系统，将crformer应用于神经辐射场中，实现图像的去阴影。
7.为达到上述目的，本发明的技术方案是这样实现的：
8.一种基于跨区域transformer的神经辐射场的图像去阴影方法，包括：
9.s1：获取nerf_llff_data下的fern数据集；
10.s2：构建融合mlp神经网络和跨区域transformer的去阴影网络模型；
11.s3：初始化所述去阴影网络模型，选取优化器，设置网络训练参数；
12.s4：使用损失函数优化所述去阴影网络模型并保存；
13.s5：加载训练过程中生成的最优的去阴影网络模型，获取测试集并将其输入到所述去阴影网络模型，渲染生成无阴影的图像。
14.进一步的，步骤s2中，在mlp神经网络中加入crformer模块，crformer模块用来去除图像中的阴影，首先用crformer模块中的双编码器来提取给定阴影图像，然后用跨区域对齐块来吸收阴影部分，最后用crformer模块来恢复阴影部分；mlp神经网络用来渲染图像的合成。
15.进一步的，步骤s3采用pytorch框架建立所述去阴影网络模型，选取梯度反向传播计算进行训练，初始化学习率。
16.进一步的，步骤s4中使用损失函数优化重建损失和空间损失，去除阴影图像，在mlp网络中处理图像局部区域的平均值。
17.本发明另一方面还提出了一种基于跨区域transformer的神经辐射场的图像去阴影系统，包括：
18.数据集模块，获取nerf_llff_data下的fern数据集；
19.模型模块，构建融合mlp神经网络和跨区域transformer的去阴影网络模型；
20.初始化模块，初始化所述去阴影网络模型，选取优化器，设置网络训练参数；
21.优化模块，使用损失函数优化所述去阴影网络模型并保存；
22.最优模块，加载训练过程中生成的最优的去阴影网络模型，获取测试集并将其输入到所述去阴影网络模型，渲染生成无阴影的图像。
23.进一步的，所述模型模块中包括mlp神经网络模块和crformer模块，crformer模块用来去除图像中的阴影，首先用crformer模块中的双编码器来提取给定阴影图像，然后用跨区域对齐块来吸收阴影部分，最后用crformer模块来恢复阴影部分；mlp神经网络模块用来渲染图像的合成。
24.进一步的，所述初始化模块采用pytorch框架建立所述去阴影网络模型，选取梯度反向传播计算进行训练，初始化学习率。
25.进一步的，根据权利要求1所述的基于跨区域transformer的神经辐射场的图像去阴影方法，其特征在于，所述优化模块使用损失函数优化重建损失和空间损失，去除阴影图像，在mlp神经网络中处理图像局部区域的平均值。
26.与现有技术相比，本发明具有如下的有益效果：
27.1.本发明将跨区域transformer(crformer)融合到nerf中的mlp神经网络用于高质量阴影去除；
28.2.本发明通过crformer中提出的新的区域感知交叉注意力(rca)，将非阴影区域的像素特征聚合为恢复的阴影区域特征；和初始的神经辐射场相比渲染出高质量去阴影图像。
附图说明
29.图1是本发明实施例的流程示意图；
30.图2为本发明实施例的跨区域对齐块的计算方法图；
31.图3为本发明实施例的mlp神经网络结构示意图。
具体实施方式
32.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
33.跨区域transformer(crformer)用于图像阴影高质量去除，考虑了来自非阴影区域的所有像素来帮助恢复每个阴影像素，充分利用了来自非阴影区域的潜在上下文线索来去除阴影。
34.本发明针对神经渲染结果出现的阴影问题，提出了一种基于跨区域transformer的神经辐射场的图像去阴影方法，将crformer应用于神经辐射场中，实现图像的去阴影。
35.下面结合附图对本发明专利的具体实施方式作进一步的说明。
36.图1为本发明基于跨区域transformer的神经辐射场的图像去阴影方法流程图，具体包括：
37.步骤1：获取nerf_llff_data下的fern数据集。
38.采用nerf官方数据集中nerf_llff_data下的fern数据集，数据集包含训练图片72张，验证图片20张，测试图片20张，图片的角度均不一样。
39.步骤2：采用融合mlp神经网络和跨区域transformer的形式用于阴影去除。
40.采用融合mlp神经网络和跨区域transformer(crformer)模型，在mlp网络中加入crformer模块，首先用crformer模块中的双编码器来提取给定阴影图像，然后用跨区域对齐块来吸收阴影部分，最后用crformer来恢复阴影部分。该模型主要包括：crformer模块、mlp神经网络模块。其中，crformer模块用来去除图像中的阴影，mlp神经网络用来渲染图像的合成。
41.如图1所示，采用一种新的跨区域transformer(crformer)，在crformer中，采用双编码器架构设计用于提取不对称特征。
42.首先使用双编码器(ns path,s path)来提取给定阴影图像及其阴影掩码的两条路径之间的不对称特征；然后，提出的具有n个跨区域对齐块的transformer层同时吸收阴影和非阴影区域的特征，建立从非阴影区域到阴影区域的连接，这是通过新设计的区域感知交叉注意来实现的。这样，所提出的crformer可以利用来自非阴影区域的足够上下文信息来恢复阴影区域中每个阴影像素的强度。然后，将一系列跨区域对齐块的输出馈送到单个解码器中，以实现去阴影结果；最后，利用轻量级u形网络进行后处理，以重新确定获得的阴影去除结果。
43.为了减少阴影像素和非阴影像素之间卷积而产生的干扰，提取每个区域内的特征进而提供感兴趣的非阴影区域特征，顶部编码器(非阴影路径)构建在使用三个卷积的浅子网上，其中包括两个3
×
3平均池化卷积，对特征映射进行采样；一个1
×
1卷积，用于调整特征映射的维度，以匹配底部编码器输出的维度。阴影路径的底部编码器是一个更深的编码器，由几个卷积和残差块组成，其中两个卷积的步长设置为2，对特征图进行采样。图像语义分割主要作用提炼图1中那三张图片去阴影的质量。
44.如图2所示，为了恢复阴影像素，充分探索和利用非阴影区域的潜在上下文线索至关重要。因此，本发明提出了一种具有区域感知交叉注意(rac)的新型transformer层，将足够的上下文信息从非阴影区域转移到阴影区域。在transformer层内，有n个跨区域对齐块的transformer层同时吸收阴影和非阴影区域的特征，建立从非阴影区域到阴影区域的连
接，这是通过新设计的区域感知交叉注意来实现的。这样，所提出的crformer可以利用来自非阴影区域的足够上下文信息来恢复阴影区域中每个阴影像素的强度。然后，将一系列跨区域对齐块的输出馈送到单个解码器中，以实现去阴影结果；最后，利用轻量级u形网络进行后处理，以重新确定获得的阴影去除结果。
45.步骤3：初始化网络模型，选取优化器，设置网络训练的参数。
46.采用pytorch框架建立网络模型，选取梯度反向传播计算进行训练，从数据集中选取20张图片作为测试数据集，72张作为训练数据集。batch设置为64，学习率从0.001动态递减到0.00015。
47.步骤4：使用损失函数优化网络模型并保存。
48.crformer以端到端的方式进行训练。总损失(l)的函数公式为：
49.l＝ω1l
rec
+ω2l
spa
(1)
50.其中l
rec
为重建损失，l
spa
为空间损失，ω1和ω2是不同损失项的权重。
51.具体而言，采用像素级l1距离来确保去阴影结果像素强度和真实图像像素强度一致，计算公式为：
52.l
rec
＝||^i-i gt
||1+||i r-i gt
||1(2)
53.其中^i表示去阴影图像，ir表示去阴影像素强度，i为真实图像，i
gt
为真实图像像素强度，1代表经验设置表示像素级距离。
54.此外，通过保留去阴影图像及其相应无阴影版本的相邻区域之间的差异性来增强图像的空间一致，计算公式为：
55.l
spa
＝φ(^i ，i gt
)+φ(i r
，i gt
) (3)
56.其中^i表示去阴影图像，ir表示去阴影像素强度，i为真实图像，i
gt
为真实图像像素强度，φ为损失的权重。
57.该损失函数能够去除阴影图像也可以在mlp网络中处理图像局部区域的平均值，提高mlp网络的特征提取的效果。
58.步骤5：加载训练过程中生成的最优网络模型，获取测试集并将其输入到该网络模型，渲染生成无阴影的图像。
59.加载训练好的网络模型，用数据集中的图像生成去阴影渲染图像结果。
60.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于跨区域transformer的神经辐射场的图像去阴影方法，其特征在于，包括：s1：获取nerf_llff_data下的fern数据集；s2：构建融合mlp神经网络和跨区域transformer的去阴影网络模型；s3：初始化所述去阴影网络模型，选取优化器，设置网络训练参数；s4：使用损失函数优化所述去阴影网络模型并保存；s5：加载训练过程中生成的最优的去阴影网络模型，获取测试集并将其输入到所述去阴影网络模型，渲染生成无阴影的图像。2.根据权利要求1所述的基于跨区域transformer的神经辐射场的图像去阴影方法，其特征在于，步骤s2中，在mlp神经网络中加入crformer模块，crformer模块用来去除图像中的阴影，首先用crformer模块中的双编码器来提取给定阴影图像，然后用跨区域对齐块来吸收阴影部分，最后用crformer模块来恢复阴影部分；mlp神经网络用来渲染图像的合成。3.根据权利要求1所述的基于跨区域transformer的神经辐射场的图像去阴影方法，其特征在于，步骤s3采用pytorch框架建立所述去阴影网络模型，选取梯度反向传播计算进行训练，初始化学习率。4.根据权利要求1所述的基于跨区域transformer的神经辐射场的图像去阴影方法，其特征在于，步骤s4中使用损失函数优化重建损失和空间损失，去除阴影图像，在mlp网络中处理图像局部区域的平均值。5.一种基于跨区域transformer的神经辐射场的图像去阴影系统，其特征在于，包括：数据集模块，获取nerf_llff_data下的fern数据集；模型模块，构建融合mlp神经网络和跨区域transformer的去阴影网络模型；初始化模块，初始化所述去阴影网络模型，选取优化器，设置网络训练参数；优化模块，使用损失函数优化所述去阴影网络模型并保存；最优模块，加载训练过程中生成的最优的去阴影网络模型，获取测试集并将其输入到所述去阴影网络模型，渲染生成无阴影的图像。6.根据权利要求5所述的基于跨区域transformer的神经辐射场的图像去阴影系统，其特征在于，所述模型模块中包括mlp神经网络模块和crformer模块，crformer模块用来去除图像中的阴影，首先用crformer模块中的双编码器来提取给定阴影图像，然后用跨区域对齐块来吸收阴影部分，最后用crformer模块来恢复阴影部分；mlp神经网络模块用来渲染图像的合成。7.根据权利要求5所述的基于跨区域transformer的神经辐射场的图像去阴影系统，其特征在于，所述初始化模块采用pytorch框架建立所述去阴影网络模型，选取梯度反向传播计算进行训练，初始化学习率。8.根据权利要求5所述的基于跨区域transformer的神经辐射场的图像去阴影系统，其特征在于，根据权利要求1所述的基于跨区域transformer的神经辐射场的图像去阴影方法，其特征在于，所述优化模块使用损失函数优化重建损失和空间损失，去除阴影图像，在mlp神经网络中处理图像局部区域的平均值。

技术总结
本发明提出一种基于跨区域Transformer的神经辐射场的图像去阴影方法及系统，包括：获取nerf_llff_data下的fern数据集；构建融合MLP神经网络和跨区域Transformer的去阴影网络模型；初始化所述去阴影网络模型，选取优化器，设置网络训练参数；使用损失函数优化所述去阴影网络模型并保存；加载训练过程中生成的最优的去阴影网络模型，获取测试集并将其输入到所述去阴影网络模型，渲染生成无阴影的图像。本发明将跨区域Transformer(CRFormer)融合到NeRF中的MLP神经网络用于高质量阴影去除，渲染出高质量去阴影图像。渲染出高质量去阴影图像。渲染出高质量去阴影图像。


技术研发人员：王波 国英龙 杨巨成 王伟 刘海涛 贾智洋 魏峰 徐振宇 孙笑 王嫄 陈亚瑞 张传雷
受保护的技术使用者：思腾合力（天津）科技有限公司
技术研发日：2023.04.11
技术公布日：2023/7/7