一种实木锯材去缺陷的纹理拼接方法

1.本发明涉及图像处理技术领域，尤其涉及一种实木锯材去缺陷的纹理拼接方法。


背景技术：

2.木材在生长和加工的过程中，会产生各种各样的瑕疵，诸如瘤疤、死结、虫眼、锯伤，不但会影响木材产品的物理性质，如力学性能，还会影响产品的美观，降低产品的档次。木材中的缺陷是评估木材质量和商业价值的重要标准，随着传感器和计算机技术的飞速发展，相关的无损检测技术已逐渐应用于木材检测领域，如激光技术、红外技术、机器视觉技术等。现有的研究多关注于瑕疵的检测定位，但是在定位到缺陷之后的实木单板拼接中，很少考虑拼接后木材纹理的视觉一致性的。于是引入图像修复技术去生成木材瑕疵部分的纹理，后期通过匹配算法找到纹理与缺陷区域相似的木材进行拼接，提高木材的使用价值。
3.图像修复的难点在于在缺失部分生成细致真实纹理的同时能够保持图像纹理结构的一致性。目前图像生成类任务的思路主要有变分编码器(vae)，去噪扩散模型(ddpm)，生成对抗网络(gan)等。近年来，基于gan+cnn相结合的方法生成图像缺失部分的纹理是图像修复的主要研究方向，但是现有的图像修复网络针对板材缺陷纹理的图修复技术还存在着边际效应明显和视觉纹理不连贯导致的修复精度不高、模型训练时间长等问题，并且木材纹理的不规则性和复杂性加深了修复的难度，使用现有模型难以达到理想的效果。
4.近年来，transformer网络凭借其强大的特征提取能力在视觉领域取得了很大的成功，解决了cnn模型的感受野受限的问题。但是transformer模型应用到视觉领域还存在不足，一方面是transformer模型使用了全局注意力机制使得计算量过于庞大；另一方面，vision transformer(vit)将图像划分为多个不重叠图像块的方法用于图像修复类任务时，无法进行像素级建模，尤其将vit模型作为解码器使用时，修复的结果会有明显的割裂感，边际效应明显。
5.与其他图像修复任务不同，木材缺陷纹理修复需要考虑以下几点：木材纹理呈现无规律状，由于缺陷的存在，围绕缺陷周围区域的纹理会产生形变，为了保证修复后纹理的连贯性，针对缺陷部分的掩码面积会比其他修复类任务要大；此外，修复木材缺陷区域纹理是为后期木材拼接做准备，而木材拼接时是以规则形状进行拼接。


技术实现要素：

6.针对现有方法的不足，本发明所采用的技术方案是：一种实木锯材去缺陷的纹理拼接方法包括以下步骤：
7.步骤一、采集木材纹理图像，并对图像进行旋转、平移、镜像、亮度变换预处理，构建木材纹理图像训练集和验证集；
8.步骤二、将训练集数据送入mrs-transformer模型进行训练。
9.进一步的，mrs-transformer模型的构建包括：
10.步骤21、在vit模型中引入mae中的非对称编码器；
11.进一步的，非对称编码器采用固定掩码策略，舍弃掩码部分，将未掩码可视块作为输入。
12.进一步的，非对称编码器包括多个transformer模块，每个transformer模块由多头自注意力机制层和全连接层组成，多头自注意力机制层和全连接层之间通过norm层和残差连接。
13.步骤22、构建具有多尺度特点的rswin解码器，用以调节被划分图像块的尺寸，完成对图像块由粗至细的修复；
14.进一步的，rswin解码器采用swin transformer模型的w-msa与sw-msa滑滑动窗口注意力机，并在sw-msa后连接patch diverging层。
15.步骤23、通过距离缺陷中心远近加权的l2损失函数，给未掩码区域给予不同的权重，充分利用有效像素修复缺失区域。
16.进一步的，步骤23具体包括：
17.首先设置一个与原始图像尺寸相同的矩阵，将被掩膜区域的像素置0，没有被掩膜位置计算该像素与其最近的掩码区域间的欧氏距离，得到一个矩阵模板；
18.然后以α为底数，矩阵模板为指数，得到了权重矩阵，将权重矩阵作为计算l2损失时像素点的权重。
19.进一步的，l2损失函数的公式为：
[0020][0021]
其中，表示修复后图像与原图像的l2损失，αa表示权重矩阵，除以表示对损失求平均，ir是修复后图像，io是原始图像。
[0022]
本发明的有益效果：
[0023]
1、设计了非对称的编码器与解码器结构，即编码器只将未掩码的可视块作为输入，而输入到解码器中的则是编码器的输出与掩码块，编码器与解码器输入的维度不同组成非对称的结构，由于掩码的块只能提供位置信息，所以实现了在不丢失木材图像纹理信息的同时减少模型编码器的计算量；
[0024]
2、设计了具有多尺度的特点rswin模块的解码器，灵活调节被划分图像块的尺寸，在解码阶段实现了由粗致细的修复木材图像的纹理，并且利用swin移动窗口注意力的特点可以更好利于木材缺陷周边纹理特征修复缺陷部分，解决了图像块与块之间的割裂感；
[0025]
3、提出了距离缺陷中心远近加权的l2损失，赋予未掩码区域不同的权重，距离缺失中心越近位置，所赋予的权重越大，实现了对木材缺陷边缘有效纹理特征的充分利用，解决了修复区域与未被掩码区域连接处语义不连贯等问题，提高修复的精度。
附图说明
[0026]
图1是vision transformer模型修复木材纹理示意图；
[0027]
图2是有缺陷图像纹理修复步骤示意图；
[0028]
图3是非对称编码器解码器结构图；
[0029]
图4是解码器rswin结构图及w-msa和sw-msa层原理；
[0030]
图5是patch diverging层原理；
[0031]
图6是mrs-transformer结构图；
[0032]
图7(a)-(f)分别是原图、右旋90
°
、左旋90
°
、亮度变换、镜像和对比度变换图；
[0033]
图8是部分有纹理缺陷样本；
[0034]
图9分别是实木锯材原始图像、裁剪后的缺陷图像、掩码策略处理图、修复后的图像、图像映射到图像原来的位置；
[0035]
图10分别是原图、掩码策略处理图、a、b、c、d组消融实验图；
[0036]
图11分别是原图、掩码策略处理图、deepfill v2、tg-net和mrs对比图。
具体实施方式
[0037]
下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
[0038]
一种实木锯材去缺陷的纹理拼接方法包括以下步骤：
[0039]
vit是将transformer应用在图像分类的模型，由于该模型“简单”、效果好、可扩展性强等优点，吸引了许多视觉领域的研究者对transformer模型的关注。在nlp中，输入transformer中的是一个序列，而在视觉领域图像是二维的，所以输入前，需要将一个二维图片转化为一个一维的序列，vit采用的方法是将图像划分为多个大小相同且不重叠块(patch)，再将每个patch投影为固定长度的向量，然后给每个向量加上位置编码(position embedding)标注图片块之间的位置信息，之后输入到transformer中进行训练；使用vit模型修复木材纹理结构图如图1所示。
[0040]
本发明mrs-transformer模型是针对使用vit作为图像修复模型的基础框架，在掩码策略(mask)，编码器输入形式(encode)以及解码器结构设计(decode)三个方面进行了相应优化。
[0041]
步骤一、采集木材纹理图像，并对图像进行旋转、平移、镜像、亮度变换预处理，构建木材纹理图像训练集和验证集；
[0042]
步骤二、将训练集数据送入mrs-transformer模型进行训练。
[0043]
步骤21、在vit模型基础上引入非对称编码与解码器，其中编码器采用固定掩码(mask)策略，舍弃掩码部分仅将未掩码可视块作为输入，以降低模型计算量；
[0044]
mask：图像修复类任务通常需要对图像进行掩码来模拟缺陷区域去训练网络模型，保证模型通过学习图像中部分已知信息的情况下去重构完整的图像。在实木板材拼接的工业场景中，是以规则的矩形去除板材带有缺陷的区域。所以mrs-transformer模型在训练中采用了矩形掩码方式。此外，由于木材纹理的走向会因为缺陷的存在而产生形变，从视觉纹理一致性的角度出发，需要将缺陷区域以及周围发生形变的纹理全部掩码，使得掩码的面积远大于其他图像修复类算法，所以在设计算法时引入了mae中的非对称的编码解码模型结构，即编码器只将未掩码的可视块作为输入，而输入到解码器中的则是编码器的输出与掩码块，编码器与解码器输入的维度不同组成非对称的结构，使得掩码面积越大，编码器输入的块越少，编码器所需计算量也就越少。但是保留的未掩码区域越少，重建纹理的难
度越大。经过多次实验，发现当掩码率为0.5，即掩码的面积为图片的50％左右时，可在保证修复精度的同时掩码的面积最大，计算量降到最低。
[0045]
由于木材纹理缺陷的大小和位置是不同的，为了提高模型修复实际木材纹理缺陷的精度，在此，提出固定掩码尺寸训练模型的策略。改策略通过定位缺陷位置，确定掩码范围，裁剪出合适的木材纹理图像，将缺陷图片扩张或缩放到固定的尺寸，然后输入模型中得到修复好的纹理图像，再通过相反操作映射到图片的原来位置，如图2所示。
[0046]
编码器由多个transformer模块组成，每个transformer模块由多头自注意力机制层(attention)和全连接层(mlp)构成，它们之间通过norm层和残差连接传递，多头自注意力机制是transformer的核心，通过该机制实现图像的全局建模。其中注意力机制的公式为：
[0047][0048]
其中，q,k,v分别为是查询，键，值矩阵，为缩放因子。
[0049]
虽然该机制通过计算所有图像块向量之间的相似度实现了全局关系建模，但也消耗量极大的计算量。由于木材图像被掩膜后的图像块无法为图像修复提供信息，将其输入网络模型只会增加计算量与占用额外的内存空间，本发明设计非对称的编码解码结构，其结构如图3所示，其中编码器只将未掩码的块作为输入，经过编码器提取特征后，在加上掩码块一同输入解码器后，输出修复后图像。
[0050]
步骤22、设计了具有多尺度特点的rswin(rs)模块解码器，用以调节被划分图像块的尺寸，完成对图像块由粗至细的修复；
[0051]
解码器：由于vit是以图像块的方式作为模型的输入与输出，当用于模型的解码器过程中，图像块尺寸太大会影响修复精度；图像块尺寸太小会增加计算量，延长修复时间，无法自适应调节划分图像块的大小。针对vit模型设计中的缺点，设计了新的针对木材纹理图像修复的解码器模块rswin-transformer，如图4所示。
[0052]
该模块保留了swin transformer模型滑动窗口注意力机制(w-msa与sw-msa)，在保证具有全局建模特点的同时也减低了模型的计算复杂度，普通注意力机制(msa)与窗口大小为m窗口注意力机制(w-msa)的计算复杂度分别是：
[0053]
ω(msa)＝4hwc2+2(hw)2c
ꢀꢀ
(2)
[0054]
ω(w-msa)＝4hwc2+2m2hwc
ꢀꢀ
(3)
[0055]
其中，h*w表示图像上具有的patch块个数，m表示窗口注意力的大小，c表示通道数；从上式可以看出窗口注意力机制可以让模型计算复杂度随着图像尺寸成线性增加。
[0056]
rswin模块改进了swin多尺度设计方式，在解码器中设计patch diverging层；原理如图5所示，可以随着网络的加深，让输出的尺寸翻倍，通道降维，达到图像的尺度变大，窗口注意力中基本块的尺寸缩小，有效地缓解修复后图像块直接的割裂感，提高修复的精度。
[0057]
本发明的mrs-transformer模型结构如图6所示，在带有缺陷的实木板材图像上，按掩码策略，以缺陷为中心，裁剪出合适大小的图像，并制成标准的可输入模型进行训练的尺寸，然后将图像划分为不重叠的块并对处于中心的缺陷块进行掩码，然后将未被掩码的
块经过线性映射层变为特征向量并加上位置编码输入致编码器中，编码器由12层的vit模块组成，经过编码器提取特征后的输出，与开始被掩码的块映射的向量一同输入致解码器中，解码器由8层的rswin模块构成，经过解码器之后输出的为修复后的木材纹理图像，将修复后的图像映射回原图对应位置，即为最终结果。
[0058]
步骤23、通过距离缺陷中心远近加权的l2损失函数，给未掩码区域给予不同的权重，让模型充分利用有效像素修复缺失区域。
[0059]
加权l2损失：传统图像修复计算损失大多只计算缺陷部分的损失或者整张图像的损失，这样会导致修复后的图像缺陷和非缺陷连接处的语义不一致，离缺陷位置越近的有效像素对修复的帮助越大，相反则越小。
[0060]
mrs-transformers模型设计了一个距离缺失中心远近加权的l2损失；首先设置一个与原始图像尺寸相同的矩阵，将被掩膜区域的像素置0，没有被掩膜位置计算该像素与其最近的掩码区域间的欧氏距离，得到一个矩阵模板；以α为底数(α设为0.999)，矩阵模板为指数，得到了权重矩阵，权重矩阵值的范围在[0,1]，将该权重矩阵作为计算l2损失时像素点的权重，该矩阵缺陷部分的权重为1，距离缺陷越近的像素，权重约接近1，越远的地方权重越小。
[0061]
公式如下：
[0062][0063]
其中，表示修复后图像与原图像的l2损失，αa表示权重矩阵，除以表示对损失求平均；ir是修复后图像，io是原始图像。
[0064]
纹理生成评价指标：
[0065]
采用mse(mean square error)、psnr(peak signal to noise ratio)和ssim(structural similarity)和lpips(learned perceptual image patch similarity)四种图像质量评价指标与模型计算量gflops作为定量观测数据。mse为原图x与生成图像y之间差值的平方的均值
[0066][0067]
其中，h表示图像的高，y表示图像的宽，mse取值范围是[0,1]，数值越小，表示图像失真越小。
[0068]
psnr(peak signal to noise ratio)峰值信噪比是一种全参考的图像质量评价指标。
[0069][0070]
其中，n为图像中每个像素的色彩深度，在这里取8，psnr的单位是db，数值越大，表示图像失真越小。
[0071]
ssim(structural similarity)结构相似性也是一种全参考的图像质量评价指
标，它分别从亮度(luminance)、对比度(contrast)、结构(structure)三方面度量图像相似性；
[0072]
ssim(x,y)＝l(x,y)
·
c(x,y)
·
s(x,y)
ꢀꢀ
(7)
[0073]
其中，l(x,y)表示亮度，c(x,y)表示对比度，s(x,y)表示结构，ssim取值范围是[0,1]，数值越大，表示图像失真越小。
[0074]
lpips(learned perceptual image patch similarity)学习图像块感知损失是有参考图像质量评价指标，比mae，psnr,ssim等方法更符合人类的感知情况。lpips的值越低表示两张图像越相似，反之，则差异越大。
[0075]
给定真实图像参照块x和含噪声图像失真块x0，感知相似度度量公式如下：
[0076][0077]
其中，d为x0与x之间的距离。从特征层提取特征堆(feature stack)并在通道维度中进行单位标准化(unit-normalize)。利用向量来放缩激活通道数,最终计算l2距离。最后在空间上平均,在通道上求和。当时，等价于余弦相似度。
[0078]
数据采集:
[0079]
实验使用oscarf810cirf工业相机采集了木材纹理图像3000张，其中有缺陷的500张。其中2500张无缺陷图像经过旋转、平移、镜像、亮度变换等数据增加方法扩充到10000张，并按8：2的比例划分为训练集和验证集。为提高模型训练速度与识别速度，将高分辨的图像统一处理到256*256pixel。部分样本如图7(a)-(f)所示。
[0080]
数据集中收集的有缺陷木材纹理图片的尺寸和缺陷位置各不相同，对缺陷位置进行定位，将缺陷位置于截取样本的中心，并统一处理成256*256pixel，处理后的部分样本如图8所示。
[0081]
实验环境与关键参数:
[0082]
实验环境如下：系统为ubuntu20.4；深度学习框架为pytorch；gpu为tesla v100；运行内存为32g。模型的主要参数：batchsize为32，训练过程使用adam优化器，学习率为1.8e-4，共训练1200epoch模型收敛到最佳状态。
[0083]
实验使用的图像尺寸(imagesize)统一为256*256pixel；在编码阶段将图像划分为不重叠的图像块，图像块尺寸(patchsize)为16*16pixel，总计n(256)个图像块。每个图像块映射的维度(encode_embed_dim)为768，表示每个图像块三个通道的像素点个数之和。编码器使用vit模型，深度(depth)为12层。解码器使用2组rswin模型，每组深度(depth)为4层，每经过一组rswin，使用一层diverging层，将划分的图像块尺寸缩小4倍，图像的尺寸扩大4倍，通道数缩小16倍。
[0084]
实木板材缺陷纹理生成实验
[0085]
为了测试模型在真实带有缺陷的木材样本的修复效果，进行了去缺陷区域纹理生成的实验，先在实木锯材原始图像(origian)上确定缺陷位置，再根据缺陷的大小和纹理的形变情况确定裁剪的范围，将裁剪后的缺陷图像处理为相应的尺寸(input)输入到mrs-transformers模型中(mask为掩码)，得到修复后的图像(output)，再将图像映射到图像原来的位置(inpaint)。如图9所示，mrs-transformer模型生成的木材纹理自然连贯，可以满足实木单板拼接的视觉纹理一致性要求，后期可以通过纹理匹配算法从数据库中找到纹理
相近合适的实木板材进行拼接。
[0086]
消融实验
[0087]
为了证明mrs-transformers模型的有效性，设计了消融实验。
[0088]
a组实验是直接使用vit模型作为编码器和解码器对数据集进行训练，使用l2损失作为损失函数，编码器12层，解码器8层。
[0089]
b组实验在a组的基础上引入非对称编码器解码器结构，编码器只输入未掩码的图像块，使用l2损失作为损失函数，解码器结构不变。
[0090]
c组在b组基础上将解码器替换为提出的rswin结构，同样使用l2损失作为损失函数，编码器12层，解码器8层。
[0091]
d组为本发明模型，在c组基础上采用加权l2损失作为损失函数，编解码器与c组相同。
[0092]
实验结果如表1所示，采用了四种图像评价指标和模型计算量等多个角度衡量模型优劣。可以看出，b组实验改善了编码器的输入方式后，mse、psnr、ssim三个指标没有明显变化，虽然lpips指标比a组差了一些，但是模型的计算量降低28.3％；c组重新设计了rswin模块作为解码器后，其他三个指标没有明显变化，lpips指标降低了21％，说明生成的图像细节从人眼视觉角度得到了提升，并且计算量再次下降了26.3％；d组在c组的基础上使用加权的l2损失，提高了木材缺失区域边缘的修复精度，其中mse和lpips分别比c组降低了51.7％和34.2％，psnr、ssim两个指标比c组分别高出12.2％和7.5％。
[0093]
表1消融实验
[0094][0095]
除了客观指标外，还选择各个改进阶段的可视化图像作为主观参考，使得实验结果更为直观；如图10所示，通过三个实验修复后的图片的对比，可以明显观察到图10修复结果在纹理结构与语义信息上与原图最接近，与图10非对称编解码结构相比，引入rswin结构的修复结果后块状割裂感明显减少，修复的纹理也更加连贯细致；而引入加权l2损失后，块状割裂感基本消失，边缘连接处的也语义变得连贯，纹理连接的更加自然。
[0096]
对比实验
[0097]
为了验证模型的优越性，本发明在定尺寸掩码图像修复上采用了deepfill v2和tg-net两个图像修复类模型在实木单板数据集上进行了对比；其中，deepfill v2模型和tg-net模型都是基于gan模型的双阶段修复方法，先在粗生成网络中修复缺失区域的轮廓，在将粗生成的结束输入到细生成网络中修复出较为精细的结果。其中deepfill v2模型提出了门控卷积操作，门控卷积解决了普通卷积将所有的像素视为有效像素的问题，通过为所有层中的每个空间位置的每个通道提供一个可学习的动态特征选择机制来泛化部分卷积，使得修复的效果更加出色，在众多图像修复类任务中取得较为领先的结果；tg-net模型同样是研究实木锯材去除纹理缺陷，提出了前后背景分别归一化的思想，提高缺失区域纹理生成能力。实验结果如表2所示，本发明在四个指标mse、psnr、ipips和ssim上取得了
0.0003、40.1233、0.154和0.9173的成绩，相比与deepfillv2、tg-net两个模型mse指标下降了47.0％和66.9％；lpips指标下降了60.6％和42.5％；psnr指标分别高出16.1％和26.2％；ssim指标分别高出7.3％和5.8％。除了客观评价指标，本发明模型在修复单张木材纹理图片上只需要0.05s，比其他两种算法快了近5倍。
[0098]
表2对比实验
[0099][0100]
本发明还对上述模型修复的结果进行可视化对比，如图11,为了保证实验结果的真实性，所有修复图像均没有经过任何后期处理。通过对比可以看出，本发明的模块可以更好的生成实木板材缺失部分纹理，并且在缺失区域边缘的语义一致性方面取得了非常好的结果，其他两个模型无法去除边缘处的伪影和保持连接处的语义一致性，生成的木材纹理也不够连贯。
[0101]
从图11实验结果可知，本发明的mrs-transformer模型在在客观指标和视觉效果上要优于deepfill v2和tg-net模型，原因在于实木锯材纹理修复任务掩码区域较大，给图像生成造成了一定的困难；本发明在这个问题上进行了单独的优化，所以比其他两个模型修复结果要好。此外，虽然deepfill v2模型提出的门控卷积操作给网络提供动态特征选择的能力，优化了部分卷积的效果，但无论是对有效特征的学习能力还是对较远距离场景的建模依旧比transformer模型差，所以模型最终呈现的修复效果也比mrs-transformer模型差，而tg-net模型也是研究木材纹理修复的模型，提出了前后背景分别归一化方法来增加掩码区域特征在模型中的权重，可以更好的生成缺失部分的纹理特征，但是这样做使得生成的纹理与背景区域不够连贯，容易出现色差的现象，而本发明模型通过距离缺失中心远近加权l2损失，权重占比从掩码区域向背景区域递减，权重的过渡有了渐变的过程，使得生成的纹理特征也更为连贯。
[0102]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

技术特征：
1.一种实木锯材去缺陷的纹理拼接方法，其特征在于，包括以下步骤：步骤一、采集木材纹理图像，并对图像进行预处理，构建木材纹理图像训练集和验证集；步骤二、将训练集数据送入mrs-transformer模型进行训练。2.根据权利要求1所述的实木锯材去缺陷的纹理拼接方法，其特征在于，mrs-transformer模型的构建包括：步骤21、在vit模型中引入mae中的非对称编码器，减少模型的计算量；步骤22、构建具有多尺度特点的rswin解码器，用以调节被划分图像块的尺寸，完成对图像块由粗至细的修复；步骤23、通过距离缺陷中心远近加权的l2损失函数，给未掩码区域设置不同的权重，利用有效像素修复缺失区域。3.根据权利要求2所述的实木锯材去缺陷的纹理拼接方法，其特征在于，非对称编码器采用固定掩码策略，舍弃掩码部分，将未掩码可视块作为输入。4.根据权利要求2所述的实木锯材去缺陷的纹理拼接方法，其特征在于，非对称编码器包括若干个transformer模块，每个transformer模块由多头自注意力机制层和全连接层组成，多头自注意力机制层和全连接层之间通过norm层和残差连接。5.根据权利要求4所述的实木锯材去缺陷的纹理拼接方法，其特征在于，rswin解码器采用swin transformer模型的w-msa与sw-msa滑滑动窗口注意力机，并在sw-msa后连接patch diverging层。6.根据权利要求2所述的实木锯材去缺陷的纹理拼接方法，其特征在于，步骤23具体包括：首先设置一个与原始图像尺寸相同的矩阵，将被掩膜区域的像素置0，没有被掩膜位置计算像素与其最近的掩码区域间的欧氏距离，得到矩阵模板；然后以α为底数，矩阵模板为指数，得到了权重矩阵，将权重矩阵作为计算l2损失时像素点的权重。7.根据权利要求2所述的实木锯材去缺陷的纹理拼接方法，其特征在于，l2损失函数的公式为：其中，表示修复后图像与原图像的l2损失，α
a
表示权重矩阵，i
r
是修复后图像，i
o
是原始图像。

技术总结
本发明涉及图像处理技术领域，尤其涉及一种实木锯材去缺陷的纹理拼接方法，包括在Vit模型中引入MAE中的非对称编码器，减少模型的计算量；构建具有多尺度特点的RSwin解码器，用以调节被划分图像块的尺寸，完成对图像块由粗至细的修复；通过距离缺陷中心远近加权的L2损失函数，给未掩码区域给予不同的权重，充分利用有效像素修复缺失区域。本发明解决现有Transformer模型使用了全局注意力机制使得计算量过于庞大问题；Vit将图像划分为多个不重叠图像块的方法用于图像修复类任务时，无法进行像素级建模，尤其将Vit模型作为解码器使用时，修复的结果会有明显的割裂感，边际效应明显的问题。显的问题。显的问题。


技术研发人员：张怡卓 于慧伶 刘星宇 赵艳江
受保护的技术使用者：常州大学
技术研发日：2023.05.11
技术公布日：2023/8/21