数据重建方法、装置、存储介质及计算机设备

1.本发明涉及图像处理技术领域，尤其是指一种图像数据重建方法、装置、存储介质及计算机设备。


背景技术：

2.在这个数据驱动的时代，数据的重要性对于我们每个人不言而喻。然而，由于电子产品的局限性，难免会造成一些数据的缺损，导致错误。为此，人们发展出许多数据重建的技术，近几年快速发展的深度学习技术为数据重建提供了新的思路。
3.本发明将针对图像数据做测试。一般，图像数据，例如老照片会有泛黄，破损，模糊等等的问题，造成图像数据的缺损。一般的图像修复方法，比如基于偏微分方程和基于纹理的图像修复方法，这些传统的方法虽然能够解决老照片孔洞修复、折痕修复等部分问题，但这些方法只专注于缺损填充，难以解决图像的褪色问题和模糊问题。随着深度学习在计算机视觉领域的快速发展，图像修复技术的发展有了一个全新的方向。基于深度学习的图像修复方法是一种利用神经网络重新生成图像数据的端到端的数据重建技术，可以实现对图像数据的缺损填充，色彩恢复，噪点去除等修复工作，然而，随着训练的迭代进行，模型会逐渐步入过拟合，这时模型会过分依赖训练数据集，网络鲁棒性变差。


技术实现要素：

4.本发明所要解决的技术问题是：提供一种数据重建方法、装置、存储介质及计算机设备，在此基础上改善现有基于深度学习引起的过拟合问题。
5.为了解决上述技术问题，本发明采用的技术方案为：一种数据重建方法，包括：
6.将预设尺寸的图像数据进行黑白化处理后加入高斯噪点及进行预设大小的方块挖空处理，形成训练集；
7.将训练集中缺损的图像数据输入到级联神经网络进行网络参数训练迭代，得到数据重建网络模型，其中，所述级联神经网络包括两个级联的backbone骨干网络，第二个backbone骨干网络设有残差结构；
8.获取待重建的图像数据；
9.将获取到的待重建的图像数据通过数据重建网络模型进行数据重建，输出重建完成的图像数据。
10.进一步的，将获取到的待重建的图像数据通过数据重建网络模型进行数据重建，输出重建完成的图像数据包括，
11.将获取的待重建的图像裁剪为预设尺寸，并进行黑白化处理后加入高斯噪点及进行预设大小的方块挖空处理，得到模型输入图像数据；
12.通过数据重建网络模型的第一个backbone骨干网络对输入图像数据进行缺损部分重建；
13.将重建好的缺损部分填补进原图像作为数据重建网络模型的第二个backbone骨
干网络的输入；
14.通过数据重建网络模型的第二个backbone骨干网络对输入图像数据的所缺失的色彩信息进行重建，输出重建完成的图像数据。
15.进一步的，将预设尺寸的图像数据进行黑白化处理后加入高斯噪点及进行预设大小的方块挖空处理，形成训练集包括，
16.获取预设数量的清晰的完整的图像数据；
17.将获取到的图像数据裁剪为预设尺寸；
18.将裁剪的预设尺寸的图像数据进行黑白化处理；
19.将黑白化处理的图像数据加入高斯噪点及进行预设大小的方块挖空处理，得到训练集。
20.进一步的，获取预设数量的完整的图像数据具体为，
21.从imagenet数据集上每个类随机抽20张清晰的图像，一共20000张图像。
22.进一步的，将获取到的图像数据裁剪为预设尺寸具体包括，
23.将图像裁剪成正方形，裁剪方式为以短边为边长，裁掉长边前后多出来的部分，裁剪后统一规划为128*128的图像。
24.进一步的，将裁剪的预设尺寸的图像数据进行黑白化处理具体包括，
25.利用公式gray＝r*0.299+g*0.587+b*0.114,将rgb彩色图像转换成灰度图。
26.进一步的，将黑白化处理的图像数据加入高斯噪点及进行预设大小的方块挖空处理具体包括，
27.在和图像一样大小的全1矩阵上，随机生成16*16的0矩阵，并利用这个挖空矩阵点乘经黑白处理的图像，在黑白图像上生成一个随机的空洞；
28.在图像上随机删除一些语义信息，以在图像上生成一些随机的、错乱分布的小黑点。
29.本发明还提供了一种图像数据重建装置，包括：
30.图像预处理模块，用于将预设尺寸的图像数据进行黑白化处理后加入高斯噪点及进行预设大小的方块挖空处理，形成训练集；
31.模型训练模块，用于将训练集中缺损的图像数据输入到级联神经网络进行网络参数训练迭代，得到数据重建网络模型，其中，所述级联神经网络包括两个级联的backbone骨干网络，第二个backbone骨干网络设有残差结构；
32.待重建图像数据获取模块，用于获取待重建的图像数据；
33.图像数据重建模块，用于将获取到的待重建的图像数据通过数据重建网络模型进行重建，输出重建完成的图像数据。
34.本发明还提供了一种计算机设备，计算机设备包括存储器及处理器，存储器上存储有计算机程序，处理器执行计算机程序时实现如上的数据重建方法。
35.本发明还提供了一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时可实现如上的数据重建方法。
36.本发明的有益效果在于：将预设尺寸的图像数据进行黑白化处理后加入高斯噪点及进行预设大小的方块挖空处理输入到级联神经网络进行网络参数训练迭代，能够改善网络模型的过拟合问题，使得训练出来的级联神经网络模型在进行数据重建时，获得更好的
数据重建效果，在第二个backbone骨干网络设残差结构，能够在第一个backbone骨干网络将图像的缺损部分做数据重建，再通过第二个backbone骨干网络将缺失的色彩信息重建，增强了色彩恢复性能。
附图说明
37.下面结合附图详述本发明的具体结构。
38.图1为本发明实施例的数据重建方法流程图；
39.图2为本发明实施例的数据重建装置框图；
40.图3为本发明实施例的主干网络结构图；
41.图4为本发明实施例的主干网络结构具体设计参数图；
42.图5为本发明实施例的数据重建网络整体设计结构图；
43.图6为本发明实施例的计算机设备的示意性框图。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
46.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
47.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
48.如图1所示，本发明第一实施例为：一种数据重建方法，包括步骤：
49.s10、将预设尺寸的图像数据进行黑白化处理后加入高斯噪点及进行预设大小的方块挖空处理，形成训练集；
50.s20、将训练集中的图像输入到级联神经网络进行网络参数训练迭代，得到数据重建网络模型，其中，所述级联神经网络包括两个级联的backbone骨干网络，第二个backbone骨干网络设有残差结构；
51.s30、获取待重建的图像数据；
52.s40、将获取到的待重建的图像数据通过数据重建网络模型进行重建，输出重建完成的图像数据。
53.本实施例中，将预设尺寸的图像数据进行黑白化处理后加入高斯噪点及进行预设大小的方块挖空处理输入到级联神经网络进行网络参数训练迭代，能够改善网络模型的过拟合问题，使得训练出来的级联神经网络模型在进行数据重建时，获得更好的数据重建效果，在第二个backbone骨干网络设残差结构，能够在第一个backbone骨干网络将图像的缺
损部分做数据重建，再通过第二个backbone骨干网络将缺失的色彩恢复，增强了色彩恢复性能。backbone神经网络的结构如图5所示。
54.其中，步骤s40、将获取到的待重建的图像数据通过数据重建网络模型进行修复，输出重建完成的图像数据包括，
55.s41、将获取的待重建图像裁剪为预设尺寸，并进行黑白化处理后加入高斯噪点及进行预设大小的方块挖空处理，得到模型输入图像数据；
56.s42、通过数据重建网络模型的第一个backbone骨干网络对输入图像数据进行缺损部分重建；
57.s43、将重建好的缺损部分填补进原图像作为数据重建网络模型的第二backbone骨干网络的输入；
58.s44、通过数据重建网络模型的第二个backbone骨干网络对输入图像的所缺失的色彩信息进行重建，输出重建完成的图像数据。
59.在步骤s40中，将待重建的图像进行预处理，对图像裁剪后，缩放成大小为128*128的图像，并在缩放的图像上加入高斯噪点和16*16的随机方块作为模型的输入。
60.把部分缺失的黑白图像x作为输入，输出是经过网络修复后的彩色图像z。拿彩色原图像zt作为标签和网络的输出z的均方误差作为网络的损失函数的loss1，如公式(1)所示：
61.loss1＝||z-zt||2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
62.经过实验发现，第二backbone骨干网络能完成色彩恢复的任务，网络性能继续上升的空间不大，所以把研究目光转向缺损填充的任务上，设计方案是将挖空部分的方块替换为经第二backbone骨干网络输出的方块，替换公式如(2)(3)所示，其中y1为第二backbone骨干网络的输出，为挖空矩阵取反，y为修复后的图像缺失方块，g
ω
为带挖空的黑白图像，g为完整的黑白图像，将完整的黑白图像点乘得到g
ω
缺失的那一小块图像信息q，将q和y的均方误差作为loss2，模型输出z和彩色原图像zt的均方误差作为loss1，整个损失函数loss＝loss1+pam*loss2(pam一直等于10)，因为loss1和loss2的数量级相差10倍，所以乘以一个参数pam让他们数量级相等。本发明实施例所设计的网络的损失函数如公式(4)所示，通过网络的重复迭代，对缺失的图像信息做像素级上的进一步修复。实验结果证明，经过这一步操作，ssim从0.9769上升到0.9888，上升了1.22％，psnr从34.5114上升到39.3438，上升了14％。
[0063][0064]
y'＝y+g
ω
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0065]
loss＝||z-zt||2+pam*||q-y||2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0066]
其中，步骤s10、将预设尺寸的图像数据进行黑白化处理后加入高斯噪点及进行预设大小的方块挖空处理，形成训练集包括，
[0067]
s11、获取预设数量的清晰的完整的图像数据；
[0068]
其中，步骤s11、获取预设数量的清晰的完整的图像数据具体为，
[0069]
从imagenet数据集上每个类随机抽20张清晰的图像，一共20000张图像。
[0070]
s12、将获取到的图像数据裁剪为预设尺寸；
[0071]
其中，步骤s12、将获取到的图像数据裁剪为预设尺寸具体包括，
[0072]
将图像裁剪成正方形，裁剪方式为以短边为边长，裁掉长边前后多出来的部分，裁剪后统一规划为128*128的图像。
[0073]
s13、将裁剪的预设尺寸的图像数据进行黑白化处理；
[0074]
其中，步骤s13、将裁剪的预设尺寸的图像数据进行黑白化处理具体包括，
[0075]
利用公式gray＝r*0.299+g*0.587+b*0.114,将rgb彩色图像转换成灰度图。
[0076]
s14、将黑白化处理的图像数据加入高斯噪点及进行预设大小的方块挖空处理，得到训练集。
[0077]
其中，步骤s14、将黑白化处理的图像数据加入高斯噪点及进行预设大小的方块挖空处理具体包括，
[0078]
在和图像一样大小的全1矩阵上，随机生成16*16的0矩阵，并利用这个挖空矩阵点乘经黑白处理的图像，在黑白图像上生成一个随机的空洞；
[0079]
在图像上随机删除一些语义信息，以在图像上生成一些随机的、错乱分布的小黑点。
[0080]
步骤s10中，利用计算机从imagenet数据集上每个类随机抽20张清晰的图像，一共20000张图像作为数据集训练网络，训练集和测试集分别占其中的80％和20％，这里不直接使用imagenet里的一百万张图像是因为采用小数据集更能体现本次工作改善过拟合的有效性。采用结构相似性ssim(structural similarity)和峰值信噪比psnr(peaksignaltonoiseratio)来衡量修复效果。训练时首先将这些图像裁剪成正方形，裁剪方式为以短边为边长，裁掉长边前后多出来的部分。裁剪后统一规划为128*128的图像，并对其进行黑白化，加入高斯噪点和16*16的随机方块挖空作为模型输入。利用灰度化公式gray＝r*0.299+g*0.587+b*0.114，将rgb彩色图像转换成灰度图，模拟图像经过时间的沉淀自然褪色的情形，用作数据集。随机方块挖空是在和图像一样大小的全1矩阵上，随机生成16*16的0矩阵，并利用这个挖空矩阵点乘黑白图像，这样，黑白图像就生成了一个随机的空洞。加入高斯噪点是在图像上随机删除一些语义信息，即在图像上生成一些随机的、错乱分布的小黑点。对图像进行随机方块挖空和高斯噪点生成都是为了改善网络模型的过拟合问题。一般解决过拟合问题都是引入正则化和神经元随机失活dropout,dropout在全连接层可以起到一个很好的防止过拟合的作用，但是在卷积层却没有什么效果。这是因为在卷积层中feature的激活单元(神经元unit)是相互关联的(全连接层经过展平处理所以可能是没有关联的)，所以即使在卷积层加上了dropout，它的语义信息仍然可以从它相邻的unit中获取而传到下一层featuremap。针对这个缺陷，本发明采用随机方块挖空对输入做dropblock和加入高斯噪点的处理，这样可以有效的删除一些语义信息，丢失的语义信息无法从它相邻的unit中获取，因为它相邻的unit也失活了。迫使剩余的unit学习更多的语义信息，防止过拟合。
[0081]
优化器采用sgd，网络初始参数随机生成，训练过程中一开始学习率为0.1，每过10个epoch降低为原来的十分之一，即0到9个epoch学习率为0.1，10到19个epoch学习率为0.01，20到29个epoch学习率为0.001，这样做的目的是通过调整学习率，使网络训练更加趋近于局部最优解。因为计算机内存限制，batchsize调整为50，即每次从数据集里面抽取50张图像进行训练。测试过程中的batchsize为1，即一张一张地做修复最后计算平均的ssim和psnr。
[0082]
本发明设计的数据重建网络如图2所示，总体上由两个主干网络backbone级联组成，两个主干网络结构一样，训练完后参数不一样。其中主干网络如图3所示，具体设计参数如图4所示，通过下采样和上采样把图像尺寸分别变成128*128、64*64、32*32、16*16、8*8、16*16、32*32、64*64、128*128，把通道变成3、16、32、64、128、64、32、16、3。第一个主干网络的作用是负责修复缺损的部分，并将修复好的部分填补进原图像作为第二个主干网络的输入，第二个主干网络还在网络末端添加了一个残差结构，这样做的原因是把利用网络输入已经具有完整的结构信息，直接把这部分先验信息输送到网络末端，使网络更加注重于恢复缺失的色彩信息，这能显著增强色彩恢复的性能，实验结果证明，加入残差结构可以使ssim上升70.64％，psnr上升49.23％。整体构成图像修复网络。
[0083]
如图2所示，本发明的另一实施例为一种数据重建装置，包括：
[0084]
图像预处理模块10，用于将预设尺寸的图像数据进行黑白化处理后加入高斯噪点及进行预设大小的方块挖空处理，形成训练集；
[0085]
模型训练模块20，用于将训练集中的图像输入到级联神经网络进行网络参数训练迭代，得到数据重建网络模型，其中，所述级联神经网络包括两个级联的backbone骨干网络，第二个backbone骨干网络设有残差结构；
[0086]
待重建图像数据获取模块30，用于获取待重建图像数据；
[0087]
数据重建模块40，用于将获取到的待重建的图像数据通过数据重建网络模型进行数据重建，输出重建完成的图像数据。
[0088]
其中，数据重建模块40包括，
[0089]
预处理单元，用于将获取的待重建图像数据裁剪为预设尺寸，并进行黑白化处理后加入高斯噪点及进行预设大小的方块挖空处理，得到模型输入图像数据；
[0090]
第一重建单元，用于通过数据重建网络模型的第一个backbone骨干网络对输入图像进行缺损部分重建；
[0091]
输入处理单元，用于将修复好的缺损部分填补进原图像作为数据重建网络模型的第二backbone骨干网络的输入；
[0092]
第二重建单元，用于通过数据重建网络模型的第二个backbone骨干网络对输入图像的所缺失的色彩信息进行重建，输出重建完成的图像数据。
[0093]
其中，图像预处理模块10包括，
[0094]
图像获取单元，用于获取预设数量的清晰的完整的图像数据；
[0095]
图像裁剪单元，用于将获取到的图像数据裁剪为预设尺寸；
[0096]
灰度处理单元，用于将裁剪的预设尺寸的图像数据进行黑白化处理；
[0097]
噪点添加单元，用于将黑白化处理的图像数据加入高斯噪点及进行预设大小的方块挖空处理，得到训练集。
[0098]
其中，图像获取单元，具体用于从imagenet数据集上每个类随机抽20张清晰的图像，一共20000张图像。
[0099]
其中，图像裁剪单元，具体用于将图像裁剪成正方形，裁剪方式为以短边为边长，裁掉长边前后多出来的部分，裁剪后统一规划为128*128的图像。
[0100]
其中，灰度处理单元，具体用于利用公式gray＝r*0.299+g*0.587+b*0.114,将rgb彩色图像转换成灰度图。
[0101]
其中，噪点添加单元，具体用于在和图像一样大小的全1矩阵上，随机生成16*16的0矩阵，并利用这个挖空矩阵点乘经黑白处理的图像，在黑白图像上生成一个随机的空洞；在图像上随机删除一些语义信息，以在图像上生成一些随机的、错乱分布的小黑点。
[0102]
需要说明的是，所属领域的技术人员可以清楚地了解到，上述数据重建装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
[0103]
上述数据重建装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
[0104]
请参阅图6，图6是本技术实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
[0105]
参阅图6，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
[0106]
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种数据重建方法。
[0107]
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
[0108]
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种数据重建方法。
[0109]
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0110]
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如上所述的数据重建方法
[0111]
应当理解，在本技术实施例中，处理器502可以是中央处理单元(central processing unit，cpu)，该处理器502还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0112]
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
[0113]
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如上所述的数据重建方法。
[0114]
所述存储介质可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟
或者光盘等各种可以存储程序代码的计算机可读存储介质。
[0115]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0116]
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0117]
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
[0118]
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
[0119]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种数据重建方法，其特征在于，包括：将预设尺寸的图像数据进行黑白化处理后加入高斯噪点及进行预设大小的方块挖空处理，形成训练集；将训练集中缺损的图像数据输入到级联神经网络进行网络参数训练迭代，得到数据重建网络模型，其中，所述级联神经网络包括两个级联的backbone骨干网络，第二个backbone骨干网络设有残差结构；获取待重建的图像数据；将获取到的待重建的图像数据通过数据重建网络模型进行重建，输出重建完成的图像数据。2.如权利要求1所述的数据重建方法，其特征在于，所述将获取到的待重建的图像数据通过数据重建网络模型进行数据重建，输出重建完成的图像数据包括，将获取的待重建的图像裁剪为预设尺寸，并进行黑白化处理后加入高斯噪点及进行预设大小的方块挖空处理，得到模型输入图像数据；通过数据重建网络模型的第一个backbone骨干网络对输入图像数据进行缺损部分重建；将重建好的缺损部分填补进原图像作为数据重建网络模型的第二backbone骨干网络的输入；通过数据重建网络模型的第二个backbone骨干网络对输入图像数据的所缺失的色彩信息进行修复，输出重建完成的图像数据。3.如权利要求1所述的数据重建方法，其特征在于，所述将预设尺寸的图像数据进行黑白化处理后加入高斯噪点及进行预设大小的方块挖空处理，形成训练集包括，获取预设数量的完整的图像数据；将获取到的图像数据裁剪为预设尺寸；将裁剪的预设尺寸的图像数据进行黑白化处理；将黑白化处理的图像数据加入高斯噪点及进行预设大小的方块挖空处理，得到训练集。4.如权利要求3所述的数据重建方法，其特征在于，所述获取预设数量的完整的图像数据具体为，从imagenet数据集上每个类随机抽20张清晰的图像，一共20000张图像。5.如权利要求3所述的数据重建方法，其特征在于，所述将获取到的图像数据裁剪为预设尺寸具体包括，将图像裁剪成正方形，裁剪方式为以短边为边长，裁掉长边前后多出来的部分，裁剪后统一规划为128*128的图像。6.如权利要求3所述的数据重建方法，其特征在于，所述将裁剪的预设尺寸的图像数据进行黑白化处理具体包括，利用公式gray＝r*0.299+g*0.587+b*0.114,将rgb彩色图像转换成灰度图。7.如权利要求3所述的数据重建方法，其特征在于，所述将黑白化处理的图像数据加入高斯噪点及进行预设大小的方块挖空处理具体包括，在和图像一样大小的全1矩阵上，随机生成16*16的0矩阵，并利用这个挖空矩阵点乘经
黑白处理的图像，在黑白图像上生成一个随机的空洞；在图像上随机删除一些语义信息，以在图像上生成一些随机的、错乱分布的小黑点。8.一种图像数据重建装置，其特征在于，包括：图像预处理模块，用于将预设尺寸的图像数据进行黑白化处理后加入高斯噪点及进行预设大小的方块挖空处理，形成训练集；模型训练模块，用于将训练集中的图像输入到级联神经网络进行网络参数训练迭代，得到数据重建网络模型，其中，所述级联神经网络包括两个级联的backbone骨干网络，第二个backbone骨干网络设有残差结构；待重建图像数据获取模块，用于获取待重建的图像数据；图像数据重建模块，用于将获取到的待重建的图像数据通过数据重建网络模型进行重建，输出重建完成的图像数据。9.一种计算机设备，其特征在于：所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的数据重建方法。10.一种存储介质，其特征在于：所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至7中任一项所述的数据重建方法。

技术总结
本发明提供了一种数据重建方法、装置、存储介质及计算机设备，方法包括：将预设尺寸的图像数据进行黑白化处理后加入高斯噪点及进行预设大小的方块挖空处理，形成缺损数据的训练集；将训练集中的图像数据输入到级联的神经网络进行网络参数训练迭代，得到数据重建网络模型，其中，所述级联神经网络包括两个级联的backbone骨干网络，第二个backbone骨干网络设有残差结构；获取待重建的图像数据；将获取到的待重建的图像数据通过本网络模型进行数据重建，输出重建完成的图像数据。本发明的有益效果在于：训练出来的级联神经网络模型，改善神经网络训练过程中的过拟合问题，在数据重建中，特别是在图像数据的缺损填充、色彩恢复及噪点去除中获得很好的效果。噪点去除中获得很好的效果。噪点去除中获得很好的效果。


技术研发人员：孙维泽 章泳龙 黄磊 李晓鹏 陈少武 陈贵童
受保护的技术使用者：深圳大学
技术研发日：2023.07.14
技术公布日：2023/9/9