太赫兹图像超分辨率重构方法及系统和应用

1.本发明涉及图像处理
技术领域：
：。更具体地说，本发明涉及一种太赫兹图像超分辨率重构方法及系统和应用。
背景技术：
：：2.小麦是一种主要的谷物作物，也是许多食品的成分。它含有大量的淀粉、蛋白质和脂肪，为饮食提供重要的矿物质、维生素和纤维。谷物在收获后储存不当时容易发芽，从而降低其质量，甚至使其无法食用，造成巨大的收成损失。传统检测手段难以检测出早期发芽状态的小麦，而生化测定以及分子测定实验操作繁琐耗时，成本较高对样品具有破坏性。探索一种快速无损检测的方法势在必行。thz波能够无损地穿过非极性材料，且能获得目标物对thz脉冲响应的强度、相位和时间等完整信息，能同时获取空间图像信息和丰富的光谱信息。综合上述优势，可以使用太赫兹光谱成像技术对发芽小麦进行无损检测。3.太赫兹成像技术在相关的领域取得了一定的成绩，但仍存在一些限制，如图像质量较差，实时性差等。thz超分辨率成像的开发为了提高超过衍射极限的空间分辨率，目前的趋势是改进thz光谱图像采集系统中的光学硬件。这些技术虽然在空间分辨率上有显著的提高，但由于制造工艺难以大幅改进，制造成本高昂，在物理硬件上提升thz光谱图像的分辨率代价过大，因此从软件和算法角度实现thz光谱图像超分辨率重构十分必要。4.因此，如何将低分辨率的太赫兹光谱图像有效重构为高分辨率的太赫兹光谱图像，是亟待解决的研究问题。技术实现要素：5.本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。6.本发明还有一个目的是提供一种太赫兹图像超分辨率重构方法及系统，其解决了太赫兹成像系统存在着光谱图像分辨率低，质量较差等问题。7.为了实现根据本发明的这些目的和其它优点，提供了一种本发明提供一种太赫兹图像超分辨率重构方法，其包括：8.s1、获取太赫兹光谱图像，对太赫兹光谱图像进行预处理，得预处理图像；9.s2、基于预处理图像，构建训练集和测试集；10.s3、将训练集输入至太赫兹图像超分辨率重构模型进行训练，得训练后的图像重构模型；11.s4、将测试集输入至训练后的图像重构模型中，得到重构图像；12.其中，所述图像重构模型包括生成器和判别器，生成器包括密集连接注意力块、两个卷积层、sigmod函数、亚卷积像素层；13.所述判别器包括八个卷积层、一个sigmoid激活函数层和两个全连接层，八个卷积层的滤波器数量依次是：64，64，128，128，256，256，512，512。14.优选的是，所述的太赫兹图像超分辨率重构方法，所述判别器为：15.dra(xr，xf)＝σ(c(xr))-e[c(xf)]ꢀꢀ(1)[0016]dra(xf，xr)＝σ(c(xf))-e[c(xr)]ꢀꢀ(2)[0017]dra表示相对判别器，xr表示原始高分辨率图像数据，xf表示生成器生成出的图像数据，σ为sigmoid激活函数，c()是非变换判别器的输出，e()是对在一个批次中所有虚假数据做平均。[0018]优选的是，所述的太赫兹图像超分辨率重构方法，所述重构模型的损失函数为：[0019][0020]公式中ihr表示高分辨率原始图像，ilr表示低分辨率图像，cov()为特征提取器，此处代表经过协方差标准化后的特征图，g()代表生成器，wi，j和hi，j代表重构模型中相应的特征图维度。[0021]优选的是，所述的太赫兹图像超分辨率重构方法，损失函数的特征提取层引入协方差归一化，其特征矩阵x协方差矩阵为：[0022][0023]其中式中i为s×s维的单位矩阵，s＝h×w，1则是全为1的矩阵；x是一个特征矩阵，t是转置。[0024]优选的是，所述的太赫兹图像超分辨率重构方法，利用式(5)～(6)对协方差矩阵进行规范化：[0025]∑＝uautꢀꢀ(5)[0026][0027]其中，u是一个正交矩阵，λ＝diag(λ1，...，λc)是一个对称阵列；α是一个正实值，α＝0.5，λα＝diag(λ1a，...，λ1c)。[0028]本发明还提供一种太赫兹图像超分辨率重构系统，其包括：[0029]获取模块，其用于获取太赫兹光谱图像，对太赫兹光谱图像进行预处理，得预处理图像；[0030]数据处理模块，其用于基于预处理图像，构建训练集和测试集；[0031]训练模块，其用于将训练集输入至图像重构模型进行训练，得训练后的图像重构模型；[0032]重构模块，其用于将测试集输入至训练后的图像重构模型中，得到重构图像。[0033]本发明还提供一种太赫兹图像超分辨率重构方法的应用，将上述的太赫兹图像超分辨率重构方法应用于发芽小麦种子早期检测中。[0034]本发明还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述的方法。[0035]本发明还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上所述的方法。[0036]本发明至少包括以下有益效果：本发明提出了一种基于生成对抗网络的太赫兹光谱图像超分辨率重构方法，以生成对抗网络为基本模型架构，构建基于深度学习的thz光谱图像超分辨率重构算法模型：在esrgan网络模型的基础之上，将多通道注意块机制融入到网络的生成模式中，并通过密集连接注意力块，同时，将注意力块紧密地连在一起，增强信号的表达性；采用了协方差正一化技术，能够在更高级的统计特性下，降低对视觉的感知损耗，达到更好的重构效果。经本发明与最先进的算法bicubic、srgan和esrgan就其重建性能进行比较，结果表明，本发明的重构方法在提升了thz光谱图像清晰度的同时，也提升了图像品质，并增强了边缘轮廓和细部的清晰度，重构图像psnr和ssim值相较于其他几种算法均有提高。[0037]本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。附图说明[0038]图1为本发明在其中一个技术方案中，所述图像重构模型中的生成器与判别器的结构示意图；[0039]图2为本发明在另一个技术方案中，密集连接注意力块的结构示意图；[0040]图3为本发明在另一个技术方案中，四种算法比对测试中所使用的小麦图像；[0041]图4为本发明在另一个技术方案中，四种算法重构图像的视觉效果对比。具体实施方式[0042]下面结合附图及实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。[0043]应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。[0044]需要说明的是，下述实施方案中所述实验方法，如无特殊说明，均为常规方法，所述试剂和材料，如无特殊说明，均可从商业途径获得。[0045]在本发明的描述中，术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。[0046]本发明提供一种太赫兹图像超分辨率重构方法，其包括：[0047]s1、获取太赫兹光谱图像，对太赫兹光谱图像进行预处理，得预处理图像；[0048]s2、基于预处理图像，构建训练集和测试集；[0049]s3、将训练集输入至太赫兹图像超分辨率重构模型进行训练，得训练后的图像重构模型；[0050]s4、将测试集输入至训练后的图像重构模型中，得到重构图像；[0051]其中，所述图像重构模型包括生成器和判别器，生成器包括密集连接注意力块、两个卷积层、sigmod函数、亚卷积像素层；[0052]所述判别器包括八个卷积层、一个sigmoid激活函数层和两个全连接层，八个卷积层的滤波器数量依次是：64，64，128，128，256，256，512，512。[0053]在上述技术方案中，本发明的图像重构模型包括生成器和判别器，其中，如图1(a)所示，生成器包括密集连接注意力块、两个卷积层、sigmod函数、亚卷积像素层，引入通道注意机制，注意力机制是人类视觉信号处理中特有的机制，在视觉感兴趣区域，即视觉焦点中分配更多的注意力，注意力机制在深度学习中的表现为将注意力放在网络的输入权重分配方面。超分辨率图像重构必须考虑到图像特征之间的依赖关系，对图像中信息集中的位置进行自适应加权，可以提高网络的信息量。[0054]本发明在增强型超分辨率生成对抗网络(enhancedsuper-resolutiongenerativeadversarialnetworks，esrgan)算法的基础上，在生成器中采用密集连接注意力块，使模型能增强不同的任务，抑制不同的通道信息，进而能够关注更多的信息，提高网络的表现力；本发明的密集连接注意力块的结构如图2所示，密集连接注意力块是生成器的关键组成部分，其目的是减少产生的冗余信息的影响，密集连接注意力块由一个密集连接块、全局平均池化层、两个卷积层、sigmod函数以及逐像素相乘、逐像素相加模块组成。[0055]本发明生成器采用密集连接注意力块，来替代原有的密集连接块，从而将剩余通道注意机制引入到生成器中，使能够区分不同通道对不同任务的特征响应，并进行学习，增强多通道的关键信息，使图像细节纹理恢复的更加清晰。[0056]本发明使用亚像素卷积层代替原来的反卷积层，通过增加亚像素卷积层，低分辨率数据可以转换到高分辨率空间中，图像尺寸放大过程中的特征提取部分就隐含了自我学习，比反卷积层更有效、更快速，且减少了额外的计算成本。[0057]图像重构模型的工作原理为：低分辨率图像输入到图像重构模型中，首先由卷积层提取图像的浅层特征，再由若干级联的密集连接注意力块对特征进行提取，提取的过程中对各个通道的特征加权，加权的过程就是差异化表达的过程，便于对各个通道的特征区分表示，通过亚卷积像素层对图像数据流和原始高分辨率图像进行处理，使二者尺寸一致，最后通过两个卷积层重构超分辨率图像的高频信号，从而获得了最终的高分辨率图像。[0058]如图1(b)所示，本发明的图像重构模型中的判别器包括八个卷积层、一个sigmoid激活函数层和两个全连接层，八个卷积层的滤波器数量依次是：64，64，128，128，256，256，512，512；输入判别器的图像，首先要经过一个3×3大小的卷积层，卷积层中有64个滤波器，然后再经过一个leakyrelu激活层，该层能有效避免最大池化，判别器共有8个卷积计算层，在各个卷积计算层中的滤波器数量依次是：64，64，128，128，256，256，512，512，特征图像在通过8个卷积计算层之后会被抽取出521个特征图像，最后再进行sigmoid函数的输出，输出的结果为分类概率，概率值可用于评估重构生成图片相对于其原始图片是真或假的可能性，概率值越大，重构生成图片越真实。[0059]另一种技术方案中，所述的太赫兹图像超分辨率重构方法，所述判别器为：[0060]dra(xr，xf)＝σ(c(xr))-e[c(xf)]ꢀꢀ(1)[0061]dra(xf，xr)＝σ(c(xf))-e[c(xr)]ꢀꢀ(2)[0062]dra表示相对判别器，xr表示原始高分辨率图像数据，xf表示生成器生成出的图像数据，σ为sigmoid激活函数，c()是非变换判别器的输出，e()是对在一个批次中所有虚假数据做平均。[0063]本发明使用相对平均判决器(ragan)[24]，评估一张图片相对于另一张图片是真或假的可能性，而不是孤立地评估一张图片是真或假的概率。[0064]另一种技术方案中，所述的太赫兹图像超分辨率重构方法，所述重构模型的损失函数为：[0065][0066]公式中ihr表示高分辨率原始图像，ilr表示低分辨率图像，cov()为特征提取器，此处代表经过协方差标准化后的特征图，g()代表生成器，wi，j和hi，j代表重构模型中相应的特征图维度。[0067]另一种技术方案中，所述的太赫兹图像超分辨率重构方法，损失函数的特征提取层引入协方差归一化，其特征矩阵x协方差矩阵为：[0068][0069]其中式中i为s×s维的单位矩阵，s＝h×w，1则是全为1的矩阵；x是一个特征矩阵，t是转置。[0070]另一种技术方案中，所述的太赫兹图像超分辨率重构方法，利用式(5)～(6)对协方差矩阵进行规范化：[0071]∑＝uλutꢀꢀ(5)[0072][0073]其中，u是一个正交矩阵，λ＝diag(λ1，...，λc)是一个对称阵列；α是一个正实值，α＝0.5，λα＝diag(λ1α，...，λ1c)。[0074]本发明中，减少感知损失的主要方法是在特征提取器的末尾加载协方差归一化，将高分辨率图像限定在高阶统计特征中，而二阶统计特征则可以确定特征分布的形式，从而增强网络的表达能力和判别能力，对于输入图像，在卷积层中获得特征时，也可使用协方差归一化作为高阶特征，特征表示一个归一化的协方差矩阵，该矩阵表示特征通道的相关性，并指出特征分布形式，而对输出图像来说，协方差归一化分析方法则可以用于提取图像的多种特征，如：轮廓、颜色、纹理等。针对这些优点，将协方差归一化分析方法应用于高阶特征提取。[0075]对于一个h×w×c的特征图，c为通道数，特征矩阵协方差矩阵为：[0076][0077]其中式中i为s×s维的单位矩阵，s＝h×w，1则是全为1的矩阵。得到了协方差矩阵，然后进行了协方差规范化。该方法采用了一种具有对称、正定性质的矩阵，使其能够进行特征量的分解：[0078]∑＝uλutꢀꢀ(5)[0079]在式(5)中u是一个正交矩阵，而λ＝diag(λ1，...，λc)是一个对称阵列，且特征值是非递增的。可以将协方差矩阵的能量转化成特征值的能量：[0080][0081]其中α是一个正实值，λα＝diag(λ1α，...，λ1c)[0082]根据α的来判断是否，当α＝1，则没有标准化；当α＜1，非线性压缩的特征值大于1，非线性扩展的特征值小于1。本发明设置α＝0.5以便得到较高的判定结果。本发明采用vgg网络进行特征提取，将其引入到特征抽取的末尾进行协方差归一化，以减少重构后的高阶特性层次的感知损失。[0083]本发明的感知损失如下：[0084][0085]式(3)中ihr表示高分辨率原始图像，ilr表示低分辨率图像，cov()为特征提取器，此处代表经过协方差标准化后的特征图，g()代表生成器。[0086]本发明还提供一种太赫兹图像超分辨率重构系统，其包括：[0087]获取模块，其用于获取太赫兹光谱图像，对太赫兹光谱图像进行预处理，得预处理图像；[0088]数据处理模块，其用于基于预处理图像，构建训练集和测试集；[0089]训练模块，其用于将训练集输入至图像重构模型进行训练，得训练后的图像重构模型；[0090]重构模块，其用于将测试集输入至训练后的图像重构模型中，得到重构图像。[0091]本发明还提供一种太赫兹图像超分辨率重构方法的应用，将上述的太赫兹图像超分辨率重构方法应用于发芽小麦种子早期检测中。[0092]本发明还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述的方法。[0093]本发明还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述的方法。[0094]1实验设备[0095]本发明实验中使用的thz仪器为zomega公司的z3系列thz时域光谱仪，有效光谱范围为0.1～3，5thz，峰值动态范围大于1000(70db)，系统信噪比大于3000。将样品放置在thz-tds系统中的移动平台上，并进行反射成像测量。获取到样品的thz光谱图像数据后，使用在python中定义的网络结构，进行训练，并进行图像重构。[0096]2实验材料[0097]本发明使用正常小麦和发芽小麦作为样本，实验湿度为15％，温度为25℃。将正常小麦和发芽小麦分别放置在thz-tds系统中的移动平台上，并进行反射成像测量，系统最大扫描面积是50mm×50mm，空间分辨率设置为0.1mm。由计算机端的太赫兹分析和控制软件控制扫描过程。获得的图像以三位格式创建、纪录和存储，不仅包含了空间信息，同时也包含了光谱信息。因此，图像中每个像素点都能提取出一条完整的thz光谱，每条thz光谱包括512个时域点，频域范围从0～3.5thz。从正常小麦和发芽小麦的thz图像中各个像素点提取出thz光谱，并在各频率点求平均，获得一条平均光谱信号，每条光谱包含500个点。正常小麦和发芽小麦的平均频域光谱，有效频率范围为0.1～1.5thz。[0098]3模型训练参数选取[0099]使用正常小麦和发芽小麦的太赫兹光谱图像训练重建网络。6组正常小麦和6组发芽小麦在不同频域的500个太赫兹光谱图像被分组，12组共6000个太赫兹光谱图像被作为训练集。使用模型训练thz光谱图像数据集的过程中，对生成损失、判别损失和分别评估。随着训练迭代次数增加的变化，分析它们的变化情况，模型迭代则模型参数也会更新。[0100]训练开始阶段，生成损失随着迭代次数的增加迅速上升，在迭代次数20k左右时上升到达峰值，随后生成损失随着迭代次数的增加迅速下降，迭代次数20k到迭代次数100k之间时下降速度最快，之后则以较为缓慢的速度持续下降。当迭代次数达到450k时，生成损失稳定在3.5e-2左右，之后生成模型损失稳定，并且随着迭代次数增加而变化不大，说明迭代次数设置为450k时模型生成损失较为稳定。[0101]训练初期，判别损失开始迅速增加，迭代次数20k时达到峰值，随后迅速下降。迭代次数达到100k步时，判别损失下降速度开始放缓。迭代次数达到450k步时，判别损失下降到0.28，随后的迭代过程中趋于平缓，此时模型已收敛。[0102]综合生成器损失和判别器损失曲线，图像重构模型迭代次数在450k步左右时，模型损失情况趋于平稳，开始收敛。[0103]4实验结果与讨论[0104]为了验证我们所提出的模型的性能，使用双三次插算法(bicubicinterpolation)、超分辨率生成式对抗网络(srgan)、增强型超分辨率生成对抗网络(esrgan)三种超分辨率图像重构算法来重构正常小麦和发芽小麦的thz图像，与本发明图像重构模型的重构结果进行对比。上述四种算法均对thz光谱图像做4倍超分辨率重构，并对实验结果进行分析，验证算法的可行性。测试使用了4组thz光谱图像，如图3所示，其中a和b为正常小麦，测试图像c和d为发芽小麦。[0105]如图4所示，为四种算法得到的发芽小麦测试图像，从测试结果中可以看出，使用bicubic算法对测试图像超分辨率重构的图像虽然分辨率提升，但是图像过于模糊，边缘轮廓以及图像的纹理细节不够清晰，而使用srgan、esrgan和本发明算法(ouralgorithm)则能重构出质量更高的高分辨率图像，边缘轮廓和细节纹理更加清晰。esrgan算法相较于srgan算法在整体视觉上稍有提升，边缘轮廓更加清晰，但是重构图像中心区域细节信息有所减少，纹理细节稍有欠缺。而本发明算法所重构的图像相较于srgan和esrgan算法的重构图像在整体视觉效果上有所提升，由于本发明算法引入了通道注意机制，密集连接注意力块使得网络具有更好的表现力，在特征提取层引入协方差归一化，使得重构图像细节表现更强。因此无论是边缘轮廓还是中心区域的纹理细节部分，本发明算法都有更佳的图像重构效果。在重构速度方面，由于esrgan和本发明算法去除了生成网络中的bn层，因此网络效率更高，重构速度更快。[0106]为了验证我们的超分辨重构算法对正常小麦和发芽小麦的分类识别有一定的提升作用，本发明选用经典的机器学习－支持向量机(svm)和深度学习分类器(convolutionalneuralnetworks，cnn)，对重构前后的正常小麦和发芽小麦进行分类评估，使用我们的算法将采集的正常小麦和发芽小麦太赫兹光谱图像进行重构，使用重构前的图像和重构后的图像对分类算法模型进行两次训练。将重构前后两组数据集均分为训练集(60％)、验证集(20％)和测试集(20％)。表1和表2中分别显示的是采用psnr和ssim对四种超分辨率重构算法结果进行对比，重构所用的图像为图3中的四幅测试图像。表中评价指标均为测试图像在四倍超分辨率重构的条件下评估所得。[0107]表1.用四种算法对测试图像超分辨率重构的pnsr值[0108][0109]根据对表1中使用四种方法对测试图像重构结果的psnr值分析可得，本发明算法重构效果最好，其次为esrgan、srgan，bicubic算法的重构效果最差。在同一测试图像下，使用bicubic算法重构图像的psnr值最低，srgan算法相较于bicubic算法重构图像的psnr值平均提高约4.18db。esrgan则相较于srgan的重构图像psnr值提高约3.27db，而本发明算法相较于esrgan算法重构图像的psnr值略微有所提高，约0.76db，因此本发明算法是四种算法中重构效果最佳的。[0110]表2用四种算法对测试图像超分辨率重构的ssim值[0111][0112]根据对表2中各方法重构图像的ssim值分析可得，本发明算法重构效果依然最佳，其次为esrgan、srgan，bicubic算法的重构效果最差。在同一测试图像下，bicubic算法重构图像的ssim值最低，srgan算法相较于bicubic算法重构图像的ssim值平均提高0.062左右。esrgan在srgan的基础上，所重构图像ssim值平均提高0.0132左右，而本发明算法中重构图像a和图像c的ssim是最高的，相较于esrgan算法分别提高0.0023和0.0041，而重构图像b和图像d的ssim则比esrgan算法则略有下降，均为0.0002，从ssim对重构图像进行评价的结果来看，本发明算法和esrgan算法均有较好的重构效果。[0113]上述主观和客观评价结果表明，本发明超分辨率重构算法用于thz光谱图像重构，可提高thz光谱图像质量，重构图像的psnr和ssim值均为四种方法中最高，且细节损失明显减少，保留精细特征的能力更强，重构图像更为清晰。[0114]两种分类器(即svm和cnn)使用本发明重构方法进行重构前后的太赫兹图像对小麦进行分类的实验结果如表3所示。[0115]table3.svm和cnn的性能分析[0116][0117]当数据集为原始图像(originalimage)和重构后的图像(reconstructedimage)时，cnn的召回率(recall)、精确性(precision)和准确性(accuracy)均高于svm。因此，cnn相较于svm性能更优。当分类器为svm时，使用重构后图像和原始图像的分类器性能提升了，召回率提高0.24，精确性提高0.12，准确性提高1.54％。当分类器为cnn时，使用重构后图像和原始图像的分类器性能也略有提高，精确性提高0.10，准确性提高1.97％。使用本发明的算法对小麦太赫兹光谱图像超分辨率重构后，小麦的分类识别能力得到了提升，即本发明提供的图像重构方法可以有效提升发芽小麦的识别分类精度。[0118]svm和cnn模型的精密度、召回率和准确度计算如下：[0119][0120][0121][0122]其中tp为被模型预测为正常小麦的正常样本，tn为被模型预测为发芽小麦的发芽样本，fp为被模型预测为正常小麦的发芽样本，fn为被模型预测为发芽小麦的正常样本。[0123]本发明将深度学习与太赫兹光谱图像超分辨率重建相结合，以生成对抗网络为基本模型框架，在esrgan网络模型的基础上，对生成器和感知损失两个方面进行改进，构建基于深度学习的thz光谱图像超分辨率图像重构模型。并使用经典的机器学习和深度学习分类器对重构前后的正常小麦和发芽小麦进行分类评估。实验结果表明，该方法成功地提高了峰值信噪比，提供了更清晰的边缘细节和更好的整体重建效果，且提高了分类器的性能。[0124]这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。[0125]尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。当前第1页12当前第1页12
技术特征：
1.太赫兹图像超分辨率重构方法，其特征在于，包括：s1、获取太赫兹光谱图像，对太赫兹光谱图像进行预处理，得预处理图像；s2、基于预处理图像，构建训练集和测试集；s3、将训练集输入至太赫兹图像超分辨率重构模型进行训练，得训练后的图像重构模型；s4、将测试集输入至训练后的图像重构模型中，得到重构图像；其中，所述图像重构模型包括生成器和判别器，生成器包括密集连接注意力块、两个卷积层、sigmod函数、亚卷积像素层；所述判别器包括八个卷积层、一个sigmoid激活函数层和两个全连接层，八个卷积层的滤波器数量依次是：64，64，128，128，256，256，512，512。2.如权利要求1所述的太赫兹图像超分辨率重构方法，其特征在于，所述判别器为：d
ra
(x
r
，x
f
)＝σ(c(x
r
))-e[c(x
f
)]
ꢀꢀ
(1)d
ra
(x
f
，x
r
)＝σ(c(x
f
))-e[c(x
r
)]
ꢀꢀ
(2)d
ra
表示相对判别器，x
r
表示原始高分辨率图像数据，x
f
表示生成器生成出的图像数据，σ为sigmoid激活函数，c()是非变换判别器的输出，e()是对在一个批次中所有虚假数据做平均。3.如权利要求1所述的太赫兹图像超分辨率重构方法，其特征在于，所述重构模型的损失函数为：公式中i
hr
表示高分辨率原始图像，i
lr
表示低分辨率图像，cov()为特征提取器，此处代表经过协方差标准化后的特征图，g()代表生成器，w
i，j
和h
i，j
代表重构模型中相应的特征图维度。4.如权利要求3所述的太赫兹图像超分辨率重构方法，其特征在于，损失函数的特征提取层引入协方差归一化，其特征矩阵x协方差矩阵为：其中式中i为s
×
s维的单位矩阵，s＝h
×
w，1则是全为1的矩阵。5.如权利要求4所述的太赫兹图像超分辨率重构方法，其特征在于，利用式(5)～(6)对协方差矩阵进行规范化：∑＝uλu
t (5)其中，u是一个正交矩阵，λ＝dia
g
(λ1，...，λ
c
)是一个对称阵列；α是一个正实值，α＝0.5，λ
α
＝diag(λ
1α
，...，λ
1c
)。6.太赫兹图像超分辨率重构系统，其特征在于，包括：获取模块，其用于获取太赫兹光谱图像，对太赫兹光谱图像进行预处理，得预处理图像；
数据处理模块，其用于基于预处理图像，构建训练集和测试集；训练模块，其用于将训练集输入至图像重构模型进行训练，得训练后的图像重构模型；重构模块，其用于将测试集输入至训练后的图像重构模型中，得到重构图像。7.太赫兹图像超分辨率重构方法的应用，其特征在于，将权利要求1～5中任一项所述的太赫兹图像超分辨率重构方法应用于发芽小麦种子早期检测中。8.电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1～5中任一项所述的方法。9.存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现权利要求1～5中任一项所述的方法。

技术总结
本发明公开了一种太赫兹图像超分辨率重构方法，其包括：S1、获取太赫兹光谱图像，对太赫兹光谱图像进行预处理，得预处理图像；S2、基于预处理图像，构建训练集和测试集；S3、将训练集输入至太赫兹图像超分辨率重构模型进行训练，得训练后的图像重构模型；S4、将测试集输入至训练后的图像重构模型中，得到重构图像。本发明解决了太赫兹成像系统存在着光谱图像分辨率低，质量较差等问题。质量较差等问题。质量较差等问题。


技术研发人员：蒋玉英 李广明 葛宏义 温茜茜 江梦蝶 陈浩 张元
受保护的技术使用者：河南工业大学
技术研发日：2023.02.20
技术公布日：2023/8/4