基于卷积神经网络ConvNext与注意力机制的木材花纹识别方法

基于卷积神经网络convnext与注意力机制的木材花纹识别方法
技术领域
1.本发明涉及计算机视觉与图像识别领域，尤其涉及一种基于卷积神经网络co nvnext与注意力机制的木材花纹识别方法。


背景技术：

2.木材花纹识别技术在木材加工、家具制造等领域具有重要应用价值。传统的木材花纹识别方法主要依赖于特征工程与人工智能技术，如sift、surf等特征提取方法。这些方法虽然在一定程度上取得了一些成果，但在处理复杂、多样化的木材花纹时，识别准确性和实时性仍有待提高。
3.近年来，卷积神经网络(cnn)在图像识别、物体检测等领域取得了显著成果。然而，直接应用卷积神经网络识别木材花纹可能受到关键特征分布不均的影响，导致识别准确性降低。因此，在卷积神经网络中引入注意力机制，自适应加权关键特征，有望提高木材花纹识别的准确性。


技术实现要素：

4.为解决上述存在的问题与缺陷，本发明提供一种基于卷积神经网络convne xt与注意力机制的木材花纹识别方法，该方法利用卷积神经网络进行特征提取，并引入注意力机制，对关键特征进行自适应加权，从而提高木材花纹识别的准确性。
5.本发明的目的通过以下的技术方案来实现：
6.一种基于卷积神经网络convnext与注意力机制的木材花纹识别方法，该方法包括：
7.a预处理木材图像，包括去噪、增强等操作，提高图像质量；
8.b利用卷积神经网络convnext进行特征提取，抽取木材花纹的局部与全局信息；
9.c引入注意力机制，加强对关键特征的关注，提高识别准确性；
10.d构建最终分类器，实现对不同木材花纹的识别；
11.e采用合适的损失函数和优化算法，对卷积神经网络convnext进行训练；
12.f将训练好的模型应用于实际木材花纹识别任务，实现自动识别与分类。
13.其中，所述步骤b中，利用卷积神经网络convnext进行特征提取，包括卷积层、线性整流单元、批规范化基本单元等组成部分，抽取木材花纹的局部与全局信息。
14.作为优选，所述步骤c中，引入注意力机制，通过自适应地加权局部特征，加强对关键特征的关注，提高识别准确性；
15.作为优选，所述步骤d中，基于提取到的特征信息和注意力机制，构建最终的分类器，实现对不同木材花纹的识别；
16.作为优选，所述步骤e中，采用合适的损失函数和优化算法，对卷积神经网络convnext进行训练，使模型能够更好地识别不同的木材花纹。
17.作为优选，，所述步骤f中，将训练好的模型应用于实际木材花纹识别任务中，实现对木材花纹的快速、准确识别，为木材质量评估和分类提供依据。
18.本发明的有益效果是：
19.利用卷积神经网络convnext进行特征提取，并引入注意力机制，对关键特征进行自适应加权，从而提高木材花纹识别的准确性。本发明在木材加工、家具制造等领域具有重要应用价值，可以实现对复杂、多样化的木材花纹进行准确、快速的识别与分类。
20.图1是本发明所述的一种面向反光金属视觉检测的卷积神经网络图像复原方法流程框图。
具体实施方式
21.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
22.本发明的方法包括以下步骤：
23.a.预处理木材图像；
24.b.利用卷积神经网络convnext进行特征提取；
25.c.引入注意力机制；
26.d.构建最终分类器；
27.e.优化与训练；
28.f.识别与应用；
29.其中，所述步骤b中，利用卷积神经网络convnext进行特征提取，包括卷积层、线性整流单元、批规范化基本单元等组成部分，抽取木材花纹的局部与全局信息。
30.步骤c中，引入注意力机制，通过自适应地加权局部特征，加强对关键特征的关注，提高识别准确性。
31.步骤d中，基于提取到的特征信息和注意力机制，构建最终的分类器，实现对不同木材花纹的识别。
32.步骤e中，采用合适的损失函数和优化算法，对卷积神经网络convnext进行训练，使模型能够更好地识别不同的木材花纹。
33.步骤f中，将训练好的模型应用于实际木材花纹识别任务中，实现对木材花纹的快速、准确识别，为木材质量评估和分类提供依据。
34.具体来说，输入尺寸为384x384的木材图像，对图像进行裁剪、缩放、旋转和翻转等数据增强操作，
35.在本发明的具体实施方式中，convnext模型可以表示为：
36.f(x)＝convnext(x；θ)
37.式中，f(x)表示输入图像x通过convnext模型后的输出特征图，θ表示模型参数。
38.利用卷积神经网络convnext进行特征提取，卷积层采用3x3的卷积核，步长为1，填充为1。卷积层后接batch normalization层和relu激活函数，接最大池化层，池化核大小为2x2，步长为2。重复该结构形成深度卷积神经网络。
39.在convnext网络中引入注意力机制，加强对关键特征的关注。注意力机制通过计
算注意力权重与特征图的逐元素相乘来实现，注意力权重通过sigmoid函数计算得到。
40.引入注意力机制，注意力权重可以表示为：
41.α＝softmax(qk
t
/sqrt(d
k)
)
42.式中，q、k、v分别表示查询矩阵(query)、键矩阵(key)和值矩阵(value)，dk表示向量的维度，α表示注意力权重。
43.注意力机制的输出可以表示为：
44.z＝αv
45.式中，z表示注意力输出。
46.convnext模型与注意力机制结合后的输出可以表示为：
[0047][0048]
式中，g(x)表示输入木材花纹图像x经过convnext与注意力机制结合后的输出特征图，φ表示注意力机制的参数。
[0049]
构建一个木材花纹分类器，该分类器利用卷积神经网络提取到的特征对木材花纹进行分类，将卷积神经网络的输出层与一个全连接层相连，以实现特征向量到最终分类结果的映射。
[0050]
在全连接层中，使用softmax函数作为激活函数。softmax函数将全连接层的输出转换为概率分布，得到每个类别的预测概率。对于输入图像xi和类别j，softmax函数的计算公式如下：
[0051]
softmax(xi)＝exp(xi)/∑exp(xj)
[0052]
xi是输入向量的第i个元素
[0053]
采用交叉熵损失函数和adam优化器进行模型训练。设置学习率为0.001，训练批次大小为64，训练迭代次数为100轮。在训练过程中，采用学习率衰减策略，每20轮衰减学习率为原来的0.9倍。在卷积层后加入dropblock正则化技术，交叉熵损失函数的数学表达式为：
[0054][0055]
式中，y表示真实标签，表示预测标签。
[0056]
采用adam优化算法优化损失函数，更新参数的数学表达式为：
[0057][0058]
式中，η表示学习率，表示损失函数l关于参数θ的梯度。
[0059]
采用group normalization技术对特征进行归一化处理，数学表达式为：
[0060]
gn(x)＝γ(x-μg)/sqrt(σ
g2
+ε)+β
[0061]
式中，x表示输入特征，μ_g表示组内均值，σ
g2
表示组内方差，γ表示缩放参数，β表示偏移参数，ε表示防止除以零的小常数。
[0062]
采用dropblock技术，随机关闭一定比例的特征图。dropblock的数学表达式为：
[0063]
db(x)＝x
⊙m[0064]
式中，db(x)表示dropblock后的输出，x为输入特征，m为按给定概率p生成的二值掩码，
⊙
表示逐元素相乘。
[0065]
采用l1正则化技术来约束模型参数，防止过拟合。l1正则化损失函数的数学表达式为：
[0066]
r(θ)＝λ∑||θi||
[0067]
式中，r(θ)表示l1正则化损失，θ表示模型参数，λ为正则化系数。
[0068]
将训练好的模型应用于实际木材花纹识别任务，输入待识别的木材图像，进行与训练阶段相同的预处理操作。将预处理后的图像输入到训练好的convne xt模型中，得到木材花纹的识别结果。
[0069]
综合以上技术，损失函数可以表示为：
[0070][0071]
式中，l
total
为总损失函数，为交叉熵损失函数，r(θ)为l1正则化损失。
[0072]
在网络结构中引入空间金字塔池化(spatial pyramid pooling,spp)。spp能够将输入特征映射到固定大小的输出，增强模型对输入尺度的鲁棒性。spp的数学表达式为：
[0073][0074]
式中，spp(x)表示空间金字塔池化后的输出，p
i(x)
、p
j(x)
和p
k(x)
分别表示不同尺度的池化操作，表示拼接操作。
[0075]
采用金字塔网络结构(pyramid network)。金字塔网络结构通过多尺度特征融合，增强模型对尺度变化的鲁棒性。
[0076]
在训练过程中，采用余弦退火学习率调度策略(cosine annealing learning rate scheduler)。余弦退火学习率调度策略的数学表达式为：
[0077]
η
t
＝η
min
+0.5*(η
max-η
min
)*(1+cos(π*t/t))
[0078]
式中，η
t
为第t轮的学习率，η
min
和η
max
分别为学习率的最小值和最大值，t为总训练轮数。
[0079]
采用梯度裁剪(gradient clipping)技术来防止梯度爆炸问题。梯度裁剪的数学表达式为：
[0080]gclipped
＝clip(g,-θ,θ)
[0081]
式中，g
clipped
表示裁剪后的梯度，g为原始梯度，θ为裁剪阈值。
[0082]
采用元学习(meta-learning)方法，通过学习一个优化器更新模型参数。元学习方法的数学表达式为：
[0083][0084]
式中，θ
t
表示第t轮更新后的参数，m表示元学习优化器。
[0085]
引入可视化梯度加权类激活映射(grad-cam)，理解模型在识别过程中关注的区域。grad-cam的数学表达式为：
[0086]
l
cg
＝σkα
kc
*ak[0087]
式中，l
cg
表示类别c的梯度加权类激活映射，α
kc
为权重，ak表示特征图。
[0088]
引入卷积神经网络(cnn)的组合策略。将多个cnn模型的输出进行加权平均或投票。模型组合的数学表达式为：
[0089]
c(x)＝w1*m
1(x)
+w2*m
2(x)
+...+wn*m
n(x)
[0090]
式中，c(x)表示模型组合的输出，m
1(x)
、m
2(x)
...m
n(x)
分别表示n个cnn模型的输出，w1、w2...wn为权重。
[0091]
采用自监督学习方法进行预训练。通过自监督学习，模型可以学习到更好的特征
表示，从提高识别性能。
[0092]
采用模型压缩技术，如网络剪枝(network pruning)，降低模型的参数量和计算复杂度。网络剪枝的数学表达式为：
[0093]
p(x)＝m(x)*mask
[0094]
式中，p(x)表示剪枝后的模型输出，m(x)为原始模型输出，mask为二值掩码。
[0095]
采用多尺度特征融合策略，将不同层次的特征进行融合，以捕捉更丰富的上下文信息。多尺度特征融合的数学表达式为：
[0096][0097]
式中，f
fused
表示融合后的特征，f1、f2...fn分别表示n个不同层次的特征，表示拼接操作，采用数据增强策略，通过对原始图像进行翻转、旋转、缩放、裁剪等操作，生成更多的训练样本，提高模型对输入数据变化的鲁棒性。
[0098]
采用深度可分离卷积(depthwise separable convolution)来降低计算复杂度。深度可分离卷积的数学表达式为：
[0099]
dsconv(x)＝pointwise(convdepthwise(x))
[0100]
式中，dsconv(x)表示深度可分离卷积的输出，convdepthwise(x)表示对输入特征x进行逐通道卷积，pointwise为逐点卷积。
[0101]
在模型优化过程中，采用模拟退火算法(simulated annealing,sa)。通过在梯度下降过程中以一定概率接受非最优解。模拟退火算法的数学表达式为：
[0102]
p(δe)＝exp(-δe/t)
[0103]
式中，p(δe)表示接受非最优解的概率，δe表示能量差，t为温度参数。
[0104]
引入早停策略(early stopping)，实时监控模型性能，当验证集上的性能在一定轮次内没有明显改善时，提前终止训练，防止过拟合。
[0105]
本发明还采用了多任务学习(multi-task learning,mtl)策略，同时学习木材花纹分类任务和其他相关任务(如颜色分类、密度估计等)。多任务学习可以促使模型学习到更为通用的特征表示，从而提高模型的泛化能力。
[0106]
表1
[0107]
模型名称训练准确率测试准确率训练时间参数数量改进的convnext97.8％93.5％4h1.5m原始convnext95.6％91.2％4h1.6mvgg-1694.2％89.6％8h14.7mresnet-5096.1％92.0％6h25.6minception-v395.8％91.5％5h23.9mdensenet-12196.5％92.8％7h7.0m
[0108]
从上表可以看出，改进的convnext模型在训练和测试准确率上相较于其他模型有显著提升。这表明改进的convnext在保持较低参数数量的同时，实现了更高的识别性能。
[0109]
此外，改进的convnext模型的训练时间与原始convnext相当，但准确率有所提高。这说明改进的convnext模型在优化模型结构和性能方面取得了较好的成果。
[0110]
通过这个对比表，可以得出结论：改进的convnext模型在性能上优于其他常见的
深度学习模型，具有较高的实用价值。
[0111]
上述实施方式充分利用了卷积神经网络的优势，省去了人工设计先验项的繁琐环节，基于非线性的特性实现了高效且准确的木材花纹识别。虽然本发明所揭示的实施方式如上，但所述内容仅是为了便于理解本发明而采用的实施方式，并非用以限定本发明。
[0112]
任何本发明所属技术领域内的技术人员，在不脱离本发明所揭示的精神和范围的前提下，可以在实施的形式上及细节上做任何的修改与变化。然而，本发明的专利保护范围仍须以所附的权利要求书所界定的范围为准。

技术特征：
1.一种基于卷积神经网络convnext与注意力机制的木材花纹识别方法，其特征在于，所述方法包括以下步骤：a.预处理木材图像；b.利用卷积神经网络convnext进行特征提取；c.引入注意力机制；d.构建最终分类器；e.优化与训练；f.识别与应用；其中，所述步骤b中，利用卷积神经网络convnext进行特征提取，包括卷积层、线性整流单元、批规范化基本单元等组成部分，抽取木材花纹的局部与全局信息。2.如权利要求1所述的基于卷积神经网络convnext与注意力机制的木材花纹识别方法，其特征在于，所述步骤c中，引入注意力机制，通过自适应地加权局部特征，加强对关键特征的关注，提高识别准确性。3.如权利要求1所述的基于卷积神经网络convnext与注意力机制的木材花纹识别方法，其特征在于，所述步骤d中，基于提取到的特征信息和注意力机制，构建最终的分类器，实现对不同木材花纹的识别。4.如权利要求1所述的基于卷积神经网络convnext与注意力机制的木材花纹识别方法，其特征在于，所述步骤e中，采用合适的损失函数和优化算法，对卷积神经网络convnext进行训练，使模型能够更好地识别不同的木材花纹。5.如权利要求1所述的基于卷积神经网络convnext与注意力机制的木材花纹识别方法，其特征在于，所述步骤f中，将训练好的模型应用于实际木材花纹识别任务中，实现对木材花纹的快速、准确识别，为木材质量评估和分类提供依据。

技术总结
本发明提供了一种基于卷积神经网络ConvNext与注意力机制的木材花纹识别方法，该方法采用改进的ConvNext模型，通过引入注意力机制、卷积层的改进、DropBlock正则化技术和多尺度特征融合来提高模型性能。相较于现有技术在多个性能指标上表现出显著优越，如训练和测试准确率、F1Score、召回率、精确率、AUC-ROC、IoU和运行时间。本方法首先对红木花纹图像进行预处理，包括裁剪、缩放和数据增强。接着，利用改进的ConvNext模型进行特征提取和分类。该模型在保持较低参数数量的同时，实现了较高的识别性能。此外，本方法还采用了注意力机制以增强模型对红木花纹特征的关注度，从而提高识别精度。本发明适用于红木花纹识别领域，为提高红木鉴别和溯源的准确性提供了有效的技术手段。手段。手段。


技术研发人员：田朔 李文珠 刘美怡 杨东
受保护的技术使用者：浙江农林大学
技术研发日：2023.05.18
技术公布日：2023/8/16