一种基于SegNeXt结构和分层重排MLP的YOLOv8-Hire目标检测方法及系统

一种基于segnext结构和分层重排mlp的yolov8-hire目标检测方法及系统
技术领域
1.本发明涉及目标检测，特别是涉及一种基于segnext结构和分层重排mlp的yolov8-hire目标检测方法及系统。


背景技术：

2.找出图像中特定目标类别和位置的目标检测方法，被广泛应用于各个领域，如自动驾驶、遥感图像、视频监控以及医疗检测等。
3.yolov8网络是一种常用于目标检测的卷积神经网络，该网络将目标检测问题转化为回归问题，并通过一个单一的神经网络直接预测目标的类别和位置信息。相对其他目标检测方法，如基于区域的卷积神经网络r-cnn，yolov8网络具有更高的检测速度。但现有的技术中yolov8网络无法有效地捕获物体的细节信息以及空间关系等局部信息，对具有复杂结构的物体难以进行准确的识别和定位。


技术实现要素：

4.发明目的：本发明的目的是提供一种目标检测精度及效率高的基于segnext结构和分层重排mlp的yolov8-hire目标检测方法及系统。
5.技术方案：为实现上述目的，本发明所述的一种基于segnext结构和分层重排mlp的yolov8-hire目标检测方法，包括以下步骤：
6.步骤s1：选择ms coco 2017数据集；
7.步骤s2：将yolov8网络的backbone主干网中c2f模块全部替换为hire-block块，形成yolov8-hire网络，并利用hireblock块中分层重排mlp对数据集中图像进行分割和重组来提取图像特征；
8.步骤s3：在yolov8网络的backbone主干网外引入新型卷积神经网络结构segnext，并利用segnext对步骤s2处理过的图像进行特征融合，并将输出的结果建立新数据集；
9.步骤s4：构建目标检测模型，该模型基于yolov8-hire网络，在该网络的backbone主干网外引入新型卷积神经网络结构segnext，并将ciou损失函数替换为eciou损失函数；
10.步骤s5：利用新的数据集对步骤s4中目标检测模型进行训练；
11.步骤s6：利用训练好的目标检测模型对待目标检测的图像进行目标检测，并对该模型的性能进行评估；
12.其中，步骤s2所述的将yolov8网络的backbone主干网中c2f模块全部替换为hire-block块，形成yolov8-hire网络，是指将每个c2f模块都替换为hire-block块，其中每个hire-block块都包含多个能随意组合和重排的mlp，每个mlp中包含一个卷积层、一个bn层和一个relu激活函数。
13.其中，步骤s2所述利用hireblock块中分层重排mlp对数据集中图像进行分割和重组来提取图像特征，包括以下子步骤：
14.步骤s201：对数据集内图像进行像素填充和步幅操作，将不同大小的图像转换为统一的尺寸；
15.步骤s202：通过卷积操作和激活函数，对像素填充和步幅操作后的图像进行像素排列、通道变化，从而将相邻像素分散到不同的区域中，同时改变通道之间的关系，提取不同通道的特征表示；
16.步骤s203：对特征变换后的图像在高度和宽度上进行分割，将不同区域的特征按照一定的顺序重新排列，实现跨区域的重新排列操作；
17.步骤s204：通过线性变换，对重排后的图像特征进行加权平均，获得综合特征表示。
18.其中，步骤s3所述的在yolov8-hire网络的backbone主干网外引入新型卷积神经网络结构segnext，具体为：剔除原卷积神经网络结构segnext中解码器部分，利用编码器中的dwconv深度可分离卷积、msca注意力机制、msc模块部分重新组合成一种新型卷积神经网络结构segnext，并将新型卷积神经网络结构segnext引入到yolov8-hire网络的backbone主干网外。
19.其中，步骤s3所述的利用segnext对步骤s2处理过的图像进行特征融合，包括以下子步骤：
20.步骤s301：将步骤s2处理过的图像输入到引入新型卷积注意力网络segnext中，该网络结构利用dwconv深度可分离卷积提取输入图像的特征表示，同时对包含了输入图像所有特征表示的张量的每个通道单独进行卷积操作，再通过逐点卷积将不同通道的结果融合，以减少计算量和参数量；
21.步骤s302：基于步骤s301卷积操作生成的特征图，新型卷积神经网络结构segnext利用注意力机制msca，将特征图分为多个子图，在每个子图中分别计算不同尺度的通道注意力权重，并对所有权重加权平均，从而获得不同尺度的特征图，提高特征表示的准确性；
22.步骤s303：新型卷积神经网络结构segnext利用msc模块，对每个子图进行卷积操作以提取上下文信息，该信息被用于调整不同层级的特征图，并进行融合，生成最终的输出结果，输出结果是一个与输入图像大小相同的张量，其中每个元素都代表了对应位置的像素点所属的物体类别。
23.其中，步骤s5所述的利用新的数据集对步骤s4中目标检测模型进行训练，是指基于训练集，采用梯度下降算法对该模型进行训练，不断优化模型参数，直到损失函数收敛，具体为：选择模型的学习率并定义损失函数，根据当前模型参数和训练数据计算出损失函数的值，并计算损失函数对每个模型参数的梯度，按照梯度下降算法的公式对当前模型参数进行更新，重复进行迭代，直到损失函数收敛或达到最大迭代次数，梯度下降算法的公式为：
[0024][0025]
其中，θ(t)示在t时刻的模型参数，即当前的参数；θ(t+1)表示在t+1时刻更新后的模型参数，即下一个迭代轮次的参数，α表示学习率，表示损失函数关于θ的梯度。
[0026]
其中，步骤s6所述的利用训练好的目标检测模型对待目标检测的图像进行目标检测，是指利用训练好的目标检测模型对待目标检测图像中融合后的特征图进行目标检测，输出图中物体的类别和位置信息的预测结果，分别将预测结果与对应的图像进行比对，计
算模型预测的准确率。
[0027]
其中，步骤s6所述的对训练好的目标检测模型进行性能评估，是指根据模型计算出的指标平均精度均值map、参数量parameters和每秒浮点运算次数flops结果来检测目标检测模型的性能，其中，map越高表示模型检测效果越好，parameters越多表示模型越复杂，flops越少表示模型计算速度越快。
[0028]
本发明还提供了一种应用于上述基于segnext结构和分层重排mlp的yolov8-hire目标检测方法的检测系统，包括图像特征提取模块、图像特征融合模块、模型训练模块、模型性能评估模块、目标检测模块；
[0029]
其中，图像特征提取模块是基于新型卷积神经网络结构segnext对图像进行特征提取；
[0030]
图像特征融合模块分层重排mlp将从不同尺度、不同层级的特征图中提取出的特征进行融合，生成用于后续目标检测的特征图；
[0031]
模型训练模块是基于在yolov8-hire网络的backbone主干网外引入新型卷积神经网络结构segnext，并将ciou损失函数替换为eciou损失函数构建的目标检测模型，利用图像特征融合模块生成的特征图对该模型进行训练；
[0032]
模型性能评估模块是指利用待目标检测的图像对训练好的目标检测模型进行性能评估；
[0033]
目标检测模块是指利用训练好的目标检测模型找出待目标检测图像中目标物体的类别和位置信息。
[0034]
有益效果：本发明具有如下优点：
[0035]
1、本发明构建的目标检测模型利用分层重排mlp对图像进行特征提取，能够更好地捕获空间区域内的局部信息，从而提高模型对于目标的识别和定位能力，再通过新型卷积神经网络结构segnext对图像的特征进行融合，生成用于后续目标检测的特征图，进一步提高模型的检测精度；
[0036]
2、本发明构建的目标检测模型采用的eciou损失函数对目标检测的边框定位更加精准，可以降低模型的误差率，同时也能减少了模型在优化过程中的震荡现象，提高了模型的检测效率。
附图说明
[0037]
图1为本发明方法流程示意图。
具体实施方式
[0038]
下面结合实施例和附图对本发明的技术方案作详细说明。
[0039]
如图1所示，本发明所述的一种基于segnext结构和分层重排mlp的yolov8-hire目标检测方法，包括以下步骤：
[0040]
步骤s1：选择ms coco 2017数据集；
[0041]
步骤s2：将yolov8网络的backbone主干网中c2f模块全部替换为hire-block块，形成yolov8-hire网络，并利用hireblock块中分层重排mlp对数据集中图像进行分割和重组来提取图像特征；
[0042]
步骤s3：在yolov8网络的backbone主干网外引入新型卷积神经网络结构segnext，并利用segnext对步骤s2处理过的图像进行特征融合，并将输出的结果建立新数据集；
[0043]
步骤s4：构建目标检测模型，该模型基于yolov8-hire网络，在该网络的backbone主干网外引入新型卷积神经网络结构segnext，并将ciou损失函数替换为eciou损失函数；
[0044]
步骤s5：利用新的数据集对步骤s4中目标检测模型进行训练；
[0045]
步骤s6：利用训练好的目标检测模型对待目标检测的图像进行目标检测，并对该模型的性能进行评估；
[0046]
其中，步骤s2所述的将yolov8网络的backbone主干网中c2f模块全部替换为hire-block块，形成yolov8-hire网络，是指将每个c2f模块都替换为hire-block块，其中每个hire-block块都包含多个能随意组合和重排的mlp，每个mlp中包含一个卷积层、一个bn层和一个relu激活函数。
[0047]
其中，步骤s2所述利用hireblock块中分层重排mlp对数据集中图像进行分割和重组来提取图像特征，包括以下子步骤：
[0048]
步骤s201：对数据集内图像进行像素填充和步幅操作，将不同大小的图像转换为统一的尺寸；
[0049]
步骤s202：通过卷积操作和激活函数，对像素填充和步幅操作后的图像进行像素排列、通道变化，从而将相邻像素分散到不同的区域中，同时改变通道之间的关系，提取不同通道的特征表示；
[0050]
步骤s203：对特征变换后的图像在高度和宽度上进行分割，将不同区域的特征按照一定的顺序重新排列，实现跨区域的重新排列操作；
[0051]
步骤s204：通过线性变换，对重排后的图像特征进行加权平均，获得综合特征表示。
[0052]
其中，步骤s3所述的在yolov8-hire网络的backbone主干网外引入新型卷积神经网络结构segnext，具体为：剔除原卷积神经网络结构segnext中解码器部分，利用编码器中的dwconv深度可分离卷积、msca注意力机制、msc模块部分重新组合成一种新型卷积神经网络结构segnext，并将新型卷积神经网络结构segnext引入到yolov8-hire网络的backbone主干网外。
[0053]
其中，步骤s3所述的利用segnext对步骤s2处理过的图像进行特征融合，包括以下子步骤：
[0054]
步骤s301：将步骤s2处理过的图像输入到引入新型卷积注意力网络segnext中，该网络结构利用dwconv深度可分离卷积提取输入图像的特征表示，同时对包含了输入图像所有特征表示的张量的每个通道单独进行卷积操作，再通过逐点卷积将不同通道的结果融合，以减少计算量和参数量；
[0055]
步骤s302：基于步骤s301卷积操作生成的特征图，新型卷积神经网络结构segnext利用注意力机制msca，将特征图分为多个子图，在每个子图中分别计算不同尺度的通道注意力权重，并对所有权重加权平均，从而获得不同尺度的特征图，提高特征表示的准确性；
[0056]
步骤s303：新型卷积神经网络结构segnext利用msc模块，对每个子图进行卷积操作以提取上下文信息，该信息被用于调整不同层级的特征图，并进行融合，生成最终的输出结果，输出结果是一个与输入图像大小相同的张量，其中每个元素都代表了对应位置的像
素点所属的物体类别。
[0057]
其中，步骤s5所述的利用新的数据集对步骤s4中目标检测模型进行训练，是指基于训练集，采用梯度下降算法对该模型进行训练，不断优化模型参数，直到损失函数收敛，具体为：选择模型的学习率并定义损失函数，根据当前模型参数和训练数据计算出损失函数的值，并计算损失函数对每个模型参数的梯度，按照梯度下降算法的公式对当前模型参数进行更新，重复进行迭代，直到损失函数收敛或达到最大迭代次数，梯度下降算法的公式为：
[0058][0059]
其中，θ(t)示在t时刻的模型参数，即当前的参数；θ(t+1)表示在t+1时刻更新后的模型参数，即下一个迭代轮次的参数，α表示学习率，表示损失函数关于θ的梯度。
[0060]
其中，步骤s6所述的利用训练好的目标检测模型对待目标检测的图像进行目标检测，是指利用训练好的目标检测模型对待目标检测图像中融合后的特征图进行目标检测，输出图中物体的类别和位置信息的预测结果，分别将预测结果与对应的图像进行比对，计算模型预测的准确率。
[0061]
其中，步骤s6所述的对训练好的目标检测模型进行性能评估，是指根据模型计算出的指标平均精度均值map、参数量parameters和每秒浮点运算次数flops结果来检测目标检测模型的性能，其中，map越高表示模型检测效果越好，parameters越多表示模型越复杂，flops越少表示模型计算速度越快。
[0062]
本发明还提供了一种应用于上述基于segnext结构和分层重排mlp的yolov8-hire目标检测方法的检测系统，包括图像特征提取模块、图像特征融合模块、模型训练模块、模型性能评估模块、目标检测模块；
[0063]
其中，图像特征提取模块是基于新型卷积神经网络结构segnext对图像进行特征提取；
[0064]
图像特征融合模块分层重排mlp将从不同尺度、不同层级的特征图中提取出的特征进行融合，生成用于后续目标检测的特征图；
[0065]
模型训练模块是基于在yolov8-hire网络的backbone主干网外引入新型卷积神经网络结构segnext，并将ciou损失函数替换为eciou损失函数构建的目标检测模型，利用图像特征融合模块生成的特征图对该模型进行训练；
[0066]
模型性能评估模块是指利用待目标检测的图像对训练好的目标检测模型进行性能评估；
[0067]
目标检测模块是指利用训练好的目标检测模型找出待目标检测图像中目标物体的类别和位置信息。
[0068]
本发明构建的目标检测模型利用分层重排mlp对图像进行特征提取，能够更好地捕获空间区域内的局部信息，从而提高模型对于目标的识别和定位能力，再通过新型卷积神经网络结构segnext对图像的特征进行融合，生成用于后续目标检测的特征图，进一步提高模型的检测精度；
[0069]
本发明构建的目标检测模型采用的eciou损失函数对目标检测的边框定位更加精准，可以降低模型的误差率，进而提高目标检测的精度，减少了模型在优化过程中的震荡现象，提高了模型的训练的效率。

技术特征：
1.一种基于segnext结构和分层重排mlp的yolov8-hire目标检测方法，其特征在于，包括以下步骤：步骤s1：选择mscoco2017数据集；步骤s2：将yolov8网络的backbone主干网中c2f模块全部替换为hire-block块，形成yolov8-hire网络，并利用hireblock块中分层重排mlp对数据集中图像进行分割和重组来提取图像特征；步骤s3：在yolov8网络的backbone主干网外引入新型卷积神经网络结构segnext，并利用segnext对步骤s2处理过的图像进行特征融合，并将输出的结果建立新数据集；步骤s4：构建目标检测模型，该模型基于yolov8-hire网络，在该网络的backbone主干网外引入新型卷积神经网络结构segnext，并将ciou损失函数替换为eciou损失函数；步骤s5：利用新的数据集对步骤s4中目标检测模型进行训练；步骤s6：利用训练好的目标检测模型对待目标检测的图像进行目标检测，并对该模型的性能进行评估。2.根据权利要求1所述的基于segnext结构和分层重排mlp的yolov8-hire目标检测方法，其特征在于：步骤s2所述的将yolov8网络的backbone主干网中c2f模块全部替换为hire-block块，形成yolov8-hire网络，是指将每个c2f模块都替换为hire-block块，其中每个hire-block块都包含多个能随意组合和重排的mlp，每个mlp中包含一个卷积层、一个bn层和一个relu激活函数。3.根据权利要求1所述的基于segnext结构和分层重排mlp的yolov8-hire目标检测方法，其特征在于：步骤s2所述利用hireblock块中分层重排mlp对数据集中图像进行分割和重组来提取图像特征，包括以下子步骤：步骤s201：对数据集内图像进行像素填充和步幅操作，将不同大小的图像转换为统一的尺寸；步骤s202：通过卷积操作和激活函数，对像素填充和步幅操作后的图像进行像素排列、通道变化，从而将相邻像素分散到不同的区域中，同时改变通道之间的关系，提取不同通道的特征表示；步骤s203：对特征变换后的图像在高度和宽度上进行分割，将不同区域的特征按照一定的顺序重新排列，实现跨区域的重新排列操作；步骤s204：通过线性变换，对重排后的图像特征进行加权平均，获得综合特征表示。4.根据权利要求1所述的基于segnext结构和分层重排mlp的yolov8-hire目标检测方法，其特征在于：步骤s3所述的在yolov8-hire网络的backbone主干网外引入新型卷积神经网络结构segnext，具体为：剔除原卷积神经网络结构segnext中解码器部分，利用编码器中的dwconv深度可分离卷积、msca注意力机制、msc模块部分重新组合成一种新型卷积神经网络结构segnext，并将新型卷积神经网络结构segnext引入到yolov8-hire网络的backbone主干网外。5.根据权利要求1所述的基于segnext结构和分层重排mlp的yolov8-hire目标检测方法，其特征在于：步骤s3所述的利用segnext对步骤s2处理过的图像进行特征融合，包括以下子步骤：步骤s301：将步骤s2处理过的图像输入到引入新型卷积注意力网络segnext中，该网络
结构利用dwconv深度可分离卷积提取输入图像的特征表示，同时对包含了输入图像所有特征表示的张量的每个通道单独进行卷积操作，再通过逐点卷积将不同通道的结果融合，以减少计算量和参数量；步骤s302：基于步骤s301卷积操作生成的特征图，新型卷积神经网络结构segnext利用注意力机制msca，将特征图分为多个子图，在每个子图中分别计算不同尺度的通道注意力权重，并对所有权重加权平均，从而获得不同尺度的特征图，提高特征表示的准确性；步骤s303：新型卷积神经网络结构segnext利用msc模块，对每个子图进行卷积操作以提取上下文信息，该信息被用于调整不同层级的特征图，并进行融合，生成最终的输出结果，输出结果是一个与输入图像大小相同的张量，其中每个元素都代表了对应位置的像素点所属的物体类别。6.根据权利要求1所述的基于segnext结构和分层重排mlp的yolov8-hire目标检测方法，其特征在于：步骤s5所述的利用新的数据集对步骤s4中目标检测模型进行训练，是指基于训练集，采用梯度下降算法对该模型进行训练，不断优化模型参数，直到损失函数收敛，具体为：选择模型的学习率并定义损失函数，根据当前模型参数和训练数据计算出损失函数的值，并计算损失函数对每个模型参数的梯度，按照梯度下降算法的公式对当前模型参数进行更新，重复进行迭代，直到损失函数收敛或达到最大迭代次数。7.根据权利要求6所述的基于segnext结构和分层重排mlp的yolov8-hire目标检测方法，其特征在于：所述的梯度下降算法的公式为：其中，θ(t)示在t时刻的模型参数，即当前的参数；θ(t+1)表示在t+1时刻更新后的模型参数，即下一个迭代轮次的参数，α表示学习率，表示损失函数关于θ的梯度。8.根据权利要求1所述的基于segnext结构和分层重排mlp的yolov8-hire目标检测方法，其特征在于：步骤s6所述的利用训练好的目标检测模型对待目标检测的图像进行目标检测，是指利用训练好的目标检测模型对待目标检测图像中融合后的特征图进行目标检测，输出图中物体的类别和位置信息的预测结果，分别将预测结果与对应的图像进行比对，计算模型预测的准确率。9.根据权利要求1所述的基于segnext结构和分层重排mlp的yolov8-hire目标检测方法，其特征在于：步骤s6所述的对训练好的目标检测模型进行性能评估，是指根据模型计算出的指标平均精度均值map、参数量parameters和每秒浮点运算次数flops结果来检测目标检测模型的性能，其中，map越高表示模型检测效果越好，parameters越多表示模型越复杂，flops越少表示模型计算速度越快。10.一种应用于如权利要求1所述基于segnext结构和分层重排mlp的yolov8-hire目标检测方法的检测系统，其特征在于：包括图像特征提取模块、图像特征融合模块、模型训练模块、模型性能评估模块、目标检测模块；其中，图像特征提取模块是基于新型卷积神经网络结构segnext对图像进行特征提取；图像特征融合模块分层重排mlp将从不同尺度、不同层级的特征图中提取出的特征进行融合，生成用于后续目标检测的特征图；模型训练模块是基于在yolov8-hire网络的backbone主干网外引入新型卷积神经网络结构segnext，并将ciou损失函数替换为eciou损失函数构建的目标检测模型，利用图像特
征融合模块生成的特征图对该模型进行训练；模型性能评估模块是指利用待目标检测的图像对训练好的目标检测模型进行性能评估；目标检测模块是指利用训练好的目标检测模型找出待目标检测图像中目标物体的类别和位置信息。

技术总结
本发明公开了一种基于SegNeXt结构和分层重排MLP的YOLOv8-Hire目标检测方法及系统，该方法包括选择数据集；对数据集中图像提取图像特征；对提取的图像特征进行特征融合，并将输出的结果建立新数据集；构建目标检测模型；利用新的数据集对目标检测模型进行训练；利用目标检测模型对待目标检测的图像进行目标检测；利用待目标检测的图像对目标检测模型进行性能评估；该系统包括图像特征提取模块、图像特征融合模块、模型训练模块、模型性能评估模块、目标检测模块。本发明解决了现有技术中YOLOv8网络在目标检测过程中无法有效地捕获物体的细节信息以及空间关系等局部信息、对具有复杂结构的物体难以进行准确的识别和定位的问题。结构的物体难以进行准确的识别和定位的问题。结构的物体难以进行准确的识别和定位的问题。


技术研发人员：洪远 姜明新 杜强 黄俊闻 项靖 王杰
受保护的技术使用者：淮阴工学院
技术研发日：2023.06.28
技术公布日：2023/9/9