一种基于图像分割的金属板材切割加工方法及系统

1.本发明涉及到金属加工技术领域和图像处理检测技术领域，具体涉及到一种基于图像分割的金属板材切割加工方法及系统。


背景技术：

2.目前，金属板材是大部分金属零部件的粗坯，广泛应用于机械零部件的加工制造。在板材的切割加工过程中，需要根据切割的形状规划切割区域，传统的板材切割加工以人工经验为主，依靠人工经验不仅成本高、浪费板材，且不同切割加工人员的经验存在主观上的差异，增加了切割加工的不确定性。随着科学技术的发展，基于手工编程的板材切割方式开始广泛应用，基于手工编程完成的切割方法需要对切割路径进行人工规划，并且不能动态调整，难以适应复杂的切割任务。
3.随着计算机技术的不断发展，自动化切割系统逐渐取代了传统的手工编程方式，但是传统的自动化切割系统仍然存在一些问题，如传统板材表面缺陷检测算法用矩形框将缺陷区域标记出来，当缺陷形状不规则时，矩形框将过多的缺陷背景区域标记，导致缺陷的背景区域部分是正常的板材，这就导致切割时板材的巨大浪费；缺陷区域的定位不精准，也导致了切割路径不够精确、无法适应复杂形状、不同尺寸、不同规格的金属板材等；同时常用的金属板材切割方法不能根据实际金属材料的形状和表面缺陷分布特点，实时调整和优化切割路径。


技术实现要素：

4.鉴于现有技术的上述不足，本发明提供一种基于图像分割的金属板材切割加工方法及系统，有效解决现有技术中金属板材表面缺陷位置标记范围不精确导致金属材料不能高效利用，以及不能根据实际金属材料的形状和表面缺陷分布特点，实时调整优化切割路径的问题。
5.第一方面，本发明提供一种基于图像分割的金属板材切割加工方法，所述方法包括如下步骤：
6.实时采集金属板材的二维图像数据作为训练数据集；
7.构建改进的deeplabv3+图像分割网络模型，包括批量规范化层、编码层、注意力机制网络层和解码层；
8.将所述训练数据集输入到所述改进的deeplabv3+图像分割网络模型中进行图像分割训练，将图像中的缺陷区域分割出来，形成金属板材轮廓集合数据；
9.对所述金属板材轮廓集合数据的每个缺陷区域采用遗传算法进行路径规划，得到每个缺陷区域的最优切割路径，根据所述最优切割路径完成金属板材的切割。
10.作为优选的，所述改进的deeplabv3+图像分割网络模型中的批量规范化层用于对所述训练数据集中的数据进行归一化处理，使得每一层的输入数据具有相同的分布。
11.作为优选的，所述改进的deeplabv3+图像分割网络模型中的编码层用于对所述训
练数据集中二维图像进行特征提取，获得浅层特征图和深层特征图，并且对所述深层特征图进行加强特征提取，所述编码层包括：
12.深度卷积神经网络dcnn，用于提取二维图像的特征，获得浅层特征图和深层特征图；
13.空间金字塔池模块aspp,用于利用不同膨胀率的空洞卷积对深层特征图进行有效特征的进一步提取；
[0014]1×
1卷积层conv1，用于调整所述空间金字塔池模块aspp输出的深层特征图的通道数，获得具有高语义信息的深层特征图。
[0015]
作为优选的，所述深度卷积神经网络dcnn可采用resnet模型、xception模型和mobilenetv2模型中的任一模型作为主干网络进行特征提取。
[0016]
作为优选的，所述改进的deeplabv3+图像分割网络模型中的注意力机制网络层用于提取具有高语义信息的深层特征图的全局信息，增加所述具有高语义信息的深层特征图中金属板材表面图像纹理变化的注意力，所述注意力机制网络层包括：
[0017]
空间坐标信息提取模块，用于获取所述具有高语义信息的深层特征图中方向感知和位置感知信息；
[0018]
通道信息提取模块，用于提取所述具有高语义信息的深层特征图通道间的信息；
[0019]
作为优选的，所述改进的deeplabv3+图像分割网络模型中的解码层用于浅层特征与深层特征进一步融合，提升分割边界准确度，所述解码层包括：
[0020]1×
1卷积层conv2,用于调整深度卷积神经网络dcnn输出的浅层特征图的通道数；
[0021]
第一上采样层，用于对所述注意力机制网络层处理输出的深层特征图进行上采样操作；
[0022]
融合模块，用于将所述1
×
1卷积层conv2输出的浅层特征图与第一上采样层输出的深层特征图进行特征融合，获得特征融合图；
[0023]
注意力机制网络模块，用于提取特征融合图中金属板材表面缺陷区域的特征；
[0024]3×
3卷积层，用于对所述注意力机制网络模块输出的特征图进行进一步的特征提取；
[0025]
第二上采样层，用于对所述3
×
3卷积层输出的特征图进行上采样操作。
[0026]
作为优选的，所述将所述训练数据集输入到所述改进的deeplabv3+图像分割网络模型中进行图像分割训练具体包括：
[0027]
训练数据集输入到所述批量规范化层进行归一化处理后输入到所述编码层；
[0028]
所述编码层将所述训练数据集中的二维图像进行特征提取，获得浅层特征图和深层特征图，并将浅层特征图输入到所述解码层，将所述深层特征图进行加强特征提取后输入到注意力机制网络层；
[0029]
所述注意力机制网络层提取深层特征图的全局信息，增加所述深层特征图中金属板材表面图像纹理变化的注意力后输入到所述解码层；
[0030]
所述解码层将所述浅层特征图与所述深层特征图进行特征融合，提取所述金属板材表面缺陷区域的特征，将所述金属板材表面的缺陷区域准确检测分割出来，获得金属板材轮廓集合数据。
[0031]
第二方面，本发明提供一种基于图像分割的金属板材切割加工系统，所述系统包
括：
[0032]
图像采集单元，用于实时采集金属板材的二维图像数据作为训练数据集；
[0033]
模型构建单元，用于构建改进的deeplabv3+图像分割网络模型，包括批量规范化层、编码层、注意力机制网络层和解码层；
[0034]
模型训练单元，用于将所述训练数据集输入到所述改进的deeplabv3+图像分割网络模型中进行图像分割训练，将图像中的缺陷区域分割出来，形成板材轮廓集合数据；
[0035]
路径规划单元，用于对所述轮廓集合数据的每个缺陷区域采用遗传算法进行路径规划，得到每个缺陷区域的最优切割路径，根据所述最优切割路径完成金属板材的切割。
[0036]
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如本发明第一方面所述基于图像分割的金属板材切割加工方法的步骤。
[0037]
第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如本发明第一方面所述基于图像分割的金属板材切割加工方法的步骤。
[0038]
本发明设计了scanet(space and channels attention net)注意力机制模块，将空间坐标信息提取模块和通道信息提取模块融合到注意力网络中，既能捕获方向感知和位置感知信息，也能提取图像通道间的信息；在deeplabv3+主干网络中融合了scanet注意力机制，通过快速扫描全局图像，获得需要重点关注的金属材料表面缺陷区域，以获取更多所需要关注目标的细节信息，而抑制其他无用信息，特别是屏蔽容易引起困惑的区域；通过引入空洞卷积和批标准化机制，进一步提高了图像分割的准确率和效率；在训练阶段，采用了多尺度和随机裁剪策略，增强了模型对于不同尺度和角度的适应性；同时采用遗传算法对每个缺陷区域进行路径规划，得到每个缺陷区域的最优切割路径，使切割得到的板材物料面积最大化。
附图说明
[0039]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]
图1是本发明实施例的一种基于图像分割的金属板材切割加工方法流程图；
[0041]
图2是本发明实施例的一种基于改进deeplabv3+网络的结构示意图；
[0042]
图3是本发明实施例的注意力机制网络scanet的工作流程示意图；
[0043]
图4是本发明实施例的一种基于图像分割的金属板材切割加工系统结构框图；
[0044]
图5是本发明实施例的电子设备结构示意图。
具体实施方式
[0045]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案作进一步清楚、完整地描述。需要说明的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人
员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0046]
本技术实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
[0047]
本技术实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0048]
在金属板材切割加工领域，传统的自动化切割系统存在一些问题，如传统板材表面缺陷检测算法用矩形框将缺陷区域标记出来，当缺陷形状不规则时，矩形框将过多的缺陷背景区域标记，导致缺陷的背景区域部分是正常的板材，这就导致切割时板材的巨大浪费；缺陷区域的定位不精准，也导致了切割路径不够精确、无法适应复杂形状、不同尺寸、不同规格的金属板材等；同时常用的金属板材切割方法不能根据实际金属材料的形状和表面缺陷分布特点，实时调整和优化切割路径。
[0049]
本发明提供一种基于图像分割的金属板材切割加工方法及系统，有效解决现有技术中金属板材表面缺陷位置标记范围不精确导致金属材料不能高效利用，以及不能根据实际金属材料的形状和表面缺陷分布特点，实时调整优化切割路径的问题。
[0050]
图1是本发明实施例的一种基于图像分割的金属板材切割加工方法流程图，如图1所示，该方法包括以下步骤：
[0051]
步骤s1、实时采集金属板材的二维图像数据作为训练数据集；
[0052]
采用摄像机或者工业相机实时采集金属板材的二维图像数据，将二维图像数据作为训练数据集并通过可靠的数据传输手段，如rtmp，ftp等技术手段将数据集传输到后续单元。
[0053]
步骤s2、构建改进的deeplabv3+图像分割网络模型，包括批量规范化层、编码层、注意力机制网络层和解码层；
[0054]
图2是本发明实施例的一种基于改进deeplabv3+网络的结构示意图，如图2所示，改进deeplabv3+网络包括：
[0055]
1.批量规范化层，用于对所述训练数据集中的数据进行归一化处理，使得每一层的输入数据具有相同的分布。在改进的deeplabv3+模型中引入了批量规范化机制(batch normalization，bn)，对deeplabv3+的输入数据进行归一化，使得每一层的输入数据具有相同的分布，从而减少训练过程中发生的内部协变量移位问题，加速模型的收敛速度，同时可以减少模型对超参数的依赖。具体来说，bn机制是在每一层的输入数据上进行标准化处理，将每一层的输入数据通过均值和方差的归一化处理，将其转化为具有均值为0，方差为1的分布。
[0056]
2.编码层，用于对所述训练数据集中二维图像进行特征提取，获得浅层特征图和深层特征图，并且对所述深层特征图进行加强特征提取，编码层主要包括：
[0057]
深度卷积神经网络dcnn，用于提取二维图像的特征，获得浅层特征图和深层特征
图；深度卷积神经网络dcnn可采用resnet模型、xception模型和mobilenetv2模型中的任一模型作为主干网络进行特征提取；
[0058]
空间金字塔池模块(atrous spatial pyramid pooling,aspp),用于利用不同膨胀率的空洞卷积对深层特征图进行有效特征的进一步提取；空间金字塔池模块aspp包含一个1
×
1卷积层、三个空洞率为6，12，18的空洞卷积层以及一个全局平均池化层，通过引入空洞卷积，可以扩大卷积核的感受野范围，同时避免过度缩小特征图大小，从而更好地捕捉不同大小目标的特征信息，增强了模型对于物体边缘和细节的感知能力。
[0059]1×
1卷积层conv1，用于调整所述空间金字塔池模块aspp输出的深层特征图的通道数，获得具有高语义信息的深层特征图。
[0060]
3.注意力机制网络层，用于提取具有高语义信息的深层特征图的全局信息，增加所述具有高语义信息的深层特征图中金属板材表面图像纹理变化的注意力，注意力机制网络层包括：
[0061]
空间坐标信息提取模块，用于获取所述具有高语义信息的深层特征图中方向感知和位置感知信息；
[0062]
通道信息提取模块，用于提取所述具有高语义信息的深层特征图通道间的信息；
[0063]
图3是本发明实施例的注意力机制网络scanet的工作流程示意图，如图3所示，注意力机制网络scanet的工作流程如下：
[0064]
(1)注意力机制网络scanet的输入数据为3通道的图像数据，图像宽w，图像高h，输入数据记为d
[0065]
(2)输入数据d分别经过空间坐标信息网络模块和通道信息网络模块的特征提取：
[0066]
通道信息网络模块首先对输入数据d进行压缩操作，使得模型能够提取全局信息，压缩操作公式如下：
[0067][0068]
上式中oc是第c个通道的输出，dc(i,j)是第c个通道图像位置坐标(i,j)的图像数据，图像为3通道，即c∈[1,2,3]；
[0069]
然后经过激励操作，获取通道之间的依赖关系，激励操作公式如下：
[0070][0071][0072]
上式中δ表示sigmoid函数，t1和t2表示可学习的线性变换，以提取通道的重要性参数，为通道信息网络模块输出的最终数据。
[0073]
空间坐标信息网络模块首先利用(h,1)和(1,w)的池化层沿着图像的x坐标和y坐标方向对每个通道进行编码，其中：
[0074]
高度为h的第c个通道输出表示为：
[0075][0076]
上式中dc(h,j)是第c个通道图像位置坐标(h,j)的图像数据；图像为3通道，即c∈
[1,2,3]；
[0077]
宽度为w的第c个通道输出表示为：
[0078][0079]
上式中dc(i,w)是第c个通道图像位置坐标(i,w)的图像数据，图像为3通道，即c∈[1,2,3]。
[0080]
这两种变换使注意力机制网络scanet提取到沿着一个空间方向的依赖关系，并保存沿着另一个空间方向的精确位置信息，网络能更准确地定位感兴趣的目标。
[0081]
然后通过连接操作级联和在经过1*1的卷积进行变换f1，生成空间信息在x方向和y方向的特征图f，公式如下：
[0082]
f＝δ(f1([oh,ow]))
ꢀꢀꢀꢀ
(6)
[0083]
再沿着空间维度将f切分为两个单独的张量，再利用两个1*1卷积将张量变换得到最后的输出结果如下：
[0084][0085]
上式中，两个单独的张量分别为和r为下采样比例系数。
[0086]
(3)将空间坐标信息网络模块和通道信息网络模块的输出结果进行加权融合，得到最终结果f如下：
[0087][0088]
上式中，gh和gw为空间坐标信息网络模块的输出结果，为通道信息网络模块的输出结果。
[0089]
4.解码层，用于浅层特征与深层特征进一步融合，提升分割边界准确度，解码层包括：
[0090]1×
1卷积层conv2,用于调整深度卷积神经网络dcnn输出的浅层特征图的通道数；
[0091]
第一上采样层，用于对所述注意力机制网络层处理输出的深层特征图进行上采样操作；
[0092]
融合模块，用于将所述1
×
1卷积层conv2输出的浅层特征图与第一上采样层输出的深层特征图进行特征融合，获得特征融合图；
[0093]
注意力机制网络模块，用于提取特征融合图中金属板材表面缺陷区域的特征；
[0094]3×
3卷积层，用于对所述注意力机制网络模块输出的特征图进行进一步的特征提取；
[0095]
第二上采样层，用于对所述3
×
3卷积层输出的特征图进行上采样操作。
[0096]
步骤s3、将所述训练数据集输入到所述改进的deeplabv3+图像分割网络模型中进行图像分割训练，将图像中的缺陷区域分割出来，形成金属板材轮廓集合数据，训练步骤具体如下：
[0097]
训练数据集输入到批量规范化层，批量规范化层将每一层的输入数据通过均值和方差的归一化处理，将其转化为具有均值为0，方差为1的分布后输入到编码层；
[0098]
编码层中的深度卷积神经网络dcnn将训练数据集中的二维图像进行特征提取，获得浅层特征图和深层特征图，然后将浅层特征图直接输入到解码层，深层特征图输入到编码层中的空间金字塔池模块aspp,在空间金字塔池模块aspp结构中并行经过1
×
1卷积，空洞率为6，12，18的空洞卷积继续提取特征以及全局平均池化后对特征图进行融合，避免了信息的丢失；接着使用1
×
1卷积层conv1调整空间金字塔池模块aspp输出的深层特征图的通道数，获得具有高语义信息的深层特征图，输入到注意力机制网络层；
[0099]
注意力机制网络层通过空间坐标信息提取模块获取具有高语义信息的深层特征图中方向感知和位置感知信息，通过通道信息提取模块提取具有高语义信息的深层特征图通道间的信息，从而提取深层特征图的全局信息，增加所述深层特征图中金属板材表面图像纹理变化的注意力后输入到解码层；
[0100]
解码层中的1
×
1卷积层conv2将从编码层输出的具有低语义信息的浅层特征图进行通道调整，第一上采样层将从注意力机制网络层输出的具有高语义信息深层特征图进行上采样操作，然后通过融合模块进行特征融合，再将特征融合图输入注意力机制网络模块提取特征融合图中金属板材表面缺陷区域的特征，最后经过3
×
3卷积层和第二上采样层输出，得到分割出来的缺陷区域特征图，形成金属板材轮廓集合数据。
[0101]
步骤s4、对所述金属板材轮廓集合数据的每个缺陷区域采用遗传算法进行路径规划，得到每个缺陷区域的最优切割路径，根据所述最优切割路径完成金属板材的切割。
[0102]
金属板材的二维图像经过改进的deeplabv3+网络进行图像分割，图像中的缺陷区域被分割出来，分割后的图像数据包含了缺陷的边缘轮廓信息，形成金属板材轮廓集合数据，包括板材表面缺陷轮廓和板材自身轮廓。路径规划采用遗传算法，输入金属板材轮廓集合数据，对每个缺陷区域进行路径规划，得到每个缺陷区域的最优切割路径，使切割得到的板材物料面积最大化。
[0103]
本发明实施例的另一方面提供一种基于图像分割的金属板材切割加工系统，图4是本发明实施例的一种基于图像分割的金属板材切割加工系统结构框图，如图4所示，系统包括：
[0104]
图像采集单元410，用于实时采集金属板材的二维图像数据作为训练数据集；
[0105]
模型构建单元420，用于构建改进的deeplabv3+图像分割网络模型，包括批量规范化层、编码层、注意力机制网络层和解码层；
[0106]
模型训练单元430，用于将所述训练数据集输入到所述改进的deeplabv3+图像分割网络模型中进行图像分割训练，将图像中的缺陷区域分割出来，形成板材轮廓集合数据；
[0107]
路径规划单元440，用于对所述轮廓集合数据的每个缺陷区域采用遗传算法进行路径规划，得到每个缺陷区域的最优切割路径，根据所述最优切割路径完成金属板材的切割。
[0108]
基于相同的构思，本发明实施例还提供了一种电子设备结构示意图，如图5所示，该服务器可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行如上述各实施例所述基于图像分割的金属板材切割加工方法的步骤。例如包括：
[0109]
s1、实时采集金属板材的二维图像数据作为训练数据集；
[0110]
s2、构建改进的deeplabv3+图像分割网络模型，包括批量规范化层、编码层、注意力机制网络层和解码层；
[0111]
s3、将所述训练数据集输入到所述改进的deeplabv3+图像分割网络模型中进行图像分割训练，将图像中的缺陷区域分割出来，形成金属板材轮廓集合数据；
[0112]
s4、对所述金属板材轮廓集合数据的每个缺陷区域采用遗传算法进行路径规划，得到每个缺陷区域的最优切割路径，根据所述最优切割路径完成金属板材的切割。
[0113]
其中，处理器510可以为中央处理器(central processing unit，cpu)。处理器还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
[0114]
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0115]
存储器530可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0116]
基于相同的构思，本发明实施例还提供一种非暂态计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包含至少一段代码，该至少一段代码可由主控设备执行，以控制主控设备用以实现如上述各实施例所述基于图像分割的金属板材切割加工方法的步骤。例如包括：
[0117]
s1、实时采集金属板材的二维图像数据作为训练数据集；
[0118]
s2、构建改进的deeplabv3+图像分割网络模型，包括批量规范化层、编码层、注意力机制网络层和解码层；
[0119]
s3、将所述训练数据集输入到所述改进的deeplabv3+图像分割网络模型中进行图像分割训练，将图像中的缺陷区域分割出来，形成金属板材轮廓集合数据；
[0120]
s4、对所述金属板材轮廓集合数据的每个缺陷区域采用遗传算法进行路径规划，得到每个缺陷区域的最优切割路径，根据所述最优切割路径完成金属板材的切割。
[0121]
基于相同的技术构思，本技术实施例还提供一种计算机程序，当该计算机程序被主控设备执行时，用以实现上述方法实施例。
[0122]
所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部
分或者全部存储在不与处理器封装在一起的存储器上。
[0123]
基于相同的技术构思，本技术实施例还提供一种处理器，该处理器用以实现上述方法实施例。上述处理器可以为芯片。
[0124]
综上所述，本发明设计了scanet注意力机制模块，将空间坐标信息提取模块和通道信息提取模块融合到注意力网络中，既能捕获方向感知和位置感知信息，也能提取图像通道间的信息；在deeplabv3+主干网络中融合了scanet注意力机制，通过快速扫描全局图像，获得需要重点关注的金属材料表面缺陷区域，以获取更多所需要关注目标的细节信息，而抑制其他无用信息，特别是屏蔽容易引起困惑的区域；通过引入空洞卷积和批标准化机制，进一步提高了图像分割的准确率和效率；在训练阶段，采用了多尺度和随机裁剪策略，增强了模型对于不同尺度和角度的适应性；同时采用遗传算法对每个缺陷区域进行路径规划，得到每个缺陷区域的最优切割路径，使切割得到的板材物料面积最大化。
[0125]
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0126]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
[0127]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种基于图像分割的金属板材切割加工方法，其特征在于，所述方法包括如下步骤：实时采集金属板材的二维图像数据作为训练数据集；构建改进的deeplabv3+图像分割网络模型，包括批量规范化层、编码层、注意力机制网络层和解码层；将所述训练数据集输入到所述改进的deeplabv3+图像分割网络模型中进行图像分割训练，将图像中的缺陷区域分割出来，形成金属板材轮廓集合数据；对所述金属板材轮廓集合数据的每个缺陷区域采用遗传算法进行路径规划，得到每个缺陷区域的最优切割路径，根据所述最优切割路径完成金属板材的切割。2.根据权利要求1所述的基于图像分割的金属板材切割加工方法，其特征在于，所述改进的deeplabv3+图像分割网络模型中的批量规范化层用于对所述训练数据集中的数据进行归一化处理，使得每一层的输入数据具有相同的分布。3.根据权利要求1所述的基于图像分割的金属板材切割加工方法，其特征在于，所述改进的deeplabv3+图像分割网络模型中的编码层用于对所述训练数据集中二维图像进行特征提取，获得浅层特征图和深层特征图，并且对所述深层特征图进行加强特征提取，所述编码层包括：深度卷积神经网络dcnn，用于提取二维图像的特征，获得浅层特征图和深层特征图；空间金字塔池模块aspp,用于利用不同膨胀率的空洞卷积对深层特征图进行有效特征的进一步提取；1
×
1卷积层conv1，用于调整所述空间金字塔池模块aspp输出的深层特征图的通道数，获得具有高语义信息的深层特征图。4.根据权利要求3所述的基于图像分割的金属板材切割加工方法，其特征在于，所述深度卷积神经网络dcnn可采用resnet模型、xception模型和mobilenetv2模型中的任一模型作为主干网络进行特征提取。5.根据权利要求1所述的基于图像分割的金属板材切割加工方法，其特征在于，所述改进的deeplabv3+图像分割网络模型中的注意力机制网络层用于提取具有高语义信息的深层特征图的全局信息，增加所述具有高语义信息的深层特征图中金属板材表面图像纹理变化的注意力，所述注意力机制网络层包括：空间坐标信息提取模块，用于获取所述具有高语义信息的深层特征图中方向感知和位置感知信息；通道信息提取模块，用于提取所述具有高语义信息的深层特征图通道间的信息。6.根据权利要求1所述的基于图像分割的金属板材切割加工方法，其特征在于，所述改进的deeplabv3+图像分割网络模型中的解码层用于浅层特征与深层特征进一步融合，提升分割边界准确度，所述解码层包括：1
×
1卷积层conv2,用于调整深度卷积神经网络dcnn输出的浅层特征图的通道数；第一上采样层，用于对所述注意力机制网络层处理输出的深层特征图进行上采样操作；融合模块，用于将所述1
×
1卷积层conv2输出的浅层特征图与第一上采样层输出的深层特征图进行特征融合，获得特征融合图；注意力机制网络模块，用于提取特征融合图中金属板材表面缺陷区域的特征；
3
×
3卷积层，用于对所述注意力机制网络模块输出的特征图进行进一步的特征提取；第二上采样层，用于对所述3
×
3卷积层输出的特征图进行上采样操作。7.根据权利要求1所述的基于图像分割的金属板材切割加工方法，其特征在于，所述将所述训练数据集输入到所述改进的deeplabv3+图像分割网络模型中进行图像分割训练具体包括：训练数据集输入到所述批量规范化层进行归一化处理后输入到所述编码层；所述编码层将所述训练数据集中的二维图像进行特征提取，获得浅层特征图和深层特征图，并将浅层特征图输入到所述解码层，将所述深层特征图进行加强特征提取后输入到注意力机制网络层；所述注意力机制网络层提取深层特征图的全局信息，增加所述深层特征图中金属板材表面图像纹理变化的注意力后输入到所述解码层；所述解码层将所述浅层特征图与所述深层特征图进行特征融合，提取所述金属板材表面缺陷区域的特征，将所述金属板材表面的缺陷区域准确检测分割出来，获得金属板材轮廓集合数据。8.一种基于图像分割的金属板材切割加工系统，其特征在于，所述系统包括：图像采集单元，用于实时采集金属板材的二维图像数据作为训练数据集；模型构建单元，用于构建改进的deeplabv3+图像分割网络模型，包括批量规范化层、编码层、注意力机制网络层和解码层；模型训练单元，用于将所述训练数据集输入到所述改进的deeplabv3+图像分割网络模型中进行图像分割训练，将图像中的缺陷区域分割出来，形成板材轮廓集合数据；路径规划单元，用于对所述轮廓集合数据的每个缺陷区域采用遗传算法进行路径规划，得到每个缺陷区域的最优切割路径，根据所述最优切割路径完成金属板材的切割。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于图像分割的金属板材切割加工方法的步骤。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述基于图像分割的金属板材切割加工方法的步骤。

技术总结
本发明提供一种基于图像分割的金属板材切割加工方法及系统，该方法包括：实时采集金属板材的二维图像数据作为训练数据集；构建改进的DeepLabV3+图像分割网络模型，包括批量规范化层、编码层、注意力机制网络层和解码层；将训练数据集输入到改进的DeepLabV3+图像分割网络模型中进行图像分割训练，将图像中的缺陷区域分割出来，形成金属板材轮廓集合数据；对金属板材轮廓集合数据的每个缺陷区域采用遗传算法进行路径规划，得到每个缺陷区域的最优切割路径，根据最优切割路径完成金属板材的切割。本发明在改进的DeepLabV3+主干网络中融合了SCANet注意力机制，提高了图像分割的准确率和效率，可以精确标记金属材料表面缺陷区域，增强了模型对于不同尺度和角度的适应性。增强了模型对于不同尺度和角度的适应性。增强了模型对于不同尺度和角度的适应性。


技术研发人员：赖庭晟 黄天仑 马敬奇 钟震宇 雷欢 卢杏坚
受保护的技术使用者：广东省科学院智能制造研究所
技术研发日：2023.05.11
技术公布日：2023/8/24