可自校图的光交箱端口状态自识别方法和装置与流程

1.本技术涉及图像检测领域，特别地，涉及光纤交接箱的图像检测。


背景技术：

2.随着通信技术与网络技术的发展，作为支撑设备之一的光纤交接箱数量与端口都将随之飞速增长。光缆交接箱是用于光缆接入网中主干光缆与配线光缆交界处的端口设备，简称光交箱，属于哑资源，设备本身没法实现信息化监管，种类繁多，难以通过统一的模式识别完成自动化检测。目前主要的前端维护方式是技术人员定期外出巡检，排查故障端口，用表格记录每个端口的状态，然而每个光交箱通常包含200-400个光纤端口，每个省份每年日常的维护与资源普查图片记录超过十万张，人工统计与辨识需要投入大量的人力物力。因此，各运营商及代维公司都亟需一种光纤交接箱光纤端口状态自动检测系统。
3.由于光缆交接箱存量巨大，状态变化频繁，且每个光交箱端口繁多，人工辨别工作量繁重且极容易出错。目前国内外一些学者为了实现光交箱的信息化整治开展了一些研究。现有技术主要可以分为信息化改装与端口状态自动检测两种方案。2013年，沈越提出了一种采用智能电子标签的标识方法，辅助光交箱端口的信息化管理，2018年，陈晓冰提出在分光片的光纤上加装卡扣数字粒之后，再通过卷积神经网络实现端口资源的实施整治，然而这些方案需要对每个光交箱进行改装升级，改装成本、维护费用难以控制；2021年，何景晖提出了一种用于端口定位与端口识别的视觉检测方法，以实现端口检测过程自动化，然而在系统检测之前需要进行大量的人工预处理工作；2022年，葛雄提出了一种光缆交接箱的端口的状态识别方法及装置，此装置将图像中的字符识别与端口区域分割相结合，实现光交箱端口状态识别。在生产环境中，光交箱种类繁多，绝大多数光交箱标签没有统一格式与内容，一般都采用手写体打印体混合。以上方案信息化升级成本过高，智能检测方案仅能解决一部分标签相对特殊的光交箱端口状态识别问题，难以应用于生产环境中替代人工统计辨识工作，因而现有技术中需要人工校正和裁切光交箱端口图像，人工校正和裁切光交箱端口图像需要耗费大量人力和时间成本。
4.为此，亟需新的技术方案解决现有技术之缺陷。


技术实现要素：

5.本发明之目的在于提供一种可自校图的光交箱端口状态自识别方法和装置，不仅能够自动完成光交箱端口图像的倾斜矫正，还能够实现光交箱端口图像校正后的光交箱的端口识别和行列划分。
6.为实现上述目的，本发明提供一种可自校图的光交箱端口状态自识别方法，其包括：步骤s1：将数据集内的光交箱图像划分为训练集、验证集和测试集三部分；步骤s2：在训练和测试的过程中，通过实时调用端口目标热图函数来根据标注的端口位置和行列，构建计算每一行端口所在直线角度、每一个端口的尺度，及绘制端口的目标热图；步骤s3：根据图像特性来构造卷积神经网络。该卷积神经网络用以检测端口的位置、类别、角度和尺度。
端口的类别包括行首、行尾和行边缘的端口；步骤s4：通过训练集的图像来训练卷积神经网络，从而对光交箱端口状态自识别模型的参数进行优化；以及通过验证集的验证效果来确定该模型训练的超参数；步骤s5：通过将测试集图像输入光交箱端口状态自识别模型，来生成光交箱端口状态自识别模型的热图及端口相关信息预测；端口相关信息包括端口的坐标、类别、角度和尺度；并且，通过热图去噪算法去除热图噪声后，提取端口的坐标、类别、角度和尺度；步骤s6：通过倾斜校正算法对端口预测降噪模块得到的端口的坐标、类别、角度和尺度进行输入图像的倾斜校正；以及将校正后的该图像输入光交箱端口状态自识别模型，从而得到光交箱端口状态自识别模型输出的热图及端口相关信息预测；端口相关信息包括端口的坐标、类别、角度和尺度；并且，通过热图去噪算法去除热图噪声后，再次提取端口坐标、类别、角度和尺度。步骤s7：通过行列匹配算法对每一个独立的端口的坐标、类别、尺度进行综合匹配，从而将独立的端口连接成多行；并且，通过行列匹配来判定行内是否存在遗漏端口，以及补全该遗漏端口。
7.在本发明的方法中，步骤s1包括：计算端口的角度和尺度，以及生成回归热图。并且，数据增强之后，重新计算端口的角度和尺度，以及生成回归热图：步骤s11：将样本集进行划分，选取一部分样本构成测试集和验证集，另一部分样本构成训练集。步骤s12：为样本中的每个端口添加标注信息。标注信息包括端口坐标、端口类别、边缘端口属性和端口行编号。
8.在本发明的方法中，步骤s2包括。步骤s21，构建计算每一行端口所在直线角度，包括：取当前行首尾端口点a,b，其中a的坐标为(xa,ya)，b的坐标为(xb,yb)，则直线的斜率直线与x轴夹角为θ0＝arctank，则θ0的取值范围为[0
°
,180
°
]，设其中，θ为端口所在直线的角度值，且θ的取值范围为(-90
°
,90
°
)。步骤s22，构建计算每一个端口的尺度，包括：对于每个端口，端口与其左侧端口距离为w
left
，端口与其右侧端口距离为w
right
，端口的尺度为scale，行首尾端口只有单侧有相邻端口，则scale＝w
left
或scale＝w
right
。步骤s23，绘制目标热图包括：将与端口对应的高斯核放置在端口类别的通道的同比例坐标上，其中，高斯核的尺寸大小与端口的尺度成正比。根据高斯核的尺寸大小及端口的角度和尺度生成回归热图。步骤s24，数据增强之后，重新计算端口的角度和尺度，以及生成回归热图。
[0009]
在本发明的方法中，步骤s3包括：步骤s31：光交箱端口状态自识别模型由两个沙漏网络级联构成，分别计算两个沙漏网络的损失。步骤s32：4倍下采样回归目标热图和偏移量，通过目标热图生成端口的位置、分类及边缘端口属性，且通过偏移量生成位置信息。步骤s33：16倍采样下回归直线角度和尺度。步骤s34：光交箱端口状态自识别模型的端口目标热图输出通过s型生长曲线归一化到0～1之间，角度回归特征图通过tanh函数后再乘以π/2，归一化到-π/2～π/2之间，其他回归的特征图不通过激活函数直接输出。
[0010]
在本发明的方法中，步骤s4包括：步骤s41：设置网络训练参数。以及使用带权重衰减的自适应矩阵估计函数来训练卷积神经网络，从而获得最优参数。步骤s42：在训练时，随机裁剪相应尺寸的图像为训练基础图像，进行归一化。以及在数据增强后，实时调用端口目
标热图函数来重新计算角度和尺度，且送入光交箱端口状态自识别模型进行训练。
[0011]
在本发明的方法中，生成光交箱端口状态自识别模型的热图及端口相关信息预测包括：步骤s51：通过累加类别预测热图，来生成端口热图。通过预设阈值来划分前景和背景。在目标热图中，大于等于该阈值的是前景，小于该阈值的是背景。步骤s52：对前景进行形态学处理的开操作，从而去除毛刺和细小的粘连。步骤s53：提取所有连通区域，统计各个连通区域的面积。去除连通区域的面积过大和过小的相应连通区域。步骤s54：去除位置离群的连通区域。步骤s55：提取所有连通区域的中心点。以及根据中心点坐标在偏移量预测图中提取偏移量，且通过中心点坐标加上偏移量来生成端口坐标。
[0012]
在本发明的方法中，步骤s6包括：步骤s61：通过端口坐标，在相应的特征图上提取所有端口的类别置信度、尺寸信息和角度信息，以生成整体尺度均值。步骤s62，进行四边搜索，其中，四边搜索包括分别进行上下边搜索和左右边搜索。步骤s63，求取四边交点。步骤s64，确定解校正图像所需的透视变换。步骤s65，将步骤s64中得到的投影变换应用到光交箱的图像上，得到矫正后的图像。步骤s66，将矫正后的图像通过深度学习的光交箱端口状态自识别模型前传，以生成输出结果。步骤s67，重复s5步骤中的热图去噪算法去除热图噪声，以生成端口坐标。
[0013]
在本发明的方法中，上下边搜索包括：同时从上下两端的端口为滑窗起始位置来进行滑窗检测。上端窗口从上向下滑窗且下端窗口从下向上滑窗。在滑窗的过程中，对窗口内端口进行检测。若上下两个滑窗都符合检测条件或上下两个滑窗相互重叠，则结束整体滑窗检测。并且，分别提取上下两个滑窗中，满足条件的窗口内的端口直线。若不存在满足条件的窗口内直线，则提取该窗口的已记录直线中包含的端口点最多的直线。完后上下边搜索后，输出并存储上下各一条端口点组成的直线。左右边搜索包括：同时从最左和最右端口为滑窗起始位置来进行滑窗检测。以及左侧窗口向右滑窗且右侧窗口向左滑窗。并且，在滑窗的过程中对窗口内直线进行检测。若左右两个滑窗都符合检测条件或左右两个滑窗相互重叠，则结束整体滑窗检测。并且，分别提取左右两个滑窗中，满足条件的窗口内的端口直线。若不存在满足条件的窗口内直线，则提取该窗口的已记录直线中包含的端口点最多的直线。输出并存储左右各一条端口点组成的直线。
[0014]
在本发明的方法中，行列匹配算法包括：步骤s71，行聚类：对所有端口点，将纵向距离小于预设阈值的点划归同一行。步骤s72，列估计：对所有端口点，将横向距离小于预设阈值的点划归同一列，并去掉只有端口数小于2的列。步骤s73，行内尺度估计与填充：对于端口数大于等于4个的行，计算行内端口尺寸的估计均值。以及通过估计均值生成端口间隔值，比较端口间隔值与端口实际位置来生成符合度，取最高符合度对应的端口间隔值。并且，若存在两行的间隔大于双倍端口间隔值，则在间隔中进行等间隔端口填充。步骤s74，行列补全：对于端口数小于4的行，计算行内端口与列估计的匹配程度。并且，若匹配程度满足预设的匹配程度阈值，则将列估计的端口位置直接填充到行内对应位置。
[0015]
本发明公开的一种可自校图的光交箱端口状态自识别装置，装置包括：数据集类型划分模块，用以将数据集内的光交箱图像划分为训练集、验证集和测试集三部分。端口参数构建绘制模块在训练和测试的过程中，通过实时调用端口目标热图函数来根据标注的端口位置和行列，构建计算每一行端口所在直线角度、每一个端口的尺度，及绘制端口的目标热图。卷积神经网络构造模块，用以根据图像特性来构造卷积神经网络。该卷积神经网络用
以检测端口的位置、类别、角度和尺度。端口的类别包括行首、行尾和行边缘的端口。参数优化提取模块，通过训练集的图像来训练卷积神经网络，从而对光交箱端口状态自识别模型的参数进行优化。以及参数优化提取模块通过验证集的验证效果来确定该模型训练的超参数。端口预测降噪模块，通过将测试集图像输入光交箱端口状态自识别模型，来得到光交箱端口状态自识别模型输出的热图及端口相关信息预测。端口相关信息包括端口的坐标、类别、角度和尺度。并且，端口预测降噪模块通过热图去噪算法去除热图噪声后，提取端口的坐标、类别、角度和尺度。端口倾斜校正降噪模块，通过倾斜校正算法对端口预测降噪模块得到的端口的坐标、类别、角度和尺度进行输入图像的倾斜校正。以及端口倾斜校正降噪模块将校正后的该图像输入光交箱端口状态自识别模型，从而得到光交箱端口状态自识别模型输出的热图及端口相关信息预测。端口相关信息包括端口的坐标、类别、角度和尺度。并且，端口倾斜校正降噪模块通过热图去噪算法去除热图噪声后，再次提取端口坐标、类别、角度和尺度。遗漏端口补全模块，通过行列匹配算法对每一个独立的端口的坐标、类别、尺度进行综合匹配，从而将独立的端口连接成多行。并且，遗漏端口补全模块通过行列匹配来判定行内是否存在遗漏端口，以及补全该遗漏端口。
[0016]
本发明提供的一种可自校图的光交箱端口状态自识别方法和装置不仅能够自动完成光交箱端口图像的倾斜矫正，还能够实现光交箱端口图像校正后的光交箱的端口识别和行列划分。
附图说明
[0017]
图1为本发明方法的流程示意图。
[0018]
图2为本发明倾斜校正中间过程的目标热图及四边检测结果示意图。
[0019]
图3为本发明倾斜校正中间过程的目标热图及四边校正后结果示意图。
[0020]
图4为本发明校正后行列补全后行划分结果的热图示意图。
[0021]
图5为本发明校正后行列补全后列划分结果的热图示意图。
[0022]
图6的表格示出了不同方法在测试集上的端口检测准确率。
具体实施方式
[0023]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。在此记载的实施方式为本发明的特定的具体实施方式，用于说明本发明的构思，均是解释性和示例性的，不应解释为对本发明实施方式及本发明范围的限制。除在此记载的实施方式外，本领域技术人员还能够基于本技术权利要求书和说明书所公开的内容采用显而易见的其它技术方案，这些技术方案包括采用对在此记载的实施方式的做出任何显而易见的替换和修改的技术方案。
[0024]
本说明书的附图为示意图，辅助说明本发明的构思，示意性地表示各部分的相互关系。
[0025]
本发明采用光纤交接箱现场照片数据集作为实例数据集，该数据集包含7550张光纤交接箱现场拍摄图像。这些图像的每个端口标注了端口坐标，端口类型，是否为边缘端口，端口所属行编号。端口坐标为(x,y)形式；端口类型包括三种类型：占用端口，空闲端口，遮挡端口；是否为边缘端口标注为是/否(true/false)的布尔型；端口所属行编号为整数型
(int)，所有行编号相同的端口属于相同的行。本发明基于构建的卷积神经网络，输出相应热图，通过去噪算法去除热图噪声，再从类别热图中提取端口坐标，之后通过行匹配算法将独立的端口连接成多行，再通过行内补全算法填补漏检端口，最后输出端口检测结果。
[0026]
图1示出了本发明的方法流程图，如图1所示，本发明公开的一种可自校图的光交箱端口状态自识别方法包括：
[0027]
步骤s1：将数据集内的光交箱图像划分为训练集、验证集和测试集三部分。
[0028]
具体而言，在7550张光纤交接箱照片中选择70％用于构造训练集，10％用于构造验证集，其余20％用于构造测试集。
[0029]
步骤s2：在训练和测试的过程中，通过实时调用端口目标热图函数来根据标注的端口位置和行列，构建计算每一行端口所在直线角度、每一个端口的尺度，及绘制端口的目标热图。
[0030]
具体而言，首先构建计算端口角度的函数，函数读取图内同一行内的所有点，并返回行所在直线与水平线所构成的角度，角度取值范围为(-90
°
,90
°
)。其次，构建计算端口尺度的函数，函数主要通过端口与其相邻点的距离，返回端口的尺度。最后，构建生成热图的函数，生成4倍下采样的6维度热图，其中3个维度为端口类别热图，2个维度为偏移量回归，1个维度为是否边缘端口热图。
[0031]
步骤s3：根据图像特性来构造卷积神经网络。该卷积神经网络用以检测端口的位置、类别、角度和尺度。端口的类别包括行首、行尾和行边缘的端口。
[0032]
步骤s4：通过训练集的图像来训练卷积神经网络，从而对光交箱端口状态自识别模型的参数进行优化。以及通过验证集的验证效果来确定该模型训练的超参数。
[0033]
具体而言，在步骤s4中，首先将网络参数初始化，设置训练学习率为10-3，动量0.9，训练批次大小设置为16，训练迭代数为200。其次将网络前向传播:将训练集图像经过数据增强(旋转，缩放，亮度调整)随机裁切512
×
512大小图像，归一化后输入网络前向传播，输出相关的预测热图。同时根据输入图像生成相关的角度，尺度和端口类别的标注热图。最后将误差反向传播：将类别热图和边缘端口热图采用sigmoid函数激活，通过mse损失函数计算损失。角度和尺度通过smooth l1损失函数计算损失。各部分损失函数相加，得到最终损失函数。误差反向传播，更新网络参数，每轮训练后模型都在验证集上计算整体损失函数，训练迭代200轮，取在验证集上损失函数最小的模型作为最优神经网络。
[0034]
步骤s5：通过将测试集图像输入光交箱端口状态自识别模型，来生成光交箱端口状态自识别模型的热图及端口相关信息预测。端口相关信息包括端口的坐标、类别、角度和尺度。并且，通过热图去噪算法去除热图噪声后，提取端口的坐标、类别、角度和尺度。
[0035]
具体而言，将测试集图像送入模型，输出预测热图。将类别热图在类别维度累加得到目标热图，对目标热图通过阈值方法提取前景。对前景通过图像形态学开操作去除小噪点和粘连，再通过连通区域面积统计，去除面积过大和过小的区域，将区域中心点作为端口位置。根据区域中心点位置，在偏移预测图中取得偏移量，叠加得到端口坐标。
[0036]
步骤s6：图2-3示出了倾斜校正中间过程图。如图2-3所示，通过倾斜校正算法对端口预测降噪模块得到的端口的坐标、类别、角度和尺度进行输入图像的倾斜校正。将校正后的该图像输入光交箱端口状态自识别模型，从而得到光交箱端口状态自识别模型输出的热图及端口相关信息预测。端口相关信息包括端口的坐标、类别、角度和尺度。并且，通过热图
去噪算法去除热图噪声后，再次提取端口坐标、类别、角度和尺度。
[0037]
具体而言，将校正后的该图像输入光交箱端口状态自识别模型重新通过模型前传，再次热图去噪。
[0038]
步骤s7：通过行列匹配算法对每一个独立的端口的坐标、类别、尺度进行综合匹配，从而将独立的端口连接成多行。并且，通过行列匹配来判定行内是否存在遗漏端口，以及补全该遗漏端口。
[0039]
本实施例进一步优选地，步骤s1包括：
[0040]
计算端口的角度和尺度，以及生成回归热图。并且，数据增强之后，重新计算端口的角度和尺度，以及生成回归热图：
[0041]
步骤s11：将样本集进行划分，选取一部分样本构成测试集和验证集，另一部分样本构成训练集。
[0042]
步骤s12：为样本中的每个端口添加标注信息。标注信息包括端口坐标、端口类别、边缘端口属性和端口行编号。
[0043]
本实施例进一步优选地，步骤s2包括。
[0044]
步骤s21，构建计算每一行端口所在直线角度，包括：取当前行首尾端口点a,b，其中a的坐标为(xa,ya)，b的坐标为(xb,yb)，则直线的斜率直线与x轴夹角为θ0＝arctank，则θ0的取值范围为[0
°
,180
°
]，设
[0045]
其中，
[0046]
θ为端口所在直线的角度值，且θ的取值范围为(-90
°
,90
°
)。实际回归采用弧度，取值范围为
[0047]
步骤s22，构建计算每一个端口的尺度，包括：对于每个端口，端口与其左侧端口距离为w
left
，端口与其右侧端口距离为w
right
，端口的尺度为scale，行首尾端口只有单侧有相邻端口，则scale＝w
left
或scale＝w
right
。
[0048]
步骤s23，绘制目标热图包括：
[0049]
将与端口对应的高斯核放置在端口类别的通道的同比例坐标上，其中，高斯核的尺寸大小与端口的尺度成正比。根据高斯核的尺寸大小及端口的角度和尺度生成回归热图。
[0050]
具体而言，目标热图构建于4倍下采样分辨率下，通道维度为6，分别对应3个分类，x与y方向的偏移量2个通道，是否为边缘端口占1个通道。边缘端口回归形式与端口类别相同，为独立于端口类别的额外标签。偏移量的值是端口实际坐标与4倍下采样热图中取整坐标的差值，即4倍下采样取整导致的坐标精度损失，包含x和y两个方向的分量。
[0051]
步骤s24，数据增强之后，重新计算端口的角度和尺度，以及生成回归热图。
[0052]
具体而言，数据增强采用旋转，翻转，仿射等手段。
[0053]
本实施例进一步优选地，步骤s3包括：
[0054]
步骤s31：光交箱端口状态自识别模型由两个沙漏网络级联构成，分别计算两个沙
漏网络的损失。
[0055]
具体而言，两个沙漏网络都有4倍下采样热图输出和16倍下采样热图输出。
[0056]
步骤s32：4倍下采样回归目标热图和偏移量，通过目标热图生成端口的位置、分类及边缘端口属性，且通过偏移量生成位置信息。
[0057]
具体而言，从目标热图能得到端口的粗略位置与端口分类及是否边缘端口属性，偏移量能够得到更精确的位置信息。
[0058]
步骤s33：16倍采样下回归直线角度和尺度。
[0059]
步骤s34：光交箱端口状态自识别模型的端口目标热图输出通过s型生长曲线归一化到0～1之间，角度回归特征图通过tanh函数后再乘以π/2，归一化到-π/2～π/2之间，其他回归的特征图不通过激活函数直接输出。
[0060]
本实施例进一步优选地，步骤s4包括：
[0061]
步骤s41：设置网络训练参数。以及使用带权重衰减的自适应矩阵估计函数来训练卷积神经网络，从而获得最优参数。
[0062]
具体而言，设置网络训练参数时，热图损失函数为均方误差损失(mse损失)，偏移量，角度和尺度损失函数为平滑l1范数损失(smooth l1loss)。使用带权重衰减的自适应矩阵估计(adam with decoupled weight decay)函数来训练卷积神经网络以获得最优参数。
[0063]
步骤s42：在训练时，随机裁剪相应尺寸的图像为训练基础图像，进行归一化。以及在数据增强后，实时调用端口目标热图函数来重新计算角度和尺度，且送入光交箱端口状态自识别模型进行训练。
[0064]
具体而言，训练时随机裁剪512
×
512尺寸的图像为训练基础图像，进行归一化。采用旋转，缩放，亮度调整等方法数据增强后，按照s2中方法来调用端口目标热图函数，以重新计算角度和尺度，且将训练基础图像送入模型进行训练。
[0065]
本实施例进一步优选地，生成光交箱端口状态自识别模型的热图及端口相关信息预测包括：
[0066]
步骤s51：通过累加类别预测热图，来生成端口热图。通过预设阈值来划分前景和背景。在目标热图中，大于等于该阈值的是前景，小于该阈值的是背景。使用的阈值th＝max(th
osu
,0.4)其中th
osu
为大津法求取大津阈值。
[0067]
步骤s52：对前景进行形态学处理的开操作，从而去除毛刺和细小的粘连。
[0068]
步骤s53：提取所有连通区域，统计各个连通区域的面积。去除连通区域的面积过大和过小的相应连通区域。
[0069]
具体而言，去除面积小于平均面积1/3和面积大于平均面积2倍的连通区域。
[0070]
步骤s54：去除位置离群的连通区域。
[0071]
步骤s55：提取所有连通区域的中心点。以及根据中心点坐标在偏移量预测图中提取偏移量，且通过中心点坐标加上偏移量来生成端口坐标。
[0072]
本实施例进一步优选地，步骤s6包括：
[0073]
步骤s61：通过端口坐标，在相应的特征图上提取所有端口的类别置信度、尺寸信息和角度信息，以生成整体尺度均值s
mean
。
[0074]
步骤s62，进行四边搜索，其中，四边搜索包括分别进行上下边搜索和左右边搜索。
[0075]
步骤s63，求取四边交点。
[0076]
具体而言，求取l
up
，l
down
，l
left
，l
right
四条直线的4个交点，记为p0，p1，p2，p3，其中p0为l
up
与l
left
的交点，p1为l
up
与l
right
的交点，p2为l
down
与l
right
的交点，p3为l
down
与l
left
的交点。pi的坐标记为(xi,yi)。
[0077]
步骤s64，确定解校正图像所需的透视变换。
[0078]
具体而言，计算p0，p1，p2，p3对应的新点q0，q1，q2，q3。求取x
left
＝min(x0,x1,x2,x3),即x
left
为最靠左的x值。求取x
right
＝max(x0,x1,x2,x3)，即x
right
为最靠右侧的x值。求取y
up
＝min(y0,y1,y2,y3)，即y
up
为最上方的y值。求取y
down
＝max(y0,y1,y2,y3)，即y
down
为最下方的y值。则q0坐标为(x
left
,y
up
),q1坐标为(x
right
,y
up
),q2坐标为(x
right
,y
down
),q3坐标为(x
left
,y
down
)。根据(p0，p1，p2，p3)与(q0，q1，q2，q3)的对应关系，求解校正图像所需的透视变换(perspective transformation)，透视变换有八个参数，可根据4对相互对应的点求解。
[0079]
步骤s65，实施变换，将步骤s64中得到的投影变换应用到光交箱的图像上，得到矫正后的图像。
[0080]
步骤s66，将矫正后的图像通过深度学习的光交箱端口状态自识别模型前传，以生成输出结果。
[0081]
步骤s67，重复s5步骤中的热图去噪算法去除热图噪声，以生成端口坐标。
[0082]
本实施例进一步优选地，上下边搜索包括：
[0083]
同时从上下两端的端口为滑窗起始位置来进行滑窗检测。上端窗口从上向下滑窗且下端窗口从下向上滑窗。以2*s
mean
为窗宽，以0.4*s
mean
为步长。在滑窗的过程中，对窗口内端口进行检测。
[0084]
具体而言，提取窗口内端口d＝{d1,d2,
…
,dn}，角度回归值为angi，尺度回归值为si，类别置信度为ci。提取d中4个元素组成的所有组合，组合总数为个，回归所有组合点所在直线方程，并将所有距离直线距离小于0.15*s
mean
的端口点都归属于该直线。根据每条直线的端口点回归直线方程，并计算端口点与直线的距离的平均值。检测以下条件：
[0085]
(a)直线上端口多于6个，
[0086]
(b)端口点与直线的平均距离小于0.08*s
mean
时，
[0087]
(c)端口点角度回归均值与直线实际角度相差小于30
°
,
[0088]
当(a)(b)(c)三个条件同时符合时，检测停止。
[0089]
否则记录所有端口点与直线的平均距离小于0.1*s
mean
的直线。如果某个滑窗满足条件，则停止该滑窗。
[0090]
若上下两个滑窗都符合检测条件或上下两个滑窗相互重叠，则结束整体滑窗检测。并且，分别提取上下两个滑窗中，满足条件的窗口内的端口直线。
[0091]
若不存在满足条件的窗口内直线，则提取该窗口的已记录直线中包含的端口点最多的直线。
[0092]
具体而言，如果没有满足条件的窗口内直线，则提取该窗口已记录直线中包含端口点最多的直线。完后上下边搜索后，则可得到上下各一条端口点组成的直线记为l
up
，l
down
。
[0093]
完后上下边搜索后，输出并存储上下各一条端口点组成的直线。
[0094]
本实施例进一步优选地，左右边搜索包括：
[0095]
同时从最左和最右端口为滑窗起始位置来进行滑窗检测。以及左侧窗口向右滑窗
且右侧窗口向左滑窗。并且，在滑窗的过程中对窗口内直线进行检测。
[0096]
具体而言，左右边搜索通过类似上下边滑窗的方式来检测窗口内直线。
[0097]
若左右两个滑窗都符合检测条件或左右两个滑窗相互重叠，则结束整体滑窗检测。并且，分别提取左右两个滑窗中，满足条件的窗口内的端口直线。
[0098]
若不存在满足条件的窗口内直线，则提取该窗口的已记录直线中包含的端口点最多的直线。
[0099]
输出并存储左右各一条端口点组成的直线记为l
left
，l
right
。
[0100]
本实施例进一步优选地，行列匹配算法包括：
[0101]
步骤s71，行聚类：对所有端口点，将纵向距离小于预设阈值的点划归同一行。
[0102]
具体而言，对所有端口点，按照纵坐标，以0.5*s
mean
为阈值，将纵向距离小于阈值的点划归同一行。
[0103]
步骤s72，列估计：对所有端口点，将横向距离小于预设阈值的点划归同一列，并去掉只有端口数小于2的列。
[0104]
具体而言，对所有端口点，按照横坐标，以0.3*s
mean
为阈值，将横向距离小于阈值的点划归同一列，并去掉只有端口数小于2的列。
[0105]
步骤s73，行内尺度估计与填充：对于端口数大于等于4个的行，计算行内端口尺寸的估计均值。以及通过估计均值生成端口间隔值，比较端口间隔值与端口实际位置来生成符合度，取最高符合度对应的端口间隔值。并且，若存在两行的间隔大于双倍端口间隔值，则在间隔中进行等间隔端口填充。
[0106]
具体而言，对于端口数大于等于4个的行，计算行内端口尺寸估计均值s
line_mean
，在0.8*s
line_mean
到1.2*s
line_mean
之间等间隔取20个值，分别计算该端口间隔值与端口实际位置的符合度，取符合度最高的值作为改行的s
line
。对于行内距离大于2*s
line
的间隔进行，设间隔距离为sd,填充端口数量n＝round(sd/s
line-0.2)-1，此处round表示四舍五入。然后再间隔中进行等间隔端口填充，填充的端口类别都设置为“遮挡”。
[0107]
步骤s74，行列补全：对于端口数小于4的行，计算行内端口与列估计的匹配程度。并且，若匹配程度满足预设的匹配程度阈值，则将列估计的端口位置直接填充到行内对应位置。
[0108]
具体而言，将列估计的端口位置直接填充到行内对应位置后，填充的端口类别都设置为“遮挡”。
[0109]
本发明提供了一种可自校图的光交箱端口状态自识别装置，包括：
[0110]
数据集类型划分模块，用以将数据集内的光交箱图像划分为训练集、验证集和测试集三部分。
[0111]
端口参数构建绘制模块在训练和测试的过程中，通过实时调用端口目标热图函数来根据标注的端口位置和行列，构建计算每一行端口所在直线角度、每一个端口的尺度，及绘制端口的目标热图。
[0112]
卷积神经网络构造模块，用以根据图像特性来构造卷积神经网络。该卷积神经网络用以检测端口的位置、类别、角度和尺度。端口的类别包括行首、行尾和行边缘的端口。
[0113]
参数优化提取模块，通过训练集的图像来训练卷积神经网络，从而对光交箱端口状态自识别模型的参数进行优化。以及参数优化提取模块通过验证集的验证效果来确定该
模型训练的超参数。
[0114]
端口预测降噪模块，通过将测试集图像输入光交箱端口状态自识别模型，来得到光交箱端口状态自识别模型输出的热图及端口相关信息预测。端口相关信息包括端口的坐标、类别、角度和尺度。并且，端口预测降噪模块通过热图去噪算法去除热图噪声后，提取端口的坐标、类别、角度和尺度。
[0115]
端口倾斜校正降噪模块，通过倾斜校正算法对端口预测降噪模块得到的端口的坐标、类别、角度和尺度进行输入图像的倾斜校正。以及端口倾斜校正降噪模块将校正后的该图像输入光交箱端口状态自识别模型，从而得到光交箱端口状态自识别模型输出的热图及端口相关信息预测。端口相关信息包括端口的坐标、类别、角度和尺度。并且，端口倾斜校正降噪模块通过热图去噪算法去除热图噪声后，再次提取端口坐标、类别、角度和尺度。
[0116]
遗漏端口补全模块，通过行列匹配算法对每一个独立的端口的坐标、类别、尺度进行综合匹配，从而将独立的端口连接成多行。并且，遗漏端口补全模块通过行列匹配来判定行内是否存在遗漏端口，以及补全该遗漏端口。
[0117]
本发明的自识别方法与基线算法的对比统计请参见图6，其表格示出了不同方法在测试集上的端口检测准确率。由图6可知，堆叠沙漏网络方法的准确率是0.81，而本发明采用的堆叠沙漏网络+额外回归+倾斜校正算法方法的准确率高达0.95。
[0118]
现有技术需要人工校正和裁切图像，人工校正和裁切需要耗费大量人工。与现有技术相比，本发明提供的一种可自校图的光交箱端口状态自识别方法和装置，能够通过算法自动完成倾斜矫正。在完成倾斜校正后结合后图片处理算法，实现了校正后光纤交接箱图像的端口识别和行列划分。本发明能够自动完成图像的倾斜校正，不依赖字符识别，是一种有广泛适用性光纤交接箱端口图像检测方法。
[0119]
本发明较现有技术具备以下优势：
[0120]
首先，本发明无需人工矫正和裁剪图像，通过回归每个端口的坐标、角度和尺度及倾斜校正算法，即可完成图像的倾斜校正。
[0121]
其次，本发明在倾斜校正的基础上，通过后处理算法来完成光纤交接箱图像的端口识别和行列划分。
[0122]
以上对本发明的可自校图的光交箱端口状态自识别方法和装置的实施方式进行了说明，其目的在于解释本发明之精神。请注意，本领域技术人员可以在不脱离本发明的精神的情况下对上述各实施方式的特征进行修改和组合，因此，本发明并不限于上述各实施方式。对于本发明的可自校图的光交箱端口状态自识别装置的具体特征如形状、尺寸和位置可以上述披露的特征的作用进行具体设计，这些设计均是本领域技术人员能够实现的。而且，上述披露的各技术特征并不限于已披露的与其它特征的组合，本领域技术人员还可根据发明之目的进行各技术特征之间的其它组合，以实现本发明之目的为准。

技术特征：
1.一种可自校图的光交箱端口状态自识别方法，其特征在于，包括：步骤s1：将数据集内的光交箱图像划分为训练集、验证集和测试集三部分；步骤s2：在训练和测试的过程中，通过实时调用端口目标热图函数来根据标注的端口位置和行列，构建计算每一行端口所在直线角度、每一个端口的尺度，及绘制端口的目标热图；步骤s3：根据图像特性来构造卷积神经网络；其中，该卷积神经网络用以检测端口的位置、类别、角度和尺度；端口的类别包括行首、行尾和行边缘的端口；步骤s4：通过训练集的图像来训练卷积神经网络，从而对光交箱端口状态自识别模型的参数进行优化；以及通过验证集的验证效果来确定该模型训练的超参数；步骤s5：通过将测试集图像输入光交箱端口状态自识别模型，来生成光交箱端口状态自识别模型的热图及端口相关信息预测；其中，端口相关信息包括端口的坐标、类别、角度和尺度；并且，通过热图去噪算法去除热图噪声后，提取端口的坐标、类别、角度和尺度；步骤s6：通过倾斜校正算法对所述端口预测降噪模块得到的端口的坐标、类别、角度和尺度进行输入图像的倾斜校正；以及将校正后的该图像输入光交箱端口状态自识别模型，从而得到光交箱端口状态自识别模型输出的热图及端口相关信息预测；其中，端口相关信息包括端口的坐标、类别、角度和尺度；并且，通过热图去噪算法去除热图噪声后，再次提取端口坐标、类别、角度和尺度；步骤s7：通过行列匹配算法对每一个独立的端口的坐标、类别、尺度进行综合匹配，从而将独立的端口连接成多行；并且，通过行列匹配来判定行内是否存在遗漏端口，以及补全该遗漏端口。2.根据权利要求1所述的方法，其特征在于，其中，所述步骤s1包括：计算端口的角度和尺度，以及生成回归热图；并且，数据增强之后，重新计算端口的角度和尺度，以及生成回归热图：步骤s11：将样本集进行划分，选取一部分样本构成测试集和验证集，另一部分样本构成训练集；步骤s12：为样本中的每个端口添加标注信息；其中，标注信息包括端口坐标、端口类别、边缘端口属性和端口行编号。3.根据权利要求1所述的方法，其特征在于，其中，步骤s2包括；步骤s21，构建计算每一行端口所在直线角度，包括：取当前行首尾端口点a,b，其中a的坐标为(x
a
,y
a
)，b的坐标为(x
b
,y
b
)，则直线的斜率直线与x轴夹角为θ0＝arctank，则θ0的取值范围为[0
°
,180
°
]，设其中，θ为端口所在直线的角度值，且θ的取值范围为(-90
°
,90
°
)；步骤s22，构建计算每一个端口的尺度，包括：对于每个端口，端口与其左侧端口距离为w
left
，端口与其右侧端口距离为w
right
，端口的尺度为scale，行首尾端口只有单侧有相邻端口，则scale＝w
left
或scale＝w
right
；
步骤s23，绘制目标热图包括：将与端口对应的高斯核放置在端口类别的通道的同比例坐标上，其中，高斯核的尺寸大小与端口的尺度成正比；根据高斯核的尺寸大小及端口的角度和尺度生成回归热图；步骤s24，数据增强之后，重新计算端口的角度和尺度，以及生成回归热图。4.根据权利要求1所述的方法，其特征在于，其中，所述步骤s3包括：步骤s31：光交箱端口状态自识别模型由两个沙漏网络级联构成，分别计算两个沙漏网络的损失；步骤s32：4倍下采样回归目标热图和偏移量，通过目标热图生成端口的位置、分类及边缘端口属性，且通过偏移量生成位置信息；步骤s33：16倍采样下回归直线角度和尺度；步骤s34：光交箱端口状态自识别模型的端口目标热图输出通过s型生长曲线归一化到0～1之间，角度回归特征图通过tanh函数后再乘以π/2，归一化到-π/2～π/2之间，其他回归的特征图不通过激活函数直接输出。5.根据权利要求1所述的方法，其特征在于，其中，所述步骤s4包括：步骤s41：设置网络训练参数；以及使用带权重衰减的自适应矩阵估计函数来训练卷积神经网络，从而获得最优参数。步骤s42：在训练时，随机裁剪相应尺寸的图像为训练基础图像，进行归一化；以及在数据增强后，实时调用端口目标热图函数来重新计算角度和尺度，且送入光交箱端口状态自识别模型进行训练。6.根据权利要求1所述的方法，其特征在于，其中，生成光交箱端口状态自识别模型的热图及端口相关信息预测包括：步骤s51：通过累加类别预测热图，来生成端口热图；通过预设阈值来划分前景和背景；其中，在目标热图中，大于等于该阈值的是前景，小于该阈值的是背景；步骤s52：对前景进行形态学处理的开操作，从而去除毛刺和细小的粘连；步骤s53：提取所有连通区域，统计各个连通区域的面积；去除连通区域的面积过大和过小的相应连通区域；步骤s54：去除位置离群的连通区域；步骤s55：提取所有连通区域的中心点；以及根据中心点坐标在偏移量预测图中提取偏移量，且通过中心点坐标加上偏移量来生成端口坐标。7.根据权利要求1所述的方法，其特征在于，其中，所述步骤s6包括：步骤s61：通过端口坐标，在相应的特征图上提取所有端口的类别置信度、尺寸信息和角度信息，以生成整体尺度均值；步骤s62，进行四边搜索，其中，四边搜索包括分别进行上下边搜索和左右边搜索；步骤s63，求取四边交点；步骤s64，确定解校正图像所需的透视变换；步骤s65，将步骤s64中得到的投影变换应用到光交箱的图像上，得到矫正后的图像；步骤s66，将矫正后的图像通过深度学习的光交箱端口状态自识别模型前传，以生成输出结果；步骤s67，重复s5步骤中的热图去噪算法去除热图噪声，以生成端口坐标。
8.根据权利要求7所述的方法，其特征在于，上下边搜索包括：同时从上下两端的端口为滑窗起始位置来进行滑窗检测；上端窗口从上向下滑窗且下端窗口从下向上滑窗；在滑窗的过程中，对窗口内端口进行检测；若上下两个滑窗都符合检测条件或上下两个滑窗相互重叠，则结束整体滑窗检测；并且，分别提取上下两个滑窗中，满足条件的窗口内的端口直线；若不存在满足条件的窗口内直线，则提取该窗口的已记录直线中包含的端口点最多的直线；完后上下边搜索后，输出并存储上下各一条端口点组成的直线；左右边搜索包括：同时从最左和最右端口为滑窗起始位置来进行滑窗检测；以及左侧窗口向右滑窗且右侧窗口向左滑窗；并且，在滑窗的过程中对窗口内直线进行检测；若左右两个滑窗都符合检测条件或左右两个滑窗相互重叠，则结束整体滑窗检测；并且，分别提取左右两个滑窗中，满足条件的窗口内的端口直线；若不存在满足条件的窗口内直线，则提取该窗口的已记录直线中包含的端口点最多的直线；输出并存储左右各一条端口点组成的直线。9.根据权利要求1所述的方法，其特征在于，其中，所述行列匹配算法包括：步骤s71，行聚类：对所有端口点，将纵向距离小于预设阈值的点划归同一行；步骤s72，列估计：对所有端口点，将横向距离小于预设阈值的点划归同一列，并去掉只有端口数小于2的列；步骤s73，行内尺度估计与填充：对于端口数大于等于4个的行，计算行内端口尺寸的估计均值；以及通过估计均值生成端口间隔值，比较端口间隔值与端口实际位置来生成符合度，取最高符合度对应的端口间隔值；并且，若存在两行的间隔大于双倍端口间隔值，则在间隔中进行等间隔端口填充；步骤s74，行列补全：对于端口数小于4的行，计算行内端口与列估计的匹配程度；并且，若匹配程度满足预设的匹配程度阈值，则将列估计的端口位置直接填充到行内对应位置。10.一种可自校图的光交箱端口状态自识别装置，其特征在于，包括：数据集类型划分模块，用以将数据集内的光交箱图像划分为训练集、验证集和测试集三部分；端口参数构建绘制模块在训练和测试的过程中，通过实时调用端口目标热图函数来根据标注的端口位置和行列，构建计算每一行端口所在直线角度、每一个端口的尺度，及绘制端口的目标热图；卷积神经网络构造模块，用以根据图像特性来构造卷积神经网络；其中，该卷积神经网络用以检测端口的位置、类别、角度和尺度；端口的类别包括行首、行尾和行边缘的端口；参数优化提取模块，通过训练集的图像来训练卷积神经网络，从而对光交箱端口状态自识别模型的参数进行优化；以及所述参数优化提取模块通过验证集的验证效果来确定该模型训练的超参数；端口预测降噪模块，通过将测试集图像输入光交箱端口状态自识别模型，来得到光交
箱端口状态自识别模型输出的热图及端口相关信息预测；其中，端口相关信息包括端口的坐标、类别、角度和尺度；并且，所述端口预测降噪模块通过热图去噪算法去除热图噪声后，提取端口的坐标、类别、角度和尺度；端口倾斜校正降噪模块，通过倾斜校正算法对所述端口预测降噪模块得到的端口的坐标、类别、角度和尺度进行输入图像的倾斜校正；以及所述端口倾斜校正降噪模块将校正后的该图像输入光交箱端口状态自识别模型，从而得到光交箱端口状态自识别模型输出的热图及端口相关信息预测；其中，端口相关信息包括端口的坐标、类别、角度和尺度；并且，所述端口倾斜校正降噪模块通过热图去噪算法去除热图噪声后，再次提取端口坐标、类别、角度和尺度；遗漏端口补全模块，通过行列匹配算法对每一个独立的端口的坐标、类别、尺度进行综合匹配，从而将独立的端口连接成多行；并且，所述遗漏端口补全模块通过行列匹配来判定行内是否存在遗漏端口，以及补全该遗漏端口。

技术总结
一种可自校图的光交箱端口状态自识别方法和装置，方法包括：将数据集内的光交箱图像划分为训练集、验证集和测试集；构建计算每一行端口所在直线角度、每一个端口的尺度，及绘制端口的目标热图；构造卷积神经网络。通过训练集的图像来训练卷积神经网络，对模型的参数进行优化；通过验证集的验证效果来确定该模型训练的超参数；生成端口的目标热图及端口相关信息预测；通过倾斜校正算法对端口预测降噪模块得到的端口的坐标、类别、角度和尺度进行输入图像的倾斜校正；通过行列匹配来判定行内是否存在遗漏端口，补全该遗漏端口。本发明不仅能够自动完成光交箱端口图像的倾斜矫正，还能够实现光交箱端口图像校正后的光交箱的端口识别和行列划分。识别和行列划分。识别和行列划分。


技术研发人员：魏湘国 张国华 熊钦 陈寿明
受保护的技术使用者：北京亿阳信通科技有限公司
技术研发日：2023.05.26
技术公布日：2023/9/14