一种基于Yolov5-ASFF的肉牛脸部识别方法与流程

一种基于yolov5-asff的肉牛脸部识别方法
技术领域
1.本发明涉及畜牧图像处理技术领域，具体来说是一种基于yolov5-asff的肉牛脸部识别方法。


背景技术：

2.基于牛个体身体状况的数字化、精细化已成为现代科学养殖的主要发展方向，现有的牛的个体识别方法主要分为基于生物特征和传统方法两大类。其中，传统的识别方法主要是对身体部位进行物理标记或嵌入微芯片，如耳朵纹身、微芯片和冷冻烙印等物理标记方法以及使用项链、耳标和射频识别(rfid)等嵌入微芯片方法。由于受限于监测数量和监测费用，容易丢失或损坏，容易随时间改变和复制。
3.相比之下，因为牛个体拥有丰富的皮肤纹理和鲜明的面部特征，在深度学习的快速发展下，图像处理、深度学习等信息化技术不仅不需要接触动物，而且成本低，同时还可以降低管理成本和降低牲畜应激反应，也被用于肉牛身份识别并提供持续的长期监测。但是，非接触方法也面临着其他挑战，如tu等人在现有的牲畜行为识别研究中发现在场景复杂、照明多变、物体遮挡和牲畜重叠等现象时计算机识别结果会大幅度下降。因此，在牛身份实时识别时，光照和姿态的复杂变化常常影响识别效果。若人为限制牛自由移动去获得整体图像也很麻烦。这意味着牛脸整体识别算法受到种种限制，必须考虑多种面部的局部特征去探索新的算法才能取得想要的结果。
4.近年来，大多数目标检测算法都使用了卷积神经网络(cnn)，在目标检测任务中取得了丰硕的成果，如两级检测器faster r-cnn与一级检测器ssd、yolo系列等。santosh kumar通过传统特征提取与特征降维方法结合支持向量分类器实现肉牛脸部识别，获得了92.5％的识别精度，但牛面部数据库的规模较小，且未考虑姿势与光照变化等因素。kim等人利用图像处理技术和相关的神经记忆算法实现了日本黑牛的面部识别，对12头日本黑牛识别效果达到100％，证明了通过牛面部图像识别牛个体是可行的，但研究对象偏少。xu等人将结合resnet50的retinanet网络用于奶牛牛脸识别，在精度和速度上都具有较高的优势，其平均精度得分为99.8％，但用于训练的计算资源和数据集有限，并且迭代次数过高很可能出现过拟合。
5.tsai等使用图像中检测到的运动区域的斑点分析和形态学操作，从俯视图观察了牛棚中的20头奶牛，误报的只有0.33％，但该方法仅仅是检测是否行为接触，并未涉及到身份识别。porto等人提出的自动检测自由畜栏内奶牛的躺卧行为，图像序列中出现显着的亮度和背景变化时分类灵敏度的高值约92％。张宏鸣等通过改进yolov3网络设计了一种基于机器视觉的多目标肉牛进食行为识别方法，对观测范围内肉牛目标检测的平均精确度为83.8％，进食行为识别的平均精确度为79.7％，该算法能够监测肉牛进食行为。杨蜀秦等基于yolov4目标检测网络,提出了一种融合坐标信息的奶牛面部识别模型,平均精度均值为93.68％,平均帧率为18帧/s,但是检测速度低于无锚框。由上述的研究发现，牛个体身份识别虽然取得了丰硕的成果，依旧会受到姿态与光照等因素影响，因而需要探究其他方法去
达到更好的识别效果。杨蜀秦等关于融合坐标信息的研究表明融合不同维度的信息会对检测准确率有所提高。
6.guo等对特征金字塔融合进行了调整，充分利用了各块提取的特征，有效提高了模型的稳定性和训练效率，平均识别精度为92.6％，提出的特征金字塔融合轻量级cnn可以有效防止过度拟合，提高模型的稳定性。chaib等采用判别相关分析(dca)作为特征融合策略，以更低的成本实现更高效的融合方法，使用特征融合技术比仅使用原始深层特征可实现更高的精度，产生了良好的信息特征来描述低维的图像场景，可实现更高的精度。yulin等基于多尺度特征融合和特征金字塔网络支持，对浅层特征融合进行多尺度训练，提高了目标识别的速度和较小目标识别和定位的精度，f1分数达到90.71％，可以满足实时目标识别的需求。王品学等改进yolov3算法并提出可变形卷积和自适应空间特征融合的缺陷检测算法，平均精度均值(map)接近于faster-rcnn,达到了92.8％。tan m等研究了神经网络架构对对象检测的设计，提出了一种加权双向特征金字塔网络bifpn用来实现多尺度特征融合,miou达到了81.74％。xingkui zhu等提出自适应特征融合asff(adaptively spatial feature fusion)，其更分利用高层特征的语义信息和低层特征的细粒度特征，比之前的提高了1.81％，与基线模型(yolov5)相比，tph-yolov5提高了约7％，对于特征金字塔得到了良好的提升效果。曾广淼等针对目标识别中的重叠遮挡难题，提出了一种改进的马赛克数据增强方法，将底部黄金通道添加到原始通道，并使用三个通道进行特征增强，经过改进后的算法在重叠目标的识别准确率上提高了2.5％,目标丢失时间减少了17％,在不同视频分辨率下的识别稳定性上提高了27.01％。
7.上述研究表明使用特征融合的方法能够用高层特征的语义信息和低层特征的细粒度特征相融合来提高网络检测的准确性，但目前研究很少注重肉牛身份识别。
8.综上所述，刻印或穿孔耳标是传统的肉牛身份识别方法，常对肉牛造成永久性的损害；射频识别方法存在一定的安全风险，且需要额外的成本开销。当前，非接触、低成本、可持续的肉牛身份识别机器视觉方法是当前研究的热点。长期监测在深度学习的快速发展的引领下，信息化技术不需要接触动物、成本低的识别方法能提供持续的长期监测，但对图像采集光照和姿态的变化引发的识别效果差的情况。


技术实现要素：

9.本发明的目的是为了解决现有技术中难以针对肉牛进行个体识别的缺陷，提供一种基于yolov5-asff的肉牛脸部识别方法来解决上述问题。
10.为了实现上述目的，本发明的技术方案如下：
11.一种基于yolov5-asff的肉牛脸部识别方法，包括以下步骤：
12.牛脸数据的采集与预处理：获取肉牛在移动姿态下的牛脸图像数据，移动姿态包括喝水、进食、躺卧，并对其进行预处理，打上标签后，组成牛脸数据集；
13.牛脸部识别模型的构建：基于yolov5网络结合asff构建出牛脸部识别模型；
14.牛脸部识别模型的训练：将牛脸数据集输入牛脸部识别模型进行训练；
15.待识别牛脸数据的获得：获取待识别的牛脸图像；
16.肉牛脸部识别结果的获得：将待识别的牛脸图像输入训练后的牛脸部识别模型，获得肉牛脸部识别结果。
17.所述牛脸部识别模型的构建包括以下步骤：
18.设定牛脸部识别模型基于yolov5s模型网络进行构建，其包括input模块、backbone模块、neck模块和output模块；
19.设定自适应特征融合机制asff；
20.在neck模块后加入自适应特征融合机制asff，将neck模块的三个level层后均添加自适应特征融合机制asff。
21.所述牛脸部识别模型的训练包括以下步骤：
22.将牛脸数据集输入牛脸部识别模型的input模块；
23.input模块输出至经backbone模块送入neck模块；
24.neck模块的level1层、level2层、level3层经过分别自适应特征融合机制asff得到三个特征层的特征，即x(1)、x(2)、x(3)；
25.将level1层、level2层通过1
×
1的卷积压缩成level3层相同的通道数，然后分别进行4倍、2倍上采样得到和level3层相同的维度；
26.将x(1)、x(2)、x(3)上分别乘以权重参数α(3)、β(3)、γ(3)并求和，得到进行特征融合后的特征asff-3，其表达式如下：
[0027][0028]
其中，表示通过asff得到的新特征图，分别表示三个特征层的权重参数，通过softmax函数使其满足
[0029][0030]
分别表示level1层、level2层、level3层的特征。
[0031]
有益效果
[0032]
本发明的一种基于yolov5-asff的肉牛脸部识别方法，与现有技术相比通过在yolo网络的特征金字塔结构中引入了自适应特征融合机制，实现了多种干扰因素下肉牛脸部的高精度识别。
[0033]
本发明与经典的faster-rcnn、yolov4、yolov5s网络对比，测试提出的网络模型的性能并评价。研究结果表明：改进的yolov5-asff网络对牛脸识别的准确度为96.5％，召回率达到98.4％。相比于yolov5s网络，在保持检测速度基本不变的情况下，提高了平均精度，并且在光照和姿态变化时识别效果更好。值得一提的是，在划分的姿态数据中，总体精度提高5％左右；在添加asff后，光照数据总体精度提高10％～20％，较好地解决了因牛移动时，不同姿态造成的牛脸识别模型鲁棒性下降问题。
附图说明
[0034]
图1为本发明的方法顺序图。
具体实施方式
[0035]
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
[0036]
如图1所示，本发明所述的一种基于yolov5-asff的肉牛脸部识别方法，包括以下步骤：
[0037]
第一步，牛脸数据的采集与预处理：获取肉牛在移动姿态下的牛脸图像数据，移动姿态包括喝水、进食、躺卧，并对其进行预处理，打上标签后，组成牛脸数据集。
[0038]
实验过程中，3600头肉牛在若干个约10m*50m的围栏中分散养殖。拍照时，每一头牛有喝水、进食、躺卧等多种移动姿态，因此获得的肉牛脸部图像包含了正面、侧面、近距、远距等多种情况。采集，考虑到天气、光照等自然环境因素会影响到牛脸识别结果，分别在晴天、阴天、雨天、黄昏等多种天气场景拍摄牛脸图像。数据集中拍摄到每头牛完整且清晰的正脸、侧脸图像。此外，对获取的所有牛脸图像进行整理，剔除拍摄图像导致的单个牛图像数据量过少与图像模糊的图片。
[0039]
为了提高构建模型的泛化能力和鲁棒性，对原始图像进行数据增强以增加训练的基础数据量。选择的数据增强方法包括：图像旋转、图像缩放、图像裁剪、添加噪声和修改对比度等。从上述方法随机多种组合对数据进行增强。对部分图像添加高斯噪声用来模拟明暗程度和镜头不清晰等情况。比如，引入噪声点降低图像清晰度，增加图像的复杂度以提高模型训练时的数据量。经数据增广后，120头牛中每单只牛的数据量达到200张，并且包含多种复杂图片(清晰与模糊、强光与昏暗等)，共计24000张图像，并进行数据重命名。
[0040]
数据增强后对其与原始样本图片使用labelme软件进行人工标注。标注的内容为包含牛耳和牛角的脸部，标签设置为cow1到cow120，标注后将获得的带有json文件标签类型数据集转换为yolov5所需的标签文件类型(txt的voc数据集)。
[0041]
第二步，牛脸部识别模型的构建：基于yolov5网络结合asff构建出牛脸部识别模型。
[0042]
yolov5s模型网络结构分成input、backbone、neck、output 4个部分。input可对图像自适应缩放，并且集成了k-means来计算数据集的最佳锚框值。backbone在没有信息丢失的情况下，计算量仅是普通卷积的0.44倍。通过一个跨阶段层次结构合并来解决卷积神经网络中主干部分网络优化的梯度信息重复，减少内存并降低了成本。此外，增大了感受野，提高了模型对空间布局和对象变形的鲁棒性。neck结构采用fpn+pan结构，fpn层向下采样，融合高低层特征提升目标检测的效果，后面添加pan结构向上采样，充分利用网络浅层特征进行分割，顶层也可以接收底层带来的丰富位置信息。output为评价对象定位算法是否精准，采用giou计算损失函数，并且giou loss贡献值不是最大的其他预测结果去掉，输出概率最大的分类结果，生成边界框并预测其类别。
[0043]
由于数据集包含了动作姿态非常规、背景复杂甚至多重遮挡的图像，研究实验发现yolov5s模型很难检测出被其他物体遮挡后的情况，漏检率很高。这是因为yolov5中采用panet来进行特征融合，这种方式只是简单的将特征图变换成相同尺寸再相加，无法充分利用不同尺度的特征。而通常情况下，低层的卷积特征具有更多的细节信息，包括纹理、颜色、位置等，而高层的卷积特征则具有更强的语义信息，是所谓的概念信息，但会丢失部分细节。低层的网络特征图可清晰地显现出纹理，而高层的网络特征图则可得到轮廓等语义。
[0044]
特征融合是将不同尺度的卷积特征进行优化组合的过程，将两者的互补信息充分地融合并利用，可以作为提升检测性能的一种重要方式。因此，本发明选用了添加了asff模块的yolov5s模型进行网络训练。其与基于元素或级联的多层次特征融合方法不同，核心思
想是自适应地学习各尺度特征映射融合的空间权重，通过学习权重参数的方式将不同层的特征融合到一起。
[0045]
所述牛脸部识别模型的构建包括以下步骤：
[0046]
(1)设定牛脸部识别模型基于yolov5s模型网络包括input模块、backbone模块、neck模块和output模块；
[0047]
(2)设定自适应特征融合机制asff；
[0048]
(3)在neck模块后加入自适应特征融合机制asff，将neck模块的三个level层后均添加自适应特征融合机制asff。
[0049]
第三步，牛脸部识别模型的训练：将牛脸数据集输入牛脸部识别模型进行训练。所述牛脸部识别模型的训练包括以下步骤：
[0050]
(1)将牛脸数据集输入牛脸部识别模型的input模块。
[0051]
(2)input模块输出至经backbone模块送入neck模块。
[0052]
(3)neck模块的level1层、level2层、level3层经过分别自适应特征融合机制asff得到三个特征层的特征，即x(1)、x(2)、x(3)。
[0053]
(4)将level1层、level2层通过1
×
1的卷积压缩成level3层相同的通道数，然后分别进行4倍、2倍上采样得到和level3层相同的维度。
[0054]
(5)将x(1)、x(2)、x(3)上分别乘以权重参数α(3)、β(3)、γ(3)并求和，得到进行特征融合后的特征asff-3，其表达式如下：
[0055][0056]
其中，表示通过asff得到的新特征图，分别表示三个特征层的权重参数，通过softmax函数使其满足
[0057][0058]
分别表示level1层、level2层、level3层的特征。
[0059]
在此，制作好的数据集中，图像大小都为3k，其中有些牛脸面积较小，而在yolov5训练时输入的图像大小为640
×
640或者1280
×
1280，这意味着在实际训练前导入图像的时候特征就会出现丢失。对肉牛图像的asff特征融合做可视化分析，level1层这个特征图上被检测到的是颜色、花纹等比较明显的物体特征，level3层被检测到的是图案的整体形状。通过引入asff结构，实现每一层的权重参数与特征相乘再相加的融合方式，能过滤其它层的特征，只保留该阶层有用的信息，使得提取的特征更加层次化，而且模型的训练效率也变得更佳。
[0060]
第四步，待识别牛脸数据的获得：获取待识别的牛脸图像。
[0061]
第五步，肉牛脸部识别结果的获得：将待识别的牛脸图像输入训练后的牛脸部识别模型，获得肉牛脸部识别结果。
[0062]
在相同的模型训练环境、参数配置下，使用同一数据集，将改进的深度学习网络yolov5-asff和单阶yolo同系列网络(yolov4和yolov5s)和双阶段faster-rcnn目标检测网络进行结果比较。结构在选用训练模型pixel为640*640、epoch为100、batch size为16。表1是四种网络实验结果中的精确率、召回率、ap值、f1 score、权重参数和检测速率等指标结
果。
[0063]
表1网络模型指标对比
[0064][0065]
本发明通过建立包含103牛不同角度的脸部图像的肉牛数据集，使用该数据集测试发现与faster-rcnn、yolov4、yolov5s对比，发现yolov5-asff的各种评价指标达到最高值，该算法模型的识别精确率达到了96.5％，召回率达到了98.4％。并且该算法检测速度基本不变，使得改进模型更易于安装到服务器或者远程设备上。
[0066]
在不同背景数据中的测试发现，在添加asff后遮挡数据与部分侧脸数据总体测试结果更好，但并不会有一个明显的提高，但是若是在yolov5s中的测试结果不到0.75时，添加asff模块后会提高到0.75以上。在添加asff后姿态数据总体精度会有5％左右的提高，但也会有部分图片没有提高；在添加asff后光照数据总体精度会有一个较为明显的提高。
[0067]
本发明使用的方法对120头牛进行分析，实验准确度会随着数据量的增加有所提高，使用不同输入像素测试发现实验准确度并不是随着输入像素的增加同比增加，反而大概率出现准确下降的情况。在模型训练周期不变时，单个牛的数据量越多结果越优秀，如果是单个牛的数据量偏少的情况下想获得较为理想的实验结果需要增大训练周期，但是训练周期增大可能会出现过拟合的情况。制作的标签包含如周围围栏、食槽中的草料甚至其他牛的身体特征等干扰信息，干扰信息使得在输入高像素实验结果的评价指标变低。
[0068]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

技术特征：
1.一种基于yolov5-asff的肉牛脸部识别方法，其特征在于，包括以下步骤：11)牛脸数据的采集与预处理：获取肉牛在移动姿态下的牛脸图像数据，移动姿态包括喝水、进食、躺卧，并对其进行预处理，打上标签后，组成牛脸数据集；12)牛脸部识别模型的构建：基于yolov5网络结合asff构建出牛脸部识别模型；13)牛脸部识别模型的训练：将牛脸数据集输入牛脸部识别模型进行训练；14)待识别牛脸数据的获得：获取待识别的牛脸图像；15)肉牛脸部识别结果的获得：将待识别的牛脸图像输入训练后的牛脸部识别模型，获得肉牛脸部识别结果。2.根据权利要求1所述的一种基于yolov5-asff的肉牛脸部识别方法，其特征在于，所述牛脸部识别模型的构建包括以下步骤：21)设定牛脸部识别模型基于yolov5s模型网络进行构建，其包括input模块、backbone模块、neck模块和output模块；22)设定自适应特征融合机制asff；23)在neck模块后加入自适应特征融合机制asff，将neck模块的三个level层后均添加自适应特征融合机制asff。3.根据权利要求1所述的一种基于yolov5-asff的肉牛脸部识别方法，其特征在于，所述牛脸部识别模型的训练包括以下步骤：31)将牛脸数据集输入牛脸部识别模型的input模块；32)input模块输出至经backbone模块送入neck模块；33)neck模块的level1层、level2层、level3层经过分别自适应特征融合机制asff得到三个特征层的特征，即x(1)、x(2)、x(3)；34)将level1层、level2层通过1
×
1的卷积压缩成level3层相同的通道数，然后分别进行4倍、2倍上采样得到和level3层相同的维度；35)将x(1)、x(2)、x(3)上分别乘以权重参数α(3)、β(3)、γ(3)并求和，得到进行特征融合后的特征asff-3，其表达式如下：其中，表示通过asff得到的新特征图，分别表示三个特征层的权重参数，通过softmax函数使其满足参数，通过softmax函数使其满足分别表示level1层、level2层、level3层的特征。

技术总结
本发明涉及一种基于Yolov5-ASFF的肉牛脸部识别方法，与现有技术相比解决了难以针对肉牛进行个体识别的缺陷。本发明包括以下步骤：牛脸数据的采集与预处理；牛脸部识别模型的构建；牛脸部识别模型的训练；待识别牛脸数据的获得；肉牛脸部识别结果的获得。本发明通过在Yolo网络的特征金字塔结构中引入了自适应特征融合机制，实现了多种干扰因素下肉牛脸部的高精度识别。高精度识别。高精度识别。


技术研发人员：张东彦 张石
受保护的技术使用者：苏州唯农科技有限公司
技术研发日：2023.08.08
技术公布日：2023/9/20