基于YOLOv5的牛的个体采食行为跟踪方法

基于yolov5的牛的个体采食行为跟踪方法
技术领域
1.本发明涉及牛饲养技术领域，尤其涉及基于yolov5的牛的个体采食行为跟踪方法。


背景技术：

2.现有的牛个体采食行为监测技术包括人工观察、耳标加速度传感器监测、牛项圈监测、基于深度学习的检测方法等。其中人工观察会使得养殖人员工作量巨大，且存在漏查误查等问题，而耳标加速度传感器的监测结果起伏较大，不太稳定，对于的佩戴牛项圈会使得牛产生应激反应，不利于牛的生长。
3.深度学习方法需要耗费大量的时间进行数据准备和模型训练，目前在国内使用深度学习检测牛采食行为的方法还较少，基本只检测牛的觅食行为，未精准识别牛的采食行为，且一般通过识别牛背部的局部花纹特征对牛的身份信息进行识别，因背部视角和采食视角角度的不同，在牛的采食状态并不能有效的识别牛的身份信息以及个体跟踪，也不能达到对牛个体采食时长进行统计的目的，因此本发明提出基于yolov5的牛的个体采食行为跟踪方法以解决现有技术中存在的问题。


技术实现要素：

4.针对上述问题，本发明的目的在于提出基于yolov5的牛的个体采食行为跟踪方法，该基于yolov5的牛的个体采食行为跟踪方法具有快速、精准识别的优点，解决现有技术中的问题。
5.为实现本发明的目的，本发明通过以下技术方案实现：基于yolov5的牛的个体采食行为跟踪方法，包括以下步骤：
6.步骤一、牛脸部图像数据采集
7.采集采食状态下牛的脸部视频数据，然后以该视频数据为基准，通过帧提取得到牛的脸部图像数据；
8.步骤二、牛觅食图像数据采集
9.再采集觅食状态下牛的视频数据，然后以该视频数据为基准，通过帧提取得到牛的觅食状态图像数据；
10.步骤三、图像数据处理
11.人工将步骤一和步骤二中获得的脸部图像数据信息及觅食状态图像数据信息进行对应的标注，并进行裁剪和变换操作，使其满足yolov5网络的输入格式要求，之后再分别按照比例分为训练集数据和测试集数据；
12.步骤四、建立个体识别跟踪模型
13.先将与脸部图像数据对应的训练集数据输入yolov5网络，进行牛脸识别网络模型训练，训练好后，再将与脸部图像数据对应的测试集数据输入训练后的牛脸识别网络模型，测试完成后输出结果，得到牛的个体识别跟踪模型；
14.步骤五、建立采食行为识别模型
15.再将与觅食状态图像数据对应的训练集数据输入yolov5网络，进行牛觅食行为识别网络模型训练，训练好后，再将与觅食状态图像数据对应的测试集数据输入训练后的牛觅食行为识别网络模型，测试完成后输出结果，得到牛的采食行为识别模型；
16.步骤六、牛个体采食行为跟踪识别
17.将步骤四中获得的牛的个体识别跟踪模型与步骤五中获得的牛的采食行为识别模型相结合，通过牛的个体识别跟踪模型识别牛的个体信息以及实时跟踪，通过牛的采食行为识别模型识别牛的采食行为，并对牛的个体采食时间进行统计分析，以此建立牛的个体采食行为跟踪识别模型，继而进行牛个体采食行为跟踪识别。
18.进一步改进在于：所述步骤一和步骤二中，通过2d摄像头采集牛的脸部视频数据。
19.进一步改进在于：所述步骤二中，牛的觅食状态分为采食状态和非采食状态。
20.进一步改进在于：所述步骤二中，牛采食行为具体定义为：
21.牛的食槽上方横放有一根栏杆，当牛的头部低于栏杆时，牛处于觅食状态，牛的嘴部接触到饲料时的状态定义为采食状态，其他状态为非采食状态。
22.进一步改进在于：所述步骤三中，从脸部图像数据信息及觅食状态图像数据信息中分别截取部分图像数据信息，作为基准。
23.进一步改进在于：所述步骤三中，训练集数据和测试集数据的比例为8:2，所述训练集数据和测试集数据无重叠。
24.进一步改进在于：所述步骤六中，通过分辨牛的脸部特征对牛的个体身份进行识别。
25.进一步改进在于：所述步骤六中，以天为单位，对每头牛每次采食时长和每天采食总时长进行统计，为牛的精细化养殖提供数据支撑。
26.本发明的有益效果为：该基于yolov5的牛的个体采食行为跟踪方法通过分辨牛脸对牛的个体身份信息进行识别，是一种无接触式的识别方式，同时牛脸识别视角与采食行为识别视角相同，有利于在采食状态下对牛进行个体识别与跟踪，解决现有技术中不能有效的识别牛的身份信息以及个体跟踪的问题，本发明识别过程简单，识别准确率高，再通过将牛的觅食状态细分为采食状态和非采食状态，能更精确的识别牛的采食行为，并且能够实现对个体牛采食的时间进行统计，更有利于对牛的采食相关行为进行分析。
附图说明
27.图1是本发明的流程示意图。
28.图2是本发明的牛个体识别跟踪流程示意图。
29.图3是本发明的牛采食行为识别流程示意图。
30.图4是本发明的牛的个体采食行为跟踪识别流程示意图。
31.图5是本发明的牛个体采食行为跟踪识别结果示意图。
具体实施方式
32.为了加深对本发明的理解，下面将结合实施例对本发明做进一步详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
33.实施例一
34.根据图1所示，本实施例提出了基于yolov5的牛的个体采食行为跟踪方法，包括以下步骤：
35.步骤一、牛脸部图像数据采集
36.通过2d摄像头采集牛的脸部视频数据，采集采食状态下牛的脸部视频数据，然后以该视频数据为基准，通过帧提取得到牛的脸部图像数据；
37.步骤二、牛觅食图像数据采集
38.通过2d摄像头采集牛的脸部视频数据，再采集觅食状态下牛的视频数据，然后以该视频数据为基准，通过帧提取得到牛的觅食状态图像数据，具体的牛的觅食状态分为采食状态和非采食状态，从而更精确的识别牛的采食行为，接着对于牛采食行，其具体定义为：
39.牛的食槽(喂食用)上方横放有一根栏杆，当牛的头部低于栏杆时，牛处于觅食状态，牛的嘴部接触到饲料时的状态定义为采食状态，其他状态为非采食状态；
40.步骤三、图像数据处理
41.人工将步骤一和步骤二中获得的脸部图像数据信息及觅食状态图像数据信息进行对应的标注，并进行裁剪和变换操作，使其满足yolov5网络的输入格式要求，之后再分别按照比例分为训练集数据和测试集数据，该训练集数据和测试集数据的比例为8:2，同时训练集数据和测试集数据无重叠，因视频数据整体较长，其转换为图像数据会更多，继而完全将所有转换的图像数据进行计算，效率低，因而从脸部图像数据信息及觅食状态图像数据信息中分别截取部分图像数据信息，作为基准；
42.步骤四、建立个体识别跟踪模型
43.先将与脸部图像数据对应的训练集数据输入yolov5网络，进行牛脸识别网络模型训练，训练好后，再将与脸部图像数据对应的测试集数据输入训练后的牛脸识别网络模型，测试完成后输出结果，得到牛的个体识别跟踪模型；
44.步骤五、建立采食行为识别模型
45.再将与觅食状态图像数据对应的训练集数据输入yolov5网络，进行牛觅食行为识别网络模型训练，训练好后，再将与觅食状态图像数据对应的测试集数据输入训练后的牛觅食行为识别网络模型，测试完成后输出结果，得到牛的采食行为识别模型；
46.步骤六、牛个体采食行为跟踪识别
47.将步骤四中获得的牛的个体识别跟踪模型与步骤五中获得的牛的采食行为识别模型相结合，通过牛的个体识别跟踪模型识别牛的个体信息以及实时跟踪，通过牛的采食行为识别模型识别牛的采食行为，并对牛的个体采食时间进行统计分析，以此建立牛的个体采食行为跟踪识别模型，继而进行牛个体采食行为跟踪识别，其中，通过分辨牛的脸部特征对牛的个体身份进行识别，同时以天为单位，对每头牛每次采食时长和每天采食总时长进行统计，为牛的精细化养殖提供数据支撑。
48.实施例二
49.根据图2所示，本实施例提出了基于yolov5的牛的个体采食行为跟踪方法，包括以下步骤：
50.步骤一：使用不间断供电的、带本地存储卡的影像采集设备进行视频数据采集，将
其放置在牛食槽正对面，摄像范围涵盖2个牛圈，共6头牛，一天24小时不间断获取牛进食期间的视频数据，连续采集7天；
51.步骤二：对采集到的视频进行初步筛选，使用vsplayer视频剪辑软件按帧提取出牛脸图像，并按jpeg图片格式保存在牛脸影像图片文件夹中，共4000张；
52.步骤三：使用lableimg图像标注工具对s2所得牛脸图像进行处理，在图片加载成功后，再在图像上绘制矩形框，绘制结束后，通过人工识别该牛脸的身份信息，选择要标记的类别，一共6个类别，依次为cow1到cow6，最后点击ok，再进行保存，依次对后续图像进行处理，所有图像标注完成后点击转换为yolo格式的存储标签，该存储标签的数据信息为类别、标注目标框的中心像素在图片的位置以及标注框的大小；
53.步骤四：将标注好的4000张牛脸图像按8:2的比例随机分为训练集和测试集，其中训练集共有3200张图片，测试集共有800张图片，且训练集与测试集图片无重叠；
54.步骤五：根据yolov5自带的requirement.txt文件依次安装各种库文件，搭建yolov5所需的python环境；
55.步骤六：将步骤四中所得的训练集输入到yolov5的python脚本中进行牛个体识别跟踪模型的训练；
56.步骤七：将步骤四中所得的验证集输入到训练好的模型中，对该模型进行验证，并输出验证结果，得到最终的牛个体识别跟踪模型。
57.实施例三
58.根据图3所示，本实施例提出了基于yolov5的牛的个体采食行为跟踪方法，包括以下步骤：
59.步骤一：使用不间断供电的、带本地存储卡的影像采集设备进行视频数据采集，将其放置在牛食槽正对面，摄像范围涵盖2个牛圈，共6头牛，一天24小时不间断获取牛进食期间的视频数据，连续采集7天；
60.步骤二：对采集到的视频进行初步筛选，使用vsplayer视频剪辑软件按帧提取出牛觅食状态图像，并按jpeg图片格式保存在牛脸影像图片文件夹中，共4000张；
61.步骤三：使用lableimg图像标注工具对s2所得牛觅食状态图像进行处理，在图片加载成功后，再在图像上绘制矩形框，绘制结束后，通过人工识别该牛脸的身份信息，选择要标记的类别，一共3个类别，非觅食状态、采食状态和非采食状态，最后进行保存，之后，依次对后续图像进行处理，当所有图像标注完成后点击转换为yolo格式的存储标签，该存储标签的数据信息依次为类别、标注目标的框的中心像素在图片的位置以及标注框的大小；
62.步骤四：将标注好的4000张牛进食图像按8:2的比例随机分为训练集和测试集，其中训练集共有3200张图片，测试集共有800张图片，且训练集与测试集图片无重叠。
63.步骤五：根据yolov5自带的requirement.txt文件依次安装各种库文件，搭建yolov5所需的python环境。
64.步骤六：将训练集输入到yolov5的python脚本中进行牛个体采食监测模型的训练；
65.步骤七：将验证集输入到训练好的模型中，对该模型进行验证，并输出验证结果，得到最终的牛个体采食监测模型。
66.实施例四
67.根据图4－图5所示，本实施例提出了基于yolov5的牛的个体采食行为跟踪方法，步骤如实施例一中一致，在本实施例中，将牛的监控视频数据首先输入到建立好的牛个体识别跟踪模型中，对每头牛进行身份识别与行为跟踪，再对其进行采食行为的监测，将每头牛每天的采食量、每次采食时长以及总的采食时长进行统计输出，具体的牛的采食行为检测性能指标极好，两个牛圈的accuracy(准确率)分别为99.83％和99.69％，precision(精确度)分别为99.85％和99.67％，recall(召回率)分别为99.81％和99.69，f1 score(f1分数)分别为99.83％和99.68％。
68.以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：
1.基于yolov5的牛的个体采食行为跟踪方法，其特征在于：包括以下步骤：步骤一、牛脸部图像数据采集采集采食状态下牛的脸部视频数据，然后以该视频数据为基准，通过帧提取得到牛的脸部图像数据；步骤二、牛觅食图像数据采集再采集觅食状态下牛的视频数据，然后以该视频数据为基准，通过帧提取得到牛的觅食状态图像数据；步骤三、图像数据处理人工将步骤一和步骤二中获得的脸部图像数据信息及觅食状态图像数据信息进行对应的标注，并进行裁剪和变换操作，使其满足yolov5网络的输入格式要求，之后再分别按照比例分为训练集数据和测试集数据；步骤四、建立个体识别跟踪模型先将与脸部图像数据对应的训练集数据输入yolov5网络，进行牛脸识别网络模型训练，训练好后，再将与脸部图像数据对应的测试集数据输入训练后的牛脸识别网络模型，测试完成后输出结果，得到牛的个体识别跟踪模型；步骤五、建立采食行为识别模型再将与觅食状态图像数据对应的训练集数据输入yolov5网络，进行牛觅食行为识别网络模型训练，训练好后，再将与觅食状态图像数据对应的测试集数据输入训练后的牛觅食行为识别网络模型，测试完成后输出结果，得到牛的采食行为识别模型；步骤六、牛个体采食行为跟踪识别将步骤四中获得的牛的个体识别跟踪模型与步骤五中获得的牛的采食行为识别模型相结合，通过牛的个体识别跟踪模型识别牛的个体信息以及实时跟踪，通过牛的采食行为识别模型识别牛的采食行为，并对牛的个体采食时间进行统计分析，以此建立牛的个体采食行为跟踪识别模型，继而进行牛个体采食行为跟踪识别。2.根据权利要求1所述的基于yolov5的牛的个体采食行为跟踪方法，其特征在于：所述步骤一和步骤二中，通过2d摄像头采集牛的脸部视频数据。3.根据权利要求1所述的基于yolov5的牛的个体采食行为跟踪方法，其特征在于：所述步骤二中，牛的觅食状态分为采食状态和非采食状态。4.根据权利要求1所述的基于yolov5的牛的个体采食行为跟踪方法，其特征在于：所述步骤二中，牛采食行为具体定义为：牛的食槽上方横放有一根栏杆，当牛的头部低于栏杆时，牛处于觅食状态，牛的嘴部接触到饲料时的状态定义为采食状态，其他状态为非采食状态。5.根据权利要求1所述的基于yolov5的牛的个体采食行为跟踪方法，其特征在于：所述步骤三中，从脸部图像数据信息及觅食状态图像数据信息中分别截取部分图像数据信息，作为基准。6.根据权利要求1所述的基于yolov5的牛的个体采食行为跟踪方法，其特征在于：所述步骤三中，训练集数据和测试集数据的比例为8:2，所述训练集数据和测试集数据无重叠。7.根据权利要求1所述的基于yolov5的牛的个体采食行为跟踪方法，其特征在于：所述步骤六中，通过分辨牛的脸部特征对牛的个体身份进行识别。
8.根据权利要求1所述的基于yolov5的牛的个体采食行为跟踪方法，其特征在于：所述步骤六中，以天为单位，对每头牛每次采食时长和每天采食总时长进行统计，为牛的精细化养殖提供数据支撑。

技术总结
本发明提出基于YOLOv5的牛的个体采食行为跟踪方法，包括牛脸部图像数据采集、牛觅食图像数据采集、图像数据处理、建立个体识别跟踪模型、建立采食行为识别模型以及牛个体采食行为跟踪识别六个步骤，本发明通过分辨牛脸对牛的个体身份信息进行识别，是一种无接触式的识别方式，同时牛脸识别视角与采食行为识别视角相同，有利于在采食状态下对牛进行个体识别与跟踪，解决现有技术中不能有效的识别牛的身份信息以及个体跟踪的问题，本发明识别过程简单，识别准确率高，再通过将牛的觅食状态细分为采食状态和非采食状态，能更精确的识别牛的采食行为，并且能够实现对个体牛采食的时间进行统计，更有利于对牛的采食相关行为进行分析。析。析。


技术研发人员：彭英琦 彭昭元 吴奕奇 刘嵋 阳宇翔
受保护的技术使用者：四川农业大学
技术研发日：2023.05.19
技术公布日：2023/8/16