基于图像识别的猪仔健康状况监控方法、系统与流程

1.本发明涉及一种基于图像识别的猪仔健康状况监控方法、系统。


背景技术：

2.仔猪先天性震颤病是仔猪出生后不久，表现为全身性或局部性阵发性痉挛的一种病，俗称“抖抖病”或“跳跳病”，是由先天性震颤病毒引起的一种传染病，仅见于新生仔猪，一般是由母猪经胎盘传播给仔猪的。由于“抖抖病”致死率很高，如果没有及时进行干预，会导致猪仔死亡。然而，现有技术中并没有自动化监控“抖抖病”的监控方法或系统。


技术实现要素：

3.本发明提供了一种基于图像识别的猪仔健康状况监控方法、系统，可以有效解决上述问题。
4.本发明是这样实现的：
5.本发明提供一种基于图像识别的猪仔健康状况监控方法，包括：
6.s21，在养殖栏位设置摄像头，所述摄像头用于获取养殖栏位中猪仔图片；
7.s22，识别所述摄像头中视频片段中的所有帧，输出所有帧中每一猪仔的骨骼关节点；
8.s23，判断每一猪仔的骨骼关节点中首骨骼关节点、肩骨骼关节点和臀骨骼关节点中至少两个骨骼关节点是否产生横向摆动，是则进行预警。
9.本发明进一步提供一种基于图像识别的猪仔健康状况监控系统，包括：
10.摄像头，设置在养殖栏位上，所述摄像头用于获取养殖栏位中猪仔图片；
11.识别单元，用于识别所述摄像头中视频片段中的所有帧，输出所有帧中每一猪仔的骨骼关节点；
12.判断单元，判断每一猪仔的骨骼关节点中首骨骼关节点、肩骨骼关节点和臀骨骼关节点中至少两个骨骼关节点是否产生横向摆动；
13.预警单元，用于进行预警。
14.本发明的有益效果是：本发明提供的基于图像识别的猪仔健康状况监控方法、系统，通过对所述帧中每一猪仔的骨骼关节点极性提取及识别，并判断每一猪仔的骨骼关节点中首骨骼关节点、肩骨骼关节点和臀骨骼关节点中至少两个骨骼关节点是否产生横向摆动，从而判断该猪仔的是否有产生“抖抖病”的风险，进而进行预警，从而可以实现无人值守的猪仔“抖抖病”的自动化识别及预警。本发明只能对“抖抖病”的风险进行预警，而无法对“抖抖病”进行诊断。
附图说明
15.为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作
是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
16.图1是本发明实施例提供的基于图像识别的猪仔挤压识别方法的流程图。
17.图2是本发明实施例提供的基于图像识别的猪仔挤压识别方法中输出的猪仔的骨骼关节点的示意图。
18.图3是本发明实施例提供的基于图像识别的猪仔健康状况监控方法的流程图。
19.图4是本发明实施例另一提供的基于图像识别的猪仔健康状况监控方法的流程图。
具体实施方式
20.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
21.参照图1所示，本发明实施例提供一种基于图像识别的猪仔挤压识别方法，包括：
22.s11，在养殖栏位设置摄像头，所述摄像头用于获取养殖栏位中猪仔图片；
23.s12，识别所述摄像头中视频片段中的所有帧，输出所有帧中每一猪仔的骨骼关节点；
24.s13，判断每一猪仔的骨骼关节点中首骨骼关节点是否被遮挡第一预定时长，是则进行预警。
25.在步骤s11中作为进一步改进的，所述摄像头可以移动或固定设置在养殖栏位的顶部，从而可以获得良好的视觉效果，不会被遮挡。在其他实施例中，所述摄像头可以在驱动电机的带动下沿所述养殖栏位的长度方向移动，且每一养殖栏位至少设置一个摄像头，从而可以对该养殖栏位进行24小时不间断的监控。优选的，在其他实施例中，所述摄像头主要重点用于获取在喂养过程中每一养殖栏位中猪仔图片。这是由于，在喂养过程中，由于猪仔抢食引起相互挤压较为严重，且致死率较高。此时，可以控制所述摄像头沿所述养殖栏位的长度方向移动，从而全方位获取各头猪仔的照片。
26.请参见图2所示，在步骤s12中，所述识别所述摄像头中视频片段中的所有帧，输出所有帧中每一猪仔的骨骼关节点的具体步骤包括：
27.利用openpose姿态识别算法，获取视频片段中的所有帧，输出所有帧的猪仔骨骼的7个关节点，其包括：首、肩、左前足肘、右前足肘、臀、左后足肘、右后足肘。所述openpose姿态识别算法可以对被遮挡的局部关节点的位置进行预测。进一步的，还可以通过posetrack姿态追踪算法，对猪仔姿态进行跟踪。
28.作为进一步改进的，在其他实施例中，为了降低计算量，在步骤s2中，所述识别所述摄像头中视频片段中的所有帧，输出所有帧中每一猪仔的骨骼关节点的具体步骤包括：
29.利用openpose姿态识别算法，获取视频片段中的所有帧，输出所有帧的猪仔骨骼的3个关节点，其包括：首、肩、臀。这是由于本发明中，仅仅考虑首骨骼关节点是否被挤压产生的窒息风险，这是致死率最高的！而其他关节点被挤压产生的致死率较低，可以忽略。因此，只考虑这三个关节点，可以大大的降低运算量。
30.作为进一步改进的，在其他实施例中，在步骤s13中，所述被遮挡预定时长可以根据实际需要设置，例如，可以是1～5分钟，在其他实施例中，所述被遮挡预定时长为3分钟。
31.作为进一步改进的，在其他实施例中，所述判断每一猪仔的骨骼关节点中首骨骼关节点是否被遮挡预定时长，是则进行预警的步骤包括：
32.当每一猪仔的骨骼关节点中首骨骼关节点被遮挡第一预定时长，且臀骨骼关节点产生横向剧烈摆动，则进行预警。这是由于如果猪仔的头部被挤压，这时，其臀部会产生剧烈的摇摆(拉扯)，因此，可以通过进一步判断是否产生横向剧烈摆动(相对于肩骨骼关节点到臀骨骼关节点的连线)。
33.作为进一步改进的，在其他实施例中，定义肩骨骼关节点到臀骨骼关节点的距离为d，且所述剧烈摆动的幅度为d，其中，d≧1/2d。即，将横向摆动的幅度大于其两个关节距离的一般时，定义为剧烈摆动。
34.在步骤s13中，进行预警的步骤包括：将对应栏位的信息发送给管理人员，进行人工干预。此时，管理人员接收到对应的栏位信息后，可进入养殖场进行人工干预，防止猪仔因为挤压死亡。
35.作为进一步改进的，在其他实施例中，所述判断每一猪仔的骨骼关节点中首骨骼关节点是否被遮挡第二预定时长，是则进行预警的步骤包括：
36.当所有的骨骼关节点中的至少80％被遮挡第一预定时长(例如，包括首骨骼关节点中的6个关节点)，是则进行预警。这时可以判断应该是整只猪仔被压在下面。
37.作为进一步改进的，在其他实施例中，还可以进一步包括：
38.获取声音信息，判断每一猪仔的骨骼关节点中首骨骼关节点被遮挡第一预定时长内是否有异常声音信息，是则进行预警。换言之，本案中除了视频识别模块以外，还可以进一步使用声音识别模块，在首骨骼关节点被遮挡第一预定时长内，通过分析是否有异常尖叫的猪仔声音，从而进行挤压识别。
39.本发明实施例进一步提供一种基于图像识别的猪仔挤压识别系统，包括：
40.摄像头，设置在养殖栏位上，所述摄像头用于获取养殖栏位中猪仔图片；
41.识别单元，用于识别所述摄像头中视频片段中的所有帧，输出所有帧中每一猪仔的骨骼关节点；
42.判断单元，用判断每一猪仔的骨骼关节点中首骨骼关节点是否被遮挡第一预定时长；
43.预警单元，用于进行预警。
44.参照图3所示，本发明实施例提供一种基于图像识别的猪仔健康状况监控方法，包括：
45.s21，在养殖栏位设置摄像头，所述摄像头用于获取养殖栏位中猪仔图片；
46.s22，识别所述摄像头中视频片段中的所有帧，输出所有帧中每一猪仔的骨骼关节点；
47.s23，判断每一猪仔的骨骼关节点中首骨骼关节点、肩骨骼关节点和臀骨骼关节点中至少两个骨骼关节点是否产生横向摆动，是则进行预警。
48.在步骤s23中，所述判断每一猪仔的骨骼关节点中首骨骼关节点、肩骨骼关节点和臀骨骼关节点中至少两个骨骼关节点是否产生横向摆动的步骤包括：
49.判断每一猪仔的骨骼关节点中首骨骼关节点、肩骨骼关节点和臀骨骼关节点中至少两个骨骼关节点产生横向往复摆动的频率是否超过设定值，是则进行预警。猪仔刚出生会产生站立不稳的情形，但是，站立不稳的情形，其首骨骼关节点、肩骨骼关节点和臀骨骼关节点中至少两个骨骼关节点产生横向往复摆动的频率很低。而如果是受冷或具有先天抖抖病等症状，其首骨骼关节点、肩骨骼关节点和臀骨骼关节点中至少两个骨骼关节点产生横向往复摆动的频率一般较高，每秒可以达到1-5次以上的往复摆动。故，在其中一个实施例中，判断每一猪仔的骨骼关节点中首骨骼关节点、肩骨骼关节点和臀骨骼关节点中至少两个骨骼关节点产生横向往复摆动的频率是否超过2次/秒的设定值，是则进行预警，并进行人工干预。
50.作为进一步改进的，在其他实施例中，还可以进一步包括；
51.s24,获取该栏位中，产生横向摆动的猪仔的总数量与猪仔的总数量的比值，当比值高于预设值时，判断为母猪传染，当比值低于预设值时，判断为受风着凉。
52.参照图4所示，所述基于图像识别的猪仔健康状况监控方法或基于图像识别的猪仔挤压识别方法，还可以进一步包括以下步骤：
53.s31，获取多张猪仔粪便图形；
54.s32，将所述猪仔粪便图形按照“正常”、“红痢粪便”、“黄痢粪便”、“白痢粪便”进行标注，并进行大数据的训练；
55.s33，输出基于猪仔粪便的图像识别模型；
56.s34，对养殖场中的猪仔即时粪便图像进行实时采集，并根据所述图像识别模型，判断所述即时粪便图像是否正常。
57.在步骤s31中，所述猪仔粪便图形可以通过各地饲养的过程中采集具体猪仔粪便图形获得。这是由于，全国各地的饲养地饲养猪仔的品种、食物以及饲养习惯完全不同，如果采用统一的标准图片，可能会导致后期的识别不准确。
58.作为进一步改进的，所述获取多张猪仔粪便图形的可以通过深度摄像机获取。在其中一个实施例中个，可采用kinect深度摄像机，所述kinect深度摄像机采用的是红外线发射器、彩色rgb摄像头、红外cmos摄像机构成的3d结构光深度感应器。所述红外发射器主动投射经调制的近红外光线，红外光线照到视野里的物体上就会发生反射，红外相机接收反射回来的红外线，采用tof技术测量深度，计算光的时间差，根据可得物体的深度，进而获得猪仔粪便的深度图像。之所以采用深度摄像机获取，这是由于正常的猪仔粪便都是松散结团状的结构，需要通过深度摄像机获取其深度结构；而生病的猪仔的粪便，都是稀状或糊状(平面状结构)，难以获得其深度结构，因此可以快速的进行分辨及训练，大大的提高训练的效率。
59.在步骤s32中，所述将猪仔粪便图形按照“正常”、“红痢粪便”、“黄痢粪便”、“白痢粪便”进行标注的步骤，主要由人工进行。作为进一步改进的，在其中一个实施例中，在标注的过程中，将不同痢病下的拉稀或糊状对应标注为“非正常-红痢粪便”、“非正常-黄痢粪
便”、“非正常-白痢粪便”；而团状标注为“正常”。
60.将所述猪仔粪便图形在大数据处理单元中进行大数据训练。在本实施例中利用的halcon软件进行处理，halcon软件的优点在于其支持2d和3d图像采集设备数量的5倍，提供更高的位深度图像处理。在其中一个实施例中，调用halcon中的预训练网络：pretrained_dl_classifier_compact.hdl。在本实施例中上述的图像共采集到114张图像，其中“normal”图像57张，“innormal-red dysentery”图像15张,“innormal-yellow dysentery”图像18张,“innormal-white dysentery”图像24张。将“normal”、“innormal-red dysentery”、“innormal-yellow dysentery”、“innormal-white dysentery”分类的图像按照标注类别分别存放在同一目中的“normal”和“innormal-red dysentery”、“innormal-yellow dysentery”、“innormal-white dysentery”文件夹，用read_dl_classifier_data_set直接读取对应数据集即可获得文件及图像所述的类别标签。
61.大数据训练结束后，输出基于猪仔粪便的图像识别模型。
62.作为进一步改进的，在步骤s33中，在输出基于猪仔粪便的图像识别模型前还进一步包括：
63.对所述基于猪仔粪便的图像识别模型进行验证的步骤。即，通过输入不同的粪便图像，对所述基于猪仔粪便的图像识别模型进行验证。试验表明，本发明实施例提供的基于猪仔粪便的图像识别模型，对“normal”和“innormal-red dysentery”、“innormal-yellow dysentery”、“innormal-white dysentery”的猪仔粪便，即，拉稀或糊状与团状的识别准确度可以达到97％以上。而，对于“innormal-red dysentery”、“innormal-yellow dysentery”、“innormal-white dysentery”三种类型的图片的识别率仅仅可以达到85％左右，这可能是由于猪舍的环境较差导致识别率不高。
64.在步骤s34中，通过深度摄像机实时采集猪仔的即时粪便图像，并输入到所述图像识别模型进行识别。如果所述即时粪便图像为正常，即“normal”，则继续识别。
65.在其中一个实施例中，如果其中一个栏位内的识别的图像被标注为“innormal-red dysentery”、“innormal-yellow dysentery”、“innormal-white dysentery”之一时，则，可进一步包括：
66.获取该栏位内单位时间内的所有即时粪便图像，判断被标注为“innormal-red dysentery”、“innormal-yellow dysentery”、“innormal-white dysentery”的即时粪便图像频次，当所述被标注为“innormal-red dysentery”、“innormal-yellow dysentery”、“innormal-white dysentery”的即时粪便图像的频次超过设定值时，进行报警。在其中一个实施例中，一个小时内，所述被标注为“innormal-red dysentery”、“innormal-yellow dysentery”、“innormal-white dysentery”的即时粪便图像的频次超过5次时报警。所述单位时间内一般以小时计，在此不再累述。
67.当其中一个栏位的猪仔的被判断为“innormal-red dysentery”、“innormal-yellow dysentery”、“innormal-white dysentery”之一时，还可以进一步包括：
68.s35，获取周围栏位的猪仔的即时粪便图像，并根据图像识别模型，判断所述周围栏位的猪仔的即时粪便图像是否正常。可以理解，通过步骤s5的判断，可以大致预测产生“innormal-red dysentery”、“innormal-yellow dysentery”、“innormal-white dysentery”的猪仔是否会产生传染或已经产生传染，从而进行及时隔离。所述周围栏位可
以是前后左右的各个栏位。
69.更以进一步的，当其中一个栏位的猪仔的被判断为“innormal-red dysentery”、“innormal-yellow dysentery”、“innormal-white dysentery”时，还可以进一步包括：
70.s36，对周围栏位的猪仔的即时粪便图像进行重点监控，并根据图像识别模型，判断所述周围栏位的猪仔的即时粪便图像是否正常。所述重点监控的时间不限，可以根据实际需要选择。
71.在步骤s34中，如果即时粪便图像无法被识别为“normal”、“innormal-red dysentery”、“innormal-yellow dysentery”、“innormal-white dysentery”中的任意一种，则被识别为“other”。
72.作为进一步改进的，当其中一个栏位的猪仔的即时粪便图像被判断为“normal”和“innormal-red dysentery”、“innormal-yellow dysentery”、“innormal-white dysentery”以外的“other”时，还可以进一步包括：
73.s37，获取该栏位内单位时间内被识别为“other”的即时粪便图像占所有图像的比例，当被识别为“other”的即时粪便图像占比超过设定值时，进行预警。这是由于，当无法识别的即时粪便图像占比超过设定值时，可能是饮食或其他环境导致猪仔身体状况产生异常，因此，也需要进行提前预警。
74.在其他实施例中，当进行人工干预后，还可以进一步包括：
75.s38，获取该栏位内单位时间内的所有即时粪便图像，判断被标注为“innormal-red dysentery”、“innormal-yellow dysentery”、“innormal-white dysentery”的即时粪便图像频次是否增加还是降低，从而判断人工干预的有效性。
76.本发明实施例提供一种基于图像识别的猪仔健康状况监控系统，包括：
77.摄像头，设置在养殖栏位上，所述摄像头用于获取养殖栏位中猪仔图片；
78.识别单元，用于识别所述摄像头中视频片段中的所有帧，输出所有帧中每一猪仔的骨骼关节点；
79.判断单元，判断每一猪仔的骨骼关节点中首骨骼关节点、肩骨骼关节点和臀骨骼关节点中至少两个骨骼关节点是否产生横向摆动；
80.预警单元，用于进行预警。
81.以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于图像识别的猪仔健康状况监控方法，其特征在于，包括：s21，在养殖栏位设置摄像头，所述摄像头用于获取养殖栏位中猪仔图片；s22，识别所述摄像头中视频片段中的所有帧，输出所有帧中每一猪仔的骨骼关节点；s23，判断每一猪仔的骨骼关节点中首骨骼关节点、肩骨骼关节点和臀骨骼关节点中至少两个骨骼关节点是否产生横向摆动，是则进行预警。2.如权利要求1所述的基于图像识别的猪仔健康状况监控方法，其特征在于，在步骤s22中，所述识别所述摄像头中视频片段中的所有帧，输出所有帧中每一猪仔的骨骼关节点的具体步骤包括：利用openpose姿态识别算法，获取视频片段中的所有帧，输出所有帧的猪仔骨骼的7个关节点，其包括：首、肩、左前足肘、右前足肘、臀、左后足肘、右后足肘。3.如权利要求1所述的基于图像识别的猪仔健康状况监控方法，其特征在于，在步骤s21中，在养殖栏位的顶部固设摄像头。4.如权利要求2所述的基于图像识别的猪仔健康状况监控方法，其特征在于，在步骤s23中，所述判断每一猪仔的骨骼关节点中首骨骼关节点、肩骨骼关节点和臀骨骼关节点中至少两个骨骼关节点是否产生横向摆动的步骤包括：判断每一猪仔的骨骼关节点中首骨骼关节点、肩骨骼关节点和臀骨骼关节点中至少两个骨骼关节点产生横向往复摆动的频率是否超过设定值，是则进行预警。5.如权利要求4所述的基于图像识别的猪仔健康状况监控方法，其特征在于，所述横向往复摆动的频率为每秒达到1-5次。6.如权利要求1所述的基于图像识别的猪仔健康状况监控方法，其特征在于，所述监控方法进一步包括以下步骤：s34，对养殖场中的猪仔即时粪便图像进行实时采集，并根据猪仔粪便的图像识别模型，判断所述即时粪便图像是否正常。7.一种基于图像识别的猪仔健康状况监控系统，其特征在于，包括：摄像头，设置在养殖栏位上，所述摄像头用于获取养殖栏位中猪仔图片；识别单元，用于识别所述摄像头中视频片段中的所有帧，输出所有帧中每一猪仔的骨骼关节点；判断单元，判断每一猪仔的骨骼关节点中首骨骼关节点、肩骨骼关节点和臀骨骼关节点中至少两个骨骼关节点是否产生横向摆动；预警单元，用于进行预警。

技术总结
本发明提供了一种基于图像识别的猪仔健康状况监控方法方法及系统。所述方法，包括：S21，在养殖栏位设置摄像头，所述摄像头用于获取养殖栏位中猪仔图片；S22，识别所述摄像头中视频片段中的所有帧，输出所有帧中每一猪仔的骨骼关节点；S23，判断每一猪仔的骨骼关节点中首骨骼关节点、肩骨骼关节点和臀骨骼关节点中至少两个骨骼关节点是否产生横向摆动，是则进行预警。本发明通过对所述帧中每一猪仔的骨骼关节点极性提取及识别，并判断每一猪仔的骨骼关节点中首骨骼关节点、肩骨骼关节点和臀骨骼关节点中至少两个骨骼关节点是否产生横向摆动，从而判断该猪仔的是否有产生“抖抖病”的风险，进而进行预警。进而进行预警。进而进行预警。


技术研发人员：薛素金 刘宗宁 林立群
受保护的技术使用者：厦门农芯数字科技有限公司
技术研发日：2023.05.12
技术公布日：2023/9/12