一种用于标准化笼养鸡舍的病死鸡识别方法

1.本发明属于病死鸡识别技术领域，涉及一种用于标准化笼养鸡舍的病死鸡识别方法。


背景技术：

2.在肉鸡养殖业中，还有很多亟待解决的问题，据调查，在中国五万只以上的大规模肉鸡养鸡场中，肉鸡的平均死亡率为10％左右，而现在大多数的养鸡场依然在依靠人眼和经验对鸡的状态进行判断，这种操作需要养殖人员经常性地去巡视鸡舍，这不但会使得鸡舍内大量尘埃被吸入工人的身体，造成工人的身体损害，还可能出现遗漏现象，因此家禽养殖业由于恶劣的劳动环境和较高的劳动强度，导致劳动力成本居高不下。同时，鸡的发病具有群体效应，如果鸡舍中的病死鸡不能及时识别并检出，会在鸡群中迅速扩散，导致大面积生病的现象，不仅造成经济损失也会带来食品安全等公共卫生问题。为了能够解决以上问题，需要开发一款能够高精度高效率的用于标准化笼养鸡舍的病死鸡识别方法。
3.目前国内对于专门化的用于标准化笼养鸡舍的病死鸡识别方法研究较少，还处于初步探索阶段。名称为“基于机器人的笼养蛋鸡健康行为监测系统”(申请号201621224630.8)的中国实用新型专利，公开了一种基于机器人的笼养蛋鸡健康行为监测系统，该系统通过敲打鸡笼，促使鸡站立，借助统计鸡的腿部特征的方法来判断鸡是否有病、死现象，这种方式很不可取。敲击每个鸡笼势必会惊扰到所有鸡，不利于鸡的进食和成长。名称为“笼养鸡智能巡检系统及其巡检机器人的巡航控制方法”(申请号201910350606.0)的中国发明专利，公开了一种笼养鸡的智能巡检系统，该系统使用热成像摄像头采集整个鸡笼的红外热像图来判断鸡的体温，但判断方式采用整个鸡笼平均温度的方式来判断，并没有对单个鸡逐一进行检测，很有可能产生误报反而降低了效率，产生不必要的人工劳动。


技术实现要素：

4.针对笼养鸡舍当中病死鸡识别准确率低、人工成本过高等问题，本发明的目的是提供一种用于标准化笼养鸡舍的病死鸡识别方法。
5.为了实现上述目的，本发明提供了如下技术方案：
6.一种用于标准化笼养鸡舍的病死鸡识别方法，包括如下步骤：
7.s0、双目可见光相机和热红外相机的时间同步；
8.使用机器人操作系统ros对标准化笼养鸡舍巡检机器人上搭载的双目可见光相机和热红外相机获取的双目可见光图像和热红外图像进行发布，其中双目可见光相机以10hz的频率进行发布，热红外相机以5hz的频率进行发布，同时基于机器人操作系统ros的时钟对发布的图像添加一个时间标签；根据该时间标签，采用话题阻塞等待的方式，进行软件时序同步，只当双目可见光图像和热红外图像的任意两张图像的时间差值均小于100ms时，当前的三张图像为一个同步图像对，并进行保存；
9.s1、双目可见光相机和热红外相机的配准；
10.标准化笼养鸡舍巡检机器人到达巡检路线上的各巡检点后，对双目可见光相机和热红外相机进行配准，获得可见光图像和热红外图像的单应变换矩阵；
11.s2、利用双目可见光相机和yolox网络探测每只鸡的运动状态，将其作为第一病死鸡判断决策因素；
12.完成相机配准后，使用双目可见光相机实时获取鸡的原始rgb图像，利用现有已训练好的yolox网络，以鸡头为标注目标，得到每只鸡在当前时刻rgb图像当中的位置坐标，将每只鸡预测框当中鸡头的目标特征作为模板进行匹配跟踪，得到每只鸡在下一时刻rgb图像当中的位置坐标；通过坐标相减，检测每只鸡是否运动，并将其作为第一病死鸡判断决策因素；如果某只鸡不运动，则判断该鸡为异常状态；否则判断该鸡为正常状态；
13.s3、根据步骤s2获取的每只鸡在前时刻rgb图像当中的位置坐标结合当前时刻热红外图像，获得每只鸡的平均温度，将其作为第二病死鸡判断决策因素；
14.根据步骤s2获得的每只鸡在当前时刻rgb图像当中的位置坐标和步骤s1得到的单应变换矩阵，计算获得每只鸡在热红外图像当中的位置坐标；根据每只鸡在热红外图像中的位置坐标，利用红外热像图计算每只鸡的平均温度，并将其作为第二病死鸡判断决策因素；如果某只鸡的平均温度低于30度或高于45度，则判断该鸡为异常状态；否则判断该鸡为正常状态；
15.s4、综合第一病死鸡判断决策因素和第二病死鸡判断决策因素判断鸡的健康状态，并输出最终结果；
16.如果该只鸡的第一病死鸡判断决策因素和第二病死鸡判断决策因素均为异常状态，则判断该只鸡为病死鸡；否则，判断该只鸡为健康鸡。
17.所述步骤s1具体包括如下步骤：
18.s1.1、拍摄多张可见光图像和热红外图像，通过张正友相机标定法对相机进行标定，获取双目左相机的内参矩阵m1、双目右相机的内参矩阵m2、热红外相机的内参m
thermal
，双目左右相机之间的旋转矩阵r、双目左右相机之间的平移矩阵t，热红外相机相对于双目左相机的旋转矩阵r
thermal
和热红外相机相对于双目可见光相机的平移矩阵t
thermmal
；
19.s1.2、利用orb特征点检测方法对可见光图像进行特征点提取，分别得到特征点在双目左相机坐标系下的坐标coordinates
left
和特征点在双目右相机坐标系下的坐标coordinates
rig
；
20.s1.3、基于双目相机左、右相机与世界坐标系的关系(公式1和公式2)，代入步骤s1.1得到的双目左相机的内参矩阵m1、双目右相机的内参矩阵m2、双目左右相机之间的旋转矩阵r、双目左右相机之间的平移矩阵t，代入步骤s1.2提取到的特征点，进行投影获取每个特征点在世界坐标系下的坐标点coordinates
world
：
[0021][0022][0023]
公式1和公式2中，s1和s2为非零尺度因子，i为单位矩阵，m1为双目左相机的内参矩阵；m2为双目右相机的内参矩阵；r为双目左右相机之间的旋转矩阵；t为双目左右相机之间的平移矩阵；
[0024]
s1.4、根据步骤s1.1获取的热红外相机的内参矩阵m
thermal
、热红外相机相对于双目左相机的旋转矩阵r
thermal
，热红外相机相对于双目可见光相机的平移矩阵t
thermmal
，将步骤s1.3获取的世界坐标系下的特征点坐标coordinates
world
，进行反投影，获得特征点在热红外坐标系下的坐标coordinates
thermal
；
[0025][0026]
公式3中，s是非零尺度因子；
[0027]
s1.5、根据步骤s1.2获取的特征点在双目左相机坐标系下的坐标coordinates
left
以及步骤s1.4获取的特征点在热红外坐标系下的坐标coordinates
thermal
，基于公式4求取可见光图像和热红外图像的单应变换矩阵h；
[0028][0029]
公式4中，h为可见光图像和热红外图像的单应变换矩阵；coordinates
the
为特征点在热红外坐标系下的坐标；coordinates
left
为特征点在双目左相机坐标系下的坐标。
[0030]
所述标准化笼养鸡舍巡检机器人包括vlp-16多线激光雷达1、超声波传感器2、机器人底盘3、惯性测量单元4、工控机5、升降台6、相机云台7和内置ros的双目可见光+热红外相机平台8；
[0031]
所述机器人底盘3采用基于两轮差速模型的差速转向结构；vlp-16多线激光雷达1、惯性测量单元4和超声波传感器2分别负责不同传感器信息的数据采集，并将传感器信息发给工控机5；工控机5负责基于传感器信息进行机器人自主定位、建图，并进行导航决策形成与指令下发；升降台6和相机云台7负责相机转向，使得双目可见光+热红外相机平台8能够拍摄到整个鸡笼的画面，双目可见光+热红外相机平台8由双目可见光相机、热红外相机和内置ros系统的工控机组成，对双目可见光+热红外相机进行时间同步。
[0032]
与现有技术相比，本发明的有益效果在于：
[0033]
本发明在进行相机配准前进行时间同步，避免了因时间不同步而导致的配准失败；通过现有yolox模型预测鸡在rgb图像当中的位置；通过前后帧比对，将检测到鸡的运动状态作为第一病死鸡判断决策因素；通过双目可见光相机和热红外相机的配准，实现鸡位置从双目可见光图像到红外热像图的投影，计算识别出的鸡的区域平均温度作为该鸡的温度，将该温度作为第二病死鸡判断决策因素；最后，如果检测结果同时满足第一病死鸡判断决策因素和第二病死鸡判断决策因素时，判断该只鸡属于病死鸡。
附图说明
[0034]
图1为本发明的用于标准化笼养鸡舍的病死鸡识别方法流程图；
[0035]
图2为现有yolox模型结构；
[0036]
图3为本发明进行病死鸡判别流程示意图；
[0037]
图4为本发明实施例采用的巡检机器人的结构示意图；
[0038]
图5为双目相机和红外相机时间同步方法的流程示意图。
[0039]
其中的附图标记为：
[0040]
1vlp-16多线激光雷达
[0041]
2超声波传感器
[0042]
3机器人底盘
[0043]
4惯性测量单元(imu)
[0044]
5工控机
[0045]
6升降台
[0046]
7相机云台
[0047]
8双目可见光+热红外相机平台
具体实施方式
[0048]
下面结合附图和实施例对本发明进行进一步说明。
[0049]
如图1和图3所示，一种用于标准化笼养鸡舍的病死鸡识别方法，包括如下步骤：
[0050]
s0、双目可见光相机和热红外相机的时间同步；
[0051]
鸡运动过程中拍摄热红外图像和可见光图像会由于两个传感器的不同步而导致配准失败；不同传感器采集到的图像会存在时间差，因此需要在进行相机配准前进行时间同步。
[0052]
如图5所示，本发明使用机器人操作系统ros(robot operating system)对标准化笼养鸡舍巡检机器人上搭载的双目可见光相机和热红外相机获取的双目可见光图像和热红外图像进行发布，其中双目可见光相机以10hz的频率进行发布，热红外相机以5hz的频率进行发布，同时基于机器人操作系统ros的时钟对发布的图像添加一个时间标签；根据该时间标签，采用话题阻塞等待的方式，进行软件时序同步，只有当双目可见光图像和热红外图像的任意两张图像的时间差值均小于100ms时，才会认为当前的三张图像为一个同步图像对，并进行保存；
[0053]
s1、双目可见光相机和热红外相机的配准；
[0054]
标准化笼养鸡舍巡检机器人到达巡检路线上的各巡检点后，对双目可见光相机和热红外相机进行配准，具体包括如下步骤：
[0055]
s1.1、拍摄多张可见光图像和热红外图像，通过张正友相机标定法对相机进行标定，获取双目左相机的内参矩阵m1、双目右相机的内参矩阵m2、热红外相机的内参m
thermal
，双目左右相机之间的旋转矩阵r、双目左右相机之间的平移矩阵t，热红外相机相对于双目左相机的旋转矩阵r
therm
和热红外相机相对于双目可见光相机的平移矩阵t
thermmal
；
[0056]
s1.2、利用orb特征点检测方法对可见光图像进行特征点提取，分别得到特征点在双目左相机坐标系下的坐标coordinates
left
和特征点在双目右相机坐标系下的坐标coordinates
right
；
[0057]
s1.3、基于双目相机左、右相机与世界坐标系的关系(公式1和公式2)，代入步骤s1.1得到的双目左相机的内参矩阵m1、双目右相机的内参矩阵m2、双目左右相机之间的旋转矩阵r、双目左右相机之间的平移矩阵t，代入步骤s1.2提取到的特征点，即可进行投影获取每个特征点在世界坐标系下的坐标点coordinates
world
：
[0058]
[0059][0060]
公式1和公式2中，s1和s2为非零尺度因子，i为单位矩阵，m1为双目左相机的内参矩阵；m2为双目右相机的内参矩阵；r为双目左右相机之间的旋转矩阵；t为双目左右相机之间的平移矩阵。
[0061]
s1.4、根据步骤s1.1获取的热红外相机的内参矩阵m
thermal
、热红外相机相对于双目左相机的旋转矩阵r
thermal
，热红外相机相对于双目可见光相机的平移矩阵t
thermmal
，将步骤s1.3获取的世界坐标系下的特征点坐标coordinates
world
，进行反投影，获得特征点在热红外坐标系下的坐标coordinates
thermal
；
[0062][0063]
公式3中，s是非零尺度因子。
[0064]
s1.5、根据步骤s1.2获取的特征点在双目左相机坐标系下的坐标coordinates
left
以及步骤s1.4获取的特征点在热红外坐标系下的坐标coordinates
therm
，基于公式4可求取可见光图像和热红外图像的单应变换矩阵h；进而可以通过h得到可见光图像上任意点和热红外图像上的对应关系。
[0065][0066]
公式4中，h为可见光图像和热红外图像的单应变换矩阵；coordinates
thermal
为特征点在热红外坐标系下的坐标；coordinates
left
为特征点在双目左相机坐标系下的坐标；
[0067]
s2、利用双目可见光相机和yolox网络探测每只鸡的运动状态，将其作为第一病死鸡判断决策因素；
[0068]
完成相机配准后，使用双目可见光相机实时获取鸡的原始rgb图像，利用现有已训练好的yolox网络，以鸡头为标注目标，得到每只鸡在当前时刻rgb图像当中的位置坐标，将每只鸡预测框当中鸡头的目标特征作为模板进行匹配跟踪，得到每只鸡在下一时刻rgb图像当中的位置坐标；通过坐标相减，检测每只鸡是否运动，并将其作为第一病死鸡判断决策因素；如果某只鸡不运动，则判断该鸡为异常状态；否则判断该鸡为正常状态；
[0069]
本发明采用如图2所示的现有yolox网络，其网络结构及训练过程本文不再赘述。
[0070]
s3、根据步骤s2获取的每只鸡在前时刻rgb图像当中的位置坐标结合当前时刻热红外图像，获得每只鸡的平均温度，将其作为第二病死鸡判断决策因素；
[0071]
根据步骤s2获得的每只鸡在当前时刻rgb图像当中的位置坐标和步骤s1得到的单应变换矩阵，计算获得每只鸡在热红外图像当中的位置坐标；根据每只鸡在热红外图像中的位置坐标，利用红外热像图计算每只鸡的平均温度，并将其作为第二病死鸡判断决策因素；如果某只鸡的平均温度低于30度或高于45度，则判断该鸡为异常状态；否则判断该鸡为正常状态；
[0072]
s4、综合第一病死鸡判断决策因素和第二病死鸡判断决策因素判断鸡的健康状态，并输出最终结果；
[0073]
如果该只鸡的第一病死鸡判断决策因素和第二病死鸡判断决策因素均为异常状
态，则判断该只鸡为病死鸡；否则，判断该只鸡为健康鸡。
[0074]
如图4所示，本发明实施例的标准化笼养鸡舍巡检机器人包括vlp-16多线激光雷达1、超声波传感器2、机器人底盘3、惯性测量单元(imu)4、工控机5、升降台6、相机云台7和内置ros的双目可见光+热红外相机平台8；
[0075]
机器人底盘3采用基于两轮差速模型的差速转向结构，万向轮用于支撑机器人本体，相比较四轮滑移结构，标准两轮差速不会产生自转漂移，保证了移动的平稳性。vlp-16多线激光雷达1、惯性测量单元(imu)4和超声波传感器2分别负责不同传感器信息的数据采集，并将传感器信息发给工控机5。工控机5负责基于传感器信息进行机器人自主定位、建图，并进行导航决策形成与指令下发。升降台6和相机云台7负责相机转向，使得双目可见光+热红外相机平台8能够拍摄到整个鸡笼的画面，双目可见光+热红外相机平台8由双目可见光相机、热红外相机和内置ros系统的工控机组成，对双目可见光+热红外相机进行时间同步。

技术特征：
1.一种用于标准化笼养鸡舍的病死鸡识别方法，其特征在于，所述方法包括如下步骤：s0、双目可见光相机和热红外相机的时间同步；使用机器人操作系统ros对标准化笼养鸡舍巡检机器人上搭载的双目可见光相机和热红外相机获取的双目可见光图像和热红外图像进行发布，其中双目可见光相机以10hz的频率进行发布，热红外相机以5hz的频率进行发布，同时基于机器人操作系统ros的时钟对发布的图像添加一个时间标签；根据该时间标签，采用话题阻塞等待的方式，进行软件时序同步，只当双目可见光图像和热红外图像的任意两张图像的时间差值均小于100ms时，当前的三张图像为一个同步图像对，并进行保存；s1、双目可见光相机和热红外相机的配准；标准化笼养鸡舍巡检机器人到达巡检路线上的各巡检点后，对双目可见光相机和热红外相机进行配准，获得可见光图像和热红外图像的单应变换矩阵；s2、利用双目可见光相机和yolox网络探测每只鸡的运动状态，将其作为第一病死鸡判断决策因素；完成相机配准后，使用双目可见光相机实时获取鸡的原始rgb图像，利用现有已训练好的yolox网络，以鸡头为标注目标，得到每只鸡在当前时刻rgb图像当中的位置坐标，将每只鸡预测框当中鸡头的目标特征作为模板进行匹配跟踪，得到每只鸡在下一时刻rgb图像当中的位置坐标；通过坐标相减，检测每只鸡是否运动，并将其作为第一病死鸡判断决策因素；如果某只鸡不运动，则判断该鸡为异常状态；否则判断该鸡为正常状态；s3、根据步骤s2获取的每只鸡在前时刻rgb图像当中的位置坐标结合当前时刻热红外图像，获得每只鸡的平均温度，将其作为第二病死鸡判断决策因素；根据步骤s2获得的每只鸡在当前时刻rgb图像当中的位置坐标和步骤s1得到的单应变换矩阵，计算获得每只鸡在热红外图像当中的位置坐标；根据每只鸡在热红外图像中的位置坐标，利用红外热像图计算每只鸡的平均温度，并将其作为第二病死鸡判断决策因素；如果某只鸡的平均温度低于30度或高于45度，则判断该鸡为异常状态；否则判断该鸡为正常状态；s4、综合第一病死鸡判断决策因素和第二病死鸡判断决策因素判断鸡的健康状态，并输出最终结果；如果该只鸡的第一病死鸡判断决策因素和第二病死鸡判断决策因素均为异常状态，则判断该只鸡为病死鸡；否则，判断该只鸡为健康鸡。2.根据权利要求1所述的方法，其特征在于，所述步骤s1具体包括如下步骤：s1.1、拍摄多张可见光图像和热红外图像，通过张正友相机标定法对相机进行标定，获取双目左相机的内参矩阵m1、双目右相机的内参矩阵m2、热红外相机的内参m
therm
，双目左右相机之间的旋转矩阵r、双目左右相机之间的平移矩阵t，热红外相机相对于双目左相机的旋转矩阵r
therm
和热红外相机相对于双目可见光相机的平移矩阵t
thermal
；s1.2、利用orb特征点检测方法对可见光图像进行特征点提取，分别得到特征点在双目左相机坐标系下的坐标coordinates
left
和特征点在双目右相机坐标系下的坐标coordinates
right
；s1.3、基于双目相机左、右相机与世界坐标系的关系(公式1和公式2)，代入步骤s1.1得到的双目左相机的内参矩阵m1、双目右相机的内参矩阵m2、双目左右相机之间的旋转矩阵r、
双目左右相机之间的平移矩阵t，代入步骤s1.2提取到的特征点，进行投影获取每个特征点在世界坐标系下的坐标点coordinates
world
：：公式1和公式2中，s1和s2为非零尺度因子，i为单位矩阵，m1为双目左相机的内参矩阵；m2为双目右相机的内参矩阵；r为双目左右相机之间的旋转矩阵；t为双目左右相机之间的平移矩阵；s1.4、根据步骤s1.1获取的热红外相机的内参矩阵m
thermal
、热红外相机相对于双目左相机的旋转矩阵r
thermal
，热红外相机相对于双目可见光相机的平移矩阵t
thermal
，将步骤s1.3获取的世界坐标系下的特征点坐标coordinates
world
，进行反投影，获得特征点在热红外坐标系下的坐标coordinates
thermal
；公式3中，s是非零尺度因子；s1.5、根据步骤s1.2获取的特征点在双目左相机坐标系下的坐标coordinates
left
以及步骤s1.4获取的特征点在热红外坐标系下的坐标coordinates
thermal
，基于公式4求取可见光图像和热红外图像的单应变换矩阵h；公式4中，h为可见光图像和热红外图像的单应变换矩阵；coordinates
thermal
为特征点在热红外坐标系下的坐标；coordinates
left
为特征点在双目左相机坐标系下的坐标。3.一种根据权利要求1所述的方法的标准化笼养鸡舍巡检机器人，其特征在于，所述标准化笼养鸡舍巡检机器人包括vlp-16多线激光雷达(1)、超声波传感器(2)、机器人底盘(3)、惯性测量单元(4)、工控机(5)、升降台(6)、相机云台(7)和内置ros的双目可见光+热红外相机平台(8)；所述机器人底盘(3)采用基于两轮差速模型的差速转向结构；vlp-16多线激光雷达(1)、惯性测量单元(4)和超声波传感器(2)分别负责不同传感器信息的数据采集，并将传感器信息发给工控机(5)；工控机(5)负责基于传感器信息进行机器人自主定位、建图，并进行导航决策形成与指令下发；升降台(6)和相机云台(7)负责相机转向，使得双目可见光+热红外相机平台(8)能够拍摄到整个鸡笼的画面，双目可见光+热红外相机平台(8)由双目可见光相机、热红外相机和内置ros系统的工控机组成，对双目可见光+热红外相机进行时间同步。

技术总结
本发明属于病死鸡识别技术领域，涉及一种用于标准化笼养鸡舍的病死鸡识别方法。方法包括如下步骤：S0、双目可见光相机和热红外相机的时间同步；S1、双目可见光相机和热红外相机的配准；S2、利用双目可见光相机和YOLOX网络探测每只鸡的运动状态，将其作为第一病死鸡判断决策因素；S3、根据步骤S2获取的每只鸡在前时刻RGB图像当中的位置坐标结合当前时刻热红外图像，获得每只鸡的平均温度，将其作为第二病死鸡判断决策因素；S4、综合第一病死鸡判断决策因素和第二病死鸡判断决策因素判断鸡的健康状态，并输出最终结果。并输出最终结果。并输出最终结果。


技术研发人员：张漫 李帅 李寒 韩雨晓 王宁 孙意凡 王天海
受保护的技术使用者：中国农业大学
技术研发日：2023.05.17
技术公布日：2023/9/14