一种渐进式三级宠物检测方法与流程

1.本发明涉及图像处理、卷积神经网络、特征编码和逻辑回归技术领域，尤其涉及一种渐进式三级宠物检测方法。


背景技术：

2.随着时代的进步，科技的发展和城市化进程的加速，社会老龄化等多重因素的影响，城市中独居年轻人和老年人正在不断增加。由于快节奏的社会生活、高强度的工作压力和孤独无依的感受，很多人选择饲养一种或多种宠物，以缓解内心的压力和其他心理问题。独居生活的个体是无法全面照顾宠物的生活需求，人们也希望在工作休息之余了解宠物的生活情况并实时观察它们的状态；另外，社区存在大量的流浪宠物和饲主溜养的宠物需要专门监控；这样就需要智能宠物设备可以实时的识别这些宠物。
3.目前已有的宠物设备可以实现宠物监控的功能；但是，对于类似宠物外观和纹理的背景容易误检。在资源受限的嵌入式设备部署基于卷积神经网络目标检测时，需要精简模型参数，降低网络输入分辨率；显然，这些方法都会对检测的精度造成负面效果，不能有效完成检测任务并实现后续的视频编码与推流。
4.中国专利cn115131823a公开了《一种基于残差网络反卷积ssd算法的家居宠物识别方法》其基于残差网络反卷积ssd算法，模型复杂不适合本地化部署；另外单纯的宠物检测器在复杂的场景下，容易将纹理和形状像宠物的背景误检为宠物。中国专利cn115049966a公开了《一种基于ghostnet的轻量化yolo宠物识别方法》基于ghostnet的轻量化yolo宠物识别方法，模型简单，满足本地化部署的要求；但是在复杂的场景下，依然容易将纹理和形状像宠物的背景误检为宠物。中国专利cn115131644a公开了《一种消除宠物检测中误报的方法》，该发明意在解决人头误检为宠物的问题，通过增加人头类别的方法来过滤该类，从而提升精度；但是该方法的检测模型太复杂，不适合本地化部署，而且在复杂的场景下，不止人头误检，纹理和形状像宠物的背景都容易误检。


技术实现要素：

5.本发明克服了现有技术的不足，本发明提供一种渐进式三级宠物检测方法，使得在复杂的室外和室内场景下，实现宠物检测的本地化部署，同时解决纹理和形状类宠物背景误检问题。
6.为解决上述技术问题，本发明的技术方案如下：
7.一种渐进式三级宠物检测方法，包括如下步骤：
8.步骤s1：选择检测网络，使用已标注宠物训练数据库，训练该网络，得到本地部署的宠物检测器；利用所述宠物检测器检测待检测图片，获取检测边框和检测得分序列[(bbox1,s
d1
),
…
,(bboxi,s
di
),...,(bboxn,s
dn
)]，并截取该待检测图片，得到待识别的子图序列[image1,...,imagei,
…
,imagen]；所述bboxi，s
di
和imagei依次代表第i个检测框的位置、检测得分以及从待检测图片扣取的子图；而n代表image检出的宠物目标总量；
[0009]
步骤s2：使用已训练宠物检测模型，逐图遍历检测整个宠物训练数据库，并分别截取获得子图；通过检测得分sd与预设的检测阈值thrd的边框bbox的比较，从而获得宠物分类训练库；
[0010]
步骤s3：使用轻量级网络和步骤s2获得的宠物分类训练库，训练二分类网络，得到本地化部署的宠物分类器；使用所述宠物分类器对子图序列[image1,...,imagei,
…
,imagen]进行识别，得到子图分类得分序列[s
c1
,..,s
ci
,...,s
cn
]；所述s
ci
代表第i个分类得分；
[0011]
步骤s4：设定宠物检测器阈值thr
d1
和thr
d2
，设定宠物分类器阈值thr
c1
和thr
c2
，通过检测得分s
di
与宠物检测器阈值的比较，分类得分s
ci
与宠物分类器阈值的比较，最终判断检测边框是否为宠物还是背景。
[0012]
进一步的，所述步骤s2中，所述检测得分sd与预设的检测阈值thrd的边框bbox的比较具体包括如下步骤：所述检测得分sd大于预设的检测阈值thrd的边框bbox，查询对应图片标注边框gts，并计算交并比iou，当交并比iou(bbox,gts)≥0.5时，则将截取的子图标记为宠物类，否则标记为背景。
[0013]
进一步的，所述步骤s4中，检测得分s
di
与宠物检测器阈值的比较，分类得分s
ci
与宠物分类器阈值的比较具体包括如下步骤：，将检测得分s
di
≤thr
d1
的检测边框认定为背景；将s
di
≥thr
d2
的检测边框认定为宠物；对于检测得分thr
d1
《s
di
《thr
d2
的检测边框，将分类得分s
ci
≤thr
c1
的子图imagei认定为背景，s
ci
≥thr
c2
的子图imagei认定为宠物；对于检测得分s
di
满足thr
d1
《s
di
《thr
d2
的检测边框，且对应分类得分s
ci
满足thr
c1
《s
ci
《thr
c2
的子图imagei，将其界定为困扰样本image
hi
。
[0014]
进一步的，将困扰样本image
hi
使用二维[s
ci
，s
di
]得分空间表示；对困扰样本image
hi
的每一个维度进行量化；创建困扰样本训练数据库；使用逻辑回归模型，训练区分困扰样本的分类器，使用该分类器和分类器阈值区分待识别样本是宠物或背景。
[0015]
进一步的，对困扰样本image
hi
的每一个维度进行量化具体包括如下步骤：
[0016]
对s
ci
和s
di
进行整型化，对整型化s
ci
和s
di
执行单一热编码onehot运算，得到nc维分类得分特征feature
ci
和nd维检测得分特征feature
di
；使用顺序拼接concat运算，生成最终描述image
hi
的nc+nd特征feature
hi
；所述nc和nd都代表量化强度。
[0017]
进一步的，所述步骤s1中，所述检测网络为轻量化的单类yolo检测网络，其基于yolov5n改造而成的单类检测模型，其输入尺寸固定为sd×
sd。
[0018]
进一步的，所述步骤s3中，轻量级网络为轻量化的repvgg网络，基于网络重参数化模块堆叠而成，其输入尺寸固定为sc×
sc。
[0019]
本发明的有益效果在于：通过一个多级检测宠物的方案，引入宠物分类模型辅助宠物检测模型的方法，降低了该方案对检测模型复杂度的要求，可以设计更小参数量检测网络；而通过界定困扰样本的方法，可以降低对分类网络复杂度的要求；结合宠物检测得分和分类得分，使用特征编码的方法，将原处于二维难分的困扰样升维到高维易分空间，在高维空间仅需简单的逻辑回归便可区分困扰样本。该多级方案解决了单纯的检测器过度复杂无法实现本地化部署的问题，同时通过样本界定的方法，提高了宠物检测的精度。
附图说明
[0020]
图1为宠物检测流程的示意图；
[0021]
图2为多级宠物检测待识别图片分数提取的示意图；
[0022]
图3为困扰样本和一般样本在二维得分空间分布示意图；
[0023]
图4为困扰样本由二维提升到高维的示意图；
具体实施方式
[0024]
下面结合附图对本发明具体实施方式进行详细说明。
[0025]
一种渐进式三级宠物检测方法，其步骤包括：使用该检测器获得待检测图片检测边框和得分信息；利用检测器得到的检测边框对待检测图片进行截图操作，获取待识别子图，使用宠物分类器对待识别子图提取分类得分；接着，基于预设置的宠物检测得分和对应的分类得分阈值界定一个样本是否为困扰样本；然后，对困扰样本得分空间进行升维，使用易分高维得分空间重新表述困扰样本；最后，使用逻辑回归模型训练的分类器来区分困扰样本是否为宠物。
[0026]
具体步骤如下，如图1所示，一种渐进式三级宠物检测方法，
[0027]
步骤s1：选择检测网络，例如本实施中选择轻量化的单类yolo检测网络，所述轻量化的单类yolo检测网络基于yolov5n改造而成的单类检测模型，其输入尺寸固定为sd×
sd；
[0028]
如图2所示，使用已标注宠物训练数据库，训练该网络，得到本地部署的宠物检测器；利用所述宠物检测器检测待检测图片image，获取检测边框和检测得分序列[(bbox1,s
d1
),
…
,(bboxi,s
di
),...,(bboxn,s
dn
)]，并截取该待检测图片image，得到待识别的子图序列[image1,...,imagei,
…
,imagen]；
[0029]
所述bboxi，s
di
和imagei依次代表第i个检测框的位置、检测得分以及从待检测图片扣取的子图；而n代表待检测图片image检出的宠物目标总量；
[0030]
例如图2中，通过宠物检测器获得[(bbox1,s
d1
)，(bbox2,s
d2
)，(bbox3,s
d3
)，(bbox4,s
d4
)]。
[0031]
步骤s2：使用已训练宠物检测模型，逐图遍历检测整个宠物训练数据库，并分别截取获得子图image；对检测得分sd大于预设的检测阈值thrd的边框bbox，查询对应图片标注边框gts，并计算交并比iou，当交并比iou(bbox,gts)≥0.5时，则将截取的子图image标记为宠物类，否则标记为背景，从而获得宠物分类训练库；具体代码化表示为
[0032]
image＝crop(image,bbox)；iou(bbox,gts)≥0.5，sd≥thrd[0033]
步骤s3：使用轻量化网络，例如本实施例中使用轻量化的repvgg网络和步骤s2获得的宠物分类训练库，训练二分类网络，得到本地化部署的宠物分类器；使用所述宠物分类器对子图序列[image1,...,imagei,
…
,imagen]进行识别，得到子图分类得分序列[s
c1
,..,s
ci
,...,s
cn
]；所述s
ci
代表第i个分类得分；
[0034]
例如图2中，获得4个子图分类得分序列[s
c1
，s
c2
，s
c3
，s
c4
]。
[0035]
所述轻量化的repvgg二分类网络，该网络基于网络重参数化模块堆叠而成，通过精简堆叠次数和每个阶段的通道数量设计而成，其输入尺寸固定为sc×
sc；具体精简堆叠次数和每个阶段的通道数量的技术方式可采用现有的技术。
[0036]
步骤s4：设定宠物检测器阈值thr
d1
和thr
d2
，将检测得分s
di
≤thr
d1
的检测边框认定
为背景，如图3处于样本分布示意图下边缘区域的黑色圆形实点所示；
[0037]
将s
di
≥thr
d2
的检测边框认定为宠物，如图3处于样本分布示意图上边缘区域的黑色圆形实点所示
[0038]
设定宠物分类器阈值thr
c1
和thr
c2
；对于检测得分thr
d1
《s
di
《thr
d2
的检测边框，将分类得分s
ci
≤thr
c1
的子图imagei认定为背景，如图3处于样本分布示意图左边缘且居中区域的黑色圆形实点所示；将s
ci
≥thr
c2
的子图imagei认定为宠物，如图3处于样本分布示意图右边缘且居中区域的黑色圆形实点所示；
[0039]
对于检测得分s
di
满足thr
d1
《s
di
《thr
d2
的检测边框，且对应分类得分s
ci
满足thr
c1
《s
ci
《thr
c2
的子图imagei，将其界定为困扰样本image
hi
，如图3处于子坐标轴内的黑色实体“+”形所示，并将困扰样本image
hi
，使用二维[s
ci
，s
di
]得分空间表示；具体困扰样本的代码化为：
[0040]
image
hi
≡imagei；thr
d1
《s
di
《thr
d2
,thr
c1
《s
ci
《thr
c2
。
[0041]
如图4所示，对困扰样本image
hi
的每一个维度进行量化；
[0042]
具体量化实施方式为：
[0043]
对s
ci
和s
di
进行整型化，s
ci
＝floor(nc*s
ci
)，s
di
＝floor(nd*s
di
)；nc和nd都代表量化强度，为正的整数值，越大代表量化后得分越高，floor()代表向下取整；对整型化s
ci
和s
di
执行单一热编码onehot运算，得到nc维分类得分特征feature
ci
和nd维检测得分特征feature
di
；使用顺序拼接concat运算，生成最终描述image
hi
的nc+nd特征feature
hi
；通过该策略对得分空间进行升维，增强了困扰样本的区分度，特征顺序拼接的代码化为：
[0044]
feature
hi
≡concat(feature
ci
,feature
di
)
[0045]
基于步骤s4，创建困扰样本训练数据库；使用逻辑回归模型，训练区分困扰样本的分类器，使用该分类器和分类器阈值thrc区分待识别样本是宠物或背景，待识别样本代码化为：
[0046][0047]
其中，w和b为逻辑回归的学习权重，由训练得到。当p(feature
hi
)≥thrc判定困扰样本为宠物，否则判定为背景。
[0048]
本方法用于高精度的宠物目标检测，同时可扩展与所有的目标检测的过程中。
[0049]
本发明通过联合宠物检测模型、分类模型和逻辑回归模型的三级检测方案，有效降低宠物检测对单纯检测模型的依赖，使得轻量化的检测和分类模型依然可以取得高精度低误检的效果；创建分类训练库的方案，该方法直接承接检测器的检测结果，使用检测器提取训练库中每一个图的检测结果边框bbox和得分s；然后对每一张图片扣取子图，依据交并比将其归类成宠物，抑或背景；最终生成分类样本数据库，用来训练宠物分类器；通过一种界定困扰样本的方法并使用量化和onehot编码序列运算提升困扰样本得分空间的维度，在高维空间改善了困扰样本的区分度；使得该检测方案在复杂环境下可以很好的检出宠物，降低纹理和形状类宠物的误检。
[0050]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

技术特征：
1.一种渐进式三级宠物检测方法，其特征在于，包括如下步骤：步骤s1：选择检测网络，使用已标注宠物训练数据库，训练该网络，得到本地部署的宠物检测器；利用所述宠物检测器检测待检测图片，获取检测边框和检测得分序列[(bbox1,s
d1
),
…
,(bbox
i
,s
di
),...,(bbox
n
,s
dn
)]，并截取该待检测图片，得到待识别的子图序列[image1,...,image
i
,
…
,image
n
]；所述bbox
i
，s
di
和image
i
依次代表第i个检测框的位置、检测得分以及从待检测图片扣取的子图；而n代表image检出的宠物目标总量；步骤s2：使用已训练宠物检测模型，逐图遍历检测整个宠物训练数据库，并分别截取获得子图；通过检测得分s
d
与预设的检测阈值thr
d
的边框bbox的比较，从而获得宠物分类训练库；步骤s3：使用轻量级网络和步骤s2获得的宠物分类训练库，训练二分类网络，得到本地化部署的宠物分类器；使用所述宠物分类器对子图序列[image1,...,image
i
,
…
,image
n
]进行识别，得到子图分类得分序列[s
c1
,..,s
ci,
...,s
cn
]；所述s
ci
代表第i个分类得分；步骤s4：设定宠物检测器阈值thr
d1
和thr
d2
，设定宠物分类器阈值thr
c1
和thr
c2，
通过检测得分s
di
与宠物检测器阈值的比较，分类得分s
ci
与宠物分类器阈值的比较，最终判断检测边框是否为宠物还是背景。2.根据权利要求1所述的一种渐进式三级宠物检测方法，其特征在于，所述步骤s2中，所述检测得分s
d
与预设的检测阈值thr
d
的边框bbox的比较具体包括如下步骤：所述检测得分s
d
大于预设的检测阈值thr
d
的边框bbox，查询对应图片标注边框gts，并计算交并比iou，当交并比iou(bbox,gts)≥0.5时，则将截取的子图标记为宠物类，否则标记为背景。3.根据权利要求2所述的一种渐进式三级宠物检测方法，其特征在于，所述步骤s4中，检测得分s
di
与宠物检测器阈值的比较，分类得分s
ci
与宠物分类器阈值的比较具体包括如下步骤：将检测得分s
di
≤thr
d1
的检测边框认定为背景；将s
di
≥thr
d2
的检测边框认定为宠物；对于检测得分thr
d1
<s
di
<thr
d2
的检测边框，将分类得分s
ci
≤thr
c1
的子图image
i
认定为背景，s
ci
≥thr
c2
的子图image
i
认定为宠物；对于检测得分s
di
满足thr
d1
<s
di
<thr
d2
的检测边框，且对应分类得分s
ci
满足thr
c1
<s
ci
<thr
c2
的子图image
i
，将其界定为困扰样本image
hi。
4.根据权利要求3所述的一种渐进式三级宠物检测方法，其特征在于，将困扰样本image
hi
使用二维[s
ci
，s
di
]得分空间表示；对困扰样本image
hi
的每一个维度进行量化；创建困扰样本训练数据库；使用逻辑回归模型，训练区分困扰样本的分类器，使用该分类器和分类器阈值区分待识别样本是宠物或背景。5.根据权利要求4所述的一种渐进式三级宠物检测方法，其特征在于，对困扰样本image
hi
的每一个维度进行量化具体包括如下步骤：对s
ci
和s
di
进行整型化，对整型化s
ci
和s
di
执行单一热编码onehot运算，得到nc维分类得分特征feature
ci
和nd维检测得分特征feature
di
；使用顺序拼接concat运算，生成最终描述image
hi
的nc+nd特征feature
hi
；所述nc和nd都代表量化强度。
6.根据权利要求1所述的一种渐进式三级宠物检测方法，其特征在于，所述步骤s1中，所述检测网络为轻量化的单类yolo检测网络，其基于yolov5n改造而成的单类检测模型，其输入尺寸固定为s
d
×
s
d
。7.根据权利要求1所述的一种渐进式三级宠物检测方法，其特征在于，所述步骤s3中，轻量级网络为轻量化的repvgg网络，基于网络重参数化模块堆叠而成，其输入尺寸固定为s
c
×
s
c
。

技术总结
本发明公开了一种渐进式三级宠物检测方法，通过一个多级检测宠物的方案，引入宠物分类模型辅助宠物检测模型的方法，降低了该方案对检测模型复杂度的要求，可以设计更小参数量检测网络；而通过界定困扰样本的方法，可以降低对分类网络复杂度的要求；结合宠物检测得分和分类得分，使用特征编码的方法，将原处于二维难分的困扰样升维到高维易分空间，在高维空间仅需简单的逻辑回归便可区分困扰样本，该多级方案解决了单纯的检测器过度复杂无法实现本地化部署的问题，同时通过样本界定的方法，提高了宠物检测的精度。提高了宠物检测的精度。提高了宠物检测的精度。


技术研发人员：李志伟 陆金刚 王为 方伟
受保护的技术使用者：浙江芯昇电子技术有限公司
技术研发日：2023.06.06
技术公布日：2023/8/16