一种细粒度目标检测方法及系统与流程

1.本发明属于目标检测技术领域，具体涉及一种细粒度目标检测方法及系统。


背景技术：

2.目前计算机视觉算法已经应用到视频分析的方方面面，可以大幅度的减少人工监控的工作量、提升识别效率。
3.大部分目标检测的场景是不同大类的目标检测，例如coco、pascal voc数据集里面的类别区分，常规的目标检测算法进行对局部特征提取的细粒度分类时，存在以下缺陷：1、目标检测算法通常侧重于定位和检测目标的位置，对于细粒度分类任务来说，需要更细致的特征表达能力。细粒度分类需要关注目标的细节特征，如纹理、形状等，但目标检测算法可能无法很好地捕捉到这些特征。
4.2、细粒度分类任务中，不同类别的样本数量可能存在不平衡。目标检测算法通常在一般的目标检测数据集上训练，而这些数据集可能并不涵盖细粒度分类任务中各个类别的样本。因此，在使用目标检测算法进行细粒度分类时，样本不平衡问题可能会导致分类性能下降。
5.3、在细粒度分类任务中，目标可能存在部分遮挡或变形，这对目标检测算法提出了更高的要求。一些目标检测算法可能对于部分遮挡或变形的目标难以准确地定位和识别，导致分类结果不准确。
6.4、在细粒度分类任务中，不同类别之间的差异可能很小，类别之间存在较高的相似性。这给目标检测算法带来了挑战，因为它们更容易将相似的目标误分类，难以捕捉到细微的特征差异。
7.由于使用目标检测算法进行细粒度分类任务存在上述缺陷，在现有技术下，如果想使用目标检测算法进行细粒度分类，一般需要对目标检测算法进行专精程度更高的训练，使其目标检测能力更集中于较少的相近分类中。这缩小了单个目标检测算法的适用面，如果想要对目标检测的场景进行迁移，必须重新训练具有大范围目标检测能力与细粒度分类能力的专精化检测模型。这使得即使是对于某些仅有较小差别的目标检测场景，也需要重新训练模型，并且训练过程对于数据集的要求较高，极大提高了目标检测算法的使用成本。


技术实现要素：

8.基于现有技术中存在的上述缺点和不足，本发明的目的之一是至少解决现有技术中存在的上述问题之一或多个，换言之，本发明的目的之一是提供满足前述需求之一或多个的一种细粒度目标检测方法及系统。
9.为了达到上述发明目的，本发明采用以下技术方案：第一方面，本发明提供一种细粒度目标检测方法，使用任意目标检测模型，目标检测模型具有检测端，检测端的输出包括目标边框信息、置信度和目标分类信息，方法包括如
下步骤：s1、获取目标边框信息和置信度；s2、根据目标边框信息和置信度获取目标的特征图；s3、根据目标的特征图进行细粒度分类，输出细粒度目标分类信息；s4、将细粒度目标分类信息与目标边框信息和置信度进行特征融合，得到细粒度目标检测输出。
10.作为一种优选的实施方式，步骤s3包括如下步骤：s31、对特征图做线性投影，并输入l层，l层由若干transformer层依次连接组成；s32、保存每个transformer层的自注意力权重，并将自注意力权重累乘，得到细粒度注意力权重；s33、将细粒度注意力权重与最后一个transformer层的输出相乘，得到细粒度特征图；s34、对细粒度特征图做线性投影，得到细粒度目标分类信息。
11.作为一种优选的实施方式，步骤s1包括如下步骤：s11、获取检测端的输出；s12、将输出中的目标分类信息删除。
12.作为一种优选的实施方式，目标检测模型使用yolov5模型。
13.第二方面，本发明还提供一种细粒度目标检测系统，包括：目标检测模型，目标检测模型具有检测端，检测端的输出包括目标边框信息、置信度和目标分类信息；细粒度检测模块，细粒度检测模块包括输入端、细粒度分类模型和输出端；输入端用于从检测端的输出获取目标边框信息、置信度，并根据目标边框信息、置信度获取目标的特征图；细粒度分类模型用于根据目标的特征图进行细粒度分类；输出端用于输出细粒度目标分类信息；特征融合模块，特征融合模块用于将细粒度目标分类信息与目标边框信息和置信度进行特征融合，得到细粒度目标检测输出。
14.作为一种优选的实施方式，细粒度分类模型由依次连接的第一线性投影层、l层、第二线性投影层构成；l层由若干个依次连接的transformer层构成，每个transformer层的自注意力权重输出均连接至同一个累乘器，累乘器与最后一个transformer层的输出连接至第二线性投影层。
15.作为一种优选的实施方式，输入端包括输入接口和转换器，输入接口用于获取检测端的输出；转换器用于删除检测端的输出中的目标分类信息。
16.作为一种优选的实施方式，目标检测模型为yolov5模型。
17.第三方面，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述任一项的方法。
18.第四方面，本发明还提供一种计算机设备，计算机设备包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上述任一项的方法。
19.本发明与现有技术相比，有益效果是：
本发明的方法及系统在现有的目标检测算法的检测端直接连接细粒度分类模型，将现有目标检测算法的输出修改为细粒度分类模型的输入，并将细粒度分类模型的分类输出与现有目标检测算法的输出进行特征融合，在实现广范围目标检测的同时实现了高精度的细粒度目标分类。
20.另外，本发明的方法及系统使细粒度分类模型作为一种通用化、模块化的部件可以与现有的多种目标检测算法融合，在更换细粒度分类时仅需重新训练细粒度分类模型即可，能够使目标检测算法以较小的迁移成本与部署速度适应于不同场景的目标检测与细粒度分类。
附图说明
21.图1是本发明的一种细粒度目标检测系统的结构示意图；图2是本发明的一种细粒度分类模型的结构示意图。
具体实施方式
22.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
23.在下述介绍中提供了本技术的多个实施例，不同实施例之间可以替换或者合并组合，因此本技术也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征a、b、c，另一个实施例包含特征b、d，那么本技术也应视为包括含有a、b、c、d的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
24.下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本技术内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。
25.首先在第一方面，本技术提供一种细粒度目标检测方法，使用任意目标检测模型，目标检测模型具有检测端，检测端的输出包括目标边框信息、置信度和目标分类信息，方法包括如下步骤：s1、获取目标边框信息和置信度；具体的，在本技术的某一实施例中，步骤s1包括如下步骤：s11、获取检测端的输出；s12、将输出中的目标分类信息删除。
26.上述目标检测模型可以任意更换，该实施例提供了上述步骤s1的一个具体实现方式，假设目标检测模型使用最常用的yolov5模型，模型的最后有3个head，每个head输出的通道数是，其中5个通道为4+1的组成，包括4个目标边框信息，也即4个坐标回归值，是目标检测得到的物体边框的四个值，还包括一个置信度值。为目标分类信息，代表类别数，如果分类分为两种，则为2。
27.步骤s11、通过目标检测模型的检测端的输出读取到上述个通道的信息，然后将其中目标分类信息删除，由此将此部分回归框分支的输出通道改为5*3的形式，仅保留目标边框信息和置信度。
28.s2、根据目标边框信息和置信度获取目标的特征图；s3、根据目标的特征图进行细粒度分类，输出细粒度目标分类信息；具体的，上述细粒度分类可以使用多种细粒度分类模型，而本实施例优选地选用如下方法进行细粒度分类。
29.在本实施例中，步骤s3包括如下步骤：s31、对特征图做线性投影，并输入l层，l层由若干transformer层依次连接组成；s32、保存每个transformer层的自注意力权重，并将自注意力权重累乘，得到细粒度注意力权重；s33、将细粒度注意力权重与最后一个transformer层的输出相乘，得到细粒度特征图；s34、对细粒度特征图做线性投影，得到细粒度目标分类信息。
30.本实施例还提供了上述步骤s31-s34的一个具体实现，其实现过程如下：在上述目标检测模型的每一个head中，将最后一个卷积层之前的输出特征图f输入细粒度分类模型，用于计算细粒度类别。首先对特征图f进行一次线性投影（linear projection）。然后将线性投影的结果输入l层，本实施例中的l层由三层transformer层依次连接构成，在l层中每层transformer层均保存自注意力计算得到的权重，并将各层的自注意力权重记为；然后对进行累乘，得到细粒度注意力权重。这一细粒度注意力权重用来在最后的所有输出图像特征块中选择最有效的图像特征块。用细粒度注意力权重与最后一个transformer层的输出相乘，得到具有细粒度判别力的图像特征块（patch）。
31.将具有细粒度判别力的图像特征块输入线性投影层，线性投影层的输出通道数为*3。
32.上述线性投影层可以使用全连接层也可以使用尺寸匹配的卷积层。
33.s4、将细粒度目标分类信息与目标边框信息和置信度进行特征融合，得到细粒度目标检测输出。
34.具体的，上述特征融合将步骤s1中从检测端的输出中删除的目标分类信息部分重新添加，并与目标检测中的目标定位信息融合，生成新的具有细粒度分类信息的目标检测输出。
35.上述方法在现有的目标检测算法的检测端直接连接细粒度分类模型，将现有目标检测算法的输出修改为细粒度分类模型的输入，并将细粒度分类模型的分类输出与现有目标检测算法的输出进行特征融合，在实现广范围目标检测的同时实现了高精度的细粒度目标分类。
36.另外，上述方法使细粒度分类模型作为一种通用化、模块化的部件可以与现有的多种目标检测算法融合，在更换细粒度分类时仅需重新训练细粒度分类模型即可，能够使目标检测算法以较小的迁移成本与部署速度适应于不同场景的目标检测与细粒度分类。
37.本技术还提供一种细粒度目标检测系统，其结构示意图如图1所示，包括：目标检测模型，目标检测模型具有检测端，检测端的输出包括目标边框信息、置信度和目标分类信息；其中，目标检测模型的输出需要包括目标边框信息、置信度和目标分类信息，或者至少包括目标边框信息和置信度。现有的目标检测模型基本均满足上述要求，因此，目标检测模型可以任意更换。
38.细粒度检测模块，细粒度检测模块包括输入端、细粒度分类模型和输出端；输入端用于从检测端的输出获取目标边框信息、置信度，并根据目标边框信息、置信度获取目标的特征图；细粒度分类模型用于根据目标的特征图进行细粒度分类；输出端用于输出细粒度目标分类信息；具体的，细粒度分类模型的结构示意图如图2所示，由依次连接的第一线性投影层、l层、第二线性投影层构成；l层由若干个依次连接的transformer层构成，每个transformer层的自注意力权重输出均连接至同一个累乘器，累乘器与最后一个transformer层的输出连接至第二线性投影层。
39.具体的，上述细粒度检测模块的输入端包括输入接口和转换器，输入接口用于获取检测端的输出；转换器用于删除检测端的输出中的目标分类信息。
40.在本实施例的一个具体实现中，假使目标检测模型使用yolov5模型，输入端通过目标检测模型的检测端的输出读取到上述个通道的信息，然后将其中目标分类信息删除，由此将此部分回归框分支的输出通道改为5*3的形式，仅保留目标边框信息和置信度。
41.本实施例的细粒度目标检测系统还包括特征融合模块，特征融合模块用于将细粒度目标分类信息与目标边框信息和置信度进行特征融合，得到细粒度目标检测输出。
42.上述特征融合模块将细粒度检测模块从检测端的输出中删除的目标分类信息部分重新添加，并与目标检测中的目标定位信息融合，生成新的具有细粒度分类信息的目标检测输出。
43.上述系统在现有的目标检测算法的检测端直接连接细粒度分类模型，将现有目标检测算法的输出修改为细粒度分类模型的输入，并将细粒度分类模型的分类输出与现有目标检测算法的输出进行特征融合，在实现广范围目标检测的同时实现了高精度的细粒度目标分类。
44.另外，上述系统使细粒度分类模型作为一种通用化、模块化的部件可以与现有的多种目标检测算法融合，在更换细粒度分类时仅需重新训练细粒度分类模型即可，能够使目标检测算法以较小的迁移成本与部署速度适应于不同场景的目标检测与细粒度分类。
45.本技术还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述各个实施例中的细粒度目标检测方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、dvd、cd-rom、微型驱动器以及磁光盘、rom、ram、eprom、eeprom、dram、vram、闪速存储器设备、磁卡或光卡、纳米系统（包括分子存储器ic），或适合于存储指令和/或数据的任何类型的媒介或设备。
46.本技术还提供一种电子设备，包括至少一个处理器、至少一个存储器及存储在存储器上并可在处理器上运行的计算机程序。
47.其中，处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行各种功能和处理数据。可选的，处理器可以采用dsp、fpga、pla中的至少一种硬件形式来实现。处理器可集成cpu、gpu和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示屏所需要显示的内容的渲染和绘制。
48.其中，存储器可以包括ram，也可以包括rom。可选的，该存储器包括非瞬时性计算机可读介质。存储器可用于存储指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器可选的还可以是至少一个位于远离前述处理器的存储装置。作为一种计算机存储介质的存储器中可以包括操作系统、网络通信模块、用户接口模块以及用于执行上述实施例的细粒度目标检测方法的应用程序。
49.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
50.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
51.以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

技术特征：
1.一种细粒度目标检测方法，其特征在于，使用任意目标检测模型，所述目标检测模型具有检测端，所述检测端的输出包括目标边框信息、置信度和目标分类信息，方法包括如下步骤：s1、获取所述目标边框信息和置信度；s2、根据所述目标边框信息和置信度获取目标的特征图；s3、根据所述目标的特征图进行细粒度分类，输出细粒度目标分类信息；s4、将所述细粒度目标分类信息与所述目标边框信息和置信度进行特征融合，得到细粒度目标检测输出。2.如权利要求1所述的一种细粒度目标检测方法，其特征在于，所述步骤s3包括如下步骤：s31、对所述特征图做线性投影，并输入l层，所述l层由若干transformer层依次连接组成；s32、保存每个transformer层的自注意力权重，并将所述自注意力权重累乘，得到细粒度注意力权重；s33、将所述细粒度注意力权重与最后一个所述transformer层的输出相乘，得到细粒度特征图；s34、对所述细粒度特征图做线性投影，得到细粒度目标分类信息。3.如权利要求1所述的一种细粒度目标检测方法，其特征在于，所述步骤s1包括如下步骤：s11、获取所述检测端的输出；s12、将所述输出中的目标分类信息删除。4.如权利要求1所述的一种细粒度目标检测方法，其特征在于，所述目标检测模型使用yolov5模型。5.一种细粒度目标检测系统，其特征在于，包括：目标检测模型，所述目标检测模型具有检测端，所述检测端的输出包括目标边框信息、置信度和目标分类信息；细粒度检测模块，所述细粒度检测模块包括输入端、细粒度分类模型和输出端；所述输入端用于从所述检测端的输出获取目标边框信息、置信度，并根据所述目标边框信息、置信度获取目标的特征图；所述细粒度分类模型用于根据所述目标的特征图进行细粒度分类；所述输出端用于输出细粒度目标分类信息；特征融合模块，所述特征融合模块用于将所述细粒度目标分类信息与所述目标边框信息和置信度进行特征融合，得到细粒度目标检测输出。6.如权利要求5所述的一种细粒度目标检测系统，其特征在于，所述细粒度分类模型由依次连接的第一线性投影层、l层、第二线性投影层构成；所述l层由若干个依次连接的transformer层构成，每个所述transformer层的自注意力权重输出均连接至同一个累乘器，所述累乘器与最后一个所述transformer层的输出连接至所述第二线性投影层。7.如权利要求5所述的一种细粒度目标检测系统，其特征在于，所述输入端包括输入接口和转换器，所述输入接口用于获取所述检测端的输出；所述转换器用于删除所述检测端的输出中的目标分类信息。
8.如权利要求5所述的一种细粒度目标检测系统，其特征在于，所述目标检测模型为yolov5模型。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的方法。10.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4任一项所述的方法。

技术总结
本发明涉及一种细粒度目标检测方法及系统，其中方法使用任意目标检测模型，包括：获取目标边框信息和置信度；根据目标边框信息和置信度获取目标的特征图；根据目标的特征图进行细粒度分类，输出细粒度目标分类信息；将细粒度目标分类信息与目标边框信息和置信度进行特征融合，得到细粒度目标检测输出。本发明的方法及系统在现有的目标检测算法的检测端直接连接细粒度分类模型，将现有目标检测算法的输出修改为细粒度分类模型的输入，并将细粒度分类模型的分类输出与现有目标检测算法的输出进行特征融合，在实现广范围目标检测的同时实现了高精度的细粒度目标分类。实现了高精度的细粒度目标分类。实现了高精度的细粒度目标分类。


技术研发人员：李文成 李继伟 陈启超 简铮 樊庆宇 王军鹏 梁丞瑜
受保护的技术使用者：天翼云科技有限公司
技术研发日：2023.06.08
技术公布日：2023/9/6