一种基于量化神经网络检测通用物体的方法

1.本发明属于物体检测技术领域，涉及计算机视觉及深度学习技术，尤其涉及一种基于混合精度配置搜索的量化神经网络检测通用物体的方法。


背景技术：

2.通用物体检测是计算机视觉领域最为重要的任务之一，其已被广泛应用到了诸如智能安防、自动驾驶、无人机勘测等等领域。在现实应用场景中，通用物体检测器往往需要依赖神经网络量化，将检测器各层的权重和特征图从原先的32比特压缩至更低比特(如4比特)，以减少通用物体检测器的存储量与计算量，进而有效降低通用物体检测器部署的门槛。
3.尽管现阶段的针对量化通用物体检测器的技术取得了长足的发展，但是其往往直接使用统一的固定比特配置或依赖于专家手工设计各层的比特配置，这使得经过神经网络量化后的通用物体检测器性能较原始模型存在较大的差距。因此，现有的针对通用物体检测的神经网络量化算法在技术上还存在一定的瓶颈，精度较原有全精度检测器受限。


技术实现要素：

4.为了克服上述现有技术的不足，本发明提供一种基于混合精度配置搜索的量化神经网络检测通用物体的方法，通过建立混合精度配置并对其进行搜索，直接获取通用物体检测器各层权重和特征图的比特配置，据此搭建并实现通用物体检测器的量化，有效提升量化后通用物体检测器的精度，以优化对物体图像的检测。
5.本发明的技术方案是：
6.一种基于量化神经网络检测通用物体的方法，通过建立混合精度配置并对其进行搜索，直接获取通用物体检测器各层权重和特征图的比特配置，据此搭建并实现通用物体检测器的量化，有效提升量化后通用物体检测器的精度，以优化对物体图像的检测。包括如下步骤：
7.1)获取通用物体检测器所允许的各层权重和特征图的比特配置，并据此构建搜索空间；
8.2)获取通用物体检测器卷积层数l，构建编码表示每一层权重和特征图的比特数配置，每一个编码为一个l长度的列表，列表中每一个元素为一个二维元组，其表示对应卷积层的权重比特数和特征图比特数；
9.3)基于上述构建的搜索空间建立混合精度量化超网络，该网络将一个通用物体检测器中各层卷积层替换为量化层，其支持权重各比特、特征图各比特的自由前向计算；
10.4)利用对应任务训练集训练该混合精度量化超网络，针对每一次迭代，首先采样最大比特配置网络并对其进行训练，之后采样最小比特配置网络并对其进行训练，最后随机采样两个比特配置网络并对其网络进行训练；
11.5)构建搜索算法迭代器，搜索可以利用任意现有算法，如随机搜索、进化算法搜索
等等，最终将获得使通用物体检测器精度最优的各层权重和特征图的比特配置；
12.6)采用步骤5)获得的精度最优的各层权重和特征图的比特配置，对通用物体检测器的每一个卷积层的比特数进行配置，以此构建量化后的通用物体检测器；
13.7)利用训练集对步骤6)所构建的通用物体检测器进行训练，最终应用于通用物体的检测。
14.上述基于混合精度配置搜索的量化神经网络检测通用物体的方法可广泛应用于多种通用物体检测器部署当中，进而应用于智能安防、自动驾驶、无人机勘测等多种应用场景，提高量化后通用物体检测器的精度。
15.与现有技术相比，本发明的有益效果是：
16.本发明通过建立混合精度配置并对其进行搜索，直接获取通用物体检测器各层权重和特征图的比特配置，据此搭建并实现通用物体检测器的量化，有效提升量化后通用物体检测器的精度，以优化对物体图像的检测。
17.本发明方法解决了传统量化神经网络在通用物体检测时直接使用统一的固定比特配置或依赖于专家手工设计各层的比特配置的方案，通过混合精度配置的搜索实现了通用物体检测器的量化，有效提升了检测器量化后的性能。本发明可以应用于任何基于卷积神经网络的通用物体检测器当中(如yolov3、faster r-cnn等)。针对本发明所对应的通用物体检测任务，在pascal voc数据集上进行的实验结果表明，全精度map值为75.3％的yolov3-mobilenetv1检测器在执行上述方法所获得的平均4比特的量化后模型相较于固定4比特模型map值可以从71.2％提升至73.0％。
附图说明
18.图1是本发明的流程框图。
19.图2是本发明具体实施例混合精度量化超网络中量化层示意图。
具体实施方式
20.下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
21.本发明提出了一种基于混合精度配置搜索的量化神经网络检测通用物体的方法，其整体流程如图1所示。其中，混合精度配置指各层权重和特征图的比特配置。
22.现有的量化神经网络在通用物体检测时，往往直接使用统一的固定比特配置或依赖于专家手工设计各层的比特配置的方案。为了从整体维度上调节各层资源配置，有效提升量化后检测器的精度，本发明提出利用混合精度配置搜索来实现检测器的量化。具体而言，本发明首先建立混合精度配置搜索空间，该搜索空间通常依赖于部署平台的限制，在本实施方式中以{2,3,4,6}共四种比特为例进行介绍。将构建混合精度配置的对应编码，假设共有l层卷积层，则每一个编码为一个l长度的列表，列表中每一个元素为一个二维元组，其表示该层的权重比特数和特征图比特数，据此每一个编码可以表示一个混合精度比特配置。假设一个检测器比特配置为每层均为权重4比特，特征图6比特，则该对应编码将为[(4,6),(4,6),
…
,(4,6)]。之后将基于所构建的混合精度配置搜索空间建立混合精度量化超网络，该网络将检测器中各层卷积替换为量化层，如图2所示，图中检测器中各层卷积比特配
置量化以权重4比特、特征图6比特为例进行，并借此支持权重各比特、特征图各比特的自由前向计算，以实现对权重和特征图多种比特配置的支持。之后直接利用对应任务训练集训练该混合精度超网络，针对每一次迭代，首先采样最大比特配置网络(即[(6,6),(6,6),
…
,(6,6)])并对其进行训练，之后采样最小比特配置网络(即[(2,2),(2,2),
…
,(2,2)])，最后随机采样两个比特配置网络进行训练。之后，构建搜索算法迭代器，以进化算法迭代器为例，并利用进化算法进行搜索获得精度最优的混合精度配置。在进化算法中，首先需要随机生成50个混合精度配置，针对每个混合精度配置，计算其对应的计算量，过滤掉不满足目标计算量的个体并重新生成。之后，针对该种群中的所有个体，通过前向推理一定数量的(如1000张)训练集数据重新统计批归一化层(bn)的统计量后，直接在验证集上进行测试获取性能并记录，并保留前10名个体配置。之后，开始进行进化迭代，首先通过变异获取25个新的混合精度配置，在每次变异时，随机挑选上述种群所保留的前10个个体配置的一个，并对编码中的每个元素执行随机变异(即以10％的概率变为另一随机候选比特)，同时针对每个新生成的配置，计算其计算量，过滤掉不满足目标计算量的个体并重新生成；之后，通过交叉获取另外25个新的混合精度配置，在每次交叉时，随机挑选上述种群所保留的10个个体配置的两个，并对编码中的每个元素执行随机交叉(即从两个个体中对应元素中随机选择一个元素)，同时针对每个新生成的配置，计算其计算量，过滤掉不满足目标计算量的个体并重新生成。之后，构建一个新的种群，其包含上述变异步骤和交叉步骤所获得的共50个个体，并重复迭代上述的评估、变异、交叉步骤，直至迭代20次。在进化算法的最后，评估最终一个种群中各个个体的性能，并选择精度最优的个体作为进化算法搜索的输出结果，即针对现阶段种群中的所有个体，通过前向推理一定数量的(如1000张)训练集数据重新统计批归一化层(bn)的统计量，之后直接在验证集上进行测试获取性能并记录，并保留精度最优个体配置。经过上述搜索算法搜索，获得了通用物体检测器精度最优的混合精度配置，之后对通用物体检测器的每一个卷积层的比特数按照该混合精度配置进行设置，以此构建对应的量化通用物体检测器。最后，通过利用训练集对量化通用物体检测器进行训练，最终获得期望的量化后检测器，进而应用至通用物体的检测。
[0023]
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

技术特征：
1.一种基于量化神经网络检测通用物体的方法，包括如下步骤：1)获取通用物体检测器所允许的各层权重和特征图的比特配置，并据此构建搜索空间；2)获取通用物体检测器卷积层数l，构建编码表示每一层权重和特征图的比特数配置，每一个编码为一个l长度的列表，列表中每一个元素为一个二维元组，其表示对应卷积层的权重比特数和特征图比特数；3)基于上述构建的搜索空间建立混合精度量化超网络，该网络将一个通用物体检测器中各层卷积层替换为量化层，其支持权重各比特、特征图各比特的自由前向计算；4)利用对应任务训练集训练该混合精度量化超网络；5)构建搜索算法迭代器，最终获得使通用物体检测器精度最优的各层权重和特征图的比特配置；6)采用步骤5)获得的精度最优的各层权重和特征图的比特配置，对通用物体检测器的每一个卷积层的比特数进行配置，以此构建量化后的通用物体检测器。7)利用训练集对步骤6)所构建的通用物体检测器进行训练，最终应用于通用物体的检测。2.如权利要求1所述的基于量化神经网络检测通用物体的方法，其特征在于，步骤4)中，针对每一次迭代，首先采样最大比特配置网络并对其进行训练，之后采样最小比特配置网络并对其进行训练，最后随机采样两个比特配置网络并对其网络进行训练针对每一次迭代。3.如权利要求1所述的基于量化神经网络检测通用物体的方法，其特征在于，步骤5)中所述搜索采用随机搜索或进化算法搜索。

技术总结
本发明提供一种基于量化神经网络检测通用物体的方法，属于物体检测技术领域。本发明通过建立混合精度配置并对其进行搜索，直接获取通用物体检测器各层权重和特征图的比特配置，据此搭建并实现通用物体检测器的量化，有效提升量化后通用物体检测器的精度，以优化对物体图像的检测。本发明可广泛应用于多种通用物体检测器部署当中，进而应用于智能安防、自动驾驶、无人机勘测等多种应用场景。无人机勘测等多种应用场景。无人机勘测等多种应用场景。


技术研发人员：王勇涛 林稚皓
受保护的技术使用者：北京大学
技术研发日：2023.01.11
技术公布日：2023/8/2