基于FPGA的混合高斯粒子目标跟踪方法

基于fpga的混合高斯粒子目标跟踪方法
技术领域
1.本发明涉及视频图像处理技术领域，特别涉及一种基于fpga的混合高斯粒子目标跟踪方法。


背景技术：

2.随着无人机民用化的发展，无人机入侵事件也越来越频繁，无人机跟踪、驱逐的需求也越来越多。为了实现目标外观快速变化情况下的稳定、鲁棒跟踪，通常的做法是先进行特征提取，提取属于符合人类视觉认知且具有某种不变性的特征，然后执行目标跟踪算法，由于这种单一的不变特征是在一定假设的基础上得到的，实际跟踪中很难很好地解决问题。考虑到光照变化意味着图像中所有像素值的整体变化，但对各个高斯模型之间的方差关系影响不大，而目标的运动或目标被局部遮挡意味着局部像素方差的增大，从而影响高斯模型之间方差关系，因此可以采用多个高斯过程的混合模型对目标灰度的变化进行更加有效的描述，即采用混合高斯模型来描述目标观测。


技术实现要素：

3.本发明的目的在于提供一种基于fpga的混合高斯粒子目标跟踪方法，以解决传统粒子滤波所存在的需要重复采样的问题。
4.为了实现上述发明目的，本发明实施例提供了以下技术方案：
5.一种基于fpga的混合高斯粒子目标跟踪方法，包括以下步骤：
6.接收视频图像，并将图像存储在fpga外挂的sram中；
7.进行初始化处理；
8.从sram里取随机数，根据状态转移模型，对前一帧得到的粒子状态进行状态转移，得到新的粒子，然后计算各新粒子的仿射变换后的坐标位置；
9.将状态计算单元的数据形成新的仿射图像模板的坐标，作为读sram中图像的地址，读出仿射变换后的图像数据，输入到混合高斯模型中更新参数，得到新的目标观测模型；
10.根据观测模型的数据，计算各粒子的概率，将最大概率粒子状态存入寄存器，作为跟踪位置输出，同时更新混合高斯模型。
11.进一步的，初始化处理包括：根据给定初始跟踪点坐标,转化为仿射表示，作为目标的初始状态；根据目标模板里的图像数据，初始化混合高斯模型的参数；初始化粒子数目为128个；初始化状态转移模型的阶次和参数。
12.进一步的，状态转移模型采用一阶自回归模型，θ
t+1
＝a
×
θ
t
+c
×ut
，u
t
表示系统噪声，该噪声的含义是在初始参数θ
t
上迭加一个扰动量，a和c均为系数。
13.与现有技术相比，本发明利用fpga的强大吞吐力，基于高斯混合粒子实现目标跟踪，解决了传统粒子滤波需要重复采样的问题，而且跟精度高。
附图说明
14.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
15.图1为本实施例中提供的基于fpga的混合高斯粒子目标跟踪方法的流程图。
16.图2为目标外观快速变化的跟踪算法仿真图。
17.图3为目标模板相似度曲线图。
18.图4a为跟踪数据曲线中x,y方向坐标变化图，图4b为目标的尺度变化图。
具体实施方式
19.下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.如图1所示，本实施例中提供的基于fpga的混合高斯粒子目标跟踪方法，包括以下步骤：
21.s10，接收视频图像，并将图像存储在fpga外挂的sram中。针对所列举的应用场景为无人机的跟踪，因此目标为无人机，接收的视频图像为包含有无人机的视频图像。
22.s20，初始化处理。
23.初始化包括四个部分：一是根据给定初始跟踪点坐标,转化为仿射表示，作为目标的初始状态。二是根据目标模板里的图像数据，初始化混合高斯模型的参数。三是初始化粒子数目为128个。四是初始化状态转移模型的阶次和参数。硬件中取模板大小为16
×
16。
24.根据控制字的状态判断是跟踪初始化状态还是进入跟踪状态。如果是跟踪初始化状态，则初始位置由用户通过主机手段选择目标得到；如果是进入跟踪状态，初始位置就是上一帧得到的最大概率粒子的位置。
25.其中，粒子状态用仿射变换的六个参数{a1,a2,a3,a4,b1,b2}表示，即每个粒子都有六个状态。具体参数设置如下：
[0026][0026][0027]
状态转移模型选一阶自回归模型，θ
t+1
＝a
×
θ
t
+c
×ut
ꢀꢀꢀ
(6)
[0028]
其中，u
t
表示系统噪声，该噪声的含义是在初始参数θ
t
上迭加一个扰动量，它决定了粒子传播的范围。a和c分别为系数。
[0029]
假设目标模板内的所有d＝m
×
n个像素统计独立，并把这些数据看成一个一维数组，且每个像素点的变化过程都满足混合高斯模型。假设该混合高斯模型有三个高斯项，则目标的观测模型表示为：
royal statistical society b,1977,39(1):1～38)代替再取样对粒子进行拟合，形成新的混合高斯模型，在下一个时刻的预测步骤中可直接从该混合高斯模型中取样。
[0044]
s30，从sram里取随机数，根据状态转移方程，对前一帧得到的粒子状态进行状态转移，得到128个新的粒子，然后计算各新粒子的仿射变换后的坐标位置。
[0045]
其中，随机数、粒子状态转移后的位置、仿射变换矩阵都是存储在内部ram中，为提高计算速度，状态计算单元是一维的，组成状态计算单元的各计算模块并行计算各个状态转移矩阵系数。一个粒子对应一个状态转移矩阵，各个计算模块并行计算，即可提高计算效率。
[0046]
s40，将状态计算单元的数据，形成新的仿射图像模板的坐标，作为读sram中图像的地址，读出仿射变换后的图像数据，输入到混合高斯模型中更新参数，得到新的目标观测模型。
[0047]
s50，根据观测模型的数据，计算各粒子的概率，将最大概率粒子状态存入寄存器，作为跟踪位置输出，同时按公式更新混合高斯模型。这些公式中涉及的除法运算都是已知分母的运算，可以通过移位运算完成。
[0048]
图2为目标外观快速变化的跟踪算法仿真图，跟踪结果表明，该算法能长时间较准确地跟踪目标，输出目标的重心位置和目标尺度信息。图像的白色边缘是经过电子稳像算法视频稳定后的结果，由于原始视频抖动非常厉害，影响目标的实时跟踪。图中右上角的三个小图像，从左到右分别是原始模板图像、根据当前跟踪的仿射参数把当前跟踪结果图像变换到同原始模板一样尺寸的图像、当前跟踪结果图像。从这三个小图像也可以看出本文算法对目标外观姿态变化的自适应能力。
[0049]
图3为目标模板相似度曲线图，可以看出，整个过程的相似度均大于模型初始值0.5，每次em算法迭代后，相似度都取得局部最大，导致相似度局部逐渐递增。
[0050]
图4a和图4b为跟踪数据曲线图，从图中可以看出，x,y方向坐标变化比较平滑，目标的尺度变化也很少突变，较符合目标的真实尺度变化。
[0051]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

技术特征：
1.一种基于fpga的混合高斯粒子目标跟踪方法，其特征在于，包括以下步骤：接收视频图像，并将图像存储在fpga外挂的sram中；进行初始化处理；从sram里取随机数，根据状态转移模型，对前一帧得到的粒子状态进行状态转移，得到新的粒子，然后计算各新粒子的仿射变换后的坐标位置；将状态计算单元的数据形成新的仿射图像模板的坐标，作为读sram中图像的地址，读出仿射变换后的图像数据，输入到混合高斯模型中更新参数，得到新的目标观测模型；根据观测模型的数据，计算各粒子的概率，将最大概率粒子状态存入寄存器，作为跟踪位置输出，同时更新混合高斯模型。2.根据权利要求1所述的基于fpga的混合高斯粒子目标跟踪方法，其特征在于，初始化处理包括：根据给定初始跟踪点坐标,转化为仿射表示，作为目标的初始状态；根据目标模板里的图像数据，初始化混合高斯模型的参数；初始化粒子数目为128个；初始化状态转移模型的阶次和参数。3.根据权利要求1所述的基于fpga的混合高斯粒子目标跟踪方法，其特征在于，状态转移模型采用一阶自回归模型，θ
t+1
＝a
×
θ
t
+c
×
u
t
，u
t
表示系统噪声，该噪声的含义是在初始参数θ
t
上迭加一个扰动量，a和c均为系数。4.根据权利要求3所述的基于fpga的混合高斯粒子目标跟踪方法，其特征在于，粒子状态用仿射变换的六个参数{a1,a2,a3,a4,b1,b2}表示，即每个粒子都有六个状态，具体参数设置如下：置如下：5.根据权利要求3所述的基于fpga的混合高斯粒子目标跟踪方法，其特征在于，状态计算单元是一维的，组成状态计算单元的各计算模块并行计算各个状态转移矩阵系数，一个粒子对应一个状态转移矩阵，各个计算模块并行计算。

技术总结
本发明涉及一种基于FPGA的混合高斯粒子目标跟踪方法，包括以下步骤：接收视频图像，并将图像存储在FPGA外挂的SRAM中；进行初始化处理；从SRAM里取随机数，根据状态转移模型，对前一帧得到的粒子状态进行状态转移，得到新的粒子，然后计算各新粒子的仿射变换后的坐标位置；将状态计算单元的数据形成新的仿射图像模板的坐标，作为读SRAM中图像的地址，读出仿射变换后的图像数据，输入到混合高斯模型中更新参数，得到新的目标观测模型；根据观测模型的数据，计算各粒子的概率，将最大概率粒子状态存入寄存器，作为跟踪位置输出，同时更新混合高斯模型。本发明利用FPGA的强大吞吐力，基于高斯混合粒子实现目标跟踪，解决了传统粒子滤波需要重复采样的问题。波需要重复采样的问题。波需要重复采样的问题。


技术研发人员：高志升 汪旭彬 冯波
受保护的技术使用者：西华大学
技术研发日：2022.02.28
技术公布日：2023/9/7