一种红外图像非均匀性实时校正的方法及系统与流程

1.本发明属于飞机、导弹、舰船、空间飞行器等成像系统图像预处理技术领域，尤其涉及一种红外图像非均匀性实时校正的方法及系统。


背景技术：

2.在短波红外成像产品中，使用的短波红外ingaas探测器，具有近室温工作、高量子效率、低暗电流和良好的抗辐照特性等优点，是高灵敏度、低功耗、小型化、高可靠性成像系统的理想选择。但红外焦平面探测器受限于材料和工艺水平，也存在其弱点——图像的非均匀性问题。该问题的产生，根本原因是由于红外面阵探测器的各个探测单元的量子效率、光谱相应、暗电流、视场角、温度响应等因素的差异性导致，影响红外探测器的成像质量与产品性能。对于该问题，一般使用图像非均匀性校正技术来解决该问题，改善图像质量。常用方法可分为两类，一种是基于定标的图像非均匀性校正，另一种是基于场景的图像非均匀性校正。其中基于定标的图像非均匀性校正在图像校正前需要对红外探测器各个像元的参数进行标定测试，该方法应用广泛，但其缺点在于，标定好的校正参数是不变的，随着探测器工作时间的加长，探测器实际的各项参数会随工作环境的变化发生漂移，若还是采用原来的校正参数，这就导致红外图像的质量会逐渐变差。而基于场景的图像非均匀性校正方法虽然能解决探测器参数漂移的问题，但是仍然存在算法相对复杂，难于硬件实现、校正收敛速度慢、难收敛与鬼影等问题。


技术实现要素：

3.本发明解决的技术问题是：克服现有技术的不足，提供了一种红外图像非均匀性实时校正的方法及系统，解决了短波红外图像探测器的非均匀性问题，保证了红外图像校正算法的实时性。
4.本发明目的通过以下技术方案予以实现：一种红外图像非均匀性实时校正的方法，包括：根据成像系统输出的当前帧图像灰度统计值与前一帧图像灰度统计值，使用离线确定运动角速度与图像运动阈值的函数关系的方法得到红外成像系统的运动角速度；根据红外成像系统的运动角速度得到当前帧图像校正所需要的校正参数更新计算的权重，根据红外成像系统的运动角速度得到自适应校正参数更新步长因子；根据当前帧图像校正所需要的校正参数更新计算的权重和自适应校正参数更新步长因子得到下一帧图像的校正参数；根据下一帧图像的校正参数对下一帧图像逐行逐像素进行校正。
5.上述红外图像非均匀性实时校正的方法中，离线确定运动角速度与图像运动阈值的函数关系的方法包括：将红外成像系统放置在转台上，红外成像系统采集在不同角速度ω条件下的红外探测器输出的多帧原始图像；得到相邻两帧图像行方向的差异值和列方向的差异值根据相邻两帧图像行方向的差异值和列方向的差异值得到图像运动阈值；确定运动角速度与图像运动阈值的函数关系。
6.上述红外图像非均匀性实时校正的方法中，相邻两帧图像行方向的差异值和列方向的差异值通过如下公式得到：
[0007][0008][0009][0010]
其中，为相邻两帧图像行方向的差异值，为相邻两帧图像列方向的差异值，m为图像列数，为当前图像(第n帧图像)中坐标(i,j)的像素在温度t下的探测器输出原始灰度值，为前一帧图像(第n-1帧图像)中坐标(i,j)的像素在温度t下的探测器输出原始灰度值，为当帧图像运动检测值，n为图像行数，j为图像行坐标，i为图像列坐标，n为当前帧图像帧序号表示，n-1表示前一帧图像帧序号。
[0011]
上述红外图像非均匀性实时校正的方法中，图像运动阈值通过如下公式得到：
[0012][0013]
其中，thrd
(ω)
为图像在角速度为ω的条件下运动检测阈值；其中ω＝0，1，2，
…
，(ω
max-ω
min
)/δω，为当帧图像运动检测值，m为角速度为ω的条件下采集的图像总帧数。
[0014]
上述红外图像非均匀性实时校正的方法中，运动角速度与图像运动阈值的函数关系通过如下公式得到：
[0015]
ω＝z(thrd
(ω)
)；
[0016]
其中，ω为运动角速度。
[0017]
上述红外图像非均匀性实时校正的方法中，根据红外成像系统的运动角速度采用构造自适应校正参数的迭代公式的方法得到当前帧图像校正所需要的校正参数更新计算的权重。
[0018]
上述红外图像非均匀性实时校正的方法中，构造自适应校正参数的迭代公式的方法包括：计算校正图像与期望图像的误差根据校正图像与期望图像的误差利用最抖下降法得到校正参数实时更新迭代公式。
[0019]
上述红外图像非均匀性实时校正的方法中，校正图像与期望图像的误差通过如下公式得到：
[0020][0021]
[0022][0023]
其中，为第n帧图像坐标(i,j)像素校正灰度与期望灰度的误差，为第n帧图像第(i,j)个像素校正后的灰度值，为第n帧图像坐标(i,j)像素校正期望灰度值，为第n帧图像坐标(i,j)像素的增益校正系数，为第n帧图像坐标(i,j)像素的探测器输出灰度值，为第n帧图像坐标(i,j)像素偏置校正系数，为第n帧图像坐标(i-1,j-1)像素校的探测器输出灰度值，为第n帧图像坐标(i,j-1)像素校的探测器输出灰度值，为第n帧图像坐标(i+1,j-1)像素的探测器输出灰度值，为第n帧图像坐标(i-1,j)像素的探测器输出灰度值，为第n帧图像坐标(i,j+1)像素的探测器输出灰度值，为为第n帧图像坐标(i+1,j-1)像素的探测器输出灰度值，为为第n帧图像坐标(i+1,j)像素的探测器输出灰度值，为为第n帧图像坐标(i+1,j+1)像素的探测器输出灰度值，t为当前温度值，j为图像行坐标，i为图像列坐标，n为帧序号。
[0024]
上述红外图像非均匀性实时校正的方法中，当图像帧序列n不大于预设值p时，校正参数实时更新迭代公式通过如下公式得到：
[0025][0026][0027]
其中，为第n+1帧图像坐标(i,j)像素的增益校正系数，为第n帧图像坐标(i,j)像素的增益校正系数，γ为校正步长因子，为第n帧图像坐标(i,j)像素的探测器输出灰度值，为第n帧图像坐标(i,j)像素校正灰度与期望灰度的误差，为第n+1帧图像坐标(i,j)像素偏置校正系数，为第n帧图像坐标(i,j)像素偏置校正系数，t为当前温度值，j为图像行坐标，i为图像列坐标，n为帧序号；
[0028]
当图像帧序列n大于预设值p时，校正参数实时更新迭代公式通过如下公式得到：
[0029][0030][0031]
其中，为第n+1帧图像坐标(i,j)像素的增益校正系数，为第n+1帧图像坐标(i,j)像素偏置校正系数，k1为第n帧图像校正系数在迭代计算第n+1帧图像校正系数时的权重，γ为校正步长因子，k2为第n-1帧图像校正系数在迭代计算第n+1帧图像校正系数时的权重，k3为第n-2帧图像校正系数在迭代计算第n+1帧图像校正系数时的权重，k4为第n-3帧图像校正系数在迭代计算第n+1帧图像校正系数时的权重，k5为第n-4帧图像校正系
数在迭代计算第n+1帧图像校正系数时的权重，k
p
为第n-p+1帧图像校正系数在迭代计算第n+1帧图像校正系数时的权重。为第n帧图像坐标(i,j)像素的增益校正系数，为第n-1帧图像坐标(i,j)像素的增益校正系数，为第n-2帧图像坐标(i,j)像素的增益校正系数，为第n-3帧图像坐标(i,j)像素的增益校正系数，为第n-4帧图像坐标(i,j)像素的增益校正系数，为第n-p+1帧图像坐标(i,j)像素的增益校正系数，为第n帧图像坐标(i,j)像素偏置校正系数，为第n-1帧图像坐标(i,j)像素偏置校正系数，为第n-2帧图像坐标(i,j)像素偏置校正系数，为第n-3帧图像坐标(i,j)像素偏置校正系数，为第n-4帧图像坐标(i,j)像素偏置校正系数，为第n-p+1帧图像坐标(i,j)像素偏置校正系数。
[0032]
上述红外图像非均匀性实时校正的方法中，根据红外成像系统的运动角速度采用离线计算自适应校正参数更新步长因子关于角速度的函数关系的方法得到自适应校正参数更新步长因子。
[0033]
一种红外图像非均匀性实时校正的系统，包括：第一模块，用于根据成像系统输出的当前帧图像灰度统计值与前一帧图像灰度统计值，使用离线确定运动角速度与图像运动阈值的函数关系的方法得到红外成像系统的运动角速度；第二模块，用于根据红外成像系统的运动角速度得到当前帧图像校正所需要的校正参数更新计算的权重，根据红外成像系统的运动角速度得到自适应校正参数更新步长因子；第三模块，用于根据当前帧图像校正所需要的校正参数更新计算的权重和自适应校正参数更新步长因子得到下一帧图像的校正参数；第四模块，用于根据下一帧图像的校正参数对下一帧图像逐行逐像素进行校正。
[0034]
本发明与现有技术相比具有如下有益效果：
[0035]
(1)本发明在自适应参数更新的第一帧图像校正参数，使用提前定标好的初始校正参数，而非从最原始的图像进行校正，这样校正算法可以快速收敛，实时闭环跟踪计算下一帧图像的校正参数。当图像帧序列大于一定帧数p时，利用当前p帧图像的校正参数迭代计算下一图像帧的校正参数。
[0036]
(2)本发明对步长因子进行参数化设计，可在寄存器中根据校正效果实时调整，提前采集不同工况下红外探测器输出的图像，根据应用环境不同与探测目标的特征选择对应合适的步长因子。
[0037]
(3)本发明在红外图像每个原始像素到来时都能实时对其进行校正，能够最大程度的达到实时处理需求，缩减处理时间，最终实时校正的图像帧频可同步至探测器曝光帧频。
附图说明
[0038]
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0039]
图1为本发明的红外探测器非均匀性实时校正方法执行流程图；
[0040]
图2为本发明实施红外图像非均匀性实时校正的硬件结构示意图；
[0041]
图3为期望图像的计算示意图；
[0042]
图4为校正参数迭代更新计算示意图；
[0043]
图5为校正参数迭代更新后存储示意图。
具体实施方式
[0044]
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
[0045]
图1为本发明的红外探测器非均匀性实时校正方法执行流程图。结合图1，该红外图像非均匀性实时校正的方法，其特征在于包括：
[0046]
根据成像系统输出的当前帧图像灰度统计值与前一帧图像灰度统计值，使用离线确定运动角速度与图像运动阈值的函数关系的方法得到红外成像系统的运动角速度；
[0047]
根据红外成像系统的运动角速度采用构造自适应校正参数的迭代公式的方法得到当前帧图像校正所需要的校正参数更新计算的权重，根据红外成像系统的运动角速度采用离线计算自适应校正参数更新步长因子关于角速度的函数关系的方法得到自适应校正参数更新步长因子；
[0048]
根据当前帧图像校正所需要的校正参数更新计算的权重k1～k
p
∈(0,1)和自适应校正参数更新步长因子γ得到下一帧图像的校正参数
[0049]
根据下一帧图像的校正参数对下一帧图像逐行逐像素进行校正。
[0050]
具体的，该方法步骤如下：
[0051]
(1)、在不同温度t的均匀光辐射条件下，对红外图像探测器的非均匀性校正参数(增益参数与偏置参数)进行定标，具体步骤如下：
[0052]
(1-1)根据经典的红外探测器每个探测单元的校正模型：
[0053]vi,j(φ)
＝r
i,j
×
dn
i,j(φ)
+o
i,j
[0054]
探测器分辨率为m
×
n，其中v
i,j(φ)
为阵列中第i,j(i∈[1,m],j∈[1,n])个探测单元在光辐射强度条件φ下的经过非均匀性校正计算后输出的灰度值，r
i,j
为第i,j个探测单元的校正增益参数，o
i,j
为第i,j个探测单元的校正偏置参数，dn
i,j(φ)
为阵列中第i,j个探测单元光辐射强度φ条件下，探测器输出的原始图像值。
[0055]
(1-2)调整光源输出的光辐射强度分别为φ1和φ2(φ1》φ2，探测器在φ1光辐射强度下输出灰度值为饱和值的80％，在φ2光辐射强度下输出灰度值为饱和值的20％)。分别采集红外探测器在这两种光辐射条件下的输出图像100帧，分别计算该100帧图像的中每个探测单元的时域均值，根据每个探测单元模型可知，其响应输出如下：
[0056][0057]
其中dn
i,j(φ1)
、dn
i,j(φ2)
分别为探测器第i,j(i∈[1,m],j∈[1,n])个探测单元在光
辐射强度条件φ1,φ2下的原始输出的灰度值。
[0058]
(1-3)取像素空间平均在均匀光入射条件下，取整个像面校正的理想情况为:所以有：
[0059][0060]
可以算出，定标后的校正的增益参数与偏置参数分别为：
[0061][0062]
(1-4)调整环境温度，温度选取范围应当与实际应用探测器的温度范围一致t∈(t
min
,t
max
)，从t
min
开始，每隔δt(取δt＝5℃)做为一个温度点采集，最后一个温度点为t
max
，重复步骤(1-1)～(1-3)，计算不同环境温度点t下的增益参数矩阵r
i,j(t)
与偏置参数矩阵o
i,j(t)
，得到第1帧红外图像校正的参数矩阵的初值与
[0063]
(2)、将步骤(1)中的红外校正参数矩阵初值与转换成二进制文件，烧写到板载存储器芯片nand flash中，做为后续自适应参数校正计算的初值。
[0064]
(3)、离线确定图像运动角速度与图像运动监测阈值的函数关系ω＝z(thrd
(ω)
)。
[0065]
(3-1)将成像系统放置在转台等可输出固定角速度的载体平台上，分别设置载体转动速度为ω∈(ω
min
,ω
max
)(取ω
min
＝0deg/s，ω
max
＝20deg/s)，步长δω(取δω＝1deg/s)，采集红外成像系统在不同角速度ω转动条件下的红外探测器输出的原始图像m帧(取m＝500)。
[0066]
(3-2)在角速度输入为ω转动条件下，对输入图像序列的第n帧图像与第n-1帧图像分别计算行、列向量的总均值，并计算其差值得到相邻两帧图像行方向的差异值和列方向的差异值如下所示：
[0067][0068][0069][0070]
其中，为相邻两帧图像行方向的差异值，为相邻两帧图像列方向的差异值，m为图像列数，为当前图像(第n帧图像)中坐标(i,j)的像素在温度t下的探测器
输出原始灰度值，为前一帧图像(第n-1帧图像)中坐标(i,j)的像素在温度t下的探测器输出原始灰度值，为当帧图像运动检测值，n为图像行数，j为图像行坐标，i为图像列坐标，n为当前帧图像帧序号表示，n-1表示前一帧图像帧序号。
[0071]
(3-3)取其中，thrd
(ω)
为图像在角速度为ω的条件下运动检测阈值。其中ω＝0，1，2，
…
，(ω
max-ω
min
)/δω，单位为deg/s。为当帧图像运动检测值。
[0072]
(3-4)使用[0,1,
…
,ω,
…
,20]与[thrd0,thrd1,
…
,thrd
ω
,
…
,thrd
20
]，利用最小二乘法计算角速度ω关于运动检测阈值thrd
(ω)
的关系。
[0073]
(3-5)ω＝z(thrd
(ω)
)为连续的函数关系，在本实施例中为了便于硬件实现减小计算量，将其离散化分为3段(图像静止、图像低速运动、图像高速运动)，每段的角速度分别使用ω0，ω1，ω2表示(ω
min
≤ω0≤ω1≤ω2≤ω
max
)，图像运动角速度阈值分别使用thr0与thr1表示(取thr0＝thrd
(1)
，thr0＝thrd
(10)
)。
[0074]
当时，认为图像处于静止状态，运动角速度为ω0。
[0075]
当时，认为图像处于低速运动状态，运动角速度为ω1。
[0076]
当时，认为图像处于高速运动状态，运动角速度为ω2。
[0077]
(4)、使用基于最小均方误差自适应参数的思想，利用最抖下降法构造自适应校正参数的迭代公式。
[0078]
(4-1)采用的非均匀性校正模型为经典的两点校正模型，对于探测器输出的第n帧的图像(图像帧序列中的当前帧)，探测器中的第i,j(i∈[1,m],j∈[1,n])个探测单元输出的校正结果如下所示：
[0079][0080]
其中为第n帧图像第i,j个探测单元的校正增益参数，为第n帧图像第i,j个探测单元的校正偏置参数，为第n帧(当前帧)图像第i,j个探测单元的原始图像灰度值。t为当前温度值。
[0081]
(4-2)为了得到更加逼近理想图像的期望图像，需要对于图像的每个像素，在当前帧校正后都计算出图像的一个校正图像期望值本方案中取期望值为空间8邻域像素的均值：
[0082][0083]
其中为第n帧图像第i,j个探测单元的期望灰度值，为第n帧图像第i,j个探测单元的原始图像灰度值。个探测单元的原始图像灰度值。为分别为第n帧图像第i,j个探测单元周围的8个原始像素。t为当前温度值。
[0084]
(4-3)由于实际校正后的图像与期望图像之间肯定存在偏差，因此需要计算校正图像与期望图像的误差
[0085][0086]
基于最小均方误差的自适应校正的核心思想是校正后的图像与期望估计的图像近似或者相等，取最小，且根据红外焦平面探测器各个探测单元的响应独立性，即需要最小。对校正参数r
i,j
和o
i,j
求偏导。利用最抖下降法构造r和o的迭代修正公式，得到基础的校正参数实时更新迭代公式。
[0087][0088][0089]
其中，γ为图像非均匀性校正的步长因子，用于调节图像校正的收敛速度，根据算法应用情况进行参数化调整。为第n+1帧图像坐标(i,j)像素的增益校正系数，为第n+1帧图像坐标(i,j)像素偏置校正系数。与为第一步中定标得到的初始图像校正参数，用于首帧图像校正。t为当前温度值。
[0090]
(4-4)在校正过程中，缓存连续4帧的校正参数(默认取p＝4)，用于后续最优参数计算。当前图像帧数n＜4时，下一帧图像的校正参数的迭代更新公式使用(4-3)中所述基础的校正参数更新迭代公式。第n帧(n≥4)图像开始，校正参数选取前4帧图像迭代计算下一帧图像校正的的最优参数，计算方式如下：
[0091][0092][0093]
其中，为第n+1帧图像坐标(i,j)像素的增益校正系数，为第n+1帧图像坐标(i,j)像素偏置校正系数。k1～k4∈(0,1)为校正参数选取的权重系数，且k1+k2+k3+k4＝1。该权重系数值的选取需要判断图像的运动状态来决定。理想情况下，当图像处于静止状态时，帧间校正参数变化不大，理想校正参数接近平均值。而当图像处于运动状态时，帧间校正参数变化大，理想校正参数应当更接近最新计算的校正参数。
[0094]
当判断图像处于静止状态时，运动角速度为ω0，调整校正参数权值k1～k4∈(0,1)的值为：
[0095]
k1＝0.25,k2＝0.25,k3＝0.25,k4＝0.25
[0096]
当判断图像处于相对低速运动状态，运动角速度为ω1。则调整校正参数权值k1～k4∈(0,1)的值为：
[0097]
k1＝0.5,k2＝0.3125,k3＝0.125,k4＝0.0625
[0098]
当判断图像处于相对高速运动状态，运动角速度为ω2。则调整校正参数权值k1～k4∈(0,1)的值为：
[0099]
k1＝1,k2＝0,k3＝0,k4＝0
[0100]
将计算好的下一帧图像校正参数带入(4-1)中的校正公式，即可进行下一帧(第n+
1帧)图像校正。
[0101]
(5)根据实际的应用环境及探测目标特征，采集多帧静目标、不同角速度的动目标等不同工况下红外探测器输出的原始图像，根据采集到的原始图像、第(2)步中计算的校正参数初值与第(4-3)步中参数迭代计算的公式，离线计算适合的步长因子γ。
[0102]
(5-1)采集目标与背景静止条件下的红外探测器输出原始图像500帧，将原始静目标的500帧图像序列、校正参数初值与代入(4-3)中参数迭代计算的公式，设置步长因子γ∈(1
×
e-7
,1
×
e-6
)，取δγ＝1
×
e-7
。对原始图像进行仿真校正计算。统计使用各个步长因子γ时，500帧校正后的图像平整度ρ。
[0103][0104]
式中dn为待评价图像的灰度值矩阵，v1＝[1,-1]为水平梯度算子，v2＝[1,-1]
t
为垂直梯度算子，*表示矩阵的卷积，|| ||1表示求矩阵的一阶范式。
[0105]
统计500帧图像平整度的均值
[0106]
取步长因子γ1使最小时的值做为图像静止状态下(载体运动角速度为ω0)的最优值校正参数调整的步长因子。
[0107]
(5-2)将成像系统放置在转台等可输出固定角速度的载体平台上，分别设置载体低速转动5deg/s，与高速转动15deg/s，采集目标与背景运动条件下的红外探测器输出原始图像500帧，将原始动目标的500帧图像序列、校正参数初值与代入(4-3)中参数迭代计算的公式，设置步长因子γ∈(1
×
e-6
,1
×
e-5
)，取δγ＝1
×
e-6
。对原始图像进行仿真校正计算。统计使用各个步长因子γ，对500帧校正后的图像计算其类信噪比psnr。
[0108][0109]
式中dn
i,j
为待评价图像的灰度值，f
i,j
为该图像的期望值，图像尺寸为m
×
n，b为图像单个像素灰度值的位数，j为图像行坐标，i为图像列坐标。
[0110]
统计500帧图像类信噪比的均值
[0111]
取步长因子γ使低速5deg/s状态下的图像最大时的值，做为低速运动状态下(载体运动角速度为ω1)的图像最优校正参数调整的步长因子γ2。
[0112]
取步长因子γ使高速15deg/s状态下的图像最大时的值，做为高速运动状态下(载体运动角速度为ω2)的图像最优校正参数调整的步长因子γ3。
[0113]
(6)整个红外探测器非均匀性校正的硬件实现框图如图2所示，在红外成像系统开始工作时，红外成像系统先从flash中将预先存储的不同温度场下定标得到的校正参数初值缓存到ddr存储器中。其中相同温度场的增益参数与偏置参数存放于同一个地址空间，以便硬件进行读取操作时能够在一个像素时钟周期内将其读出，保证计算的实时
性。红外成像系统实时测量红外探测器温度，在每一帧图像曝光前选择相应温度下的定标校正参数做为校正初值。
[0114]
(7)红外成像系统的fpga通过对红外探测器的曝光控制与原始数据采集，将红外探测器输出的原始图像数据进行缓存，缓存2行的图像像素在fpga内部寄存器中，用于校正图像期望计算与后续计算。
[0115]
(8)当红外探测器第一帧原始输出图像从第一行第一列的像素开始依次逐行逐像素向后传输时，将其按流水线顺序依次通过乘法器模块与加法器模块，乘法器模块的输入参数为定标的初始增益参数加法器模块的输入参数为定标的初始偏置参数得到首帧图像的非均匀性校正输出
[0116]
(9)期望图像的计算通过缓存两行图像的原始数据完成。具体硬件实现方法如图3所示。图中当原始图像按顺序传输到第i+1,j+1的像素单元时，图中坐标为i,j像素的相邻8个像素已经缓存完成，将其求均值即可得到第i,j个图像单元的期望图像值
[0117]
(10)如图2所示将第(8)步得到的非均匀性校正输出与第(9)步得到的期望图像值同时送入减法器得到校正图像与期望图像的误差并将其与当前帧的校正参数与原始图像同时送入校正参数更新模块。
[0118]
(11)校正参数更新模块根据步骤(4)中得到的校正参数实时迭代的公式，计算下一帧图像的增益参数与偏置参数具体校正参数迭代硬件更新示意图如图4所示。
[0119]
(12)下一帧新的校正参数计算完成后通过fpga内部的mig接口缓存至ddr中，每次迭代计算得到新一帧图像的校正参数替换ddr中前一帧图像相同像素坐标的校正参数，即(覆盖覆盖覆盖)。缓存示意图如图5所示。
[0120]
(13)以此类推，每帧图像校正完成后，实时读取探测器温度，并进行图像运动检测计算，从而选取下一帧图像合适的校正步长因子、校正参数迭代更新权值，直至结束。
[0121]
本实施例还提供了一种红外图像非均匀性实时校正的系统，包括：第一模块，用于根据成像系统输出的当前帧图像灰度统计值与前一帧图像灰度统计值，使用离线确定运动角速度与图像运动阈值的函数关系的方法得到红外成像系统的运动角速度；第二模块，用于根据红外成像系统的运动角速度得到当前帧图像校正所需要的校正参数更新计算的权重，根据红外成像系统的运动角速度得到自适应校正参数更新步长因子；第三模块，用于根据当前帧图像校正所需要的校正参数更新计算的权重和自适应校正参数更新步长因子得到下一帧图像的校正参数；第四模块，用于根据下一帧图像的校正参数对下一帧图像逐行逐像素进行校正。
[0122]
本实施例在传统的红外两点校正方法的基础上，增加了探最小均方误差参数自适应的计算，实时跟踪并更新红外图像的非均匀性校正参数，实时检测探测器温度，根据不同的温度范围选择该范围内的合适的校正参数初值，不需要使用快门等机械结构，即可克服传统两点校正方法中，探测器校正参数随工作时间与温度变化随机漂移的问题。
[0123]
本实施例在自适应参数更新的第一帧图像校正参数，使用提前定标好的初始校正参数，而非从最原始的图像进行校正，这样校正算法可以快速收敛，实时闭环跟踪计算下一帧图像的校正参数。当图像帧序列大于一定帧数p时，利用当前p帧图像的校正参数迭代计算下一图像帧的校正参数。
[0124]
本实施例对步长因子进行参数化设计，可在寄存器中根据校正效果实时调整，提前采集不同工况下红外探测器输出的图像，根据应用环境不同与探测目标的特征选择对应合适的步长因子。
[0125]
本实施例的多线程流水型硬件结构，主要校正计算的流程在fpga内部实现，在红外图像每个原始像素到来时都能实时对其进行校正，能够最大程度的达到实时处理需求，缩减处理时间，最终实时校正的图像帧频可同步至探测器曝光帧频。
[0126]
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

技术特征：
1.一种红外图像非均匀性实时校正的方法，其特征在于包括：根据成像系统输出的当前帧图像灰度统计值与前一帧图像灰度统计值，使用离线确定运动角速度与图像运动阈值的函数关系的方法得到红外成像系统的运动角速度；根据红外成像系统的运动角速度得到当前帧图像校正所需要的校正参数更新计算的权重，根据红外成像系统的运动角速度得到自适应校正参数更新步长因子；根据当前帧图像校正所需要的校正参数更新计算的权重和自适应校正参数更新步长因子得到下一帧图像的校正参数；根据下一帧图像的校正参数对下一帧图像逐行逐像素进行校正。2.根据权利要求1所述的红外图像非均匀性实时校正的方法，其特征在于：离线确定运动角速度与图像运动阈值的函数关系的方法包括：将红外成像系统放置在转台上，红外成像系统采集在不同角速度条件下的红外探测器输出的多帧原始图像；得到相邻两帧图像行方向的差异值和列方向的差异值；根据相邻两帧图像行方向的差异值和列方向的差异值得到图像运动阈值；确定运动角速度与图像运动阈值的函数关系。3.根据权利要求2所述的红外图像非均匀性实时校正的方法，其特征在于：相邻两帧图像行方向的差异值和列方向的差异值通过如下公式得到：像行方向的差异值和列方向的差异值通过如下公式得到：像行方向的差异值和列方向的差异值通过如下公式得到：其中，为相邻两帧图像行方向的差异值，为相邻两帧图像列方向的差异值，m为图像列数，为第n帧图像中坐标(i,j)的像素在温度t下的探测器输出原始灰度值，为第n-1帧图像中坐标(i,j)的像素在温度t下的探测器输出原始灰度值，为当帧图像运动检测值，n为图像行数，j为图像行坐标，i为图像列坐标，n为当前帧图像帧序号表示，n-1表示前一帧图像帧序号。4.根据权利要求2所述的红外图像非均匀性实时校正的方法，其特征在于：图像运动阈值通过如下公式得到：其中，thrd
(ω)
为图像在角速度为ω的条件下运动检测阈值，为当帧图像运动检测值，m为角速度为ω的条件下采集的图像总帧数。5.根据权利要求2所述的红外图像非均匀性实时校正的方法，其特征在于：运动角速度与图像运动阈值的函数关系通过如下公式得到：ω＝z(thrd
(ω)
)；
其中，ω为运动角速度。6.根据权利要求1所述的红外图像非均匀性实时校正的方法，其特征在于：根据红外成像系统的运动角速度采用构造自适应校正参数的迭代公式的方法得到当前帧图像校正所需要的校正参数更新计算的权重。7.根据权利要求6所述的红外图像非均匀性实时校正的方法，其特征在于：构造自适应校正参数的迭代公式的方法包括：计算校正图像与期望图像的误差；根据校正图像与期望图像的误差利用最抖下降法得到校正参数实时更新迭代公式。8.根据权利要求7所述的红外图像非均匀性实时校正的方法，其特征在于：校正图像与期望图像的误差通过如下公式得到：期望图像的误差通过如下公式得到：期望图像的误差通过如下公式得到：其中，为第n帧图像坐标(i,j)像素校正灰度与期望灰度的误差，为第n帧图像第(i,j)个像素校正后的灰度值，为第n帧图像坐标(i,j)像素校正期望灰度值，为第n帧图像坐标(i,j)像素的增益校正系数，为第n帧图像坐标(i,j)像素的探测器输出灰度值，为第n帧图像坐标(i,j)像素偏置校正系数，为第n帧图像坐标(i-1,j-1)像素校的探测器输出灰度值，为第n帧图像坐标(i,j-1)像素校的探测器输出灰度值，为第n帧图像坐标(i+1,j-1)像素的探测器输出灰度值，为第n帧图像坐标(i-1,j)像素的探测器输出灰度值，为第n帧图像坐标(i,j+1)像素的探测器输出灰度值，为为第n帧图像坐标(i+1,j-1)像素的探测器输出灰度值，为为第n帧图像坐标(i+1,j)像素的探测器输出灰度值，为为第n帧图像坐标(i+1,j+1)像素的探测器输出灰度值，t为当前温度值，j为图像行坐标，i为图像列坐标，n为帧序号。9.根据权利要求7所述的红外图像非均匀性实时校正的方法，其特征在于：当图像帧序列n不大于预设值p时，校正参数实时更新迭代公式通过如下公式得到：列n不大于预设值p时，校正参数实时更新迭代公式通过如下公式得到：其中，为第n+1帧图像坐标(i,j)像素的增益校正系数，为第n帧图像坐标(i,j)像素的增益校正系数，γ为校正步长因子，为第n帧图像坐标(i,j)像素的探测器
输出灰度值，为第n帧图像坐标(i,j)像素校正灰度与期望灰度的误差，为第n+1帧图像坐标(i,j)像素偏置校正系数，为第n帧图像坐标(i,j)像素偏置校正系数，t为当前温度值，j为图像行坐标，i为图像列坐标，n为帧序号；当图像帧序列n大于预设值p时，校正参数实时更新迭代公式通过如下公式得到：当图像帧序列n大于预设值p时，校正参数实时更新迭代公式通过如下公式得到：其中，为第n+1帧图像坐标(i,j)像素的增益校正系数，为第n+1帧图像坐标(i,j)像素偏置校正系数，k1为第n帧图像校正系数在迭代计算第n+1帧图像校正系数时的权重，γ为校正步长因子，k2为第n-1帧图像校正系数在迭代计算第n+1帧图像校正系数时的权重，k3为第n-2帧图像校正系数在迭代计算第n+1帧图像校正系数时的权重，k4为第n-3帧图像校正系数在迭代计算第n+1帧图像校正系数时的权重，k5为第n-4帧图像校正系数在迭代计算第n+1帧图像校正系数时的权重，k
p
为第n-p+1帧图像校正系数在迭代计算第n+1帧图像校正系数时的权重。为第n帧图像坐标(i,j)像素的增益校正系数，为第n-1帧图像坐标(i,j)像素的增益校正系数，为第n-2帧图像坐标(i,j)像素的增益校正系数，为第n-3帧图像坐标(i,j)像素的增益校正系数，为第n-4帧图像坐标(i,j)像素的增益校正系数，为第n-p+1帧图像坐标(i,j)像素的增益校正系数，为第n帧图像坐标(i,j)像素偏置校正系数，为第n-1帧图像坐标(i,j)像素偏置校正系数，为第n-2帧图像坐标(i,j)像素偏置校正系数，为第n-3帧图像坐标(i,j)像素偏置校正系数，为第n-4帧图像坐标(i,j)像素偏置校正系数，为第n-p+1帧图像坐标(i,j)像素偏置校正系数。10.一种红外图像非均匀性实时校正的系统，其特征在于包括：第一模块，用于根据成像系统输出的当前帧图像灰度统计值与前一帧图像灰度统计值，使用离线确定运动角速度与图像运动阈值的函数关系的方法得到红外成像系统的运动角速度；第二模块，用于根据红外成像系统的运动角速度得到当前帧图像校正所需要的校正参数更新计算的权重，根据红外成像系统的运动角速度得到自适应校正参数更新步长因子；第三模块，用于根据当前帧图像校正所需要的校正参数更新计算的权重和自适应校正参数更新步长因子得到下一帧图像的校正参数；第四模块，用于根据下一帧图像的校正参数对下一帧图像逐行逐像素进行校正。

技术总结
本发明公开了一种红外图像非均匀性实时校正的方法及系统，该方法包括：根据成像系统输出的当前帧图像灰度统计值与前一帧图像灰度统计值，使用离线确定运动角速度与图像运动阈值的函数关系的方法得到红外成像系统的运动角速度；根据红外成像系统的运动角速度得到当前帧图像校正所需要的校正参数更新计算的权重，根据红外成像系统的运动角速度得到自适应校正参数更新步长因子；根据当前帧图像校正所需要的校正参数更新计算的权重和自适应校正参数更新步长因子得到下一帧图像的校正参数；根据下一帧图像的校正参数对该帧图像的逐行逐像素进行校正。本发明解决了短波红外图像探测器的非均匀性问题，保证了红外图像校正算法的实时性。法的实时性。法的实时性。


技术研发人员：王立 庞少龙 张笃周 李晓 李全良 陈建峰 孙秀清 张春明 徐卿 乔川 闫蓬勃 孙大开 苏畅
受保护的技术使用者：北京控制工程研究所
技术研发日：2022.10.19
技术公布日：2023/8/14