多目标红外图像的生成方法及装置

1.本发明涉及图像处理技术领域，尤其涉及一种多目标红外图像的生成方法及装置。


背景技术：

2.随着对红外辐射和红外光学的深入研究，红外成像技术发展迅速，在民用和军事领域均有广泛的应用。目前，获取红外图像的途径主要分为两种：一种是通过红外相机进行实地拍摄收集实测数据，可以获得目标真实准确的红外图像，另一种则是通过仿真的方法获取目标红外图像，这种仿真方法又可以分为三类：一类是对目标及背景进行建模，根据实验需求构建场景，计算温度场分布，辐射值分布和大气传输效应，模拟红外成像过程，以此获得符合物理规律的红外图像，这类方法可以依据特定的要求进行设定得到符合要求的红外图像；一类则是采取图像到图像的方法，运用可见光图像或其他实测图像进行图像特征分析生成所需的红外仿真图像，一方面源图像选用实测图像保证了图像的真实性，另一方面运用多源图像转换也能有效节省人力物力；还有一类则是采用智能算法，通过训练网络生成仿真红外图像，充分利用现有红外图像特征，以低成本的方法可以获取大量红外数据达到扩充数据的目的，同时这些红外图像具有较高逼真度，基于智能算法的红外仿真方法具有良好的仿真效果。
3.但在实际中，通过对目标及场景建模计算红外辐射的红外图像仿真方法，不仅其建模过程复杂，而且含有大量的外部参数，从而导致仿真结果易受影响产生误差，难以保证红外图像的真实性。


技术实现要素：

4.本发明通过提供一种多目标红外图像生成方法及装置，解决了现有技术中红外图像仿真方法建模过程复杂，且仿真结果易受到外部参数的影响产生误差，不能保证红外图像的真实性的问题，实现了无需场景匹配、灵活性高、能够保证仿真图像的真实性。
5.第一方面，本发明提供了一种多目标红外图像的生成方法，该方法包括：
6.获取待处理的可见光图像；
7.将所述待处理的可见光图像输入至训练好的循环生成对抗网络，生成前景图像；其中，所述循环生成对抗网络通过包括若干可见光样本图像的第一训练集和包括若干红外样本图像的第二训练集训练得到，当所述可见光样本图像经所述循环生成对抗网络生成的第一可见光图像f(g(x))与该可见光样本图像属于同一场景的目标图像，当所述可见光样本图像经所述循环生成对抗网络生成的第一红外图像g(x)与所述红外样本图像具有相同的目标图像，当所述红外样本图像经所述循环生成对抗网络生成的第二红外图像g(f(y))与该红外样本图像属于同一场景的目标图像，当所述红外样本图像经所述循环生成对抗网络生成的第二可见光图像f(y)与所述可见光样本图像具有相同的目标时，得到训练好的循环生成对抗网络；
8.将所述前景图像的梯度场与背景图像的梯度场进行融合，输出红外图像；其中，以所述背景图像的梯度场为指导，采用泊松融合对所述前景图像与所述背景图像进行融合，并且使融合区域内的重建梯度场与所述背景图像的梯度场差异趋近于无限小。
9.结合第一方面，在一种可能的实现方式中，所述循环生成对抗网络包括生成器g、生成器f、判别器d
x
以及判别器dy，所述生成器g与所述判别器d
x
、以及所述生成器f连接，所述生成器f与所述判别器dy、以及所述生成器g连接；
10.所述循环生成对抗网络的训练方法包括：
11.将可见光样本图像x输入至所述循环生成对抗网络的生成器g中，生成第一红外图像g(x)；将所述第一红外图像g(x)输入至所述循环生成对抗网络的所述生成器f中，输出第一可见光图像f(g(x))；
12.所述判别器d
x
对所述第一可见光图像f(g(x))与所述可见光样本图像x是否为同一场景下的图像进行打分判别，输出第一判别结果d
x
(f(g(x)))；
13.所述判别器dy对所述第一红外图像g(x)与红外样本图像y是否为具有相同的目标图像进行打分判别，确定第二判别结果dy(g(x))；
14.将红外样本图像y输入至所述循环生成对抗网络的所述生成器f中，生成第二可见光图像f(y)；将所述第二可见光图像f(y)输入至所述循环生成对抗网络的所述生成器g中，输出第二红外图像g(f(y))；
15.所述判别器d
x
对所述第二红外图像g(f(y))与所述可见光样本图像x是否具有相同的目标图像进行打分判别，输出第三判别结果d
x
(g(f(y)))；
16.所述判别器dy对所述第二可见光图像f(y)与所述红外样本图像y是否为同一场景下的图像进行打分判别，确定第四判别结果dy(f(y))；
17.若所述第一判别结果d
x
(f(g(x)))、所述第二判别结果dy(g(x))、所述第三判别结果d
x
(g(f(y)))以及所述第四判别结果dy(f(y))都均大于预设阈值，则训练结束，否则则继续进行训练。
18.结合第一方面，在一种可能的实现方式中，所述循环生成对抗网络的目标函数表示为：
[0019][0020]
其中，l
gan
表示对抗损失函数，l
cyc
表示循环一致性损失函数，λ表示循环损失函数的权重系数；
[0021]
所述对抗损失函数表示为：
[0022][0023][0024]
所述循环一致性损失函数表示为：
[0025][0026]
其中，||
·
||1表示1-范数，x～p
data
(x)表示x取自真实分布的数据，y～p
data
(y)表示y取自真实分布的数据，dy(y)表示所述判别器dy对所述红外样本图像y的判别结果，d
x
(x)表示所述判别器d
x
对所述可见光样本图像x的判别结果，d
x
(f(y))表示所述判别器d
x
对所述
第二可见光图像f(y)的判别结果。
[0027]
结合第一方面，在一种可能的实现方式中，所述循环生成对抗网络中的所述生成器g对所述判别器dy的训练方法包括：
[0028]
获取初始化的所述生成器g的参数以及所述判别器dy的参数；
[0029]
获取m个红外样本图像y作为判别器的输入、m个可见光样本图像x作为生成器的输入，输出m个生成图像；
[0030]
固定所述生成器g，更新所述判别器dy的参数，使判别器目标函数最小；
[0031]
循环更新k次判别器dy参数后，更新1次生成器g参数，使判别器dy不能区分真假，即生成器目标函数最大。
[0032]
结合第一方面，在一种可能的实现方式中，所述判别器目标函数表示为：
[0033][0034]
所述生成器目标函数表示为：
[0035][0036]
其中，dy(yi)表示为所述判别器dy对所述红外样本图像y的判别结果，g(xi)表示所述生成器g由所述可见光样本图像x生成的新的红外图像，dy(g(xi))表示所述判别器dy对g(xi)的判别结果。
[0037]
结合第一方面，在一种可能的实现方式中，所述循环生成对抗网络中的对所述生成器f和所述判别器d
x
的训练方法包括：
[0038]
获取初始化的所述生成器f的参数以及所述判别器d
x
的参数；
[0039]
获取n个红外样本图像y作为生成器的输入、n个可见光样本图像x作为判别器的输入，输出n个生成图像；
[0040]
固定所述生成器f，更新所述判别器d
x
的参数，使判别器目标函数最小；
[0041]
循环更新k次判别器d
x
参数后，更新1次生成器f参数，使判别器不能区分真假，即生成器目标函数最大；
[0042]
所述判别器目标函数表示为：
[0043][0044]
所述生成器目标函数表示为：
[0045][0046]
其中，d
x
(xi)表示为所述判别器d
x
对所述可见光样本图像x的判别结果，f(yi)表示所述生成器f由所述红外样本图像y生成的新的红外图像，d
x
(f(yi))表示所述判别器d
x
对f(yi)的判别结果。
[0047]
结合第一方面，在一种可能的实现方式中，所述以所述背景图像的梯度场为指导，采用泊松融合对所述前景图像与所述背景图像进行融合，包括：
[0048]
计算所述前景图像的目标梯度场，并且计算所述背景图像的背景梯度场；
[0049]
对所述目标梯度场与所述背景梯度场进行融合，确定融合场；
[0050]
计算所述融合场的散度，并结合边界条件构建矩阵方程；
[0051]
对所述矩阵方程进行求解，将前景图像与所述背景图像进行融合。
[0052]
结合第一方面，在一种可能的实现方式中，所述前景图像的目标梯度场根据以下公式进行计算：
[0053]gx
(x,y)＝g(x+1,y)-g(x,y)
[0054]gy
(x,y)＝g(x,y+1)-g(x,y)
[0055]
g＝(g
x
,gy)
[0056]
其中，g(x,y)表示所述前景图像g中点(x,y)的像素值，g
x
表示沿x轴方向的梯度，gy表示沿y轴方向的梯度，g表示所述前景图像的目标梯度场。
[0057]
结合第一方面，在一种可能的实现方式中，所述背景图像的背景梯度场根据以下公式进行计算：
[0058]sx
(x,y)＝s(x+1,y)-s(x,y)
[0059]
sy(x,y)＝s(x,y+1)-s(x,y)
[0060]
s＝(s
x
,sy)
[0061]
其中，s(x,y)表示所述背景图像s中点(x,y)的像素值，s
x
表示沿x轴方向的梯度，sy表示沿y轴方向的梯度，s表示所述背景图像的背景梯度场。
[0062]
结合第一方面，在一种可能的实现方式中，所述使融合区域内的重建梯度场与所述背景图像的梯度场差异趋近于无限小，包括根据以下公式进行计算：
[0063][0064]
其中，ω表示所述前景目标区域，v表示所述前景目标区域的梯度场，f表示融合场中所述重建梯度场像素值函数，即待求函数，表示求梯度运算符，即
[0065]
第二方面，本发明实施例提供了一种多目标红外图像生成装置，该装置包括：
[0066]
图像输入模块，用于获取待处理的可见光图像；
[0067]
红外图像生成模块，用于将所述待处理的可见光图像输入至训练好的循环生成对抗网络，生成前景图像；其中，所述循环生成对抗网络通过包括若干可见光样本图像的第一训练集和包括若干红外样本图像的第二训练集训练得到，当所述可见光样本图像经所述循环生成对抗网络生成的第一可见光图像f(g(x))与该可见光样本图像属于同一场景的目标图像，当所述可见光样本图像经所述循环生成对抗网络生成的第一红外图像g(x)与所述红外样本图像具有相同的目标图像，当所述红外样本图像经所述循环生成对抗网络生成的第二红外图像g(f(y))与该红外样本图像属于同一场景的目标图像，当所述红外样本图像经所述循环生成对抗网络生成的第二可见光图像f(y)与所述可见光样本图像具有相同的目标时，得到训练好的循环生成对抗网络；
[0068]
图像融合模块，用于将所述前景图像的梯度场与背景图像的梯度场进行融合，输
出红外图像；其中，以所述背景图像的梯度场为指导，采用泊松融合对所述前景图像与所述背景图像进行融合，并且使融合区域内的重建梯度场与所述背景图像的梯度场差异趋近于无限小。
[0069]
本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0070]
本发明通过采用了一种多目标红外图像的生成方法及装置，该方法包括：获取待处理的可见光图像；将待处理的可见光图像输入至训练好的循环生成对抗网络，生成前景图像；其中，循环生成对抗网络通过包括若干可见光样本图像的第一训练集和包括若干红外样本图像的第二训练集训练得到，当可见光样本图像经循环生成对抗网络生成的第一可见光图像f(g(x))与该可见光样本图像属于同一场景的目标图像，当可见光样本图像经循环生成对抗网络生成的第一红外图像g(x)与红外样本图像具有相同的目标图像，当红外样本图像经循环生成对抗网络生成的第二红外图像g(f(y))与该红外样本图像属于同一场景的目标图像，当红外样本图像经循环生成对抗网络生成的第二可见光图像f(y)与可见光样本图像具有相同的目标时，得到训练好的循环生成对抗网络；本发明提供的循环生成对抗网络不要求可见光图像与红外图像成对匹配，只需要输入大量的可见光图像与红外图像即可，适应性更广；将前景图像的梯度场与背景图像的梯度场进行融合，输出红外图像；其中，以背景图像的梯度场为指导，采用泊松融合对前景图像与背景图像进行融合，并且使融合区域内的重建梯度场与背景图像的梯度场差异趋近于无限小；泊松融合不要求精细准确的蒙版，适用于边界差异较大的图像，且交互简单快捷，仅需在前景图像与背景图像相交的边界上指定对应点便能实现融合，有效解决了现有技术中红外图像仿真方法建模过程复杂，仿真结果易受到外部参数的影响产生误差，不能保证红外图像的真实性的问题，进而实现了无需场景匹配、灵活性高、且成本低，效率高能够保证仿真图像的真实性。
附图说明
[0071]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0072]
图1为本发明实施例提供的多目标红外图像样本的生成方法步骤流程图；
[0073]
图2为本发明实施例提供的循环生成对抗网络的训练方法的步骤流程图；
[0074]
图3为本发明实施例提供的生成器g和判别器dy的训练方法步骤流程图；
[0075]
图4为本发明实施例提供的生成器f和判别器d
x
的训练方法步骤流程图；
[0076]
图5为本发明实施例提供的泊松融合步骤流程图；
[0077]
图6为本发明实施例提供的泊松融合具体的图像示意图；
[0078]
图7为本发明实施例提供的多目标红外图像样本的生成装置示意图。
具体实施方式
[0079]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实
施例，都属于本发明保护的范围。
[0080]
本发明实施例提供了一种多目标红外图像的生成方法，如图1所示该方法包括以下步骤s101至s103。
[0081]
s101，获取待处理的可见光图像。
[0082]
s102，将待处理的可见光图像输入至训练好的循环生成对抗网络，生成前景图像；其中，循环生成对抗网络通过包括若干可见光样本图像的第一训练集和包括若干红外样本图像的第二训练集训练得到，当可见光样本图像经循环生成对抗网络生成的第一可见光图像f(g(x))与该可见光样本图像属于同一场景的目标图像，当可见光样本图像经循环生成对抗网络生成的第一红外图像g(x)与红外样本图像具有相同的目标图像，当红外样本图像经循环生成对抗网络生成的第二红外图像g(f(y))与该红外样本图像属于同一场景的目标图像，当红外样本图像经循环生成对抗网络生成的第二可见光图像f(y)与可见光样本图像具有相同的目标时，得到训练好的循环生成对抗网络。
[0083]
s103，将前景图像的梯度场与背景图像的梯度场进行融合，输出红外图像；其中，以背景图像的梯度场为指导，采用泊松融合对前景图像与背景图像进行融合，并且使融合区域内的重建梯度场与背景图像的梯度场差异趋近于无限小。
[0084]
在本发明提供的方法中建立了可见光图像到红外图像的映射，将可见光图像反演为红外图像，再以反演的红外图像对空中目标进行仿真，最后在利用泊松融合方法将生成的红外图像与背景图像进行融合生成多目标红外图像。
[0085]
在步骤s102中，如图2所示，循环生成对抗网络包括生成器g、生成器f、判别器d
x
以及判别器dy，生成器g与判别器d
x
、以及生成器f连接，生成器f与判别器dy、以及生成器g连接。
[0086]
具体的，循环生成对抗网络的训练方法包括：如图2所示，仅当输入为可见光样本图像时的训练步骤，具体见将可见光样本图像x输入至循环生成对抗网络的生成器g中，生成第一红外图像g(x)；将第一红外图像g(x)输入至循环生成对抗网络的生成器f中，输出第一可见光图像f(g(x))；判别器d
x
对第一可见光图像f(g(x))与可见光样本图像x是否为同一场景下的图像进行打分判别，输出第一判别结果d
x
(f(g(x)))；判别器dy对第一红外图像g(x)与红外样本图像y是否为具有相同的目标图像进行打分判别，确定第二判别结果dy(g(x))。
[0087]
同理可知，将红外样本图像y输入至循环生成对抗网络的生成器f中，生成第二可见光图像f(y)；将第二可见光图像f(y)输入至循环生成对抗网络的生成器g中，输出第二红外图像g(f(y))；判别器d
x
对第二红外图像g(f(y))与可见光样本图像x是否具有相同的目标图像进行打分判别，输出第三判别结果d
x
(g(f(y)))；判别器dy对第二可见光图像f(y)与红外样本图像y是否为同一场景下的图像进行打分判别，确定第四判别结果dy(f(y))。
[0088]
上述为具体进行训练时，从输入图像至输出图像在循环生成对抗网络中的处理过程。
[0089]
若第一判别结果d
x
(g(f(y)))、第二判别结果dy(f(y))、第三判别结果d
x
(g(f(y)))以及第四判别结果dy(f(y))都均大于预设阈值，则训练结束，否则则继续进行训练。本发明提供给一个具体的实施例中，当输入一个可见光样本图像x时，对于生成的第一红外图像g(x)需要判别器dy对第一红外图像g(x)进行判别，判断第一红外图像g(x)是不是需要生成
的真图片，即对第一红外图像g(x)进行打分，但实际上并没有可见光样本图像x的真实红外图像，只能用红外样本图像y进行判别，这样生成的第一红外图像g(x)就会尽可能的与红外样本图像y相似，不能保证第一红外图像g(x)是可见光样本图像x的红外图像，所以需要生成器f再生成第一可见光图像f(g(x))，保证第一红外图像g(x)与可见光样本图像x是同一场景的可见光图像和红外图像。当输入为红外样本图像时，原理相同。
[0090]
本发明中的循环生成对抗网络的目标函数表示为：
[0091][0092]
其中，l
gan
表示对抗损失函数，l
cyc
表示循环一致性损失函数，λ表示循环损失函数的权重系数；
[0093]
本发明中的对抗损失函数表示为：
[0094][0095][0096]
循环一致性损失函数表示为：
[0097][0098]
其中，||
·
||1表示1-范数，x～p
data
(x)表示x取自真实分布的数据，y～p
data
(y)表示y取自真实分布的数据，dy(y)表示判别器dy对红外样本图像y的判别结果，d
x
(x)表示判别器d
x
对可见光样本图像x的判别结果，d
x
(f(y))表示判别器d
x
对第二可见光图像f(y)的判别结果。
[0099]
具体的在步骤s102中，循环生成对抗网络中对生成器g和判别器dy的训练方法，如图3所示包括以下步骤s301至s304。
[0100]
s301，获取初始化的生成器g的参数以及判别器dy的参数。
[0101]
s302，获取m个红外样本图像y作为判别器的输入、m个可见光样本图像x作为生成网络的输入，输出m个生成图像。m个可见光样本表示为{x1,x2,
…
xm}，m个红外样本表示为{y1,y2,
…
ym}，m个生成图像表示为{g(x1),g(x2),
…
g(xm)}。
[0102]
s303，固定生成器g，更新判别器dy的参数，使判别器目标函数最小，判别器的目标函数表示为：
[0103][0104]
其中，dy(yi)表示为判别器dy对红外样本图像y的判别结果，g(xi)表示生成器g由可见光样本图像x生成的新的红外图像，dy(g(xi))表示判别器dy对g(xi)的判别结果。
[0105]
s304，循环更新k次判别器dy参数后，更新1次生成器g参数，使判别器dy不能区分真假，即生成器目标函数最大，目标函数为：
[0106][0107]
其中，dy(yi)表示为判别器dy对红外样本图像y的判别结果，g(xi)表示生成器g由
可见光样本图像x生成的新的红外图像，dy(g(xi))表示判别器dy对g(xi)的判别结果。
[0108]
重复步骤s302至s304，训练生成器g和判别器dy，使网络能够生成可以以假乱真的红外图像。
[0109]
具体的在步骤s102中，循环生成对抗网络中对生成器f和判别器d
x
的训练方法，如图4所示包括以下步骤s401至s404。
[0110]
s401，获取初始化的生成器f的参数以及判别器d
x
的参数。
[0111]
s402，获取n个红外样本图像y作为生成器的输入，输出n个生成图像，n个可见光样本图像x作为判别器的输入，其中n个可见光样本表示为：{x1,x2,
…
xn}，n个红外样本表示为{y1,y2,
…yn
}，n个生成图像表示为{f(y1),f(y2),
…
f(yn)}。
[0112]
s403，固定生成器f，更新判别器d
x
的参数使判别器目标函数最小，判别器的目标函数表示为：
[0113][0114]
其中，d
x
(xi)表示为判别器d
x
对可见光样本图像x的判别结果，f(yi)表示生成器f由红外样本图像y生成的新的红外图像，d
x
(f(yi))表示判别器d
x
对f(yi)的判别结果。
[0115]
s404，循环更新k次判别器d
x
参数后，更新1次生成器f参数，使判别器不能区分真假，即生成器目标函数最大，生成器的目标函数表示为：
[0116][0117]
其中，d
x
(xi)表示为判别器d
x
对可见光样本图像x的判别结果，f(yi)表示生成器f由红外样本图像y生成的新的红外图像，d
x
(f(yi))表示判别器d
x
对f(yi)的判别结果。
[0118]
重复步骤s402至s404，训练生成器f和判别器d
x
，使网络能够生成可以以假乱真的可见光图像。
[0119]
具体的在步骤s103中，以背景图像的梯度场为指导，采用泊松融合对前景图像与背景图像进行融合，如图5所示包括以下步骤s501至s504。步骤s103中，采用泊松融是为了保证融合后的图像在该局部的变化连续平滑，并且保留原本的图像特征。
[0120]
s501，计算前景图像的目标梯度场，并且计算背景图像的背景梯度场。前景图像的目标梯度场根据以下公式进行计算：
[0121]gx
(x,y)＝g(x+1,y)-g(x,y)
[0122]gy
(x,y)＝g(x,y+1)-g(x,y)
[0123]
g＝(g
x
,gy)
[0124]
其中，g(x,y)表示前景图像g中点(x,y)的像素值，g
x
表示沿x轴方向的梯度，gy表示沿y轴方向的梯度，g表示前景图像的目标梯度场。
[0125]
背景图像的背景梯度场根据以下公式进行计算：
[0126]sx
(x,y)＝s(x+1,y)-s(x,y)
[0127]
sy(x,y)＝s(x,y+1)-s(x,y)
[0128]
s＝(s
x
,sy)
[0129]
其中，s(x,y)表示背景图像s中点(x,y)的像素值，s
x
表示沿x轴方向的梯度，sy表示沿y轴方向的梯度，s表示背景图像的背景梯度场。
[0130]
s502，对目标梯度场与背景梯度场进行融合，确定融合场。将背景图像中的ω区域的梯度场由目标梯度场g覆盖，得到融合场v。
[0131]
s503，计算融合场的散度，并结合边界条件构建矩阵方程；边界条件为：计算融合场的散度即为对梯度场s求偏导。即：
[0132][0133]
根据散度和边界条件构建的系数矩阵方程为：
[0134][0135]
其中δ
·
表示求散度，即则某点(x,y)的散度可以表示为
[0136][0137]
对系数矩阵方程进行整理得：
[0138][0139]
s504，对矩阵方程进行求解，将前景图像与背景图像进行融合。具体的矩阵方程解表示为：
[0140][0141]
本发明提供的一个具体的实施例如所示，如图6所示为泊松融合具体的图像示意图，泊松图像融合算法流程如下：假设前景图像g为4
×
4的像素矩阵，背景图像s为7
×
7的矩阵，背景图像中预留给前景图像的区域ω也是一个4
×
4的像素矩阵。将前景图像g为4
×
4的像素矩阵覆盖至背景图像中预留给前景图像的区域ω中，对边界采用泊松融合。
[0142]
具体的在s103中，使融合区域内的重建梯度场与背景图像的梯度场差异趋近于无限小，包括根据以下公式进行计算：
[0143][0144]
其中，ω表示前景目标区域，v表示前景目标区域的梯度场，f表示融合场中重建梯度场像素值函数，即待求函数，表示求梯度运算符，即
[0145]
对于目标函数令对f求导，得到：
[0146][0147]
要使取最小值，则
[0148]
即：
[0149][0150]
可得梯度场差异的值为：在ω区域内，即δf＝divv，其中，
[0151]
同时存在约束条件，为了解决局部图像编辑过程中可能会产生的边界明显的问题，要求融合后目标的边界和背景图像中融合区域的边界保持一致，即：
[0152][0153]
其中，是目标区域的边界，f
*
是背景图像的像素值函数。
[0154]
本发明实施例提供了一种多目标红外图像生成装置700，如图7所示，该装置700包括：图像输入模块701、红外图像生成模块702以及图像融合模块703。
[0155]
图像输入模块701，用于获取待处理的可见光图像。
[0156]
红外图像生成模块702，用于将待处理的可见光图像输入至训练好的循环生成对抗网络，生成前景图像；其中，循环生成对抗网络通过包括若干可见光样本图像的第一训练集和包括若干红外样本图像的第二训练集训练得到，当可见光样本图像经循环生成对抗网络生成的第一可见光图像f(g(x))与该可见光样本图像属于同一场景的目标图像，当可见光样本图像经循环生成对抗网络生成的第一红外图像g(x)与红外样本图像具有相同的目标图像，当红外样本图像经循环生成对抗网络生成的第二红外图像g(f(y))与该红外样本图像属于同一场景的目标图像，当红外样本图像经循环生成对抗网络生成的第二可见光图像f(y)与可见光样本图像具有相同的目标时，得到训练好的循环生成对抗网络。
[0157]
图像融合模块703，用于将前景图像的梯度场与背景图像的梯度场进行融合，输出红外图像；其中，以背景图像的梯度场为指导，采用泊松融合对前景图像与背景图像进行融
合，并且使融合区域内的重建梯度场与背景图像的梯度场差异趋近于无限小。
[0158]
本发明中采用了的循环生成对抗网络，不要求训练数据成对匹配，只需要分别输入大量的可见光图像与红外图像训练集即可，不再要求这两种图像存在对应关系，因此该方法对训练集要求更宽泛，适用性更广，红外图像生成模块602与现有的建模仿真红外相比，成本低，效率高，且图像逼真度更高；图像融合模块603采用经典的泊松融合方法，不要求精细准确的蒙版，适用于边界差异较大的图像，且交互简单快捷，仅需在前景图像与背景图像边界上指定对应点便能实现融合。
[0159]
上述实施例阐明的装置或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。当然，也可以将实现某功能的模块由多个子模块或子单元组合实现。
[0160]
本发明中所述的方法、装置或模块可以以计算机可读程序代码方式实现控制器按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(英文：application specific integrated circuit；简称：asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc 625d、atmel at91sam、microchip pic18f26k20以及silicone labs c8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0161]
本发明所述装置中的部分模块可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0162]
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，也可以通过数据迁移的实施过程中体现出来。该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0163]
本说明书中的各个实施方式采用递进的方式描述，各个实施方式之间相同或相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。本发明的全部或者部分可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、移动通信终端、多处理器系统、基于微处理器的系统、可编程的电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设
备的分布式计算环境等等。
[0164]
以上实施例仅用以说明本发明的技术方案，而非对本发明限制；尽管参照前述实施例对本发明进行了详细的说明，本领域普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明技术方案的范围。

技术特征：
1.一种多目标红外图像的生成方法，其特征在于，包括：获取待处理的可见光图像；将所述待处理的可见光图像输入至训练好的循环生成对抗网络，生成前景图像；其中，所述循环生成对抗网络通过包括若干可见光样本图像的第一训练集和包括若干红外样本图像的第二训练集训练得到，当所述可见光样本图像经所述循环生成对抗网络生成的第一可见光图像f(g(x))与该可见光样本图像属于同一场景的目标图像，当所述可见光样本图像经所述循环生成对抗网络生成的第一红外图像g(x)与所述红外样本图像具有相同的目标图像，当所述红外样本图像经所述循环生成对抗网络生成的第二红外图像g(f(y))与该红外样本图像属于同一场景的目标图像，当所述红外样本图像经所述循环生成对抗网络生成的第二可见光图像f(y)与所述可见光样本图像具有相同的目标时，得到训练好的循环生成对抗网络；将所述前景图像的梯度场与背景图像的梯度场进行融合，输出红外图像；其中，以所述背景图像的梯度场为指导，采用泊松融合对所述前景图像与所述背景图像进行融合，并且使融合区域内的重建梯度场与所述背景图像的梯度场差异趋近于无限小。2.根据权利要求1所述的方法，其特征在于，所述循环生成对抗网络包括生成器g、生成器f、判别器d
x
以及判别器d
y
，所述生成器g与所述判别器d
x
、以及所述生成器f连接，所述生成器f与所述判别器d
y
、以及所述生成器g连接；所述循环生成对抗网络的训练方法包括：将可见光样本图像x输入至所述循环生成对抗网络的生成器g中，生成第一红外图像g(x)；将所述第一红外图像g(x)输入至所述循环生成对抗网络的所述生成器f中，输出第一可见光图像f(g(x))；所述判别器d
x
对所述第一可见光图像f(g(x))与所述可见光样本图像x是否为同一场景下的图像进行打分判别，输出第一判别结果d
x
(f(g(x)))；所述判别器d
y
对所述第一红外图像g(x)与红外样本图像y是否为具有相同的目标图像进行打分判别，确定第二判别结果d
y
(g(x))；将红外样本图像y输入至所述循环生成对抗网络的所述生成器f中，生成第二可见光图像f(y)；将所述第二可见光图像f(y)输入至所述循环生成对抗网络的所述生成器g中，输出第二红外图像g(f(y))；所述判别器d
x
对所述第二红外图像g(f(y))与所述可见光样本图像x是否具有相同的目标图像进行打分判别，输出第三判别结果d
x
(g(f(y)))；所述判别器d
y
对所述第二可见光图像f(y)与所述红外样本图像y是否为同一场景下的图像进行打分判别，确定第四判别结果d
y
(f(y))；若所述第一判别结果d
x
(f(g(x)))、所述第二判别结果d
y
(g(x))、所述第三判别结果d
x
(g(f(y)))以及所述第四判别结果d
y
(f(y))都均大于预设阈值，则训练结束，否则则继续进行训练。3.根据权利要求2所述的方法，其特征在于，所述循环生成对抗网络的目标函数表示为：
其中，l
gan
表示对抗损失函数，l
cyc
表示循环一致性损失函数，λ表示循环损失函数的权重系数；所述对抗损失函数表示为：所述对抗损失函数表示为：所述循环一致性损失函数表示为：其中，||
·
||1表示1-范数，x～p
data
(x)表示x取自真实分布的数据，y～p
data
(y)表示y取自真实分布的数据，d
y
(y)表示所述判别器d
y
对所述红外样本图像y的判别结果，d
x
(x)表示所述判别器d
x
对所述可见光样本图像x的判别结果，d
x
(f(y))表示所述判别器d
x
对所述第二可见光图像f(y)的判别结果。4.根据权利要求2所述的方法，其特征在于，所述循环生成对抗网络中的所述生成器g对所述判别器d
y
的训练方法包括：获取初始化的所述生成器g的参数以及所述判别器d
y
的参数；获取m个红外样本图像y作为判别器的输入、m个可见光样本图像x作为生成器的输入，输出m个生成图像；固定所述生成器g，更新所述判别器d
y
的参数，使判别器目标函数最小；循环更新k次判别器d
y
参数后，更新1次生成器g参数，使判别器d
y
不能区分真假，即生成器目标函数最大。5.根据权利要求4所述的方法，其特征在于，所述判别器目标函数表示为：所述生成器目标函数表示为：其中，d
y
(y
i
)表示为所述判别器d
y
对所述红外样本图像y的判别结果，g(x
i
)表示所述生成器g由所述可见光样本图像x生成的新的红外图像，d
y
(g(x
i
))表示所述判别器d
y
对g(x
i
)的判别结果。6.根据权利要求2所述的方法，其特征在于，所述循环生成对抗网络中的所述生成器f对所述判别器d
x
的训练方法包括：获取初始化的所述生成器f的参数以及所述判别器d
x
的参数；获取n个红外样本图像y作为生成器的输入、n个可见光样本图像x作为判别器的输入，输出n个生成图像；固定所述生成器f，更新所述判别器d
x
的参数，使判别器目标函数最小；循环更新k次判别器d
x
参数后，更新1次生成器f参数，使判别器不能区分真假，即生成器
目标函数最大；所述判别器目标函数表示为：所述生成器目标函数表示为：其中，d
x
(x
i
)表示为所述判别器d
x
对所述可见光样本图像x的判别结果，f(y
i
)表示所述生成器f由所述红外样本图像y生成的新的红外图像，d
x
(f(y
i
))表示所述判别器d
x
对f(y
i
)的判别结果。7.根据权利要求1所述的方法，其特征在于，所述以所述背景图像的梯度场为指导，采用泊松融合对所述前景图像与所述背景图像进行融合，包括：计算所述前景图像的目标梯度场，并且计算所述背景图像的背景梯度场；对所述目标梯度场与所述背景梯度场进行融合，确定融合场；计算所述融合场的散度，并结合边界条件构建矩阵方程；对所述矩阵方程进行求解，将前景图像与所述背景图像进行融合。8.根据权利要求7所述的方法，其特征在于，所述前景图像的目标梯度场根据以下公式进行计算：g
x
(x,y)＝g(x+1,y)-g(x,y)g
y
(x,y)＝g(x,y+1)-g(x,y)g＝(g
x
,g
y
)其中，g(x,y)表示所述前景图像g中点(x,y)的像素值，g
x
表示沿x轴方向的梯度，g
y
表示沿y轴方向的梯度，g表示所述前景图像的目标梯度场。9.根据权利要求7所述的方法，其特征在于，所述背景图像的背景梯度场根据以下公式进行计算：s
x
(x,y)＝s(x+1,y)-s(x,y)s
y
(x,y)＝s(x,y+1)-s(x,y)s＝(s
x
,s
y
)其中，s(x,y)表示所述背景图像s中点(x,y)的像素值，s
x
表示沿x轴方向的梯度，s
y
表示沿y轴方向的梯度，s表示所述背景图像的背景梯度场。10.根据权利要求1所述的方法，其特征在于，所述使融合区域内的重建梯度场与所述背景图像的梯度场差异趋近于无限小，包括根据以下公式进行计算：其中，ω表示所述前景目标区域，v表示所述前景目标区域的梯度场，f表示融合场中所述重建梯度场像素值函数，即待求函数，表示求梯度运算符，即

技术总结
本发明公开了一种多目标红外图像的生成方法及装置，涉及图像处理技术领域，解决了现有技术中红外图像仿真方法建模过程复杂，仿真结果易受到外部参数的影响产生误差，不能保证红外图像的真实性的问题，该方法包括：获取待处理的可见光图像；将待处理的可见光图像输入至训练好的循环生成对抗网络，生成前景图像；将前景图像的梯度场与背景图像的梯度场进行融合，输出红外图像；实现了无需场景匹配、灵活性高、且成本低，效率高能够保证仿真图像的真实性。实性。实性。


技术研发人员：冯伟 杨莉荷 全英汇 宋怡佳 邹欣杉 谢志伟
受保护的技术使用者：西安电子科技大学
技术研发日：2023.05.22
技术公布日：2023/10/6