地基光学图像的仿真方法及装置

1.本发明涉及图像仿真领域，特别是涉及一种地基光学图像的仿真方法及装置。


背景技术：

2.近年来，由于人类空间活动的持续活跃，近地轨道堆积了越来越多的非活动卫星以及空间碎片，加之各国间的空间优势争夺愈演愈烈，导致空间环境日渐恶化。为了防止日益恶化的空间环境威胁各国空间资产的安全，部分国家对这些太空碎片特别是失控卫星等进行了编录并实时警戒，如美国空间监视网络(us space surveillance network,ssn)，俄罗斯空间监视网络(space surveillance system,sss)等。监视网络主要包括地基系统和天基系统，地基系主要由光学雷达和光学探测器组成，天基系统主要由太空望远镜及天基监视卫星组成。随着以地基光学望远镜，天基光学载荷为代表的光学探测设备的发展，空间目标的姿态估计得到了学术界与工业界的越来越多的关注。
3.姿态估计作为计算机视觉一个重要课题发展到现在，已经诞生了许多真实或模拟的6d姿态数据。主要有linemod，occlusion linemod，ycb-video等，这些数据集分别在纹理、材质、光线遮挡等问题存在不小挑战。然而这些数据大多是普适条件下的数据，对于特定领域如空间目标的成像有着不小的差异，后者面临着更加极端光线条件和较差的成像素质。由于地基观测时目标会受到大气光学效应、观测过程和观测环境的影响，相关图像渲染软件无法获取相应的仿真渲染，并且关注的空间目标实际图像数据缺乏且姿态随机，难以获得较为完备的空间目标数据。因此，如何获取与观测数据分布相似的图像，是本领域技术人员亟需解决的问题。


技术实现要素：

4.针对上述问题，本发明公开了一种地基光学图像的仿真方法及装置，所述方法通过三维模型构建模块、原始数据渲染模块及图像降质模块，对地基光学图像进行高质量的仿真。
5.本发明采取的技术方案是：
6.一种地基光学图像的仿真方法，其步骤包括：
7.构建地基光学图像的三维模型；
8.渲染所述三维模型，得到原始渲染图像；
9.通过弗里德相干长度描述的大气湍流现象，对所述原始渲染图像进行大气湍流干扰；
10.使用仿真的ccd噪声，对大气湍流干扰后图像进行干扰，得到所述地基光学图像的仿真结果。
11.进一步地，所述构建地基光学图像的三维模型，包括：
12.选取地基光学图像的关键点；
13.基于所述关键点与地基光学图像的位姿数据，并通过三角测量方法，构建所述地
基光学图像的线框模型；
14.对所述线框模型进行修正，得到所述三维模型。
15.进一步地，所述渲染所述三维模型的模式，包括：推理模式、单帧采样模式或多帧采样模式。
16.进一步地，所述单帧采样模式，包括：
17.根据设置的渲染参数，选取相机，并定义相机坐标系与世界坐标系，其中所述相机坐标系的原点与所述世界坐标系的原点之间的距离为distance；
18.设置光源放置位置；
19.将所述三维模型置于所述世界坐标系的中心位置；
20.对所述三维模型进行采样，其中采样时将z轴的初始采样点z0设置为(2n/n-1)，n为采样点数量，变量n
←
n//2；
21.基于初始采样点z0、变量与距离distance，获取各采样点的坐标位置；
22.将各坐标位置指向世界坐标系原点的向量，转化为相机的外参矩阵；
23.根据所述外参矩阵，得到原始渲染图像。
24.进一步地，所述光源放置位置包括：将光源置于世界坐标系原点指向相机的射线上或将光源置于与相机同侧的随机位置
25.进一步地，所述多帧采样模式，包括：
26.根据设置的渲染参数，选取相机，并定义相机坐标系与世界坐标系，其中所述相机坐标系的原点与所述世界坐标系的原点之间的距离为distance；
27.设置光源放置位置；
28.将所述三维模型置于世界坐标系中心位置；并基于距离distance构建球壳；
29.在球壳表面上初始化以角度θ与角度φ为转角的任意一点作为初始旋转点，其中角度θ与角度φ分别是随机角度；
30.选取所述球壳表面上任意一点初始化旋转轴，并将所述旋转轴归一化；
31.以初始旋转点开始，以采样粒度为间隔，对球壳表面进行采样，以得到采样向量；
32.根据所述采样向量与旋转轴，计算旋转向量，并将所述旋转向量使用goldman公式转换为相机旋转矩阵；
33.根据所述相机旋转矩阵，得到原始渲染图像。
34.进一步地，所述原始渲染图像的标注过程，包括：
35.对所述外参矩阵或相机旋转矩阵取逆，得所述三维模型在相机坐标系下的位姿矩阵，并基于所述位姿矩阵，得到三维姿态信息；
36.选取关键点，并基于每一关键点的像素点深度及所有像素点的最大深度、平均深度，计算相对深度信息；
37.根据所述三维姿态信息与相对深度信息，对所述原始渲染图像进行标注。
38.进一步地，所述通过弗里德相干长度描述的大气湍流现象，对所述原始渲染图像进行大气湍流干扰，包括：
39.对所述大气湍流现象的湍流谱积分，得到整体波前方差；
40.基于所述整体波前方差，生成随机的波前相位；
41.根据所述波前相位，获取成像系统的点扩散函数；
42.基于所述点扩散函数与原始渲染图像，生成大气湍流干扰后图像。
43.进一步地，所述使用仿真的ccd噪声，对大气湍流干扰后图像进行干扰，得到所述地基光学图像的仿真结果，包括：
44.针对所述大气湍流干扰后图像，添加服从高斯分布的电子噪声；
45.和，
46.针对所述大气湍流干扰后图像，添加服从泊松分布的散粒噪声。
47.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一所述方法。
48.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一所述方法。
49.本发明的有益效果是：
50.(1)本发明实现了模拟地基观测时目标会受到大气光学效应、观测过程和观测环境的影响，根据物理过程仿真，生成与真实数据较为相似的数据集，该数据可以用于姿态估计相关的深度学习训练。
51.(2)本发明支持不同观测视角和距离下的单帧图像数据和视频数据仿真，且姿态覆盖全面，并生成对应的三维姿态信息和相对深度信息等视觉标注信息。
52.(3)本发明可配置仿真数据的生成模式，包括单帧模式、多帧模式和推理模式。单帧模式是指随机生成指定粒度的单帧图像；多帧模式是指随机生成姿态连续变化的视频数据；推理模式是指对已知姿态的目标场景进行渲染。
附图说明
53.图1光学图像仿真框架图；
54.图2波前相位与点扩散函数示意图。
具体实施方式
55.下面将结合附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明特定实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
56.本发明的仿真方法，如图1所示，主要包含三个模块：三维模型构建模块，原始数据渲染模块以及图像降质模块：
57.三维模型构建模块，依据观测图像提取相应关键点，构建三维模型的基本形态，然后通过公开信息进行进一步矫正；
58.原始数据渲染模块，用于将三维模型置于blender软件中，构建相应的相机光源环境，依据需要的相机模式，生成相应图像数据，并构建标注信息；
59.图像降质模块，根据地基光学望远镜物理观测过程，对原始渲染图像施加大气湍流效应、散射噪声、散粒噪声等影响，生成与真实图像数据分布相似且相似度较高的仿真图像。
60.此外，本发明还公开了一种地基光学图像的标注方法，可对地基光学图像附有完
善的姿态标注。
61.下面具体对本发明的实施方式进行说明。
62.一、三维模型构建模型
63.三维模型构建模块，输入为实际观测图像，对实际观测图像进行关键点标注，关键点需要确定为比较清晰且明确的点，具体的即随角度变化可以较为明确辨认的。将标注好的一系列关键点与少量的位姿数据通过三角测量的方法构建其初步的线框模型，如下式所示，
[0064][0065]
其中xi代表3d模型的三维关键点坐标，共n个。z
i,j
为第j张图像的第i个关键点的二维标注坐标，为第j张图像的真实投影变换，tj为第j张图像的外参矩阵。通过最小二乘法最小化上述公式，可以得到观测目标的线框模型，之后根据公开数据人工比对等，对最终的三维模型进行修正，得到最终的3d模型。
[0066]
二、原始数据渲染模块
[0067]
对于原始数据渲染模块，其主要发明为对上述相机三种模式的实现，由于推理模式不需要对相机采样，故不做过多叙述。下文主要叙述对相机位姿多帧与单帧的采样算法实现。首先将三维模型置于世界坐标系中心位置，单帧采样模式叙述如下：
[0068]
首先初始化采样点数n，初始化变量n
←
n//2，变量distance设置为相机坐标系原点距离世界坐标系原点的距离。
[0069]
然后n在小于等于n的条件下循环采样，z首先设置为(2n/n-1)；然后分别对x，y，z采样与distance相乘确定坐标值
[0070][0071][0072]zn
←zn
·
distance；
[0073]
确定坐标之后，将位置[xn，yn，zn]指向世界坐标系原点的向量转换为相机的外参矩阵。
[0074]
多帧采样模式叙述如下：
[0075]
首先初始化采样角度的粒度，并初始化以下参数：
[0076]
初始化任意两角度θ
←
rand(n)；φ
←
rand(m)，其中m、n为随机数；
[0077]
初始化相机坐标系到世界坐标系距离distance；
[0078]
基于距离distance，初始化球壳；
[0079]
在球壳上初始化以θ，φ为转角的任意一点作为初始旋转点(x，y，z)；
[0080]
x
←
distance
·
cos(θ)
·
sin(φ)；
[0081]y←
distance
·
sin(θ)
·
sin(φ)；
[0082]z←
distance
·
cos(φ)；
[0083]
选取球壳任意一点初始化旋转轴rotate_axis
←
[a,b,c]，并将其归一化。
[0084]
以初始旋转点开始，以采样粒度为间隔，对球壳表面进行采样：
[0085]
sample_vector
←
start_vector
·
goldman(rotate_unit,angle)；
[0086]
sample_vector为采样向量，start_vector为初始化得采样点向量[x,y,z]，rotate_unit为rotate_axis归一化后的向量，angle为采样后角度。
[0087]
将旋转轴与采样角使用goldman公式转换为相机旋转矩阵，初始化采样向量与旋转矩阵相乘即可得到采样向量。
[0088]
对于光源设置，本发明使用点光源(blender软件中功率设置为3000kw)用于模拟太阳光照射。光源放置有两种方式：第一种将置于世界坐标系原点指向相机的射线上；第二种则将点光源置于与相机同侧的随机位置。
[0089]
上述两算法阐述了本文生成渲染图像所用的两种方式。由于本文将相机坐标系作为移动坐标系，故算法得到的是世界坐标系下相机的姿态，则物体的姿态为相机坐标系下的姿态。令表示世界坐标系向相机坐标系旋转，表示相机坐标系向世界坐标系旋转，表示世界坐标系向相机坐标系的平移，表示相机坐标系向世界坐标系的平移，则
[0090][0091]
其齐次形式为
[0092][0093]
式中是相机坐标系向世界坐标系运动变换齐次坐标矩阵，反之。由此对采样算法所得变换矩阵取逆可得三维模型在相机坐标系下位姿矩阵。
[0094]
为仿真地基光学望远镜的成像效果，其镜头焦距等参数设置如表1。对于光源布置，距离设置为相机距离的0.01，具体的可以通过与功率大小相互调节。image width，image length分别表示传感器成像的宽和长；clip start和clip end表示物体直接可见范围。由相机预定义参数可以计算其内参矩阵k。
[0095]
表1 blender渲染参数设置
[0096]
参数设置值相机类型perspectivelens unitmillimeters焦距105mm(100m)相机距世界坐标系原点距离(distance)61000mimage width512pixelsimage length512pixels灯光类型points灯光功率3000000w灯光距世界坐标系原点距离0.01*distanceclip start50000mclip end70000m
[0097]
通过blender渲染引擎的渲染后可以得到初步的渲染数据，对于渲染数据的信息标注，叙述如下：
[0098]
除了三维姿态信息的标注外，其他信息还包括关键点信息的标注，具体的，关键点的选取可以通过手工的方式，边界框的顶点，以及最远距离算法确定。通过确定的3d标注信息，可以计算得到对应的2d信息。
[0099]
本发明相对深度信息的处理方式如公式所示：
[0100][0101]
其中，dn表示归一化后的深度信息图，d
i，j
为每个像素点的深度，d
max
为最大深度，d
range
为深度范围。
[0102]
三、图像降质模块
[0103]
对于图像降质模块，主要分为两个部分，psf大气湍流仿真和ccd噪声仿真。
[0104]
地基光学望远镜在观测过程中易受到包括大气湍流，各类噪声，光线衍射在内的多种因素的影响，导致其ccd成像系统在成像过程中会产生降质或退化的图像。观测图像是所有退化过程叠加的结果，并且对于大部分成像系统退化过程是线性的。因此退化过程可以用公式表述如下
[0105][0106]
其频域表示为
[0107]
g(u，v)＝h(u，v)
·
f(u，v)+n(u，v)
ꢀꢀꢀ
(2)
[0108]
式中g(x，y)表示ccd传感器的生成图像；f(x，y)代表原始图像；h(x，y)是点扩散函数psf；n(x，y)代表其他噪声函数；ω是图像区域；是卷积符号。上式中，g、h、f、n分别为g、h、f、n的傅立叶变换量。
[0109]
成像系统中，当目标为相干光源时，成像系统的点扩散函数可以表示为
[0110]
h(x)＝f{p(u)}
ꢀꢀꢀ
(3)
[0111]
p(u)＝a(u)exp[jφ(u)]
ꢀꢀꢀ
(4)
[0112]
其中：f{}表示傅里叶变换；p(u)为光瞳函数；j为虚数单位；φ(u)为波前相位；a(u)为孔径函数，
[0113]
本文采用弗里德(fried)相干长度r0描述大气湍流现象。当r0的单位为m时，用相干长度在空间频率域(空间频率ξ的单位为m-1
)的湍流谱表示为
[0114][0115]
对该频谱积分可得整体波前的方差
[0116]
σ2＝∫φ(ξ)d2ξ
ꢀꢀꢀ
(6)
[0117]
上述公式中r0值越大，表示大气条件越好。通过整体的波前方差可以生成随机的波前相位φ(u)。本发明在r0＝18时，生成的波前相位与点扩散函数如图2所示。将波前相位带入公式(3)(4)得到点扩散函数，然后代入图像退化模型得到受大气湍流效应影响的降质图像。
[0118]
ccd的噪声仿真主要为，自适应光学图像中主流噪声通常是服从泊松噪声，而在图像成像背景暗的区域高斯分布的电子噪声为主要成分，故添加的噪声模型必须同时考虑两者噪声。
[0119]
公式如下
[0120]
x＝x+δx
[0121]
y＝y+δy
[0122][0123]
δx～poisson(λ1)
[0124]
δy～poisson(λ2)
[0125]
其中σ1、σ2、ρ、μ1、μ2为高斯分布参数；λ1、λ2、为泊松分布参数，均为常数。
[0126]
以上仅为本发明的一个优选的具体实施例，应当指出，凡在本发明基本原理方法之内做出修改、等同替换等得到的方案，均包含在本发明的保护范围内。

技术特征：
1.一种地基光学图像的仿真方法，其步骤包括：构建地基光学图像的三维模型；渲染所述三维模型，得到原始渲染图像；通过弗里德相干长度描述的大气湍流现象，对所述原始渲染图像进行大气湍流干扰；使用仿真的ccd噪声，对大气湍流干扰后图像进行干扰，得到所述地基光学图像的仿真结果。2.如权利要求1所述的方法，其特征在于，所述构建地基光学图像的三维模型，包括：选取地基光学图像的关键点；基于所述关键点与地基光学图像的位姿数据，并通过三角测量方法，构建所述地基光学图像的线框模型；对所述线框模型进行修正，得到所述三维模型。3.如权利要求1所述的方法，其特征在于，所述渲染所述三维模型的模式，包括：推理模式、单帧采样模式或多帧采样模式。4.如权利要求3所述的方法，其特征在于，所述单帧采样模式，包括：根据设置的渲染参数，选取相机，并定义相机坐标系与世界坐标系，其中所述相机坐标系的原点与所述世界坐标系的原点之间的距离为distance；设置光源放置位置，其中所述光源放置位置包括：将光源置于世界坐标系原点指向相机的射线上或将光源置于与相机同侧的随机位置；将所述三维模型置于所述世界坐标系的中心位置；对所述三维模型进行采样，其中采样时将z轴的初始采样点z0设置为(2n/n-1)，n为采样点数量，变量n
←
n//2；基于初始采样点z0、变量与距离distance，获取各采样点的坐标位置；将各坐标位置指向世界坐标系原点的向量，转化为相机的外参矩阵；根据所述外参矩阵，得到原始渲染图像。5.如权利要求3所述的方法，其特征在于，所述多帧采样模式，包括：根据设置的渲染参数，选取相机，并定义相机坐标系与世界坐标系，其中所述相机坐标系的原点与所述世界坐标系的原点之间的距离为distance；设置光源放置位置；将所述三维模型置于世界坐标系中心位置；并基于距离distance构建球壳；在球壳表面上初始化以角度θ与角度φ为转角的任意一点作为初始旋转点，其中角度θ与角度φ分别是随机角度；选取所述球壳表面上任意一点初始化旋转轴，并将所述旋转轴归一化；以初始旋转点开始，以采样粒度为间隔，对球壳表面进行采样，以得到采样向量；根据所述采样向量与旋转轴，计算旋转向量，并将所述旋转向量使用goldman公式转换为相机旋转矩阵；根据所述相机旋转矩阵，得到原始渲染图像。6.如权利要求4或5所述的方法，其特征在于，所述原始渲染图像的标注过程，包括：对所述外参矩阵或相机旋转矩阵取逆，得所述三维模型在相机坐标系下的位姿矩阵，并基于所述位姿矩阵，得到三维姿态信息；
选取关键点，并基于每一关键点的像素点深度及所有像素点的最大深度、平均深度，计算相对深度信息；根据所述三维姿态信息与相对深度信息，对所述原始渲染图像进行标注。7.如权利要求1所述的方法，其特征在于，所述通过弗里德相干长度描述的大气湍流现象，对所述原始渲染图像进行大气湍流干扰，包括：对所述大气湍流现象的湍流谱积分，得到整体波前方差；基于所述整体波前方差，生成随机的波前相位；根据所述波前相位，获取成像系统的点扩散函数；基于所述点扩散函数与原始渲染图像，生成大气湍流干扰后图像。8.如权利要求1所述的方法，其特征在于，所述使用仿真的ccd噪声，对大气湍流干扰后图像进行干扰，得到所述地基光学图像的仿真结果，包括：针对所述大气湍流干扰后图像，添加服从高斯分布的电子噪声；和，针对所述大气湍流干扰后图像，添加服从泊松分布的散粒噪声。9.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-8中任一所述方法。10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如权利要求1-8中任一所述方法。

技术总结
本发明公开了一种地基光学图像的仿真方法及装置，所述方法包括：构建地基光学图像的三维模型；渲染所述三维模型，得到原始渲染图像；通过弗里德相干长度描述的大气湍流现象，对所述原始渲染图像进行大气湍流干扰；使用仿真的CCD噪声，对大气湍流干扰后图像进行干扰，得到所述地基光学图像的仿真结果。本发明实现了模拟地基观测时目标会受到大气光学效应、观测过程和观测环境的影响，生成了高质量的仿真图像。图像。图像。


技术研发人员：郝淑玲 宋景睿 许克峰
受保护的技术使用者：中国科学院软件研究所
技术研发日：2022.03.14
技术公布日：2023/9/23