一种高光谱图像与激光雷达图像融合分类方法和系统

1.本发明涉及高光谱图像与激光雷达图像融合分类技术领域，尤其是指一种高光谱图像与激光雷达图像融合分类方法和系统。


背景技术：

2.在遥感领域内，高光谱图像与激光雷达图像在各种相关研究中被广泛使用。高光谱图像具有丰富的空间信息和光谱信息，其中空间信息为各波长下像元的空间位置信息，光谱信息为单一像元在各波长下光谱反射率组成的光谱曲线。激光雷达图像记录目标地物的高程信息，通过将高光谱图像与激光雷达图像进行充分融合可以达到信息互补的效果，进而对地物完整信息进行学习与建模。同时，通过将两种遥感图像进行融合分类可以实现对像元中嵌入特性进行充分挖掘，从而提升后续分类研究的识别精度。早期，此类融合分类方法通常采用两条独立的支路对两种图像进行特征提取，并通过简单连接等方式实现多源信息的融合，但此类方法没有考虑不同支路之间的关联性，难以实现多源信息的平衡。随着计算机算力的提升以及深度学习研究的深入，一些通过训练神经网络来实现高光谱图像与激光雷达图像充分融合的方法相继被提出，这些方法对不同图像的信息提取过程进行改进，提升其关联性，提升了算法的性能。
3.遥感领域中高光谱图像与激光雷达图像融合分类方法一般可分为基于经典机器学习的融合分类方法和基于深度学习的融合分类方法。基于经典机器学习的融合分类方法主要基于经典机器学习理论，利用高光谱图像中的空间信息和光谱信息以及激光雷达图像中的高程信息构造特征提取模块以及融合模块，从而实现不同遥感图像间的联合表达。较为常用的机器学习理论包括主成分分析(principle component analysis，pca)，最小化噪声分离(minimum noise fraction，mnf)，线性判别分析(linear discriminant analysis，lda)等等。其他机器学习方法，例如流形学习算法、结构稀疏化算法、字典集分解算法等同样发挥重要的作用。此类方法通常提取高光谱图像和激光雷达图像中的判别信息，通过将不同信息加以融合来保证样本的可分类能力。随着深度学习理论的不断深入，一些深度网络模型也被应用到高光谱图像与激光雷达图像融合分类研究中，例如自动编码器(auto-encoder，ae)、变分自动编码器(variational auto-encoder，vae)、长短期记忆网络(long short-term memory，lstm)等等。此类方法通过利用复杂的网络结构来提取深层判别信息，从多个方面对样本包含的判别特征进行描述，因此越来越多基于深度学习的融合分类方法被广泛提出。例如danfeng hong等人于2020年发表在ieee geoscience and remote sensing letters上的deep encoder
–
decoder networks for classification of hyperspectral and lidar data中提出了一种基于编码器和解码器结构的全连接网络，将高光谱图像和激光雷达图像中特征进行分别提取并加以融合，实现了对特征信息的重构以及想更深层嵌入空间的传递。此外，他们同年发表在ieee transactions on geoscience and remote sensing上的more diverse means better:multimodal deep learning meets remote-sensing imagery classification提出了一种多模态数据的深度学习框
架，通过在网络训练过程中进行参数交叉选择来对多模态图像间的互补信息进行二次学习。可以看出，深度学习在面向遥感领域中高光谱图像与激光雷达图像融合分类研究中得到了广泛的应用并取得了较优的结果。
4.现有技术缺点如下：
5.目前面向遥感领域中高光谱图像与激光雷达图像融合分类方法存在一定的缺点：
①
现有方法没有考虑到高光谱图像的光照信息与激光雷达图像中的高程信息之间的关联性，因此难以实现两者的深层次融合，弱化了分类模型的性能；
②
现有方法没有将高光谱图像的光照信息应用到融合分类模型的构建中，没有考虑将高光谱图像分解为本征图像和光照图像并充分发挥二者的优势，部分方法尝试将这种本征分解理论引入到分类模型中，但均将分解得到的光照图像直接舍弃，仅使用本征图像与激光雷达图像进行融合分类，无法发挥多模态遥感图像的优势；
③
现有方法在从高光谱图像和激光雷达图像中提取判别信息时较少考虑二者之间的联合能力与协同能力，仅使用完全分离的支路进行信息挖掘与特征提取，这不利于对像元完整信息的充分把握，难以发挥多模态遥感图像在像元分类识别方面的优势。


技术实现要素：

6.为此，本发明所要解决的技术问题在于克服现有技术中未能充分挖掘高光谱图像与激光雷达图像的特征、以及较少考虑二者之间的联合能力与协同能力。
7.为解决上述技术问题，本发明提供了一种高光谱图像与激光雷达图像融合分类方法，包括：
8.获取高光谱图像h与激光雷达图像l；
9.对所述高光谱图像h与激光雷达图像l内全部数值进行对数变换；
10.构建对数变换后高光谱图像h与激光雷达图像l中每个像元的邻域块，所述邻域块基于像元周围s
×
s的像元构建；
11.构建深度网络模型，所述深度网络模型包括分解器和融合器，通过所述分解器提取高光谱图像h和激光雷达图像l中邻域块的特征，每个像元的特征由对应邻域块的特征来表示，并通过所述融合器基于提取到邻域块的特征实现高光谱图像h和激光雷达图像l的融合；
12.对高光谱图像h和激光雷达图像l融合后像元的类别进行分类。
13.在本发明的一个实施例中，所述通过所述分解器提取所述高光谱图像h和激光雷达图像l中邻域块的特征，方法包括：
14.从所述高光谱图像h中随机选取两个高光谱像元的邻域块h1和h2，并从所述激光雷达图像l中选择与邻域块h1和h2相同位置的激光雷达像元的邻域块l1和l2；
15.利用两个多头自注意力层m1和m2从所述高光谱像元的邻域块h1和h2内提取特征h
11
和h
22
；
16.利用两个多头自注意力层m3和m4分别从特征h
11
内提取本征反射特征和利用两个多头自注意力层m5和m6分别从特征h
22
内提取本征照射特征和
17.利用两个卷积核个数均为b的二维卷积层c1和c2将所述激光雷达像元的邻域块l1和l2的通道数目提升至b，得到两个输出；
18.利用tanh激活函数激活两个输出，并将激活后的两个输出经过批量归一化层，得到两个初始激光雷达特征；
19.针对每一个初始激光雷达特征，均利用两个多头自注意力层进行特征提取，最终得到激光雷达特征和
20.其中，所有多头自注意力层后均连接批量归一化层，并且多头自注意力层中头的个数需整除高光谱图像的通道数b，输出节点个数为b。
21.在本发明的一个实施例中，所述通过所述分解器提取所述高光谱图像h和激光雷达图像l中邻域块的特征，方法还包括：
22.将所述和内全部数值进行指数变换得到r1、r2、s1、s2、ll1和ll2，并依次利用tanh激活函数和批量归一化层来处理r1、r2、s1、s2、ll1和ll2；
23.对所述激光雷达像元的邻域块l1和l2进行指数变换，并将变化后结果与ll1和ll2分别相加，最终得到激光雷达特征lc1和lc2。
24.在本发明的一个实施例中，所述融合器包括跨域地理信息网络流和反射信息流，所述跨域地理信息网络流包括第一跨域地理信息模块和第二跨域地理信息模块，所述反射信息流包括第三跨域地理信息模块和第四跨域地理信息模块。
25.在本发明的一个实施例中，所述跨域地理信息网络流的构建方法包括：
26.根据所述s1和lc1构建第一跨域地理信息模块，其中，所述第一跨域地理信息模块包括三条支路，分别为分布转换支路、多模态分组卷积支路和权重支路；
27.所述分布转换支路的输入为s1和lc1，输出为slc
1out1
，所述分布转换支路包括分布转换层、tanh激活函数和批量归一化层，所述分布转换层的公式为：
28.slc
1out1
＝(ex1+ex2)/2
[0029][0030][0031]
其中，μ(
·
)和σ(
·
)分别为均值与标准差，是哈达玛算子；
[0032]
利用拼接层将s1和lc1沿着通道维度进行拼接，得到slc1；
[0033]
所述多模态分组卷积支路的输入为slc1，输出为slc
1out2
，所述多模态分组卷积支路包括多模态分组卷积层、tanh激活函数和批量归一化层；
[0034]
其中，所述多模态分组卷积层的公式为：
[0035][0036]
[0037][0038][0039]
其中，和w为网络层可训练参数，和w为网络层可训练参数，为克罗内克积，
⊙
为点乘计算，roundup(x)为向上取整，d为多模态分组卷积层中卷积核个数，input为多模态分组卷积层的输入，output为多模态分组卷积层的输出；
[0040]
所述权重支路包括二维卷积层和sigmoid激活函数，所述权重支路输入为slc1，输出为ξ，其中二维卷积层的卷积核个数为b；
[0041]
所述第一跨域地理信息模块的输出cmg1为：
[0042][0043]
根据所述特征s2和lc2，构建结构与所述第一跨域地理信息模块结构相同的第二跨域地理信息模块，所述第二跨域地理信息模块的输入为s2和lc2，输出为cmg2。
[0044]
在本发明的一个实施例中，所述反射信息流的构建方法包括：
[0045]
构建反射信息流，所述反射信息流中的第三跨域地理信息模块和第四跨域地理信息模块的结构与跨域地理信息网络流中的第一跨域地理信息模块和第二跨域地理信息模块相同，所述第三跨域地理信息模块和第四跨域地理信息模块均包括三条支路，分别为分布转换支路、多模态分组卷积支路和权重支路；
[0046]
其中，所述第三跨域地理信息模块的输入为r1和cmg1，输出为gr1；所述第四跨域地理信息模块的输入为r2和cmg2，输出为gr2。
[0047]
在本发明的一个实施例中，所述对高光谱图像h和激光雷达图像l融合后的像元进行分类，方法包括：
[0048]
利用拼接层将所述cmg1和gr1沿着通道维度进行拼接，得到f1；利用拼接层将所述cmg2和gr2沿着通道维度进行拼接，得到f2；将所述f1和f2输入两个不同的全连接层得到最终输出为和
[0049]
其中，为深度网络模型识别出的高光谱像元的邻域块h1及相同位置激光雷达像元的邻域块l1的类别，为深度网络模型识别出的高光谱像元的邻域块h2及相同位置激光雷达像元的邻域块l2的类别；两个不同全连接层的节点数均为c、激活函数均为softmax函数。
[0050]
在本发明的一个实施例中，所述深度网络模型中分解器训练时的损失函数公式为：
[0051]
γd＝γ1+γ2+γ3+γ4[0052]
[0053][0054][0055][0056][0057][0058]
其中，gap(
·
)是全局平均池化层，sigmoid(
·
)是s igmoid激活函数，euclidean(
·
)是欧氏距离，|
·
|是绝对值计算，||
·
||是范数计算，∑(
·
)是将括号内的内容全部加在一起。
[0059]
在本发明的一个实施例中，所述深度网络模型中融合器训练时的损失函数公式为：
[0060]
γf＝γ5+γ6[0061][0062][0063]
为解决上述技术问题，本发明提供了一种高光谱图像与激光雷达图像融合分类系统，包括：
[0064]
获取模块：用于获取高光谱图像h与激光雷达图像l；
[0065]
变换模块：用于对所述高光谱图像h与激光雷达图像l内全部数值进行对数变换；
[0066]
邻域块构建模块：用于构建对数变换后高光谱图像h与激光雷达图像l中每个像元的邻域块，所述邻域块基于像元周围s
×
s的像元构建；
[0067]
模型构建模块：用于构建深度网络模型，所述深度网络模型包括分解器和融合器，通过所述分解器提取高光谱图像h和激光雷达图像l中邻域块的特征，每个像元的特征由对应邻域块的特征来表示，并通过所述融合器基于提取到邻域块的特征实现高光谱图像h和激光雷达图像l的融合；
[0068]
分类模块：用于对高光谱图像h和激光雷达图像l融合后像元的类别进行分类。
[0069]
本发明的上述技术方案相比现有技术具有以下优点：
[0070]
本发明通过建立多种跨域约束，利用深度网络模型有效将高光谱图像分解为本征反射图像和本征照射图像，并挖掘本征照射图像与激光雷达图像间的内在关联，在本征层面实现高光谱图像与激光雷达图像的充分融合，进而实现地物像元高精度分类的目的；
[0071]
本发明利用高光谱图像和激光雷达图像对本征分解过程进行约束，挖掘两种遥感模态具体特性对本征反射图像与本征照射图像的约束，在标准分解约束的基础上引入跨域约束来提升分解结果的精准性；
[0072]
本发明针对本征照射图像与激光雷达图像的跨域地理信息融合模块，分别从分布和样本两个角度实现本征照射图像与激光雷达图像在三维空间中的充分融合，进而生成跨域地理信息特征；
[0073]
本发明利用跨域地理信息特征来辅助本征反射图像进行特征提取，从分布和样本两个角度利用跨域地理信息特征对本征反射图像特征提取过程进行引导，从而提升特征提取精度；
[0074]
本发明分别利用不同损失函数对分解器和融合器进行约束，并采用交替迭代优化策略来对分解器和融合器同时进行优化，既保障分解器可以分解出高质量的本征反射图像和本征照射图像，又保障融合器可以实现高光谱图像和激光雷达图像的充分融合，进而提升地物的分类精度。
附图说明
[0075]
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
[0076]
图1是本发明的方法流程图。
具体实施方式
[0077]
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
[0078]
实施例一
[0079]
参照图1所示，本发明涉及一种高光谱图像与激光雷达图像融合分类方法，包括：
[0080]
获取高光谱图像h与激光雷达图像l；
[0081]
对所述高光谱图像h与激光雷达图像l内全部数值进行对数变换；
[0082]
构建对数变换后高光谱图像h与激光雷达图像l中每个像元的邻域块，所述邻域块基于像元周围s
×
s的像元构建；
[0083]
构建深度网络模型，所述深度网络模型包括分解器和融合器，通过所述分解器提取高光谱图像h和激光雷达图像l中邻域块的特征，每个像元的特征由对应邻域块的特征来表示，并通过所述融合器基于提取到邻域块的特征实现高光谱图像h和激光雷达图像l的融合；
[0084]
对高光谱图像h和激光雷达图像l融合后像元的类别进行分类(例如该像元是属于山还是草原等)。
[0085]
以下对本实施例进行详细介绍：
[0086]
s1.根据实际问题选取高光谱图像h与激光雷达图像l，其中高光谱图像尺寸为x
×y×
b，x和y是各波段中高光谱图像的空间尺寸，b是高光谱图像的通道个数，激光雷达图像尺寸为x
×
y，通道个数为1，x和y是激光雷达图像的空间尺寸，两个图像的空间尺寸相同。对高光谱图像和激光雷达图像进行归一化预处理，设置邻域尺寸s(s为大于0的奇数)，各二维
卷积层的卷积核尺寸为[3,3]，卷积核滑动步长均为[1,1]，各二维卷积层的填充参数(padding)均为“保持相同(same)”，两幅图像中各地物的类别为label，类别数目为c。
[0087]
s2.对高光谱图像h与激光雷达图像l内全部数值进行对数变换。
[0088]
s3.针对对数变换后每一个高光谱像元和激光雷达像元(两个图像中均有x
×
y个像元)，选取其周围尺寸为s
×
s的邻域作为该像元的邻域块，其中高光谱图像中每个高光谱像元的邻域块尺寸为s
×s×
b，激光雷达图像中激光雷达像元的邻域块尺寸为s
×
s。
[0089]
s4.构建深度网络模型，步骤s4-s6为分解器。随机选取两个高光谱像元的邻域块h1和h2，然后选择与上述高光谱像元相同位置的激光雷达像元的邻域块l1和l2，这两个邻域块中心像元的类别分别为label1和label2。首先，利用两个参数相同的多头自注意力层(multi-head self-attention layer)m1和m2来从高光谱像元的邻域块h1和h2内提取特征h
11
和h
22
。多头自注意力层中头(head)的个数需可整除b(即b除以头的个数为整数)，输出节点个数为b，后续所有多头自注意力层内参数均与上述相同，相较于常规的自注意力层，多头自注意力层能够同时关注多个重点区域，并为模型的注意力学习提供了多个表示子空间，丰富了信息的特征表达，由于多头自注意力层是现有技术，本实施例对其原理不再赘述。然后，利用两个多头自注意力层m3和m4分别从h
11
内提取到本征反射特征和利用两个多头自注意力层m5和m6分别从h
22
内提取到本征照射特征和本征反射特征和本征照射特征英文名分别为intrinsic reflectance feature和intrinsic shading feature，主要目的是将图像内物体的材质信息和光照信息分开，减少光照对分类的影响，其中本征反射特征体现物体在均匀光照下由自身材质提供的判别信息，本征照射特征体现具体光照环境下图像内的光照强度信息，与物体自身材质无关。上述及下述所有多头自注意力层后均连接批量归一化层(batch normalization layer)。
[0090]
s5.利用两个二维卷积层c1和c2将激光雷达像元的邻域块l1和l2的通道数目提升至b，得到两个输出，两个二维卷积层的卷积核个数均为b。然后，利用tanh激活函数来激活上述两个输出，再在后面添加批量归一化层，得到两个初始激光雷达特征。之后，针对每一个初始激光雷达特征，均利用两个多头自注意力层来进行特征提取，最终得到激光雷达特征和
[0091]
s6.将得到的特征和内全部数值进行指数变换得到r1、r2、s1、s2、ll1和ll2，并依次利用tanh激活函数和批量归一化层来处理上述进行指数变换后的特征。对激光雷达像元的邻域块l1和l2进行指数变换，并将变化后结果与ll1和ll2分别相加，最终得到激光雷达特征lc1和lc2。
[0092]
s7.构建深度网络模型，步骤s7-s8为融合器。融合器内包含一个跨域地理信息网络流和一个反射信息流，其中，跨域地理信息网络流的作用是实现本征照射特征和与激光雷达特征lc1和lc2的充分融合，反射信息流的作用是实现本征反射特征和与跨域地理信息网络流的输出的充分融合，所述跨域地理信息网络流包括第一跨域地理信息模块和第二跨域地理信息模块，所述反射信息流包括第三跨域地理信息模块和第四跨域地理信息模块。
[0093]
对于跨域地理信息网络流：首先，针对特征s1和lc1，构建第一跨域地理信息模块。
其中，第一跨域地理信息模块由三条支路组成，分别为分布转换支路，多模态分组卷积支路和权重支路。分布转换支路的输入为s1和lc1，输出为slc
1out1
，包含一个分布转换层，一个tanh激活函数和一个批量归一化层，分布转换层的具体公式为：
[0094]
slc
1out1
＝(ex1+ex2)/2
[0095][0096][0097]
其中，μ(
·
)和σ(
·
)分别为均值与标准差，
°
是哈达玛算子(hadamard product)，即按位相乘算子。利用拼接层(concatenation layer)将s1和lc1沿着通道维度进行拼接，得到slc1。多模态分组卷积支路的输入为slc1，输出为slc
1out2
，包含一个多模态分组卷积层，一个tanh激活函数和一个批量归一化层。权重支路由一个二维卷积层和一个sigmoid激活函数组成，输入为slc1，输出为ξ，其中二维卷积层的卷积核个数为b。第一跨域地理信息模块的输出cmg1为：
[0098][0099]
针对特征s2和lc2，构建结构相同的第二跨域地理信息模块，输入为s2和lc2，最终输出为cmg2。
[0100]
s8.构建反射信息流。反射信息流的结构与跨域地理信息网络流完全相同，同样包含第三跨域地理信息模块和第四跨域地理信息模块，每个跨域地理信息模块同样包含三条支路，即分布转换支路，多模态分组卷积支路和权重支路。其中，第三跨域地理信息模块的输入为r1和cmg1，输出为gr1，第四跨域地理信息模块的输入为r2和cmg2，输出为gr2。
[0101]
s9.利用拼接层将cmg1和gr1沿着通道维度进行拼接，得到f1。利用拼接层将cmg2和gr2沿着通道维度进行拼接，得到f2。将f1和f2输入两个不同的全连接层(fully connected layer)，其节点数均为c，激活函数均为softmax函数，得到最终输出为和其中，为深度网络模型识别出的高光谱像元的邻域块h1及相同位置激光雷达像元的邻域块l1的类别，为深度网络模型识别出的高光谱像元的邻域块h2及相同位置激光雷达像元的邻域块l2的类别。
[0102]
s10.依据如下公式构建深度网络模型中分解器训练时的损失函数。
[0103]
γd＝γ1+γ2+γ3+γ4[0104][0105][0106]
[0107][0108][0109][0110]
其中，gap(
·
)是全局平均池化层(global average pooling layer)，sigmoid(
·
)是sigmoid激活函数，euclidean(
·
)是欧氏距离，|
·
|是绝对值计算，||
·
||是范数计算，∑(
·
)是将括号内的内容全部加在一起。
[0111]
s11.依据如下公式构建深度网络模型中融合器训练时的损失函数。
[0112]
γf＝γ5+γ6[0113][0114][0115]
s12.利用上述损失函数，选用步长为10-3
的adam优化器，采用交替迭代优化策略来优化分解器和融合器内的网络参数，即首先利用γd作为损失函数来更新分解器，迭代次数为10代，然后利用γf作为损失函数来更新融合器，迭代次数为10代，在模型达到平稳后,将全部像元输入深度网络模型进行测试得到最终的分类结果。
[0116]
下面对上述一些步骤做详细说明：
[0117]
在步骤s1中，需对高光谱图像和激光雷达图像进行归一化使取值范围在-1到1之间，归一化公式如下：
[0118][0119]
其中，x
min
表示像元数据中最小值，x
max
为最大值。所用的tanh激活函数计算公式为：
[0120][0121]
在步骤s7中，多模态分组卷积层的计算公式如下：
[0122][0123]
[0124][0125][0126]
其中，和w为网络层可训练参数，和w为网络层可训练参数，为克罗内克积(kronecker product)，
⊙
为点乘计算(dot product)，roundup(x)为向上取整，d为多模态分组卷积层中卷积核个数，input为多模态分组卷积层的输入，output为多模态分组卷积层的输出。
[0127]
本实施例采用的高光谱图像和激光雷达图像拍摄于意大利特伦托(trento，italy)，其中高光谱图像的尺寸为166
×
600
×
63，激光雷达图像的尺寸为166
×
600。
[0128]
(一)本实施例输入
[0129]
输入的高光谱图像是大小为166
×
600
×
63的图像，输入的激光雷达图像是大小为166
×
600的图像。
[0130]
参数设定
[0131]
邻域尺寸为11，进行邻域块选取，针对每一个像元，得到大小为11
×
11
×
63和11
×
11的邻域块，将邻域块输入深度网络模型进行训练。
[0132]
(二)训练深度网络模型
[0133]
从共计99600组样本邻域块中随机选择1％的样本邻域块用于训练深度网络模型，将这些样本邻域块随机排序并打包，小批量样本邻域块个数为512。每次训练只用其中一个样本包。在训练结束后，将全部99600个样本邻域块输入深度网络模型进行测试，最终得到全部样本的分类结果，选用总体分类精度和平均分类精度来对分类结果进行评价。总体分类结果指所有样本中分类正确的样本数目除以全部样本数目的比值。平均分类精度首先每一类中分类正确的样本数目除以该类样本的数目的比值，并求取各类比值的平均值。
[0134]
(三)本实施例的结果
[0135]
用本发明提出的遥感领域内高光谱图像与激光雷达图像融合分类方法和目前较为常用的endnet网络模型所得到的分类结果如表1所示。
[0136]
表1分类对比结果表
[0137] 总体分类精度平均分类精度本发明方法99.12％97.76％常用的endnet89.23％86.63％
[0138]
不难发现，本发明方法可以较好得对高光谱图像和激光雷达图像进行融合并分类，具有更少的错分样本。此外，当将跨域地理信息模块的其中一个输入在空间域进行转置，并重复上述实验，得到的总体分类精度为95.24％，由此可见，本发明方法具有较强的模型鲁棒性。综上所述，本发明方法可以有效提升多源遥感图像的可分类能力和分类精度。
[0139]
实施例二
[0140]
本实施例提供一种高光谱图像与激光雷达图像融合分类系统，包括：
[0141]
获取模块：用于获取高光谱图像h与激光雷达图像l；
[0142]
变换模块：用于对所述高光谱图像h与激光雷达图像l内全部数值进行对数变换；
[0143]
邻域块构建模块：用于构建对数变换后高光谱图像h与激光雷达图像l中每个像元的邻域块，所述邻域块基于像元周围s
×
s的像元构建；
[0144]
模型构建模块：用于构建深度网络模型，所述深度网络模型包括分解器和融合器，通过所述分解器提取高光谱图像h和激光雷达图像l中邻域块的特征，每个像元的特征由对应邻域块的特征来表示，并通过所述融合器基于提取到邻域块的特征实现高光谱图像h和激光雷达图像l的融合；
[0145]
分类模块：用于对高光谱图像h和激光雷达图像l融合后的像元进行分类。
[0146]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0147]
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

技术特征：
1.一种高光谱图像与激光雷达图像融合分类方法，其特征在于：包括：获取高光谱图像h与激光雷达图像l；对所述高光谱图像h与激光雷达图像l内全部数值进行对数变换；构建对数变换后高光谱图像h与激光雷达图像l中每个像元的邻域块，所述邻域块基于像元周围s
×
s的像元构建；构建深度网络模型，所述深度网络模型包括分解器和融合器，通过所述分解器提取高光谱图像h和激光雷达图像l中邻域块的特征，每个像元的特征由对应邻域块的特征来表示，并通过所述融合器基于提取到邻域块的特征实现高光谱图像h和激光雷达图像l的融合；对高光谱图像h和激光雷达图像l融合后像元的类别进行分类。2.根据权利要求1所述的高光谱图像与激光雷达图像融合分类方法，其特征在于：所述通过所述分解器提取所述高光谱图像h和激光雷达图像l中邻域块的特征，方法包括：从所述高光谱图像h中随机选取两个高光谱像元的邻域块h1和h2，并从所述激光雷达图像l中选择与邻域块h1和h2相同位置的激光雷达像元的邻域块l1和l2；利用两个多头自注意力层m1和m2从所述高光谱像元的邻域块h1和h2内提取特征h
11
和h
22
；利用两个多头自注意力层m3和m4分别从特征h
11
内提取本征反射特征和利用两个多头自注意力层m5和m6分别从特征h
22
内提取本征照射特征和利用两个卷积核个数均为b的二维卷积层c1和c2将所述激光雷达像元的邻域块l1和l2的通道数目提升至b，得到两个输出；利用tanh激活函数激活两个输出，并将激活后的两个输出经过批量归一化层，得到两个初始激光雷达特征；针对每一个初始激光雷达特征，均利用两个多头自注意力层进行特征提取，最终得到激光雷达特征和其中，所有多头自注意力层后均连接批量归一化层，并且多头自注意力层中头的个数需整除高光谱图像的通道数b，输出节点个数为b。3.根据权利要求2所述的高光谱图像与激光雷达图像融合分类方法，其特征在于：所述通过所述分解器提取所述高光谱图像h和激光雷达图像l中邻域块的特征，方法还包括：将所述和内全部数值进行指数变换得到r1、r2、s1、s2、ll1和ll2，并依次利用tanh激活函数和批量归一化层来处理r1、r2、s1、s2、ll1和ll2；对所述激光雷达像元的邻域块l1和l2进行指数变换，并将变化后结果与ll1和ll2分别相加，最终得到激光雷达特征lc1和lc2。4.根据权利要求3所述的高光谱图像与激光雷达图像融合分类方法，其特征在于：所述融合器包括跨域地理信息网络流和反射信息流，所述跨域地理信息网络流包括第一跨域地理信息模块和第二跨域地理信息模块，所述反射信息流包括第三跨域地理信息模块和第四跨域地理信息模块。5.根据权利要求4所述的高光谱图像与激光雷达图像融合分类方法，其特征在于：所述跨域地理信息网络流的构建方法包括：
根据所述s1和lc1构建第一跨域地理信息模块，其中，所述第一跨域地理信息模块包括三条支路，分别为分布转换支路、多模态分组卷积支路和权重支路；所述分布转换支路的输入为s1和lc1，输出为slc
1out1
，所述分布转换支路包括分布转换层、tanh激活函数和批量归一化层，所述分布转换层的公式为：slc
1out1
＝(ex1+ex2)/2)/2其中，μ(
·
)和σ(
·
)分别为均值与标准差，是哈达玛算子；利用拼接层将s1和lc1沿着通道维度进行拼接，得到slc1；所述多模态分组卷积支路的输入为slc1，输出为slc
1out2
，所述多模态分组卷积支路包括多模态分组卷积层、tanh激活函数和批量归一化层；其中，所述多模态分组卷积层的公式为：其中，所述多模态分组卷积层的公式为：其中，所述多模态分组卷积层的公式为：其中，所述多模态分组卷积层的公式为：其中，和w为网络层可训练参数，和w为网络层可训练参数，为克罗内克积，
⊙
为点乘计算，roundup(x)为向上取整，d为多模态分组卷积层中卷积核个数，input为多模态分组卷积层的输入，output为多模态分组卷积层的输出；所述权重支路包括二维卷积层和sigmoid激活函数，所述权重支路输入为slc1，输出为ξ，其中二维卷积层的卷积核个数为b；所述第一跨域地理信息模块的输出cmg1为：根据所述特征s2和lc2，构建结构与所述第一跨域地理信息模块结构相同的第二跨域地理信息模块，所述第二跨域地理信息模块的输入为s2和lc2，输出为cmg2。6.根据权利要求5所述的高光谱图像与激光雷达图像融合分类方法，其特征在于：所述反射信息流的构建方法包括：构建反射信息流，所述反射信息流中的第三跨域地理信息模块和第四跨域地理信息模块的结构与跨域地理信息网络流中的第一跨域地理信息模块和第二跨域地理信息模块相
10.一种高光谱图像与激光雷达图像融合分类系统，其特征在于：包括：获取模块：用于获取高光谱图像h与激光雷达图像l；变换模块：用于对所述高光谱图像h与激光雷达图像l内全部数值进行对数变换；邻域块构建模块：用于构建对数变换后高光谱图像h与激光雷达图像l中每个像元的邻域块，所述邻域块基于像元周围s
×
s的像元构建；模型构建模块：用于构建深度网络模型，所述深度网络模型包括分解器和融合器，通过所述分解器提取高光谱图像h和激光雷达图像l中邻域块的特征，每个像元的特征由对应邻域块的特征来表示，并通过所述融合器基于提取到邻域块的特征实现高光谱图像h和激光雷达图像l的融合；分类模块：用于对高光谱图像h和激光雷达图像l融合后像元的类别进行分类。

技术总结
本发明涉及一种高光谱图像与激光雷达图像融合分类方法和系统，方法包括：获取高光谱图像与激光雷达图像；对所述高光谱图像与激光雷达图像内全部数值进行对数变换；构建对数变换后高光谱图像与激光雷达图像中每个像元的邻域块，所述邻域块由像元周围s


技术研发人员：于文博 黄鹤 沈纲祥
受保护的技术使用者：苏州大学
技术研发日：2023.06.27
技术公布日：2023/9/14