一种基于语义分割的云-气溶胶层次分类方法

1.本发明涉及大气环境遥感监测领域，尤其涉及一种基于语义分割的云-气溶胶层次分类方法。


背景技术：

2.气溶胶是大气中的重要成分，由悬浮在大气中的小颗粒固体(如灰尘)和液体(如水)组成。大气气溶胶可以作为颗粒(如灰烬)直接排放到大气中，也可以在排放的气体经历复杂的化学反应并凝结为颗粒时形成，其粒子半径可以小至几纳米，也可以大到几十微米。
3.气溶胶的来源非常广泛，可以进一步将其分为自然产生的气溶胶和人为产生的气溶胶：自然气溶胶包括沙漠尘埃、植被中的挥发性有机化合物、森林火灾产生的烟雾和火山灰等；人为气溶胶，即由人类活动产生的气溶胶，包括硫酸盐、硝酸盐、黑碳和来自化石燃料燃烧、农业废弃物燃烧的有机碳气溶胶。虽然在整个大气环境中气溶胶所占比例较低，但对人类健康以及气候变化研究有着至关重要的作用。
4.为了更好地明确气溶胶的形成、演化和传输等过程，以及探究气溶胶如何调控大气系统的能量收支变化，需要实时、准确地掌握其立体分布信息。对气溶胶进行精确而高效的立体探测，不仅对全球生态环境具有极大的科学意义，也对提高气候预测精度具有重要的支撑作用。
5.由于气溶胶在空间上分布广泛，需要获取大范围、高质量的观测数据资料才能满足科学研究需求。星载激光雷达caliop具有高时空分辨率、可获取垂直分布信息、全天时工作等优点，在大气气溶胶立体探测中相比于被动遥感等探测方法具有明显优势。通过其探测到的衰减后向散射信号，结合层次识别算法可以进一步得到大气中的气溶胶三维结构信息。
6.对气溶胶进行层次分类的方法主要有斜率法和阈值法。斜率法要求信号足够强并且不断增加(或减少)来确定斜率为正还是为负。否则，强烈的仪器噪声会对检测产生不利影响。因此，斜率法不适用于星载激光雷达，因为其信噪比较低。阈值法在星载激光雷达中应用更为广泛，通过检测特定高度范围内的信号强度，根据提前设定的一系列阈值来确定层次类型。
7.授权公告号为cn 112698354 b的发明专利公开了一种大气气溶胶与云的识别方法和系统，包括获取激光雷达原始数据；数据订正；获取色比与衰减后向散射系数，并将其与色比与衰减后向散射系数预设阀值条件比较，得出气溶胶和云类型的分析结果。
8.目前现有技术中，云-气溶胶层次分类算法主要针对单条廓线进行层次查找，依赖于地理空间信息和光谱分辨率属性，而没有有效利用层内的空间信息，忽略了相邻廓线之间的联系，导致层次分类结果的连续性和准确性存在问题。因此，需要构建更加准确的气溶胶层次识别方法，这有利于构建大气模型，进而更好地了解全球气候变化。


技术实现要素：

9.为解决已有的层次分类算法大多针对单条廓线，容易忽略相邻廓线之间的联系，且在对某个层次进行识别时，会将该层次识别为同一种类型，容易造成边缘误识别的问题，本发明提出了一种基于语义分割的云-气溶胶层次分类方法，该方法将caliop获取的532nm衰减后向散射系数、体退偏比和衰减色比作为输入，充分考虑了多个通道的观测数据和激光雷达图像的纹理信息，从而获得更加连续、分辨率更高的云-气溶胶层次分类结果，适用于多种环境。
10.一种基于语义分割的云-气溶胶层次分类方法，包括以下步骤：
11.(1)获取星载激光雷达caliop遥感观测数据，包括获取level 1级别经过校准的三通道衰减后向散射系数，所述三通道为532nm垂直偏振通道、532nm平行偏振通道及1064nm通道，同时获取对应的level 2级别的云-气溶胶层次分类结果作为后续训练标签；
12.(2)根据数据采集时间分为日间与夜间数据，对日间高噪声信号进行噪声去除；
13.(3)通过云-气溶胶识别算法对数据可信度进行筛选，通过建立强度、光谱依赖性等散射特性的多维直方图来分离云和气溶胶，并且根据所述多维直方图之间的重叠区域计算得到置信度分数，选择高置信度廓线样本；
14.(4)获取去噪和筛选处理后样本的三通道衰减后向散射系数，计算体退偏比与衰减色比，并将532nm通道总衰减后向散射系数、体退偏比和衰减色比三个信号归一化，匹配到rgb三通道组成图像，统一尺寸大小，之后对图像采取数据增强进行数据扩充，分割数据集用于训练、验证和测试；
15.(5)基于语义分割神经网络模型构建云-气溶胶层次分类模型，将训练集数据作为输入，level 2级别的云-气溶胶分类结果作为输出，进行模型训练；
16.(6)针对测试集数据，利用步骤(5)中训练完成的模型进行实际云-气溶胶层次分类，与已有的分类结果进行对比分析。
17.本发明将原始多通道后向散射信号结合形成图像，基于语义分割网络实现云-气溶胶层次分类，能够有效提高分类的准确性和分辨率。
18.优选地，步骤(1)中，使用caliop level 1级别的532nm和1064nm通道的后向散射系数及计算得到的体退偏比与衰减色比组合形成图像，针对图像中每个像素进行云-气溶胶层次分类。所述体退偏比为532nm衰减后向散射系数的垂直分量与平行分量之比，其值越小，说明散射体形状越接近球体；衰减色比为1064nm衰减后向散射系数与532nm两通道总的衰减后向散射系数之比，其值越大，说明散射体的粒径越大。
19.优选地，步骤(1)中，所述的云-气溶胶层次分类结果包含云、气溶胶、晴空、地表、亚地表和缺失信号共六类。
20.不同时间段获取到的信号差异较大，在日间，受到太阳光噪声的影响，卫星传感器获取到的数据信噪比较低，而夜间采集的数据信噪比普遍较好。这两类数据不经过预处理，直接混合组成数据集，后续进行模型训练时得到的模型分类效果较差，易产生大量的错分类。因此，在步骤(2)中，需要对不同采集时间的数据进行分类，针对日间高噪声衰减后向散射信号进行降噪处理。
21.优选地，步骤(2)中，对于原始后向散射信号，使用bm3d去噪算法对日间噪声进行去除，并利用识别算法过滤错误分类样本。所述bm3d去噪算法结合时域滤波和变换域滤波
方法，首先对图像中的图像块进行相似匹配堆叠得到三维图像块，通过3d变换后利用硬阈值滤波对变换域矩阵进行干预去除噪声成分，再进行一次逆3d变换得到评估图像块，最后使用维纳滤波代替硬阈值滤波在滤波图像中搜索相似补丁得到最终的去噪数据。
22.caliop官方使用阈值解析法得到的气溶胶分类结果同样存在部分错分类情况，因此，步骤(3)中，需要对数据进一步筛选，去除错分类样本，提高训练集的准确性，保证数据集训练得到的模型也能够实现正确分类。
23.优选地，步骤(3)中，所述的对数据可信度进行筛选使用云-气溶胶识别cad算法。cad算法通过建立强度、光谱依赖性等散射特性的多维直方图来分离云和气溶胶，并且根据所述多维直方图之间的重叠区域计算得到置信度分数，其得分计算公式为：
[0024][0025]
其中x为输入参数阵列，包含532nm通道的后向散射系数，1064nm和532nm的后向散射比及海拔高度，p
cloud
和p
aerosol
分别为云和气溶胶的概率密度函数，k为云和气溶胶的出现概率比。当p
cloud
大于kp
aerosol
时，cad分数为正，代表特征为云的概率大于气溶胶，相反则代表气溶胶的概率更高，其绝对值则代表可信度，越大，则可信度越高。计算每一个样本的cad分数，保留其中可信度较高的样本。
[0026]
优选地，步骤(3)中，选择置信度分数绝对值在70到100之间的廓线样本。
[0027]
步骤(4)中，根据三通道衰减后向散射系数对步骤(3)中选择的置信度廓线样本进一步计算得到体退偏比和衰减色比，并将得到的值进行归一化，保证范围一致。之后衰减后向散射系数、体退偏比和衰减色比分别作为红、绿、蓝三通道的强度组合成为一张图片。图像中同时包含三种信息，作为语义分割模型的输入进行层次分类。
[0028]
优选地，将532nm通道的衰减后向散射系数、退偏比和衰减色比三个信号归一化到0-1范围，归一化公式为：
[0029][0030]
其中，x为输入样本数据，x
min
为样本数据最大值，x
min
为样本数据最小值，x
new
为归一化后得到的新样本数据。
[0031]
处理后的样本涵盖范围相较于全球而言仍不算丰富，为提高场景丰富性和样本均衡性，对图像采取数据增强进行数据扩充。
[0032]
图像数据增强策略具体包括随机裁剪、旋转、移位等处理，通过改善数据量和数据分布来提高模型的鲁棒性和泛化能力，同时，调整每张图像使其边缘都有一部分重合，以此保证数据的连续性，之后对数据集进行分割用于训练、验证和测试。
[0033]
优选地，所述的数据集中60％的数据构成训练集用于模型训练；20％的数据构成验证集，用于模型性能测试及超参数调整；剩余20％的数据构成测试集，用于评估模型的实际表现。
[0034]
步骤(5)中，基于语义分割神经网络模型构建云-气溶胶层次分类模型，语义分割是深度学习在计算机视觉领域上的一种应用，能够提取图像中的特征实现像素级别的分类。
[0035]
优选地，步骤(5)中，所述的语义分割神经网络模型为编码器-解码器结构，编码器
提取图像特征，解码器根据图像特征进行实际分类。
[0036]
优选地，所述的编码器由深度可分离卷积网络，以及空洞卷积金字塔池化-双通道注意力并联模块组成，所述的解码器接收深度可分离卷积网络和并联模块的输出，通过多次全卷积上采样，最终输出全图像素云-气溶胶预测分类。
[0037]
编码器部分的输入图像经过深度可分离卷积网络进行初步信息提取，之后输入空洞卷积金字塔池化层实现多尺度的深层特征提取。解码器部分的输入包括两部分，分别为深度可分离卷积网络提取的浅层特征，以及金字塔池化-注意力并联模块提取的深层特征上采样后的输出，之后经过多轮全卷积上采样后输出图片中每个像素对应的预测分类。
[0038]
由于大气中的气溶胶和云等并没有固定的形状，大小也不完全统一，因此，在对其进行分割时不仅需要考虑到不同尺度的特征提取，上下文信息也非常重要。通常认为不同特征通道之间是有关联的，所以需要在多个特征通道之间建立一种联系。然后利用这种联系，突出其中的特征映射信息，提升语义分割精度。
[0039]
优选地，所述的双通道注意力并联模块为位置注意力和通道注意力模块，二者将局部特征与全局特征进行自适应地结合。
[0040]
位置注意力模块中，假设给定一个局部特征a，其维度大小为c
×h×
w，分别对应通道数，图像长和宽，将其输入一个卷积层得到两个新的特征b和c，通过维度转换置为c
×
n，其中n是特征图像素点的数量，将b的转置b
t
与c进行矩阵乘法运算，应用到softmax层即可计算空间注意力特征s：
[0041][0042]
其中，s
ji
表示位置i对位置j的影响。进一步，特征a经过卷积得到的新特征d，与s进行矩阵乘法计算，将维度重置为c
×h×
w，与原始特征a相加得到输出e：
[0043][0044]
其中α为尺度参数，在模型训练中可进行学习。每个位置的特征为原始特征与全局位置特征的加权和，实现全局语义信息的聚合。
[0045]
通道注意力模块中，首先将原始特征a和a的转置a
t
直接进行矩阵乘法运算，然后应用一个softmax操作就可以获得通道注意力特征x：
[0046][0047]
x
ji
为第i个通道对第j个通道的影响，此外，对矩阵x的转置和矩阵a进行矩阵乘法运算并转换维度为c
×h×
w，然后用一个尺度参数β乘以结果，进行像素级运算，得到最终的输出e：
[0048][0049]
β与α相似，作为通道注意力模块的尺度参数。这两个参数都被初始化为0，并能够在模型训练中通过学习得到合适值。从公式可以看出，各通道的特征聚合了所有通道特征
气溶胶层次分类方法包括六个步骤，下面针对每个步骤进行详细说明：
[0065]
(1)廓线数据获取
[0066]
获取caliop原始数据，时间范围上选用了2015年5月到2015年7月三个月的caliop数据，共包含1154条轨道数据，主要数据产品包括level 1级别的532nm及1064nm通道的衰减后向散射系数，其中532nm通道包括垂直和平行两个通道，同时下载level 2产品的层次分类结果，作为预测标签。
[0067]
(2)日间信号去噪
[0068]
由于白天的太阳噪声影响很大，所以在对衰减后向散射信号应用bm3d去噪算法，在去噪时选用大的标准方差来更好地去除噪声。将经过去噪之后的日间信号输入到语义分割网络中以得到更好的层次识别结果。
[0069]
(3)数据可信度筛选
[0070]
通过云-气溶胶层次分类算法对数据可信度进行筛选。cad算法根据强度、光谱依赖性等散射特性计算特征的cad分数分离云和气溶胶，如果重叠或交叉的区域较少，则判定为对该特征进行分类的置信度较高。为了用高质量的数据来训练模型，选择整体cad分数绝对值在70到100之间的廓线，这些廓线的分类结果相对更加准确，可信度也更高。
[0071]
(4)归一化与数据增强构建训练数据集
[0072]
获取去噪和筛选处理后样本的衰减后向散射系数，计算体退偏比和衰减色比，将532nm通道的衰减后向散射系数、退偏比和衰减色比三个信号归一化到0-1范围。三种数据分别作为图像rgb三通道的值，并调整为统一尺寸(545(高度像素大小)
×
3000(沿轨道像素大小)
×
3(光谱大小))，调整后的每张图像边缘都有一部分区域重合，以保证数据的连续性，并采用数据增强，最终获得训练集样本图像共25120张，作为模型训练的输入。在整体样本中随机挑选60％的数据用于训练分类模型，20％的数据用于验证优化，剩下20％的数据用于最终模型的测试评估。
[0073]
(5)构建云-气溶胶层次分类模型进行训练
[0074]
构建语义分割神经网络模型，将训练集数据作为输入，通过训练迭代之后，获取在验证集上效果最好的模型。模型训练超参数设定为：迭代轮数100次，初始学习率为0.01，单次训练批量大小为8，采用随机梯度下降法，动量设为0.9，损失函数使用focal损失函数。
[0075]
图2为本实施例构建语义分割神经网络模型的示意图。语义分割神经网络模型可分为编码器和解码器两部分。编码器以处理好的rgb图像为输入，首先通过深度可分离卷积神经网络进行初步的特征提取，该部分特征会输入解码器，同时通过空洞卷积金字塔池化-双通道注意力并联模块进一步提取深层特征信息。深层特征信息经过上采样后，与浅层特征在全卷积网络中实现特征融合，恢复边界信息，最后通过上采样输出高精度云-气溶胶层次分类结果。
[0076]
(6)分类结果验证评估
[0077]
利用训练完成的模型进行实际云-气溶胶层次分类。图3(a)为衰减后向散射系数、衰减色比和体退偏比数据结合而成的rgb图像，经过处理后仍然存在噪声，肉眼无法直接分辨各大气分类。图3(b)为语义分割神经网络模型的层次分类估计结果，对图中的每个像素点进行分类，分类结果清晰明确，分布连续，且层次内部无空洞，分类效果优异。
[0078]
使用分类模型对验证集图像进行云-气溶胶层次分类，并于caliop官方分类结果
进行对比，计算得到混淆矩阵(如图4)，进一步分析分类效果。图4中混淆矩阵的斜对角线数据表示每一种类别的分类准确率，数值越大，代表预测分类概率越大，可以看到，所有类别的分类准确率在80％以上，其中晴空、地表、亚地表和信号缺失的数据类别分类准确率在90％以上，气溶胶分类准确率达到85％，云分类准确率达到81％。主要误识别产生在将云和气溶胶识别为晴空，主要原因是原始数据信号信噪比太低，以及caliop提供的分类也并不是完全准确的，以它为真值进行训练无法保证完全准确。计算得到分类的平均交并比达到78％，总体准确率达到96％，且层次边缘识别准确连续，证明该方法能够更真实地计算各个层次类别。

技术特征：
1.一种基于语义分割的云-气溶胶层次分类方法，其特征在于，包括以下步骤：(1)获取星载激光雷达caliop遥感观测数据，包括获取level 1级别经过校准的三通道衰减后向散射系数，所述三通道为532nm垂直偏振通道、532nm平行偏振通道及1064nm通道，同时获取对应的level 2级别的云-气溶胶层次分类结果作为后续训练标签；(2)根据数据采集时间分为日间与夜间数据，对日间高噪声信号进行噪声去除；(3)通过云-气溶胶识别算法对数据可信度进行筛选，通过散射特性的多维直方图来分离云和气溶胶，并根据所述多维直方图之间的重叠区域计算得到置信度分数，筛选置信度廓线样本；(4)获取去噪和筛选处理后样本的三通道衰减后向散射系数，计算体退偏比与衰减色比，并将532nm通道总衰减后向散射系数、体退偏比和衰减色比三个信号归一化，匹配到rgb三通道组成图像，统一尺寸大小，之后对图像采取数据增强进行数据扩充，分割数据集用于训练、验证和测试；(5)基于语义分割神经网络模型构建云-气溶胶层次分类模型，将训练集数据作为输入，level 2级别的云-气溶胶分类结果作为输出，进行模型训练；(6)针对测试集数据，利用步骤(5)中训练完成的模型进行实际云-气溶胶层次分类，与已有的分类结果进行对比分析。2.根据权利要求1所述的基于语义分割的云-气溶胶层次分类方法，其特征在于，步骤(1)中，使用caliop level 1级别的532nm和1064nm通道的后向散射系数及计算得到的体退偏比与衰减色比组合形成图像，针对图像中每个像素进行云-气溶胶层次分类。3.根据权利要求1所述的基于语义分割的云-气溶胶层次分类方法，其特征在于，步骤(1)中，所述的云-气溶胶层次分类结果包含云、气溶胶、晴空、地表、亚地表和缺失信号。4.根据权利要求1所述的基于语义分割的云-气溶胶层次分类方法，其特征在于，步骤(2)中，对于原始后向散射信号，使用bm3d去噪算法对日间噪声进行去除，并利用识别算法过滤错误分类样本。5.根据权利要求1所述的基于语义分割的云-气溶胶层次分类方法，其特征在于，步骤(3)中，筛选置信度分数绝对值在70到100之间的廓线样本。6.根据权利要求1所述的基于语义分割的云-气溶胶层次分类方法，其特征在于，步骤(4)中，所述的对图像采取数据增强进行数据扩充的方法包括随机裁剪、旋转和移位处理，并调整每张图像使其边缘都有一部分重合。7.根据权利要求1所述的基于语义分割的云-气溶胶层次分类方法，其特征在于，步骤(5)中，所述的基于语义分割神经网络模型构建为编码器-解码器结构，所述编码器提取图像特征，所述解码器根据特征进行实际分类。8.根据权利要求7所述的基于语义分割的云-气溶胶层次分类方法，其特征在于，所述的编码器由深度可分离卷积网络，以及空洞卷积金字塔池化-双通道注意力并联模块组成，所述的解码器接收深度可分离卷积网络和并联模块的输出，通过多次全卷积上采样，最终输出全图像素云-气溶胶预测分类。9.根据权利要求8所述的基于语义分割的云-气溶胶层次分类方法，其特征在于，所述的双通道注意力并联模块为位置注意力模块和通道注意力模块。10.根据权利要求1所述的基于语义分割的云-气溶胶层次分类方法，其特征在于，步骤
(6)中，基于对比分析的结果计算分类的平均交并比和分类准确率。

技术总结
本发明公开了一种基于语义分割的云-气溶胶层次分类方法。将语义分割技术引入大气遥感的云和气溶胶层次分类中，将多个通道的观测结果与纹理信息相结合，对原始信号进行逐像素点地连续分类。首先，收集星载激光雷达CALIOP的多通道衰减后向散射系数，进行去噪、可信度筛选等预处理后，计算得到体退偏比和衰减色比作为RGB三通道值组成图像形成训练样本集，输入构建的语义分割神经网络进行训练，得到云-气溶胶层次分类模型，实现对大气中云和气溶胶等的层次分类。相较于已有方法的CALIOP层次分类结果，该方法具有高准确率，高分辨率、层次丰富等优势，适用于多场景，有助于观测云和气溶胶分布、预测全球气候变化等研究。预测全球气候变化等研究。预测全球气候变化等研究。


技术研发人员：刘东 徐成康 陈斯婕
受保护的技术使用者：浙江大学
技术研发日：2023.04.07
技术公布日：2023/8/4