多拓扑节点高光谱水质参数联合反演方法及相关设备与流程

未命名 09-18 阅读:71 评论:0


1.本发明涉及水质监测技术领域,尤其涉及一种多拓扑节点高光谱水质参数联合反演方法及相关设备。


背景技术:

2.水质监测和评估在保护水资源、预防水污染和保障人类健康方面具有重要意义。传统的水质监测方法通常依赖于实地采样和实验室分析,尽管这些方法具有一定的准确性,但它们费时费力,且无法满足大范围和实时监测的需求。随着遥感技术的发展,利用高光谱遥感数据进行水质参数反演逐渐成为一种有效的水质监测手段,可实现对水体的大范围、快速和实时监测。然而,现有的水质参数反演方法主要关注单个水质监测站点的水质参数与高光谱之间的关系,忽略了站点之间存在的时空关联。这意味着这些方法在揭示水体时空运动规律及其对应的水质参数拓扑关系方面存在局限,使得反演结果出现较大的误差。此外,由于水体的动态性和复杂性,水质参数之间的关系也可能存在非线性、多尺度和长距离依赖等特点,这些特点也使得现有方法难以满足实际应用的需求。


技术实现要素:

3.针对现有技术中存在的问题,本发明提供的一种多拓扑节点高光谱水质参数联合反演方法及相关设备,以解决上述存在的问题。
4.本发明提供一种多拓扑节点高光谱水质参数联合反演方法,包括:采集多个水质监测站点的监测数据,将所述监测数据以三维张量形式进行合并,得到三维特征张量,所述监测数据包括:高光谱遥感数据和水质参数数据;基于任意两个所述水质监测站点之间的空间关系,构建空间邻接矩阵并存储;将所述三维特征张量和所述空间邻接矩阵进行聚合后输入至训练好的时空残差网络,通过所述时空残差网络输出高光谱-水质参数时空特征张量;将所述高光谱-水质参数时空特征张量输入至训练好的时空自注意力机制网络,得到所述时空自注意力机制网络输出的时空特征表示;将所述时空特征表示输入至训练好的预测网络,得到所述预测网络输出的各监测站点的水质参数预测值。
5.根据本发明提供的一种多拓扑节点高光谱水质参数联合反演方法,所述将所述监测数据以三维张量形式进行合并,得到三维特征张量的步骤,包括:对于每个水质监测站点的监测数据,以每个时间步长的水质参数数据向量和高光谱遥感数据向量,分别形成水质参数数据对应的第一矩阵和高光谱遥感数据对应的第二矩阵;将所述第一矩阵和所述第二矩阵,沿时间维度堆叠,分别得到水质参数对应的第一三维张量和高光谱遥感数据对应的第二三维张量;将所述第一三维张量和所述第二三维张量进行合并,生成所述三维特征张量。
6.根据本发明提供的一种多拓扑节点高光谱水质参数联合反演方法,所述基于任意两个所述水质监测站点之间的空间关系,构建空间邻接矩阵并存储的步骤,包括:计算任意两个所述水质监测站点之间的距离;根据预设的空间权重阈值,对所述距离进行判定;若所述距离小于或等于所述空间权重阈值,则在所述空间邻接矩阵中对应的位置填入一个表示两个所述水质监测站点之间具有空间联系的值,若所述距离大于所述空间权重阈值,则在所述空间邻接矩阵中对应的位置填入一个表示两个所述水质监测站点之间没有空间联系的值,以此构建所述空间邻接矩阵;对于所述空间邻接矩阵中的每个元素,以行标准化方法进行归一化处理,得到标准化后的所述空间邻接矩阵并存储。
7.根据本发明提供的一种多拓扑节点高光谱水质参数联合反演方法,所述时空残差网络包括第一卷积层和第二卷积层,对应地,所述将所述三维特征张量和所述空间邻接矩阵进行聚合后输入至训练好的时空残差网络,通过所述时空残差网络输出高光谱-水质参数时空特征张量的步骤,包括:将所述三维特征张量与所述空间邻接矩阵进行聚合操作,生成输入张量;将所述输入张量输入所述第一卷积层,得到时序特征和空间特征;将所述时序特征和所述空间特征输入所述第二卷积层,得到综合所述时序特征和所述空间特征的具有各个时空格点的所述高光谱-水质参数时空特征张量,所述时空格点为各个时间步长下的不同空间格网。
8.根据本发明提供的一种多拓扑节点高光谱水质参数联合反演方法,所述时空自注意力机制网络包括:第一全连接层和输出层,对应地,所述将所述高光谱-水质参数时空特征张量输入至训练好的时空自注意力机制网络,得到所述时空自注意力机制网络输出的时空特征表示的步骤,包括:将所述高光谱-水质参数时空特征张量输入所述第一全连接层,转换为标量得分;将所述标量得分输入所述输出层,得到各个时空格点的注意力权重;将各个时空格点的所述注意力权重与对应的所述高光谱-水质参数时空特征张量进行加权求和计算,得到不同时间步长的加权特征表示,即为所述时空特征表示。
9.根据本发明提供的一种多拓扑节点高光谱水质参数联合反演方法,所述预测网络包括:第二全连接层;对应地,所述将所述时空特征表示输入至训练好的预测网络,得到所述预测网络输出的各水质监测站点的水质参数预测值的步骤,包括:将所述时空特征表示输入所述第二全连接层,得到各水质监测站点的所述水质参数预测值。
10.根据本发明提供的一种多拓扑节点高光谱水质参数联合反演方法,还包括:在将所述监测数据以三维张量形式进行合并之前,对采集到的所述监测数据进行归一化处理,对应地,将所述水质参数预测值进行逆归一化处理,以变换至原始水质参数量纲化的水质参数预测值。
11.本发明还提供一种多拓扑节点高光谱水质参数联合反演装置,包括:监测数据合并模块,用于采集多个水质监测站点的监测数据,将所述监测数据以
三维张量形式进行合并,得到三维特征张量,所述监测数据包括:高光谱遥感数据和水质参数数据;空间邻接矩阵构建模块,用于基于任意两个所述水质监测站点之间的空间关系,构建空间邻接矩阵并存储;第一输出模块,用于将所述三维特征张量和所述空间邻接矩阵进行聚合后输入至训练好的时空残差网络,通过所述时空残差网络输出高光谱-水质参数时空特征张量;第二输出模块,用于将所述高光谱-水质参数时空特征张量输入至训练好的时空自注意力机制网络,得到所述时空自注意力机制网络输出的时空特征表示;水质参数值预测模块,用于将所述时空特征表示输入至训练好的预测网络,得到所述预测网络输出的各水质监测站点的水质参数预测值。
12.本发明还提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述的多拓扑节点高光谱水质参数联合反演方法。
13.本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述的多拓扑节点高光谱水质参数联合反演方法。
14.本发明提供的一种多拓扑节点高光谱水质参数联合反演方法及相关设备,充分考虑了多个水质监测站点之间的时空关联,能够更准确地反映水体时空运动规律及其对应的水质参数拓扑关系。同时,该方法利用深度学习技术使得神经网络模型能够更好地捕捉监测站点之间的空间关系以及水质参数在时间序列上的动态变化,实现了对水质参数的快速、大范围和实时监测。因此,本发明为环境监测、遥感技术和水质评估领域提供了一种新的解决方案,有助于推动水质监测技术的发展,提高水质监测和评估的准确性和效率。
附图说明
15.为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
16.图1为本发明实施例提供的一种多拓扑节点高光谱水质参数联合反演方法的流程示意图之一;图2为本发明实施例提供的城市水域水质监测站点选取分布图;图3为本发明实施例提供的各水质监测站点对应的空间邻接矩阵计算机逻辑存储结构图;图4为本发明实施例提供的时空残差网络的模块结构图;图5为本发明实施例提供的一种多拓扑节点高光谱水质参数联合反演装置的结构示意图;图6为本发明实施例提供的电子设备的结构示意图。
17.附图标记:21:监测数据合并模块;22:空间邻接矩阵构建模块;23:第一输出模块;24:第二输
出模块;25:水质参数值预测模块。
具体实施方式
18.为了使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实施例和附图对本发明进行清楚、完整的描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
19.现有技术中,水质监测主要依赖于定期采样与实验室分析,这种方法具有一定的局限性,如监测频率较低、范围有限、耗时较长等。同时,传统的遥感反演方法往往忽略了多个水质监测站点之间的时空关联信息,导致反演结果的准确性受到影响。此外,由于采样点的选择和实验室分析过程中可能存在的误差,这种传统方法在水质监测的准确性和实时性方面存在一定的不足。随着遥感技术的发展,高光谱遥感数据已经被广泛应用于水质参数的反演。高光谱遥感技术能够获取水体表面大范围的光谱信息,具有实时性和大范围监测的优势。然而,传统的遥感反演方法在反演水质参数时存在诸多挑战。首先,遥感反演方法往往忽略了多个水质监测站点之间的时空关联信息,导致反演结果的准确性受到影响。多个水质监测站点之间的时空关联信息对于水质参数反演具有重要意义,因为水体中的污染物在时空上的分布具有一定的规律性,而这种规律性在传统的遥感反演方法中很难被充分挖掘。此外,由于水质参数反演受到遥感数据质量、脉冲噪声等因素的影响,忽略多站点之间的时空关联信息可能导致反演结果出现较大的误差。最后,传统的遥感反演方法在反演水质参数时往往忽略了各个水质监测站点之间的差异性,构建统一模型,而忽略了不同站点的个体差异性及关联性导致反演结果的准确性受到影响。
20.深度学习技术在图像识别、自然语言处理等领域取得了显著的成果,为水质参数反演提供了新的思路。将深度学习技术引入到水质参数反演领域,能提高反演结果的准确性。然而,针对多拓扑节点水质参数反演问题,仍需设计合适的网络结构和算法。传统的卷积神经网络(cnn)和循环神经网络(rnn)在处理时空数据时存在一定的局限性,例如难以捕捉长距离时空关系,这对于反映水体时空运动规律及其对应的水质参数拓扑关系至关重要。为了克服这些局限性,研究者开始尝试引入图神经网络(gnn)等新型网络结构,以更好地捕捉多个水质监测站点之间的时空关联。此外,引入注意力机制也有助于模型自适应地学习不同站点之间的关联,从而提高反演结果的准确性。另一方面,为了更好地描述水质参数之间的非线性关系和多尺度特征,也有研究者尝试采用多尺度卷积和残差连接等技术。这些方法在一定程度上改善了水质参数反演的准确性和鲁棒性,但在处理多拓扑节点问题时,仍然存在一些挑战,如:如何有效地整合多个站点的信息以及如何选择合适的邻域关系。针对上述挑战,本发明提供的一种多拓扑节点高光谱水质参数联合反演方法及相关设备。
21.下面结合附图,通过具体的实施例及其应用场景对本发明提供的一种方法及相关设备进行详细地说明。
22.实施例一
23.参照图1所示,本实施例提供的一种拓扑节点高光谱水质参数联合反演方法,包括:
步骤s1:采集多个水质监测站点的监测数据,将监测数据以三维张量形式进行合并,得到三维特征张量,监测数据包括:高光谱遥感数据和水质参数数据;本实施例中,进行监测数据采集前需进对水质监测站点进行选择。例如,针对湖北省武汉市江岸区及江汉区市内河流及长江、汉江水域范围内的水体情况,选择了十个水质监测站点,这些水质监测站点经过了人工筛选和地理信息降维处理,以确保水质监测站点的分布范围覆盖整个监测区域,并能够准确反映各个水体的水质情况。具体筛选处理情况如下:在人工筛选方面,选择水质监测站点时,首先根据监测区域的水体类型、水流动情况和人类活动等因素,通过综合分析选定了具有代表性的水质监测站点。在本实施例中,选择的水质监测站点包括长江主流和支流、汉江主流和支流以及市内部分河流,筛选出10个水质监测站点,如图2所示。对于每个选定的水质监测站点,记录了其地理坐标、水深、水流速度和水体类型等信息,其中表示第个水质监测站点。
24.在地理信息降维处理方面,针对各个水质监测站点的具体位置,利用地理信息系统(gis)将地理坐标转化为实际水域中的三维坐标。具体地,采用式(1)进行坐标转换:;其中,表示地球半径。同时,利用水深、水流速度等参数对坐标信息进行修正和优化,以确保水质监测站点的位置准确无误。这些处理和分析结果为后续的数据采集和预处理提供了重要的基础和保障。
25.水质监测站点的数据采集主要包括高光谱遥感数据和水质参数数据的获取,具体数据采集情况如下:对于水面高光谱数据的采集,使用中科谱光浮标光谱仪系统hs-1000wfl3进行实时测定。该系统由hyscan微型智能光谱仪、一个固定式浮标和一个水质数据云服务平台组成。光谱仪的波长范围为400nm至1000nm,共有303个波段。其重量为20kg,采用太阳能电源与可充电电池组供电。每30分钟,系统可以自动采集一组(10个光谱)光谱数据,并将各波段采集值转化为对应的电磁波反射率数值。表1给出本实施例所采集的有效样本高光谱遥感数据的各波段描述性统计量。
26.表1 高光谱遥感数据采集样本的各波段描述性统计量
27.对于水质参数数据的采集,采用了以下过程:首先,在每个水质监测站点采集水样,并将水样装入500ml瓶中。装样过程中需避免瓶内发生氧化还原反应,并将采集的水样尽快放入低温环境中保存。接着,在实验室中使用dr6000分光光度计分别测定总磷、总氮和cod的含量。dr6000是一款波长范围为190-1100nm,带宽为2nm的uv-vis波段分光光度计。具体而言:测定总磷:向水样中加入5ml磷酸氢钾,在150℃下消化30分钟。测量精度为0.01mg/l。
28.测定总氮:向水样中加入2ml硝酸钾,在105℃下消化30分钟。测量精度为0.1mg/l。
29.测定cod:使用苯酚钾溶液作为试剂,加入2ml,在150℃下消化2小时。测量精度为0.1mg/l。
30.此外,本实施例还使用了tss便携式浊度计测量浊度值,范围为0.001-400g/l,测量准确度为0.1mg/l。最后,使用hq40d多参数水质分析仪测量水样中的氨氮、高锰酸盐指数和化学需氧量等指标。该仪器的测量精度为0.1mg/l,可在1米深水中连续工作30分钟。
31.在获得各项指标测量数据后,进行实时记录,得到每个水质监测站点各项指标的具体值。表2给出了本实施例各水质监测站点所测得有效样本水质参数描述性统计量。
32.表2 水质参数采集样本描述性统计量
33.针对采集到的监测数据,首先需要进行异常值处理和归一化操作。异常值处理采用统计学方法,通过计算数据的均值和标准差,利用3倍标准差原则去除离群值。具体而言,设原始数据为,其均值为,标准差为,则去除离群值的数据集如式(2)所示:;
34.对于数据归一化操作,采用min-max归一化方法,将数据缩放至指定范围内,以便后续模型训练和分析。具体而言,设原始数据为,经过min-max归一化处理后得到的新数据为,则归一化的过程如式(3)所示:;其中和分别为原始数据的最小值和最大值。
35.在对预处理后的监测数据进行分割时,本实施例采用了70%、15%、15%的比例将监测数据划分为训练集、验证集和测试集。具体步骤如下:首先,将预处理后的数据按照时间顺序排列。
36.然后,计算总数据量n,并根据设定的比例计算训练集、验证集和测试集的数据量。即:训练集的数据量为,验证集的数据量为,测试集的数据量为。
37.按照计算出的数据量,从头开始截取数据作为训练集,紧接着截取数据作为验证集,最后截取数据作为测试集。在这个过程中,需要确保数据在时间上是连续的,以充分考虑时间序列的特性。
38.对于预处理和分割后的监测数据,本实施例选择将其存储在数据库中以便后续模型训练和分析使用。具体步骤如下:选择一个适合的数据库系统,在本实施例中选用postgresql数据库,根据需要创建相应的数据库和数据表结构。
39.将分割后的训练集、验证集和测试集分别插入到相应的数据表中。为了方便后续查询和检索,并为数据表设置合适的索引。
40.对于每个样本数据的特征和标签部分,将它们分别存储在不同的数据表中,以便于后续模型训练时分别读取。
41.通过以上步骤,本实施例可以确保数据的准确性和完整性,为后续水质监测模型的构建提供有力的支持。
42.本实施例中,步骤s1中,具体包括:步骤s11:对于每个水质监测站点的监测数据,以每个时间步长的水质参数数据向量和高光谱遥感数据向量,分别形成水质参数数据对应的第一矩阵和高光谱遥感数据对应的第二矩阵;步骤s12:将第一矩阵和第二矩阵,沿时间维度堆叠,分别得到水质参数对应的第一三维张量和高光谱遥感数据对应的第二三维张量;步骤s13:将第一三维张量和第二三维张量进行合并,生成三维特征张量。
43.具体地,将预处理后的水质参数数据和对应的高光谱遥感数据这两种数据各自被组织成三维张量形式,其维度分别对应于时间步长、水质监测站点,以及水质参数数据或高光谱遥感数据的特征维度。
44.首先,本实施例将每个水质监测站点在每个时间步长的水质参数数据向量与高光谱遥感数据向量分别组织成水质参数数据对应的第一矩阵和高光谱遥感数据对应的第二矩阵,记作第一矩阵和第二矩阵。这两个矩阵沿时间维度堆叠起来,形成了水质参数数据对应的第一三维张量和高光谱遥感数据对应的第二三维张量,分别表示为第一三维张量和第二三维张量。
45.然后,本实施例将第一三维张量和第二三维张量进行合并,形成一个包含全部输入数据的三维特征张量,其中是新的特征维度,它包括了水质参数数据和高光谱遥感数据的所有特征。这个三维特征张量将被用作时空残差网络的输入。
46.步骤s2:基于任意两个水质监测站点之间的空间关系,构建空间邻接矩阵并存储;图3为本实施例选择的10个水质监测站点对应的空间邻接矩阵计算机逻辑存储结构图,用于表达多站点之间的拓扑关系。本实施例中,步骤s2,具体包括:步骤s21:计算任意两个水质监测站点之间的距离;本步骤中,针对任意两个水质监测站点,计算它们之间的实际地理距离。距离计算
采用欧氏距离度量方法。对于两个站点和,其经纬度分别为和,则它们之间的欧氏距离如式(4)所示:;步骤s22:根据预设的空间权重阈值,对距离进行判定;本步骤中,根据实际水体的地理特征和水流情况,确定一个合适的空间权重阈值。本实施例中设定的空间权重阈值为公里。空间权重阈值的确定可以依据实际水体的大小、形状以及人类活动等因素进行综合分析。
47.步骤s23:若距离小于或等于空间权重阈值,则在空间邻接矩阵中对应的位置填入一个表示两个水质监测站点之间具有空间联系的值,若距离大于空间权重阈值,则在空间邻接矩阵中对应的位置填入一个表示两个水质监测站点之间没有空间联系的值,以此构建空间邻接矩阵;本步骤中,基于计算得到的距离和空间权重阈值,构建空间邻接矩阵。对于每对水质监测站点和,如果它们之间的距离小于或等于阈值,则在空间邻接矩阵中对应的位置上填入一个正数,表示它们之间具有空间联系。该正数设为距离的倒数,如式(5)所示:;如果距离大于阈值,则填入0,表示它们之间没有空间联系。
48.步骤s24:对于空间邻接矩阵中的每个元素,以行标准化方法进行归一化处理,得到标准化后的空间邻接矩阵并存储。
49.本步骤中,为了消除数值大小对空间邻接矩阵的影响,需要对矩阵进行标准化处理。采用行标准化方法,将每一行的元素之和归一化为1。如式(6)所示,对于空间邻接矩阵中的元素,进行如下处理:;这样,标准化后的空间邻接矩阵中的元素值将反映各个站点之间的相对连接强度。将构建好的空间邻接矩阵存储在文件系统中,以便后续时空残差网络构建和分析使用。表3给出了本实施例各水质监测站点的空间邻接矩阵。
50.表3 各水质监测站点的空间邻接矩阵
51.步骤s3:将三维特征张量和空间邻接矩阵进行聚合后输入至训练好的时空残差网络,通过时空残差网络输出高光谱-水质参数时空特征张量;本实施例中,时空残差网络包括第一卷积层和第二卷积层,对应地,步骤s3,具体包括:步骤s31:将三维特征张量与空间邻接矩阵进行聚合操作,生成输入张量;本步骤中,将空间邻接矩阵应用到这个输入张量上,以在模型计算中引入水质监测站点之间的空间关联信息。具体来说,网络的卷积层将对每个输入张量通道(即每一个维特征)应用空间邻接矩阵。这一步是通过对空间邻接矩阵与每个通道执行矩阵乘法操作来实现的,其计算方式如式(7)所示:;其中,表示应用空间邻接矩阵后的输入张量,表示时间步长,和分别表示水质监测站点和邻接站点的维度,表示合并后的特征维度。
52.通过这样的操作,本实施例在网络输入时,不仅引入了每个水质监测站点的水质参数数据和高光谱遥感数据,还考虑了水质监测站点之间的空间关系,这是通过空间邻接矩阵来实现的。这种方式提高了模型在处理地理分布上不同位置的水质监测站点时,对空间关联信息的理解和应用能力。
53.步骤s32:将输入张量输入第一卷积层,得到时序特征和空间特征;步骤s33:将时序特征和空间特征输入第二卷积层,得到综合时序特征和空间特征的具有各个时空格点的高光谱-水质参数时空特征张量,时空格点为各个时间步长下的不
同空间格网。
54.具体地,本实施例首先利用深度学习框架pytorch,根据图4所示时空残差网络的模块结构图,构建时空残差网络。具体来说,我们定义了一个网络类,该类中包含了初始化函数(用以设定网络中的卷积层、残差连接等)和前向传播函数(定义数据在网络中的流动路径)。同时,根据实际需求和设备性能,本实施例调优了时空残差网络参数,如卷积核大小、卷积层数量、时空残差块数等,具体见表4:表4时空残差网络的结构配置
55.其中,时空残差块由3x3卷积层、批归一化层、relu激活函数层、残差连接操作等组成,每个时空残差块的具体结构参数设定见表5:表5 时空残差块的结构配置及参数
56.表4详细呈现了本实施例中时空残差网络的结构配置。在此配置中,“输入尺寸”表
示数据输入网络单元之前的尺寸,“输出尺寸”则表示数据通过网络单元后的尺寸。例如,“卷积层1(conv1)”接受32 x 12 x 64 x 64尺寸的输入,并产生64 x 12 x 64 x 64尺寸的输出,即增加了特征通道的数量,使得本实施例能够捕捉到更多的时序和空间的特征信息。
57.在本实施例的输入尺寸为32 x 12 x 64 x 64中,其中,“32”代表经过空间邻接矩阵处理后的输入张量;“12”代表在本实施例中的数据包含了12个时间步长,对应于历史12个时间段的监测数据;最后的“64 x 64”则代表监测区域被划分为64 x 64个空间格网。
58.在最后的卷积层2(conv2)中,本实施例将64 x 12 x 64 x 64尺寸的输入映射为1 x 12 x 64 x 64尺寸的输出。其中,“1”代表一个综合时序和空间的特征表示,该表示在空间和时序上统一了多源信息。“12”维度依然体现了时间步长,意味着网络具有处理并产出过去12个时间段的时序特征的能力。而“64 x 64”维度则代表空间格网,以表征空间特征的分布。
59.至此,本实施例成功构建了一个时空残差网络。在网络的运算过程中,步骤s1中预处理后的水质参数数据与对应的高光谱遥感数据以及步骤s2中得出的空间邻接矩阵被聚合并流经时空残差网络,最终生成了一种新的1 x 12 x 64 x 64的具有各个时空格点的高光谱-水质参数时空特征张量。
60.步骤s4:将高光谱-水质参数时空特征张量输入至训练好的时空自注意力机制网络,得到时空自注意力机制网络输出的时空特征表示;本实施例中,时空自注意力机制网络包括:第一全连接层和输出层,对应地,步骤s4,具体包括:步骤s41:将高光谱-水质参数时空特征张量输入第一全连接层,转换为标量得分;步骤s42:将标量得分输入输出层,得到各个时空格点的注意力权重;具体地,本实施例采用了一个由全连接层 (fc) 和输出层( softmax 层)组成的时空自注意力机制网络,用于计算各个时空格点的注意力权重。
61.首先,全连接层将步骤s3得出的高光谱-水质参数时空特征张量转换为一个标量得分。然后,softmax层对这些得分进行归一化处理,得出概率分布,代表了模型对每个时间步长下不同空间格网的关注程度。注意力权重的计算公式如式(8)所示:;其中,表示第个时间步长、第行和第列格点的注意力权重,表示第个时间步长、第行和第列格点的时空特征。
62.步骤s43:将各个时空格点的注意力权重与对应的高光谱-水质参数时空特征张量进行加权求和计算,得到不同时间步长的加权特征表示,即为时空特征表示。
63.在得出每个时空格点的注意力权重后,本实施例将对步骤s3得出的高光谱-水质参数时空特征张量进行加权求和。具体来说,本实施例将各时空格点的注意力权重与其相应的时空特征相乘,并对结果进行求和,得到一个综合的加权特征表示,即时空特征表示。该时空特征表示在不同的时间步长下包含了整个空间格网的信息,而这些信息的关注程度是不同的,是由模型自动学习的注意力权重决定的。加权求和的公式如式(9)所示:
;其中,表示第个时间步长的加权特征表示,表示第个时间步长、第行和第列格点的注意力权重,表示对应的时空特征。
64.因此,在此步骤中,本实施例引入了时空自注意力机制,其目的在于高效地学习和提取各个时间步长下不同空间格网的重要性,对高敏感站点进行捕捉,从而对模型的关注点进行动态调整。
65.步骤s5:将时空特征表示输入至训练好的预测网络,得到预测网络输出的各水质监测站点的水质参数预测值。
66.本实施例中,预测网络包括:第二全连接层;对应地,步骤s5,具体包括:将时空特征表示输入第二全连接层,得到各水质监测站点的水质参数预测值。
67.具体地,利用步骤s4得到的第个时间步长的加权求和后的时空特征表示来预测各水质监测站点的水质参数预测值。首先,构建预测网络,该预测网络包括一个全连接层(fc层),用于将时空特征表示映射到各水质监测站点的水质参数向量。将时空特征表示输入至训练好的预测网络,计算各水质监测站点的水质参数预测值。预测值可以通过式(10)计算得出:;其中,表示第个监测站点的在所需预测的第个时间步长的水质参数预测值,表示第个时间步长的加权求和后的时空特征表示,fc表示全连接层。
68.本实施例提供的多拓扑节点高光谱水质参数联合反演方法,还包括:在将监测数据以三维张量形式进行合并之前,对采集到的监测数据进行归一化处理,对应地,将水质参数预测值进行逆归一化处理,以变换至原始水质参数量纲化的水质参数预测值。
69.具体地,由于在步骤s1的数据预处理阶段对水质参数数据进行了归一化处理,所以在得到水质参数预测值后,需要对其进行逆归一化处理,以便将预测结果转换回原始水质参数量纲化的数据。逆归一化处理通过式(11)进行计算:;其中,表示第个监测站点在所需预测的第个时间步长的逆归一化后的水质参数预测值,表示第个监测站点的第个时间步长的归一化后的水质参数预测值,和分别表示第个监测站点的水质参数原始数据的最大值和最小值。
70.经过以上步骤,本实施例得到了各水质监测站点的水质参数预测值。这些预测值
可以用于评估水质状况、制定相应的水质保护措施以及指导有关水资源的合理利用。
71.本实施例根据步骤s1中对预处理的监测数据按照预设比例划分的训练集、验证集和测试集,使用均方误差(mean squared error,mse)、均方根误差(root mean squared error,rmse)、平均绝对误差(mean absolute error,mae)、平均绝对百分比误差(mean absolute percentage error,mape)、决定系数(coefficient of determination,r2)对最终水体各水质参数的反演精度(预测值与真实值之间差异,对于mse、rmse、mae和mape各评价指标,值越小表示精度越高,对于r2评价指标,值越接近1表示精度越高)进行评估。
72.mse是衡量预测值与真实值差异的一种指标,计算方式为预测值与真实值差值的平方和的平均值,计算公式如式(12)所示:;其中,为真实值,为预测值,为样本数量。
73.rmse是均方误差的平方根,它对误差的量级有一定的缩放作用,因此更直观地反映了预测值与真实值之间的偏差程度,计算公式如式(13)所示:;其中,为真实值,为预测值,为样本数量。
74.mae是衡量预测值与真实值差异的一种指标,计算方式为预测值与真实值差值的绝对值之和的平均值,计算公式如式(14)所示:;其中,为真实值,为预测值,为样本数量。
75.mape是衡量预测值与真实值相对误差的一种指标,计算方式为预测值与真实值相对误差的绝对值之和除以真实值的平均值,以百分数表示,计算公式如式(15)所示:;其中,为真实值,为预测值,为样本数量。
76.是用来描述预测模型拟合数据的程度,其取值范围为0到1,越接近1表示模型
的预测效果越好。计算方式为预测值与真实值之间的协方差除以预测值和真实值标准差的乘积的平方,计算公式如式(16)所示:;其中为真实值,为预测值,为真实值的均值,为样本数量。
77.表6展示了本实施例采用本发明提供的方法最终所得各水质参数数据(温度、ph值、电导率、溶解氧、浊度、高锰酸盐指数、化学需氧量、氨氮、总氮、总磷)在测试集上的预测精度。
78.表6 本实施例使用多拓扑节点高光谱水质参数联合反演方法的预测精度
79.作为对比,本实施例为每个水质监测站点构建多层感知机(mlp)模型,以作为没有考虑时空关联性的本地模型进行对比实验。每个模型的输入为选取的高光谱遥感特征,输出为对应的水质参数预测值。本实施例设定mlp模型具有以下层次结构,如表7所示:表7 实施例mlp模型结构参数
80.利用预处理后的高光谱遥感数据和水质参数数据,对每个站点的本地mlp模型进行训练。训练过程中采用随机梯度下降(sgd)算法进行参数优化。同时,通过调整学习率、批次大小、迭代次数等超参数,以提高模型的预测准确性。具体参数设置为,学习率:0.001、批次大小:32、迭代次数:500。
81.在每次迭代中,对于每个批次,根据式(12)~(16),使用均方误差(mse)、均方根误差(rmse)、平均绝对误差(mae)、平均绝对百分比误差(mape)、决定系数(r2)对最终水体各水质参数的反演精度进行评估,每个水质监测站点所构建的本地mlp模型的预测精度如表8所示。
82.表8 仅使用各自构建的本地mlp模型的预测精度
83.通过对比表6和表8中的评价指标,可以明显看出,基于本发明提供的多拓扑节点高光谱水质参数联合反演方法得到的预测精度(表6)在整体上表现优于仅使用构建的水质参数反演模型(本地mlp模型)得到的预测精度(表8)。具体来说,r2值均在0.65-0.8的范围
内,表明基于时空残差注意力网络的方法在解释水质参数变化方面具有较好的能力。另外,从mse、rmse、mae和mape等评价指标来看,基于时空残差注意力网络的多拓扑节点高光谱水质参数联合反演方法在误差量和误差比例上也表现得更好。这说明,本发明提供的方法能够更准确地预测水质参数,同时减小预测误差。
84.综上,本实施例提供的一种多拓扑节点高光谱水质参数联合反演方法,相较于仅使用本地mlp模型的方法,得益于时空残差网络引入自注意力机制网络,充分考虑了多个水质监测站点之间的时空关联,能够更准确地反映水体时空运动规律及其对应的水质参数拓扑关系。同时,该方法利用深度学习技术使得神经网络模型能够更好地捕捉监测站点之间的空间关系以及水质参数在时间序列上的动态变化,实现了对水质参数的快速、大范围和实时监测。因此,本发明为环境监测、遥感技术和水质评估领域提供了一种新的解决方案,有助于推动水质监测技术的发展,提高水质监测和评估的准确性和效率。
85.实施例二基于与上述方法相同的发明思路,参照图5所示,本实施例提供一种拓扑节点高光谱水质参数联合反演装置,该装置包括:监测数据合并模块21,用于采集多个水质监测站点的监测数据,将监测数据以三维张量形式进行合并,得到三维特征张量,监测数据包括:高光谱遥感数据和水质参数数据;监测数据合并模块21进一步用于:对于每个水质监测站点的监测数据,以每个时间步长的水质参数数据向量和高光谱遥感数据向量,分别形成水质参数数据对应的第一矩阵和高光谱遥感数据对应的第二矩阵;将第一矩阵和第二矩阵,沿时间维度堆叠,分别得到水质参数对应的第一三维张量和高光谱遥感数据对应的第二三维张量;将第一三维张量和第二三维张量进行合并,生成三维特征张量。
86.空间邻接矩阵构建模块22,用于基于任意两个水质监测站点之间的空间关系,构建空间邻接矩阵并存储;空间邻接矩阵构建模块22进一步用于:计算任意两个水质监测站点之间的距离;根据预设的空间权重阈值,对距离进行判定;若距离小于或等于空间权重阈值,则在空间邻接矩阵中对应的位置填入一个表示两个水质监测站点之间具有空间联系的值,若距离大于空间权重阈值,则在空间邻接矩阵中对应的位置填入一个表示两个水质监测站点之间没有空间联系的值,以此构建空间邻接矩阵;对于空间邻接矩阵中的每个元素,以行标准化方法进行归一化处理,得到标准化后的空间邻接矩阵并存储。
87.第一输出模块23,用于将三维特征张量和空间邻接矩阵进行聚合后输入至训练好的时空残差网络,通过时空残差网络输出高光谱-水质参数时空特征张量;时空残差网络包括第一卷积层和第二卷积层,对应地,第一输出模块23进一步用于:
将三维特征张量与空间邻接矩阵进行聚合操作,生成输入张量;将输入张量输入第一卷积层,得到时序特征和空间特征;将时序特征和空间特征输入第二卷积层,得到综合时序特征和空间特征的具有各个时空格点的高光谱-水质参数时空特征张量,时空格点为各个时间步长下的不同空间格网。
88.第二输出模块24,用于将高光谱-水质参数时空特征张量输入至训练好的时空自注意力机制网络,得到时空自注意力机制网络输出的时空特征表示;时空自注意力机制网络包括第一全连接层和输出层,对应地,第二输出模块24进一步用于:将高光谱-水质参数时空特征张量输入第一全连接层,转换为标量得分;将标量得分输入输出层,得到各个时空格点的注意力权重;将各个时空格点的注意力权重与对应的高光谱-水质参数时空特征张量进行加权求和计算,得到不同时间步长的加权特征表示,即为时空特征表示。
89.水质参数值预测模块25,用于将时空特征表示输入至训练好的预测网络,得到预测网络输出的各水质监测站点的水质参数预测值。
90.预测网络包括第二全连接层,对应地,水质参数值预测模块25进一步用于:将时空特征表示输入第二全连接层,得到各水质监测站点的水质参数预测值。
91.上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,所以相关之处参见方法实施例的部分说明即可,在此不再赘述。
92.实施例三参照图6所示,本实施例提供一种电子设备,该电子设备包括:处理器(processor)310、通信接口(communications interface)320、存储器(memory)330和通信总线340,其中,处理器310,通信接口320,存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令,处理器310执行上述方法实施例所述的多拓扑节点高光谱水质参数联合反演方法,该方法包括:采集多个水质监测站点的监测数据,将监测数据以三维张量形式进行合并,得到三维特征张量,监测数据包括:高光谱遥感数据和水质参数数据;基于任意两个水质监测站点之间的空间关系,构建空间邻接矩阵并存储;将三维特征张量和空间邻接矩阵进行聚合后输入至训练好的时空残差网络,通过时空残差网络输出高光谱-水质参数时空特征张量;将高光谱-水质参数时空特征张量输入至训练好的时空自注意力机制网络,得到时空自注意力机制网络输出的时空特征表示;将时空特征表示输入至训练好的预测网络,得到预测网络输出的各监测站点的水质参数预测值。
93.此外,上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例
所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
94.实施例四本实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例所述的多拓扑节点高光谱水质参数联合反演方法,该方法包括:采集多个水质监测站点的监测数据,将监测数据以三维张量形式进行合并,得到三维特征张量,监测数据包括:高光谱遥感数据和水质参数数据;基于任意两个水质监测站点之间的空间关系,构建空间邻接矩阵并存储;将三维特征张量和空间邻接矩阵进行聚合后输入至训练好的时空残差网络,通过时空残差网络输出高光谱-水质参数时空特征张量;将高光谱-水质参数时空特征张量输入至训练好的时空自注意力机制网络,得到时空自注意力机制网络输出的时空特征表示;将时空特征表示输入至训练好的预测网络,得到预测网络输出的各监测站点的水质参数预测值。
95.以上仅为本发明的实施例而已,并不用于限制本发明。虽然,上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。

技术特征:
1.一种多拓扑节点高光谱水质参数联合反演方法,其特征在于,包括:采集多个水质监测站点的监测数据,将所述监测数据以三维张量形式进行合并,得到三维特征张量,所述监测数据包括:高光谱遥感数据和水质参数数据;基于任意两个所述水质监测站点之间的空间关系,构建空间邻接矩阵并存储;将所述三维特征张量和所述空间邻接矩阵进行聚合后输入至训练好的时空残差网络,通过所述时空残差网络输出高光谱-水质参数时空特征张量;将所述高光谱-水质参数时空特征张量输入至训练好的时空自注意力机制网络,得到所述时空自注意力机制网络输出的时空特征表示;将所述时空特征表示输入至训练好的预测网络,得到所述预测网络输出的各水质监测站点的水质参数预测值。2.根据权利要求1所述的多拓扑节点高光谱水质参数联合反演方法,其特征在于,所述将所述监测数据以三维张量形式进行合并,得到三维特征张量的步骤,包括:对于每个水质监测站点的监测数据,以每个时间步长的水质参数数据向量和高光谱遥感数据向量,分别形成水质参数数据对应的第一矩阵和高光谱遥感数据对应的第二矩阵;将所述第一矩阵和所述第二矩阵,沿时间维度堆叠,分别得到水质参数对应的第一三维张量和高光谱遥感数据对应的第二三维张量;将所述第一三维张量和所述第二三维张量进行合并,生成所述三维特征张量。3.根据权利要求1所述的多拓扑节点高光谱水质参数联合反演方法,其特征在于,所述基于任意两个所述水质监测站点之间的空间关系,构建空间邻接矩阵并存储的步骤,包括:计算任意两个所述水质监测站点之间的距离;根据预设的空间权重阈值,对所述距离进行判定;若所述距离小于或等于所述空间权重阈值,则在所述空间邻接矩阵中对应的位置填入一个表示两个所述水质监测站点之间具有空间联系的值,若所述距离大于所述空间权重阈值,则在所述空间邻接矩阵中对应的位置填入一个表示两个所述水质监测站点之间没有空间联系的值,以此构建所述空间邻接矩阵;对于所述空间邻接矩阵中的每个元素,以行标准化方法进行归一化处理,得到标准化后的所述空间邻接矩阵并存储。4.根据权利要求1所述的多拓扑节点高光谱水质参数联合反演方法,其特征在于,所述时空残差网络包括第一卷积层和第二卷积层,对应地,所述将所述三维特征张量和所述空间邻接矩阵进行聚合后输入至训练好的时空残差网络,通过所述时空残差网络输出高光谱-水质参数时空特征张量的步骤,包括:将所述三维特征张量与所述空间邻接矩阵进行聚合操作,生成输入张量;将所述输入张量输入所述第一卷积层,得到时序特征和空间特征;将所述时序特征和所述空间特征输入所述第二卷积层,得到综合所述时序特征和所述空间特征的具有各个时空格点的所述高光谱-水质参数时空特征张量,所述时空格点为各个时间步长下的不同空间格网。5.根据权利要求1所述的多拓扑节点高光谱水质参数联合反演方法,其特征在于,所述时空自注意力机制网络包括:第一全连接层和输出层,对应地,所述将所述高光谱-水质参数时空特征张量输入至训练好的时空自注意力机制网络,得到所述时空自注意力机制网络
输出的时空特征表示的步骤,包括:将所述高光谱-水质参数时空特征张量输入所述第一全连接层,转换为标量得分;将所述标量得分输入所述输出层,得到各个时空格点的注意力权重;将各个时空格点的所述注意力权重与对应的所述高光谱-水质参数时空特征张量进行加权求和计算,得到不同时间步长的加权特征表示,即为所述时空特征表示。6.根据权利要求1所述的多拓扑节点高光谱水质参数联合反演方法,其特征在于,所述预测网络包括:第二全连接层;对应地,所述将所述时空特征表示输入至训练好的预测网络,得到所述预测网络输出的各水质监测站点的水质参数预测值的步骤,包括:将所述时空特征表示输入所述第二全连接层,得到各水质监测站点的所述水质参数预测值。7.根据权利要求6所述的多拓扑节点高光谱水质参数联合反演方法,其特征在于,还包括:在将所述监测数据以三维张量形式进行合并之前,对采集到的所述监测数据进行归一化处理,对应地,将所述水质参数预测值进行逆归一化处理,以变换至原始水质参数量纲化的水质参数预测值。8.一种多拓扑节点高光谱水质参数联合反演装置,其特征在于,包括:监测数据合并模块,用于采集多个水质监测站点的监测数据,将所述监测数据以三维张量形式进行合并,得到三维特征张量,所述监测数据包括:高光谱遥感数据和水质参数数据;空间邻接矩阵构建模块,用于基于任意两个所述水质监测站点之间的空间关系,构建空间邻接矩阵并存储;第一输出模块,用于将所述三维特征张量和所述空间邻接矩阵进行聚合后输入至训练好的时空残差网络,通过所述时空残差网络输出高光谱-水质参数时空特征张量;第二输出模块,用于将所述高光谱-水质参数时空特征张量输入至训练好的时空自注意力机制网络,得到所述时空自注意力机制网络输出的时空特征表示;水质参数值预测模块,用于将所述时空特征表示输入至训练好的预测网络,得到所述预测网络输出的各水质监测站点的水质参数预测值。9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一项所述的多拓扑节点高光谱水质参数联合反演方法。10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的多拓扑节点高光谱水质参数联合反演方法。

技术总结
本发明公开的一种多拓扑节点高光谱水质参数联合反演方法及相关设备,包括:采集多个水质监测站点的监测数据,将监测数据以三维张量形式进行合并,得到三维特征张量;基于水质监测站点之间的空间关系,构建空间邻接矩阵;将三维特征张量和空间邻接矩阵进行聚合后输入至训练好的时空残差网络,得到高光谱-水质参数时空特征张量;将高光谱-水质参数时空特征张量输入至训练好的时空自注意力机制网络,得到时空特征表示;将时空特征表示输入至训练好的预测网络,得到各水质监测站点的水质参数预测值。本发明充分考虑了多个监测站点之间的时空关联,能够更准确地反映水体时空运动规律及水质参数拓扑关系。实现了对水质参数的快速、大范围和实时监测。大范围和实时监测。大范围和实时监测。


技术研发人员:张立福 王宏庆 黄瑶 张彩霞 蓝梓月
受保护的技术使用者:天津中科谱光信息技术有限公司
技术研发日:2023.08.23
技术公布日:2023/9/16
版权声明

本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

航空之家 https://www.aerohome.com.cn/

飞机超市 https://mall.aerohome.com.cn/

航空资讯 https://news.aerohome.com.cn/

分享:

扫一扫在手机阅读、分享本文

相关推荐