基于物理约束的自适应神经网络海洋垂直混合参数化方法

1.本发明涉及海洋科学研究领域，尤其涉及一种基于物理约束的自适应神经网络海洋垂直混合参数化方法。


背景技术：

2.数值模拟已经成为海洋研究的重要工具之一，数值模式通常是由离散算法和物理过程参数化方案组成。其中参数化方案对模拟结果的影响巨大。在气候模式中需要用原始方程组在控件网格上离散化，分辨率越高，需要的计算资源也越高。受限于计算资源，模式的格点有限，使得小于格点的次网格的物理过程无法模拟。因此需要参数化方法引入其物理效应。海洋垂直混合参数化是关于海水要素(海洋的盐度，密度，流速，压强等)的混合过程的计算，该参数化对海洋气候模式的海温模拟的影响巨大，通过海气作用，影响全球气候变化。因此气候模式中偏差的最大来源之一是海洋参数化过程。前人的研究给出垂直混合系数与ri数(richardson数，浮力项与流剪切项的比值的无量纲数)的经验关系，开发了pp参数化方案和pgt参数化方案。这些基于ri的物理驱动参数化在剪切失稳占主导地位的地区工作良好，但在热带外地区，失稳浮力通量不可忽视。最终的参数化结果在高纬度地区精度偏差较大。
3.现在应用在大多气候模式中的海洋参数化方案是kpp参数化方案和pp参数化方案。pacanowski等人提出了pp参数化方案，该混合方案主要应用在热带海洋，扩散系数依赖于ri数，能够较合理地描述强垂直切变与黏性之间的关系，它可以更好地模拟赤道温跃层和赤道潜流。kpp方案对风驱动混合、表面浮力通量、对流不稳定等进行参数化，允许逆梯度通量的发展。kpp方案是非刚盖混合层模型，统一了垂直混合中的多种未解析过程。有效地刻画了从海洋边界到海洋内部混合系数减小的特点。
4.近年来，数据驱动的深度学习方法在地球科学研究中得到了探索和实践。(zhu and zhang,2022)提出了基于深度学习的海洋垂直混合参数化方法(physics-informed deep learning network这里简写为pdlnet)，他们使用单个全连接网络，对真实的观测数据进行拟合。由于海洋垂直混合过程是许多复杂物理过程的混合，同时人们也缺乏对混合过程的理解，用深度学习的方法拟合复杂物理混合过后的结果是一个可行的方案。zhu等人通过加入物理中间参数作为输入，人工随机生成的符合pp参数化方案的数据加入训练数据集中，意在让神经网络学习到pp参数化的规律，将人们已知的参数化规律融入到神经网络的训练中去，使神经网络获得良好的泛化能力，获得更好的参数化精度。
5.现有技术方案存在的不足：
6.1.现有的海洋垂直混合参数化精度不高。
7.pp参数化在剪切失稳占主导地位的地区工作很好，但在热带地区失稳浮力通量不可忽视，同时海洋混合过程极其复杂，pp参数化方案忽略了其他混合过程，造成高纬度的模拟结果不佳。kpp参数化相比其他参数化方案考虑的混合过程更加全面，因此很多气候模式中大量使用kpp参数化方案。然而海洋在相同的ri值下可以存在不同的流动状态，基于ri参
数化估计的海洋湍流过程有着很大的不确定性。导致kpp参数化高估太平洋冷舌区向下湍流的热通量，进而导致cmip气候模型在热带地区对太平洋和大西洋的东海区sst模拟过高，在副热带地区sst模拟过低。
8.2.现有的神经网络作为混合参数化过程方法网络结构不易调整。
9.基于深度学习的海洋垂直混合参数化方法的可行性已经得到了验证，使用单个全连接对真实观测数据拟合，得到比传统参数化方法更高的精度。这种全连接网络在训练时较为麻烦，网络每层的宽度和网络深度需要大量试验，逐步确定找到最佳的结构。
10.3.现有的神经网络参数化方法精度上仍可以提高。
11.现有的基于深度学习的海洋垂直混合参数化方法，训练一个全连接网络完成参数化过程的计算。通过引入ri值作为输入，性能上有所提升。人工扩大数据集，在数据集上加入先验的pp参数化规律，引导网络学习先验的物理知识，从而网络的泛化能力得到提高，精度也有所提高。然而现有的网络上仍有可以提升的空间，在结构方面，更深和更合适的宽度可以带来更好的性能和精度的提升。结合pp和kpp两种参数化的规律能够进一步提升泛化能力。


技术实现要素：

12.针对现有技术的不足，本发明提出一种基于物理约束的自适应神经网络海洋垂直混合参数化方法，所述方法构建了一个自适应的网络模型，用海上实际站点观测得到的数据作为训练集进行学习，学习不同深度的海洋密度ρ、剪切平方s2、分层n2、速度u与垂直扩散系数kt的关系，通过融合学习到的特征预测垂直混合参数化过程中的垂直扩散系数kt，同时在训练过程和网络推理过程中引入物理约束来提高网络的预测精度，具体包括：
13.步骤1：获取海洋垂直混合参数训练集，首先线上下载热带大气海洋tao阵列和热带大西洋pirata阵列中的χpod仪器测量得出的实际观测数据，同时加入10％至15％比例的人工合成的具有物理规律的随机数据，构成参数训练集，具体包括：
14.步骤11：获得真实海洋垂直混合参数观测数据，将在热带大气海洋tao阵列和热带大西洋pirata阵列中采集的数据作为真实观测数据，通过线上访问分别下载(0
°
，140
°
w)和(0
°
，23
°
w)站点中29m、39m、49m、59m、69m、79m、89m、119m共8处的海洋密度ρ、剪切平方s2、分层n2、速度u、垂直扩散系数kt数据；
15.步骤12：生成基于pp方法的随机数据，具体的，在一个样本中，海洋密度ρ在1022kgm-3
至1045kgm-3
的范围，分层n2在10-6
s-2
至10-3
s-2
的范围，速度u在-0.4ms-1
至-1.2ms-1
的范围，剪切平方s2在10-8
s-2
至10-3
s-2
的范围之间随机确定一个数据，共产生850个随机的参数数据加入步骤11得到的真实参数数据中；
16.步骤2：对步骤1得到的参数训练集做预处理，由于所述垂直扩散系数kt数值较小，不适用于神经网络训练，因此对所述垂直扩散系数kt数据取对数作为训练目标结果；
17.步骤3：构建并初始化垂直混合参数化神经网络，将步骤2预处理后的训练集送入所述神经网络进行训练，具体包括：
18.步骤31：将所述训练集中每个参数做归一化处理后，完全随机打乱，按照1：3划分验证集和训练集；
19.步骤32：构建参数化神经网络，所述参数化神经网络由四个自适应全连接模块
afcm堆叠构成，输入数据为f
input
，输出为垂直扩散系数kt的对数，其中，f
input
的尺寸为n
×
5，n表示总共n条数据，5表示五个特征变量，分别是海洋的平方剪切s2、分层n2、密度ρ、速度u、ri数，所述自适应全连接模块afcm包括四个分支和连接在四个分支后的一维卷积层，第一分支、第二分支和第三分支均为全连接网络分支，分别由宽度为1倍输入特征向量长度、2倍输入特征向量长度和宽度为3倍输入特征向量长度的全连接网络构成，第四分支为短连接分支，为一个跳跃连接；
20.步骤33：将输入特征x
input
输入构建好的所述参数化神经网络中的第一个自适应全连接模块afcm，分别通过第一分支、第二分支和第三分支的全连接网络，得到最终的特征向量x
out
；
21.步骤34：将所述特征向量x
out
依次输入后续依次连接的三个自适应全连接模块afcm中，最后一个自适应全连接模块afcm的输出特征向量再经过一个全连接层，得到网络预测垂直扩散系数kt值；
22.步骤35：所述参数化网络还包括kpp参数模块，将输入特征x
input
输入到所述kpp参数化模块中，得到基础预测垂直扩散系数kt值，将所述基础预测垂直扩散系数kt值和所述网络预测垂直扩散系数kt值做加和，输出最终预测的垂直扩散系数kt值；
23.步骤36：计算步骤35最终预测的kt值和训练集中的目标结果kt值之间的mse损失，将计算的mse损失值传入所述参数化网络中进行反向传播，调整网络中的参数；
24.步骤37：判断所述训练集中的训练数据是否都已经送入所述参数化网络中进行训练，若是则跳转至步骤38，若否跳转至步骤33；
25.步骤38：将验证集送入所述参数化网络进行验证，并判断网络是否收敛，若是，则保存网络参数并结束训练，若否，则跳转至步骤32进行下一轮训练；
26.步骤4：取出验证过程中表现最佳的网络，然后将测试集依次送入该网络进行测试，并对测试结果进行反标准化得到最终结果。
27.根据一种优选的实施方式，步骤33中输入特征x
input
在自适应全连接模块afcm中的操作具体包括：
28.所述输入特征x
input
输入第一分支中的全连接网络fc
11
得到第一中间特征向量x
out1
×
，所述第一中间特征向量x
out1
×
的宽度与输入特征x
input
的宽度一致，使用与所述第一中间特征向量x
out1
×
宽度一致的神经元学习拟合数据，再通过全连接网络fc
12
得到第一分支特征结果x
out1
；
29.输入第二分支中的全连接网络fc
21
得到第二中间特征向量x
out2
×
，第二中间特征向量x
out2
×
的宽度是输入特征x
input
的宽度2倍，使用与所述第二中间特征向量x
out2
×
宽度一致的神经元学习拟合数据，再通过全连接网络fc
22
得到第二分支特征结果x
out2
；
30.输入第三分支中的全连接网络fc
31
得到第三中间特征向量x
out3
×
，第一中间特征向量x
out3
×
的宽度是输入样本x
input
的宽度3倍，使用与所述第三中间特征向量x
out3
×
宽度一致的神经元学习拟合数据，再通过全连接网络fc
32
得到第三分支特征结果x
out3
；
31.第四分支不对输入特征x
input
做任何操作，将四个分支得到的第一分支特征结果x
out1
、第二分支特征结果x
out2
、第三分支特征结果x
out3
和第四分支输入特征x
input
在通道上做拼接，得到一个新的特征图f
batches
，所述特征图f
batches
经过一个一维卷积层，输出得到第一个自适应全连接模块的特征向量x
out
。
32.与现有技术相比，本发明的有益效果在于：
33.1、本发明设计了一种新的网络结构来解决传统海洋垂直混合参数化中存在的问题。所涉及的参数化神经网络更进一步挖掘海洋密度、剪切力、分层、流速和ri数5个特征要素与垂直扩散系数之间的关系。多尺度的分析计算，有助于提高预测结果的精度和准确度，相比目前传统的海洋垂直混合参数化精度本发明的方法精度更高。
34.2、采用自适应全连接模块，该模块可以自行调整合适的网络宽度以达到最佳拟合效果，构建网络只用调节堆叠全连接模块数量就可以得到当前深度最佳的结果。自适应全连接模块中汇总部分可以将不同尺度的结果进行增强和抑制，抑制无用特征信息，增强影响预测结果较强的特征。使用自适应全连接模块可以使得网络调参和训练更加轻松。
35.3、经过大量实验证明，本发明提出基于物理约束的自适应神经网络在参数化预测上，相比目前的神经网络参数化方法精度更高，具有更好的泛化性。
附图说明
36.图1是本发明所提出的网络结构示意图；
37.图2是自适应全连接模块结构示意图；
38.图3是本发明提出网络与原始全连接网络相比，预测值和实际观测值的二维直方图；
39.图4是本发明方法在(0
°
,140
°
w)处海洋各层实际观测数据的拟合情况图；
40.图5是传统kpp方法在(0
°
,140
°
w)处海洋各层实际观测数据的拟合情况图；
41.图6是传统pp方法在(0
°
,140
°
w)处海洋各层实际观测数据的拟合情况图；
42.图7是pdlnet方法在(0
°
,140
°
w)处海洋各层实际观测数据的拟合情况图。
具体实施方式
43.为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
44.本发明的pdlnet方法为学者2022年提出的基于深度学习的海洋垂直混合参数化方法physics-informed deep learning network。
45.本发明的pp方法是指现有的参数化预测方法pacanowski-philander混合方案。
46.本发明的kpp方法是指现有的参数化预测方法k-profile parameterization。
47.本发明涉及地球科学气候模式计算与计算机科学交叉领域，尤其涉及一种基于物理约束神经网络的海洋直混合参数化方法，它主要解决现有的混合参数化方案精度低的问题。当前的气候模式中海洋垂直混合参数化方案会造成海温预测的偏差，进而导致其他模拟结果的偏差。而随着机器学习的发展，基于神经网络的垂直混合参数化方案被证明比传统方法具有更好的性能，更高的精度。但是，基于神经网络的垂直混合参数化方案得到的精度仍然可以得到提高。
48.针对现有方案存在的不足，本发明提出了新的一种基于物理约束神经网络的海洋垂直混合参数化方法，图1为本发明所提出的参数化神经网络结构示意图。它的输入数据为finput
，输出为垂直扩散系数的对数(log(kt))。其中f
input
的尺寸为n
×
5，n表达总共n条数据，5表示输入数据中五个特征变量，具体分别是海洋的平方剪切s2、分层n2、密度ρ、速度u、ri数。本发明构建的神经网络由4层自适应全连接模块afcm堆叠而成，还包括kpp模块，与传统kpp参数化方案的结果进行加和，在传统物理方法的基础上进行精确补偿。
49.本发明参数化网络的核心及主要创新点在于自适应全连接模块afcm。图2为本发明提出的自适应全连接afcm模块示意图，该模块由四个分支组成，前三个分支为全连接网络分支，第四个分支为短连接分支。图2中afcm模块输入特征为x
input
，输出特征为x
out
，fc
ij
表示第i个分支，第j个全连接层，x
outi
×
为第i分支的中间输出特征向量。前三个分支中每个分支中全连接层后添加一个leaky relu激活层。第一个分支全连接层生成宽度为x
input
的中间特征向量x
out1
×
，用与x
input
等量的神经元学习拟合数据。第二个分支全连接层生成宽度为两倍x
input
的中间特征向量x
out2
×
，使用2倍宽度x
input
的神经元学习拟合数据。第三个分支全连接层为三倍x
input
的中间特征向量x
out3
×
，使用3倍宽度x
input
的神经元学习拟合数据。特征向量x
out1
×
、x
out2
×
、x
out3
×
分别通过fc
12
，fc
22
，fc
32
三个全连接网络后，特征统一调整为x
input
宽度。第四条短连接分支不对特征向量做任何操作。每一个自适应全连接模块afcm中都可以有四种特征结果x
outl
，x
out2
，x
out3
，x
input
得到四个特征向量，将四个特征向量拼接成一个新的特征图f
batches
经过最后一层一维卷积，重新调整为特征向量向下输出x
out
。同时，一维卷积关闭偏置参数。
50.本发明将kpp参数化方案加入到神经网络计算中去，让神经网络以kpp方法的规律作为基础学习修正输出。将kpp的公式计算结果加到神经网络计算结果中得出最终输出。
51.自适应全连接模块(afcm)的数学公式表达如下公式，通过公式可以更好的理解afcm模块的运行机理。
52.x
out
＝λ1fc1(x
input
)+λ2fc2(x
input
)+λ3fc3(x
input
)+λ4x
input
53.其中，x
input
为输入特征向量，x
out
为输出特征向量，fc1表示第1分支中fc
11
和fc
12
组成的分支1全连接网络，fc2表示第2分支中fc
21
和fc
22
组成的分支2全连接网络，fc3表示第3分支中fc
31
和fc
32
组成的分支3全连接网络，λ表示一维卷积的卷积核权重。在神经网络训练过程当中，不同宽度的全连接层学习适合当前宽度的参数。没有偏置的一维卷积仅仅调整对不同全连接的关注程度，对感兴趣的特征向量加强，对影响不大的特征抑制。同时这样的结构可以解决网络退化问题。
54.具体来说，不同宽度的全连接网络产生的输出和原始输入在通道上进行拼接得到n个尺寸为4x5的特征图，原始输入的每个输出尺寸为nx1x5，n表示批大小，1表示通道数，5表示特征数。特征图中每个通道对应同一个特征在不同宽度全连接网络下得到不同表现的汇总。一维卷积核对每个通道中各个特征乘上不同的权重后求和(即去掉偏置的卷积过程)以达到对起关键作用的特征进行增强，对起负面效果的特征进行抑制。通过对特征的增强和抑制，afcm拥有自适应调整所需网络宽度的能力。此外，我们的最后一个通道存放的是原始输入的特征，该操作实际上是一个残差结构的应用，用来确保我们的输出结果不会变差。如果输入结果已经比较好的情况下，一维卷积核对应最后一个通道的权重会变大，而其他通道的特征权重会变小使得该层的输出完全变成上层的输出。得益于这样的结构，本发明的afcm模块可以被不断堆叠，而不会产生网络退化问题，直到获得较好的拟合泛化结果为止。最优模块堆叠的网络和过多模块堆叠的网络最终的拟合结果的差距不会很大。
55.在训练过程中，本发明在真实观测数据上加入基于pp参数化方法的人工生成数据。将pp方法的规律通过数据集的方式让神经网络学习到先验知识。此外我们将kpp方法计算结果和神经网络结果加和作为最终输出。神经网络对kpp方法结果进行修正输出，让网络以kpp参数化方案的规律作为基础进行学习。综合两种已知的物理学规律和真实观测结果，从而进一步提高网络的泛化能力，得出更加稳定和准确的结果。
56.本发明提出的基于受物理约束神经网络的海洋垂直混合参数化方法，构建了一个自适应的网络模型，用海上实际站点观测得到的数据作为训练集进行学习，学习不同深度的海洋密度ρ、剪切平方s2、分层n2、速度u与垂直扩散系数kt的关系，通过融合学习到的特征预测垂直混合参数化过程中垂直扩散系数kt，同时在训练过程和网络推理过程中引入物理约束来提高网络的预测精度，具体包括：
57.步骤1：获取海洋垂直混合参数训练集，线上下载热带大气海洋tao阵列和热带大西洋pirata阵列中的χpod仪器测量得出的实际观测数据，同时加入一定比例的人工合成的具有物理规律的随机数据作为网络参数训练集。具体包括：
58.步骤11：获得真实海洋垂直混合参数观测数据，在热带大气海洋tao阵列和热带大西洋pirata阵列中采集的数据作为真实观测数据，通过线上访问分别下载(0
°
，140
°
w)和(0
°
，23
°
w)站点中29m、39m、49m、59m、69m、79m、89m、119m共8处的海洋密度ρ、剪切平方s2、分层n2、速度u、垂直扩散系数kt数据；
59.步骤12：生成基于pp方法的随机数据，具体的，在一个样本中，海洋密度ρ在1022kgm-3
至1045kgm-3
的范围，分层n2在10-6
s-2
至10-3
s-2
的范围，速度u在-0.4ms-1
至-1.2ms-1
的范围，和剪切平方s2在10-8
s-2
至10-3
s-2
范围之间随机确定一个数据，共产生850个随机的参数数据加入步骤11得到的真实参数数据中；
60.通过在真实参数数据集中加入基于已知的pp参数化方法生成的随机样本，达到给神经网络添加物理约束的目的，引导神经网络学习其中的物理规律。其中，pp方法公式如下：
[0061][0062]
其中，richardson数(以下简称ri数)由平方剪切和分层进行计算，即ri＝n2/s2。
[0063]
步骤2：对步骤1得到的参数数据集做预处理，由于垂直扩散系数kt数值较小，不适用于神经网络训练，因此对垂直扩散系数kt数据取对数作为训练目标结果。
[0064]
具体的，剪切平方du/dz为海水流速u在垂直方向z的微分；速度其中，vu表示海水在纬向的流速，vv表示海水在径向的流速；
[0065]
分层n2＝-(g/ρ)(dρ/dz)，其中，g表示重力加速度，ρ表示密度，ri＝n2/s2，dρ/dz为海水密度在垂直方向z的微分；
[0066]
筛选去掉缺失数据后，在(0
°
,140
°
w)上获得可用数据4269个，在(0
°
,23
°
w)上获得可用数据663个。由于数据中缺乏密度信息，需要通过海温和盐度数据计算获得。由于盐度数据缺失较多，使用常数代替，在(0
°
,140
°
w)上盐度设为常数35.2psu,在(0
°
,23
°
w)上盐度设为常数36psu。
[0067]
步骤3：构建并初始化垂直混合参数化神经网络，将步骤2预处理后的训练集送入神经网络进行训练，具体包括：
[0068]
步骤31：将训练集每个参数做归一化处理后，完全随机打乱，按照1:3划分验证集和训练集。训练集数据具体包括：海洋密度ρ、剪切平方s2、分层n2、速度u。
[0069]
步骤32：构建参数化神经网络，参数化神经网络由四个自适应全连接模块afcm堆叠构成，它的输入数据为f
input
，输出为垂直扩散系数kt的对数(log(kt))。其中f
input
的尺寸为n
×
5，n为总共n条数据，5是输入数据中五个特征变量分别是海洋的平方剪切s2、分层n2、密度ρ、速度u、ri数。afcm模块包括四个分支和连接在四个分支后的一维卷积层，第一分支、第二分支和第三分支均为全连接网络分支，分别由宽度为1倍输入特征向量长度、2倍输入特征向量长度和宽度为3倍输入特征向量长度的全连接网络构成，第四分支为短连接分支，为一个跳跃连接；
[0070]
步骤33：将输入特征x
input
输入构建好的参数化神经网络中的第一个自适应全连接模块，分别通过第一分支、第二分支和第三分支的全连接网络，得到最终的特征向量，具体操作包括：
[0071]
输入特征x
input
输入第一分支中的全连接网络fc
11
得到第一中间特征向量x
out1
×
，第一中间特征向量x
out1
×
的宽度与输入特征x
input
的宽度一致，使用与第一中间特征向量x
out1
×
宽度一致的神经元学习拟合数据，再通过全连接网络fc
12
得到第一分支特征结果x
out1
；
[0072]
输入第二分支中的全连接网络fc
21
得到第二中间特征向量x
out2
×
，第二中间特征向量x
out2
×
的宽度是输入特征x
input
的宽度2倍，使用与第二中间特征向量x
out2
×
宽度一致的神经元学习拟合数据，再通过全连接网络fc
22
得到第二分支特征结果x
out2
；
[0073]
输入第三分支中的全连接网络fc
31
得到第三中间特征向量x
out3
×
，第一中间特征向量x
out3
×
的宽度是输入样本x
input
的宽度3倍，使用与第三中间特征向量x
out3
×
宽度一致的神经元学习拟合数据，再通过全连接网络fc
32
得到第三分支特征结果x
out3
；
[0074]
第四分支不对输入特征x
input
做任何操作，将四个分支得到的第一分支特征结果x
out1
、第二分支特征结果x
out2
、第三分支特征结果x
out3
和第四分支输入特征x
input
在通道上做拼接，得到一个新的特征图f
batches
，特征图f
batches
经过一个一维卷积层，输出得到第一个自适应全连接模块的特征向量x
out
。
[0075]
步骤34：将特征向量x
out
依次输入后续依次连接的三个自适应全连接模块afcm中，最后一个自适应全连接模块afcm的输出特征向量再经过一个全连接层，得到网络预测垂直扩散系数kt值；
[0076]
步骤35：参数化网络还包括kpp参数模块，将输入数据输入到kpp参数化模块中，获取基础预测垂直扩散系数kt值，kpp公式如下：
[0077][0078]
将基础预测垂直扩散系数kt值和网络预测垂直扩散系数kt值做加，输出最终预测的垂直扩散系数kt值。与传统kpp参数化方案的结果进行加和，在传统物理方法的基础上进行精确补偿。通过直接引入kpp物理规律，让神经网络以kpp方法的规律作为基础学习修正
输出；
[0079]
步骤36：计算步骤35最终预测的kt值和训练集中的目标结果kt值mse损失。mse表示均方误差，将计算的mse损失传入参数化网络中进行反向传播，调整网络中的参数；
[0080]
步骤37：判断训练集中的训练数据是否都已经送入参数化网络中进行训练，若是则跳转至步骤37，若否跳转至步骤33。
[0081]
步骤38：将验证集送入参数化网络进行验证，并判断网络是否收敛，若是，则保存网络参数并结束训练，若否，则跳转至步骤32进行下一轮训练。
[0082]
步骤4：取出验证过程中表现最佳的网络，然后将测试集依次送入该网络进行测试，并对测试结果进行反标准化得到最终结果。
[0083]
为了验证本发明方法的有效性，将所提出方法与其他几种现有的方法进行比较。kpp方案、pp方案、最新的pdlnet神经网络方案和本发明所提出参数化网络在相同的数据集上进行定量比较。表1为对在拟合系数r2和均方根误差rmse两项指标上进行比较。
[0084]
表1
[0085]
采用方法拟合系数r2均方根误差rmsepdlnet方法0.5750.661本发明方法0.6180.627kpp方法-1.1411.485pp方法-0.2151.119
[0086]
其中，拟合系数r2表示自变量对因变量的解释程度，可以反映模型的拟合程度。rmse表示模型预测值与真值的平方和与样本数比值的平方根。其中r2越接近于1越好，rmse越小越好。从表中可以看出本发明的方法相比其他所有方法，拟合程度上更好，泛化能力和精度上达到了所有方法的最佳。
[0087]
图3左边为本发明方法的预测值和真实值的直方图，图3右边为pdlnet方法的预测值和真实值的直方图。通过图3的预测值和真实值的二维直方图可以看出，相比较最新的神经网络方法pdlnet，本发明的神经网络方法预测值分布更加贴近中线，说明本发明的方法拥有更好的性能。
[0088]
为了研究afcm模块和添加kpp方法作为物理约束两个方法提升性能的有效性。对添加不同层数afcm模块和是否加入kpp方法做了实验，并对最新的神经网络方法做了同样的操作，进行对比。
[0089]
如表2中可以看出在没有kpp参数化方法接入神经网络下，网络在4层和5层的afcm模块时达到最佳效果。而4层和5层得到的结果一致，说明在4层时已经达到较好的结果，5层afcm模块结构中多出的一层，对最终影响不大。证明了afcm模块有较强的自我调节的能力，上一层的结果如果足够好，下一层可以什么都不做将上一层的输出作为最终输出。足够深的网络和自调节宽度的模块带来更好的拟合和泛化能力。而在添加kpp的方法作为神经网络输出的参考基础，让网络的精度得到进一步的提高。
[0090]
表2
[0091][0092][0093]
为了更加直观的看出本发明方法拟合能力的优越性，分别与kpp方法，pp方法和pdlnet方法，在(0
°
,140
°
w)处海洋各层参数化预测和实际观测数据进行比较。图4是本发明方法在各层的拟合表现，图4(a)、图4(b)、图4(c)、图4(d)、图4(e)、图4(f)为本发明方法分别在39m，49m，59m，69m，89m和119m处的扩散系数预测。图5是kpp方法在各层的拟合表现，图5(a)、图5(b)、图5(c)、图5(d)、图5(e)、图5(f)为kpp方法分别在39m，49m，59m，69m，89m和119m处的扩散系数预测。图6是pp方法的拟合表现，图6(a)、图6(b)、图6(c)、图6(d)、图6(e)、图6(f)为pp方法分别在39m，49m，59m，69m，89m和119m处的扩散系数预测。图7为pdlnet方法各层拟合表现，图7(a)、图7(b)、图7(c)、图7(d)、图7(e)，图7(f)为pdlnet方法分别在39m，49m，59m，69m，89m和119m处的扩散系数预测。图4至图7中黑线为预测结果，灰色线为实际观测数据，rmse为每层中的拟合指标。图4和图7所示为神经网络方法，图5和图6所示为传统方法。神经网络方法整体表现相比传统方法，整体趋势更加符合实际观测数据，深度学习方法更加能够胜任参数化任务。本发明的方法(如图4所示)和pdlnet方法(如图7所示)相比较，在各层上精度都有一定的提升。在39m，59m，69m，119m处的精度提升较大，分别如图4和图7中的(a)、(c)、(d)、(f)所示；在49m和89m处的精度提升较小，如图4和图7中的(b)、(e)所示。得益于afcm模块自适应调节能力，这种能力相当于是几个拥有不同看法的大脑(不同的分支)，看待同一个事物x
input
，产生不同的看法x
out1
，x
out2
，x
out3
，x
input
，将结果f
batches
进行汇总,将拟合结果最近的进行增强，拟合较差的得到抑制。吸取多方的意见最终得到最好的结果x
out
进而提高网络整体拟合能力。
[0094]
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

技术特征：
1.基于物理约束的自适应神经网络海洋垂直混合参数化方法，其特征在于，所述方法构建了一个自适应的网络模型，用海上实际站点观测得到的数据作为训练集进行学习，学习不同深度的海洋密度ρ、剪切平方s2、分层n2、速度u与垂直扩散系数kt的关系，通过融合学习到的特征预测垂直混合参数化过程中的垂直扩散系数kt，同时在训练过程和网络推理过程中引入物理约束来提高网络的预测精度，具体包括：步骤1：获取海洋垂直混合参数训练集，首先线上下载热带大气海洋tao阵列和热带大西洋pirata阵列中的χpod仪器测量得出的实际观测数据，同时加入10％至15％比例的人工合成的具有物理规律的随机数据，构成参数训练集，具体包括：步骤11：获得真实海洋垂直混合参数观测数据，将在热带大气海洋tao阵列和热带大西洋pirata阵列中采集的数据作为真实观测数据，通过线上访问分别下载(0
°
，140
°
w)和(0
°
，23
°
w)站点中29m、39m、49m、59m、69m、79m、89m、119m共8处的海洋密度ρ、剪切平方s2、分层n2、速度u、垂直扩散系数kt数据；步骤12：生成基于pp方法的随机数据，具体的，在一个样本中，海洋密度ρ在1022kgm-3
至1045kgm-3
的范围，分层n2在10-6
s-2
至10-3
s-2
的范围，速度u在-0.4ms-1
至-1.2ms-1
的范围，剪切平方s2在10-8
s-2
至10-3
s-2
的范围之间随机确定一个数据，共产生850个随机的参数数据加入步骤11得到的真实参数数据中；步骤2：对步骤1得到的参数训练集做预处理，对所述垂直扩散系数kt数据取对数作为训练目标结果；步骤3：构建并初始化垂直混合参数化神经网络，将步骤2预处理后的训练集送入所述神经网络进行训练，具体包括：步骤31：将所述训练集中每个参数做归一化处理后，完全随机打乱，按照1：3划分验证集和训练集；步骤32：构建参数化神经网络，所述参数化神经网络由四个自适应全连接模块afcm堆叠构成，输入数据为f
input
，输出为垂直扩散系数kt的对数，其中，f
input
的尺寸为n
×
5，n表示总共n条数据，5表示五个特征变量，分别是海洋的平方剪切s2、分层n2、密度ρ、速度u、ri数，所述自适应全连接模块afcm包括四个分支和连接在四个分支后的一维卷积层，第一分支、第二分支和第三分支均为全连接网络分支，分别由宽度为1倍输入特征向量长度、2倍输入特征向量长度和宽度为3倍输入特征向量长度的全连接网络构成，第四分支为短连接分支，为一个跳跃连接；步骤33：将输入特征x
input
输入构建好的所述参数化神经网络中的第一个自适应全连接模块afcm，分别通过第一分支、第二分支和第三分支的全连接网络，得到最终的特征向量x
out
；步骤34：将所述特征向量x
out
依次输入后续依次连接的三个自适应全连接模块afcm中，最后一个自适应全连接模块afcm的输出特征向量再经过一个全连接层，得到网络预测垂直扩散系数kt值；步骤35：所述参数化网络还包括kpp参数模块，将输入特征x
input
输入到所述kpp参数化模块中，得到基础预测垂直扩散系数kt值，将所述基础预测垂直扩散系数kt值和所述网络预测垂直扩散系数kt值做加，输出最终预测的垂直扩散系数kt值；步骤36：计算步骤35最终预测的kt值和训练集中的目标结果kt值之间的mse损失，将计
算的mse损失值传入所述参数化网络中进行反向传播，调整网络中的参数；步骤37：判断所述训练集中的训练数据是否都已经送入所述参数化网络中进行训练，若是则跳转至步骤38，若否跳转至步骤33；步骤38：将验证集送入所述参数化网络进行验证，并判断网络是否收敛，若是，则保存网络参数并结束训练，若否，则跳转至步骤32进行下一轮训练；步骤4：取出验证过程中表现最佳的网络，然后将测试集依次送入该网络进行测试，并对测试结果进行反标准化得到最终结果。2.如权利要求1所述的海洋垂直混合参数化方法，其特征在于，步骤33中输入特征x
input
在自适应全连接模块afcm中的操作具体包括：将所述输入特征x
input
输入第一分支中的全连接网络fc
11
得到第一中间特征向量x
out1
×
，所述第一中间特征向量x
out1
×
的宽度与输入特征x
input
的宽度一致，使用与所述第一中间特征向量x
out1
×
宽度一致的神经元学习拟合数据，再通过全连接网络fc
12
得到第一分支特征结果x
out1
；输入第二分支中的全连接网络fc
21
得到第二中间特征向量x
out2
×
，第二中间特征向量x
out2
×
的宽度是输入特征x
input
的宽度2倍，使用与所述第二中间特征向量x
out2
×
宽度一致的神经元学习拟合数据，再通过全连接网络fc
22
得到第二分支特征结果x
out2
；输入第三分支中的全连接网络fc
31
得到第三中间特征向量x
out3
×
，第一中间特征向量x
out3
×
的宽度是输入样本x
input
的宽度3倍，使用与所述第三中间特征向量x
out3
×
宽度一致的神经元学习拟合数据，再通过全连接网络fc
32
得到第三分支特征结果x
out3
；第四分支不对输入特征x
input
做任何操作，将四个分支得到的第一分支特征结果x
out1
、第二分支特征结果x
out2
、第三分支特征结果x
out3
和第四分支输入特征x
input
在通道上做拼接，得到一个新的特征图f
batches
，所述特征图f
batches
经过一个一维卷积层，输出得到第一个自适应全连接模块的特征向量x
out
。

技术总结
本发明涉及一种基于物理约束的自适应神经网络海洋垂直混合参数化方法，主要针对海洋垂直混合参数化过程精度不高的问题，本发明构建了一个自适应网络模型，在海上实际站点观测数据的基础上加入一定的人工合成数据，构成训练集进行学习，构建参数化神经网络，参数化神经网络由四个自适应全连接模块AFCM堆叠构成，学习不同深度的海洋密度ρ、剪切平方S2、分层N2、速度U与垂直扩散系数Kt的关系，然后通过融合学习到的特征预测垂直混合参数化过程中的垂直扩散系数Kt，在训练过程和网络推理过程中引入物理约束来提高网络的预测精度，使得本发明的参数化网络在精度和泛化能力方面比现有技术表现更好。技术表现更好。技术表现更好。


技术研发人员：李孝杰 方俊杰 吴锡 黄小猛 俞永强 吕建成 周激流
受保护的技术使用者：成都信息工程大学
技术研发日：2023.06.25
技术公布日：2023/9/20