基于贝叶斯优化的LSTM深度学习网络的力学预测方法

基于贝叶斯优化的lstm深度学习网络的力学预测方法
技术领域
1.本发明涉及桥梁工程技术领域，尤其涉及一种基于贝叶斯优化的lstm深度学习网络的力学预测方法。


背景技术：

2.缆索承重桥以其用料省、自重轻、跨越能力强等特点成为交通生命线中不可或缺的一部分，确定缆索的状态是确保桥梁安全运维的一项重要工程，桥梁健康监测技术作为保障在役桥梁结构状态的重要技术手段得到广泛的关注，是目前研究的热点问题，也是桥梁工程领域的前沿课题之一。
3.结构健康监测(structural health monitoring,shm)旨在采用无损传感技术，并结合结构特性分析手段监测结构状态的演化趋势，探究和揭示结构损伤发生机理。桥梁健康监测近年来融合了监测数据感知、数据远程通信、大数据处理、人工智能等技术，对桥梁结构数据的获取与处理能力逐步提升。缆索承重桥的索力是运营状态的重要评价指标，索力的变化反映了桥梁的力学行为和结构性能的变化规律，应用大数据处理方法对健康监测积累的海量数据进行数据挖掘，以求获得高精度的模型进行未来索力状况的预测，以便精确把控拉索索力的趋势，从而保证了桥梁结构的正常安全运营。
4.但是，目前国内外的相关研究，对索力的分析方法多为应用神经网络或数字孪生等方法对过去数据的处理和当前数据的判断，缆索性能预测的深度学习方法存在着预测精度低、效率差、随着数据量的增加而梯度爆炸等问题。
5.故针对现有技术存在的问题，本案发明人凭借从事此行业多年的技术储备和经验积累，积极探索研究关键技术，于是有了本发明一种基于贝叶斯优化的lstm深度学习网络的力学预测方法。


技术实现要素：

6.本发明是针对现有技术中，对索力的分析方法多为应用神经网络或数字孪生等方法对过去数据的处理和当前数据的判断，缆索性能预测的深度学习方法存在着预测精度低、效率差、随着数据量的增加而梯度爆炸等缺陷提供一种基于贝叶斯优化的lstm深度学习网络的力学预测方法。
7.为实现本发明之目的，本发明提供一种基于贝叶斯优化的lstm深度学习网络的力学预测方法，所述基于贝叶斯优化的lstm深度学习网络的力学预测方法，包括：
8.执行步骤s1：索力数据采集，基于振动法索力识别的基础对桥梁使用阶段索力进行采集，每半小时采集时域数据一次，以频域分析的前10阶频率进行预处理后对应的索力数值生成训练数据集、测试数据集与验证数据集，并对索力数据集进行进一步数据处理；
9.执行步骤s2：lstm索力预测模型建立，lstm网络由遗忘门、输入门与输出门组成，利用训练数据集训练网络，利用验证数据集调整lstm网络的超参数，确定最终的网络模型；
10.执行步骤s3：多重指标判断预测效果，预测未来索力的lstm网络模型评估，通过测
试数据集的测试，利用均方误差、均方根误差、平均绝对误差与决定系数指标来确定斜拉索力的预测效果；
11.执行步骤s4：监测数据网络自修正，对网络模型的未来预测，利用训练好的网络模型进行未来一定时间内的索力预测，并可以通过继续测试的索力数据进行模型的自我修正，实现模型不断地融入环境和拉索材料的时变特性，准确性不断提高，从而进一步降低索力预测的误差，提高了预测的精度；
12.执行步骤s5：网络超参数优化，应用贝叶斯优化算法对lstm网络中的学习速率、隐含层个数、迭代次数超参数进行优化得到模型最优解，突破传统的仅是人为选择参数的lstm算法，实现了智能化自动选取最优的网络参数，从而提高lstm网络的预测精度与效率。
13.可选地，所述基于贝叶斯优化的lstm深度学习网络的力学预测方法，进一步包括：
14.执行步骤s6：随着桥梁监测时间的增加斜拉桥索力数据不断增加，应用不断更新的索力值对上述建立的模型进行模型更新，实现模型的自我修正。
15.可选地，拉索索力采集应用hcf400-a0传感器，每半小时采集拉索振动时域信号，经过fft变化得到拉索的频域的频率分布是基频整数倍的数学关系表达式，最后应用经典弦理论计算拉索的索力。
16.可选地，利用kernel k-means聚类算法，丢弃远离其他簇的小簇，将离群点作为影响数据质量的异常点考虑，在对聚类后的数据进行处理，从而提高了原始数据的可靠性，为拉索索力高精度的预测奠定了基础。
17.可选地，对索力数据集进行进一步数据处理，包括首先去除趋势项，根据数据特点去除温度、风力等环境因素作用的影响，获得车致索力的响应数据，并将数据归一化，对整体数据进行分析，对数据进行每小时分组挑选出极值点；其次进行分组计算标准差，与每小时均值相差大于一倍标准差的极值点认为是车致极值点，将其去除只保留噪音极值点；对保留下的噪音极值点进行中值滤波并进行光滑处理，并在原始数据中将趋势项减去作为预处理的车致拉索索力，最后对趋势项数据进行归一化处理使数值保持在[-1,1]范围内。
[0018]
可选地，lstm深度学习网络的遗忘门所保留的记忆由前一时刻的输出和这一时刻的输入共同决定。
[0019]
可选地，所述平方根误差rmse，
[0020][0021]
yi：第i个样本的真实值；第i个样本的预测值；m为样本个数。
[0022]
可选地，所述均方误差mse，
[0023][0024]
yi：第i个样本的真实值；第i个样本的预测值；m为样本个数。
[0025]
可选地，所述决定系数r方值，
[0026][0027]
yi：第i个样本的真实值；第i个样本的预测值；m为样本个数。
[0028]
可选地，所述贝叶斯优化是对隐藏节点个数，lstm堆叠层数，初始学习率与l2正则化强度四个超参数进行优化。
[0029]
可选地，建立基于大量时间点数据的lstm-bayes的预测模型，融合桥梁结构的健康监测系统连续采集的数据，以此实现预测模型参数的持续更新，进而不断地提高拉索索力预测的精度。
[0030]
综上所述，本发明基于贝叶斯优化的lstm深度学习网络的力学预测方法的目的是为了解决桥梁结构健康监测海量数据的预处理和以及对缆索体系桥梁重要受力构件拉索索力高精度预测问题，提出了一种基于lstm深度学习网络的模型构建方法，实现了大量数据的预处理与预测，实现了对桥梁索力的高精度实时预测，达到桥梁安全评估目的，为桥梁结构的安全运维提供技术保障。
附图说明
[0031]
图1所示为本发明基于贝叶斯优化的lstm深度学习网络结构图；
[0032]
图2所示为本发明lstm索力预测模型训练流程图。
具体实施方式
[0033]
为详细说明本发明创造的技术内容、构造特征、所达成目的及功效，下面将结合实施例并配合附图予以详细说明。
[0034]
请参阅图1、图2，图1所示为本发明基于贝叶斯优化的lstm深度学习网络结构图。图2所示为本发明lstm索力预测模型训练流程图。所述基于贝叶斯优化的lstm深度学习网络(lstm-bayes)的力学预测方法，包括：
[0035]
执行步骤s1：索力数据采集，基于振动法索力识别的基础对桥梁使用阶段索力进行采集，每半小时采集时域数据一次，以频域分析的前10阶频率进行预处理后对应的索力数值生成训练数据集、测试数据集与验证数据集，并对索力数据集进行进一步数据处理；
[0036]
执行步骤s2：lstm索力预测模型建立，lstm网络由遗忘门(forget gate)1、输入门(input gate)2与输出门(output gate)3组成，利用训练数据集训练网络，利用验证数据集调整lstm网络的超参数，确定最终的网络模型；
[0037]
执行步骤s3：多重指标判断预测效果，预测未来索力的lstm网络模型评估，通过测试数据集的测试，利用均方误差、均方根误差、平均绝对误差与决定系数指标来确定斜拉索力的预测效果；
[0038]
执行步骤s4：监测数据网络自修正，对网络模型的未来预测，利用训练好的网络模型进行未来一定时间内的索力预测，并可以通过继续测试的索力数据进行模型的自我修正，实现模型不断地融入环境和拉索材料的时变特性，准确性不断提高，从而进一步降低索
力预测的误差，提高了预测的精度；
[0039]
执行步骤s5：网络超参数优化，应用贝叶斯优化算法对lstm网络中的学习速率、隐含层个数、迭代次数超参数进行优化得到模型最优解，突破传统的仅是人为选择参数的lstm算法，实现了智能化自动选取最优的网络参数，从而提高lstm网络的预测精度与效率。
[0040]
作为本领域技术人员，容易知晓地，与现有技术相比，本发明突出的实质性特点和显著进步体现为：
[0041]
(1)本发明基于贝叶斯优化的lstm深度学习网络的力学预测方法，突破传统的仅是人为选择参数的lstm算法，实现了智能化自动选取最优的网络参数，能够更快速地进行数据处理与预测，应用自我循环单元引入“门”来提高标准循环细胞的记忆能力，通过对lstm网络时间戳与训练轮数的调整，多次修正输入层与隐藏层的结构，提高了模型精度，降低了预测误差，实现高精确的进行拉索索力的预测，从而实现预测缆索体系桥梁的使用性能和评估桥梁的技术状况。
[0042]
(2)本发明可以预测索力的变化情况，可在索力超过阈值之前发出警报信息，避免结构损伤或发生事故，可为桥梁养护部门对斜拉索的维护提供精确的指导，且能够嵌入到现有的拉索监测系统进行实时变化趋势的预测。
[0043]
为了更直观的揭露本发明之技术方案，凸显本发明之有益效果，现结合具体实施方式，对所述基于贝叶斯优化的lstm深度学习网络的力学预测方法和原理进行阐述。在具体实施方式中，数据的采集、网络结构的布置等仅为列举，不应视为对本发明技术方案的限制。
[0044]
请继续参阅图1、图2，所述基于贝叶斯优化的lstm深度学习网络的力学预测方法，包括：
[0045]
执行步骤s1：自斜拉桥成桥以来持续进行索力的检测，拉索索力采集应用hcf400-a0传感器，每半小时采集拉索振动时域信号，经过fft变化得到拉索的频域的频率分布是基频整数倍的数学关系表达式，最后应用经典弦理论计算拉索的索力；
[0046][0047]
执行步骤s2：利用kernel k-means聚类算法，丢弃远离其他簇的小簇，将离群点作为影响数据质量的异常点考虑，在对聚类后的数据进行处理；
[0048]
进一步地，第一、对实测索力进行预处理，首先去除趋势项并根据数据特点去除温度影响，获得车致索力的响应并将数据归一化。对整体数据进行分析，对数据进行每小时分组挑选出极值点；第二、分组计算标准差，与每小时均值相差大于一倍标准差的极值点认为是车致极值点，将其去除只保留噪音极值点；第三、对保留下的噪音极值点进行中值滤波并进行光滑处理，并在原始数据中将趋势项减去作为预处理的车致拉索索力，最后对趋势项数据进行归一化处理使数值保持在[1,1]范围内。
[0049]
执行步骤s3：搭建lstm深度学习网络，进行数据的导入、模型的训练以及预测；使用lstm可以有效的传递和表达长时间序列中的信息并且不会导致长时间前的有用信息被忽略(或遗忘)。与此同时，lstm还可以解决rnn中的梯度消失/爆炸问题。如图1所示为lstm的抽象网络结构示意图，由图可知lstm由三个门来控制，这三个门分别是输入门、遗忘门和输出门。遗忘门的作用是决定之前的哪些记忆将被保留，哪些记忆将被去掉，正是由于遗忘
门的作用，使得lstm具有了长时记忆的功能，对于给定的任务，遗忘门能够自己学习保留多少以前的记忆，这使得不再需要人为干扰，网络就能够自主学习。
[0050]
网络中的参数获取方式如下：
[0051]
记忆衰减系数f
t
：
[0052]ft
＝σ(wf·
[h
t-1
,x
t
]+bf)
[0053]
首先将t-1时刻的网络输出h
t-1
和这一步的网络输入x
t
结合起来，然后作用线性变换wf·
[h
t-1
,x
t
]+bf，最后再经过sigmoid激活函数，将结果映射到0-1作为记忆的衰减系数，记作f
t
。可以知晓地，网络具体要保留多少记忆是由前一时刻的输出和这一时刻的输入共同决定的。
[0054]
对t时刻学到的记忆而言：
[0055]it
＝σ(wi·
[h
t-1
,x
t
]+bi)
[0056][0057]
对该时刻学习到的记忆应用衰减系数，再使用线性变换，应用sigmoid激活函数将结果映射到0-1之间，将其作为当前的衰减函数为i
t
，当前状态学习到的记忆乘以相应的衰减函数i
t
，最后将t-1时刻的衰减系数f
t
乘该时刻的记忆c
t-1
，加上该时刻t下学到的记忆乘以它对应的衰减函数f
t
得到t时刻下的记忆状态c
t
。
[0058][0059]
最后的输出h
t
取决于当前时刻t的记忆状态c
t
和当前时刻的输入x
t
、前一时刻的输出h
t-1
。
[0060]ot
＝σ(w0[h
t-1
,x
t
]+b0)
[0061]ht
＝o
t
·
tanh(c
t
)
[0062]
执行步骤s4：对训练完成的模型利用均方误差、均方根误差、平均绝对误差与决定系数指标来确定斜拉索力的预测效果，误差值越小模型预测越准确；
[0063]
yi：第i个样本的真实值；第i个样本的预测值；m为样本个数；
[0064]
平方根误差rmse，
[0065][0066]
均方误差mse，
[0067][0068]
平均绝对误差mae，
[0069][0070]
r方值，
[0071][0072]
执行步骤s5：应用贝叶斯优化调整lstm模型超参数，对于深度学习参数调整为黑盒问题，在调整的过程中只能看到模型的输入与输出，对于训练的过程以及相关的梯度信息并不能获取，贝叶斯优化适合于对回归模型进行参数优化，可以对不可微分、不连续的函数进行优化；
[0073]
优化问题本质是要选择一组变量或参数，在满足一系列有关的约束条件下，使设计目标达到最优值。
[0074]
min
x∈d
f(x)
[0075]
subject to gi(x)≤0,i＝1,
…m[0076]hj
(x)＝0,j＝1,
…r[0077]
贝叶斯优化为全局优化算法，根据对未知目标函数f获取的信息，找到下一个有潜力的评估点，重复着过程获得大量的关于目标函数f的信息，可以找到目标函数f的最优解，也就是不断应用贝叶斯公式，对于求解的问题，根据经验赋予一个合理的假设，根据观察到的数据计算后验分布，不断迭代更新。
[0078][0079]
贝叶斯优化的数学过程为：
[0080]
1.优化与概率代理模型后验分布相关的采集函数a(x)得到下一次评估点x
t
；
[0081]
2.将x带入目标函数，得到观测值y
t
＝f(x
t
)+ξt；
[0082]
3.更新观测数据中d
1:t
＝d
1:t-1
∪{x
t
,y
t
}，然后更新概率代理模型。
[0083]
假设一组参数值为x＝x1,x2,
…
xn，对于深度学习模型不同的超参数值有着不同的效果，贝叶斯优化对损失函数与假设的超参数值建立函数关系。假设这个函数为f，上述过程即为在中找到：
[0084][0085]
在机器学习过程中函数f的计算通常需花费大量资源(expensive black-box function)。对于贝叶斯优化算法来说可大大降低计算维数，smbo(sequentialmodel-based global optimization)为贝叶斯优化的典型形式，算法思路如下：
[0086]
input:f,χ,s,m
[0087]
式中：f为黑盒函数，即输入-输出函数；
[0088]
χ为超参数搜索空间；
[0089]
s为采集函数(acquisition function)。
[0090]
initsamples(f,χ)
→d[0091]
式中：d为数据集(x,y)，x为超参数，y为该超参数对应的结果；
[0092]
m为对数据集拟合得到的模型，以高斯模型为主。
[0093]
将数据的输出建立完成后，对数据进行初始化处理，对于每一次选出的参数x都需
要计算f(x)，需要固定函数评估次数以降低计算次数。
[0094]
fitmodel(m,d)
→
p(y|x,d)
[0095]
前述步骤已经假设f～gp(μ,k)，gp为高斯过程，μ为均值，k为协方差。所以数据的预测服从正态分布，即存在
[0096]
y＝(y1,y2,...,yi)
t
[0097][0098][0099]
对于采集函数(acquisition function)的选取方式常采用probability of improvement方法，先假设f
′
＝minf，f
′
为已知f的最小值，定义方程：
[0100][0101]
式中：u(x)为回报函数(reward function)。
[0102]
根据上述函数建立基于高斯分布的采集函数：
[0103][0104]
只需要求出a(x)的最大值即可求出基于高斯分布的满足要求的x。
[0105]
此过程中对隐藏节点个数，lstm堆叠层数，初始学习率与l2正则化强度四个超参数进行优化。
[0106]
执行步骤s6：随着桥梁监测时间的增加斜拉桥索力数据不断增加，应用不断更新的索力值对上述建立的模型进行模型更新，实现模型的自我修正使lstm索力预测模型更加准确，保证结构安全运营。
[0107]
显然地，本发明建立基于大量时间点数据的lstm-bayes预测模型，融合桥梁结构的健康监测系统连续采集的数据，以此实现预测模型参数的持续更新，进而不断地提高拉索索力预测的精度。
[0108]
综上所述，本发明基于贝叶斯优化的lstm深度学习网络的力学预测方法的目的是为了解决桥梁结构健康监测海量数据的预处理和以及对缆索体系桥梁重要受力构件拉索索力高精度预测问题，提出了一种基于lstm深度学习网络的模型构建方法，实现了大量数据的预处理与预测，实现了对桥梁索力的高精度实时预测，达到桥梁安全评估目的，为桥梁结构的安全运维提供技术保障。
[0109]
本领域技术人员均应了解，在不脱离本发明的精神或范围的情况下，可以对本发明进行各种修改和变型。因而，如果任何修改或变型落入所附权利要求书及等同物的保护范围内时，认为本发明涵盖这些修改和变型。

技术特征：
1.一种基于贝叶斯优化的lstm深度学习网络的力学预测方法，其特征在于，所述基于贝叶斯优化的lstm深度学习网络的力学预测方法，包括：执行步骤s1：索力数据采集，基于振动法索力识别的基础对桥梁使用阶段索力进行采集，每半小时采集时域数据一次，以频域分析的前10阶频率进行预处理后对应的索力数值生成训练数据集、测试数据集与验证数据集，并对索力数据集进行进一步数据处理；执行步骤s2：lstm索力预测模型建立，lstm网络由遗忘门、输入门与输出门组成，利用训练数据集训练网络，利用验证数据集调整lstm网络的超参数，确定最终的网络模型；执行步骤s3：多重指标判断预测效果，预测未来索力的lstm网络模型评估，通过测试数据集的测试，利用均方误差、均方根误差、平均绝对误差与决定系数指标来确定斜拉索力的预测效果；执行步骤s4：监测数据网络自修正，对网络模型的未来预测，利用训练好的网络模型进行未来一定时间内的索力预测，并可以通过继续测试的索力数据进行模型的自我修正，实现模型不断地融入环境和拉索材料的时变特性，准确性不断提高，从而进一步降低索力预测的误差，提高了预测的精度；执行步骤s5：网络超参数优化，应用贝叶斯优化算法对lstm网络中的学习速率、隐含层个数、迭代次数超参数进行优化得到模型最优解，突破传统的仅是人为选择参数的lstm算法，实现了智能化自动选取最优的网络参数，从而提高lstm网络的预测精度与效率。2.如权利要求1所述基于贝叶斯优化的lstm深度学习网络的力学预测方法，其特征在于，所述基于贝叶斯优化的lstm深度学习网络的力学预测方法，进一步包括：执行步骤s6：随着桥梁监测时间的增加斜拉桥索力数据不断累积增加，应用不断更新的索力数值对上述建立的模型进行自我修正，实现模型不断更新。3.如权利要求1所述基于贝叶斯优化的lstm深度学习网络的力学预测方法，其特征在于，拉索索力采集应用hcf400-a0传感器，每半小时采集拉索振动时域信号，经过fft变化得到拉索的频域的频率分布是基频整数倍的数学关系表达式，最后应用经典弦理论计算拉索的索力。4.如权利要求1所述基于贝叶斯优化的lstm深度学习网络的力学预测方法，其特征在于，利用kernel k-means聚类算法，丢弃远离其他簇的小簇，将离群点作为影响数据质量的异常点考虑，在对聚类后的数据进行处理，从而提高了原始数据的可靠性，为拉索索力高精度的预测奠定了基础。5.如权利要求1所述基于贝叶斯优化的lstm深度学习网络的力学预测方法，其特征在于，对实测索力进行进一步数据处理，包括首先去除趋势项，根据数据特点去除温度、风力等环境因素作用的影响，获得车致索力的响应数据，并将数据归一化，对整体数据进行分析，对数据进行每小时分组挑选出极值点；其次进行分组计算标准差，与每小时均值相差大于一倍标准差的极值点认为是车致极值点，将其去除只保留噪音极值点；对保留下的噪音极值点进行中值滤波并进行光滑处理，并在原始数据中将趋势项减去作为预处理的车致拉索索力，最后对趋势项数据进行归一化处理使数值保持在[-1,1]范围内。6.如权利要求1所述基于贝叶斯优化的lstm深度学习网络的力学预测方法，其特征在于，lstm深度学习网络的遗忘门所保留的记忆由前一时刻的输出和这一时刻的输入共同决定。
7.如权利要求1所述基于贝叶斯优化的lstm深度学习网络的力学预测方法，其特征在于，所述平方根误差rmse，y
i
：第i个样本的真实值；第i个样本的预测值；m为样本个数。8.如权利要求1所述基于贝叶斯优化的lstm深度学习网络的力学预测方法，其特征在于，所述均方误差mse，y
i
：第i个样本的真实值；第i个样本的预测值；m为样本个数。9.如权利要求1所述基于贝叶斯优化的lstm深度学习网络的力学预测方法，其特征在于，所述决定系数r方值，y
i
：第i个样本的真实值；第i个样本的预测值；m为样本个数。10.如权利要求1所述基于贝叶斯优化的lstm深度学习网络的力学预测方法，其特征在于，所述贝叶斯优化是对隐藏节点个数，lstm堆叠层数，初始学习率与l2正则化强度四个超参数进行优化。11.如权利要求1所述基于贝叶斯优化的lstm深度学习网络的力学预测方法，其特征在于，建立基于大量时间点数据的lstm-bayes的预测模型，融合桥梁结构的健康监测系统连续采集的数据，以此实现预测模型参数的持续更新，进而不断地提高拉索索力预测的精度。

技术总结
一种基于贝叶斯优化的LSTM深度学习网络的力学预测方法，包括：步骤S1：索力数据采集，生成训练数据集、测试数据集与验证数据集，并进行进一步数据处理；步骤S2：LSTM索力预测模型建立，由遗忘门、输入门与输出门组成；步骤S3：多重指标判断预测效果，预测未来索力的LSTM网络模型评估；步骤S4：监测数据网络自修正；步骤S5：网络超参数优化，应用贝叶斯优化算法对LSTM网络中学习速率、隐含层个数、迭代次数超参数进行优化得到模型最优解，突破传统的仅是人为选择参数的LSTM算法，实现了智能化自动选取最优的网络参数，从而提高LSTM网络的预测精度与效率。本发明利用大量数据确定模型关键参数，以实现对桥梁结构拉索索力精准预测，达到评估桥梁重要部件的受力技术状况等级的目的，为桥梁安全运维提供技术保障。为桥梁安全运维提供技术保障。为桥梁安全运维提供技术保障。


技术研发人员：李忠龙 李顺龙 邴皓楠 高庆飞 郭亚朋
受保护的技术使用者：哈尔滨工业大学
技术研发日：2023.04.11
技术公布日：2023/7/22