基于时间卷积注意力机制的锂电池剩余寿命概率预测方法

1.本发明属于锂离子电池技术领域，具体涉及一种基于时间卷积注意力机制的锂电池剩余寿命概率预测方法。


背景技术：

2.锂离子电池具有比能量高、工作电压高、温度范围宽、自放电率低等优点，已经广泛应用于新能源汽车、智能手机以及航空系统领域。但随着锂电池充放电循环次数的增加，受到电池内部机理反应和外部使用环境的综合影响，电池寿命会呈现复杂的衰减趋势，这对供电设备的可靠性和安全性提出了极大的挑战，如果不能准确预测电池寿命还可能造成财产损失甚至是安全事故。因此，对锂电池剩余使用寿命(rul)的有效预测显得至关重要。
3.目前，锂离子电池剩余寿命预测主要分为两个方向：基于退化模型和基于数据驱动。基于模型的预测方法根据电池内部的化学反应机理以及等效电路等模型，使用代数方程或微分方程的方式描述电池的退化过程，从而进行剩余寿命预测。但这种方式受电池种类制约可移植性差，且建模过程中多次化简难以准确描述实际退化情况。基于数据驱动的预测方法从电池状态监测系统的采集数据出发，挖掘观测数据与电池退化过程的潜在关系，进一步建立剩余寿命预测模型。随着计算机和传感器技术的发展，基于数据驱动的预测方法成本逐渐降低，准确率逐渐提高，渐渐成为主流的寿命预测手段。
4.其中，基于数据驱动的剩余寿命预测方法主要有以支持向量回归(svr)为代表的经典机器学习算法和以循环卷积网络(rnn)为代表的深度学习算法。机器学习算法存在对非线性拟合能力弱、大数据条件下学习能力有限、调参过程困难和效率低下等问题。传统的rnn模型及其变体长短期记忆网络(lstm)等不具备并行处理的能力，处理多步预测问题时会降低模型的灵活性，并导致误差逐步累积，还可能出现梯度消失问题；另一深度学习模型卷积神经网络(cnn)由于卷积核大小有限，无法有效捕捉长期依赖信息，不适合解决时间序列问题，近期出现的变体时间卷积网络(tcn)尽管解决了上述问题，但仍有无法捕捉全局信息以及可移植性差等不足。
5.因此，预测模型如何具备全局的感受域，从多维信息中提取重要特征，并且能准确进行多步剩余寿命预测成为了有待解决的问题。


技术实现要素：

6.针对上述现有电池寿命预测技术中存在的不足，本发明提供了一种基于时间卷积注意力机制的锂电池rul预测方法。提出的模型在电池寿命长序列预测问题中引入注意力机制关注全局信息，充分利用多维时序特征；其次引入时间卷积原理，对注意力机制进行优化，降低运算复杂度；最后直接输出多步预测结果，避免上述方法中可能出现的梯度消失和误差累积问题。
7.本发明的技术方案如下：
8.步骤1：收集电池老化数据，包括充放电过程中的各项观测指标，建立锂电池老化
数据库；
9.步骤2：根据获得的原始数据，提取与锂电池寿命即充放电循环次数相关的观测指标作为健康因子构成特征向量，进行数据预处理并按比例划分训练集和测试集；
10.步骤3：构建以时间卷积原理为核心的注意力层；
11.步骤4：以注意力机制层为核心并结合多层感知机、层归一化构成基本模块，位置编码层、线性连接层和多个基本模块堆叠的层级结构共同构成完整的电池容量衰减深度学习框架；
12.步骤5：利用训练集训练模型，在训练集上获得较高准确率之后在测试集上输出锂电池多个时间步后对应的预测容量所满足高斯分布的均值和标准差结果，实现概率预测，并结合锂电池失效阈值得到其剩余寿命的预测结果。
13.进一步地，本发明的所述步骤1的具体方法为：
14.步骤1.1：根据目标电池型号确定电池基本参数，包括额定容量、充放电截止电压以及电池失效对应的容量衰减阈值；
15.步骤1.2：按照电池充放电循环实验协议，采集电池充放电状态下的电压、电流、温度、时间、电量等参数作为电池老化数据集，对应的充放电循环次数则作为电池寿命量化指标。
16.进一步地，本发明的所述步骤2的具体方法为：
17.步骤2.1：基于锂电池老化原始数据库，通过测量参数在电池全寿命周期中容量衰减的相关性分析方法提取相关性高的参数作为健康因子，即后续模型输入特征的构成之一ξ＝{ξ(i),i＝1,2,
…
,n1}，其中n1为提取健康因子的个数；
18.步骤2.2：对数据进行预处理工作，去除其中的异常值与缺失值：为保证预测结果的精确性，对连续多个充放电循环的特征向量进行滑动窗计算，对缺失值或者超出正常变化范围的异常值进行去除，并使用窗口内相邻数据的均值替换，得到可用数据集d＝[ξ1,ξ2,
…
,ξn]，其中n为完整的数据序列长度，向量下角标表示数据对应的循环充放电次数；
[0019]
步骤2.3：按照一定比例将数据集d分为训练集d
train
与测试集d
test
两部分，使用d
train
训练模型，使用测试集d
test
验证模型的预测性能；对数据集进行输入数据与输出数据的划分，输入x＝[ξ1,ξ2,
…
,ξ
in
]，其中in表示模型输入的数据长度，输出y＝[y1,y2,
…
,y
out
]，其中y表示模型预测目标即容量值，out表示期望模型输出的数据长度。
[0020]
进一步地，本发明的所述步骤3的具体方法为：
[0021]
步骤3.1：基于时间卷积原理，采用因果卷积的方式构造特征向量的查询向量q、键向量k和值向量v，以包含局部信息，计算公式为：
[0022]
q＝causal_conv(x,k)
[0023]
k＝causal_conv(x,k)
[0024]
v＝conv(x,1)
[0025]
其中causal_conv表示因果卷积函数，k表示卷积核大小即参与卷积的向量个数，输入数据x呈现为时间序列，即为保证因果性，选择当前时间位置之前的k个向量参与卷积；由于值向量用于表述自身向量，采用一般的卷积函数conv即可；
[0026]
步骤3.2：得到各循环次数下特征向量之间的关联关系，具体计算公式为：
[0027]
weight＝softmax(mask(matmul(q,k)))
[0028]
首先对查询向量q与键向量k做内积运算，公式中表示为matmul(
·
)函数，得到in
×
in大小的矩阵；为提高运算效率，同时保留全局有效信息，对上一步结果采取掩码操作，公式中表示为mask(
·
)函数，仅保留上一步矩阵中对角线局部位置和等步长采样位置的数据；最后进行归一化操作，公式中表示为softmax(
·
)函数，对筛选后的数据权重归一化；
[0029]
步骤3.3：利用权重矩阵对值向量加权求和，最终得到基于时间卷积自注意力机制的运算结果，具体计算公式为：
[0030]
att＝matmul(weight,v)
[0031]
其中att为注意力层的输出结果。
[0032]
进一步地，本发明的所述步骤4的具体方法为：
[0033]
步骤4.1：构建深度学习框架的基本模块，由注意力层、多层感知机和层归一化组成，具体公式为：
[0034]
att＝att_layer(input)
[0035]
output＝layernorm(mlp(layernorm(att)))
[0036]
其中att_layer表示步骤三中构建的注意力层，input和att分别为注意力层的输入和输出，layernorm表示进行层归一化操作，避免梯度消失，提高模型收敛速度，mlp为多层感知机，通过多层卷积对信息进行进一步提取，具体计算公式为：
[0037]
mlp(
·
)＝conv(relu(conv(
·
))
[0038]
其中relu(
·
)为激活函数，在两次卷积运算间加入非线性变换操作，提升泛化能力；
[0039]
步骤4.2：构建位置编码层，将输入序列的相对位置(输入数据的元素在当前被处理的输入数据中的位置)信息作为特征之一进行编码，表示为θ(i),i＝1,2,
…
,n2，其中n2为位置信息编码后的特征维度，具体公式为：
[0040]
θ＝pos_embed(loc)
[0041]
其中pos_embed表示对位置进行编码，loc＝1,2,
…
,in，in表示模型输入的数据长度；
[0042]
步骤4.3：构建线性层(linear)，线性层的目的在于将前置模块输出序列的长度调整至期望输出的序列长度，起到改变维度和信息提取的作用，具体计算公式为：
[0043]
η1＝wη2+b
[0044]
上式中矩阵w与向量b都是权重矩阵与偏置向量，η2为前一层传入的向量，η1为预期维度的输出向量；步骤4.4：构建完整的深度学习框架，具体公式为：
[0045]
η0＝cat(x,θ)
[0046]
η1＝block(η0)
[0047]
ηi＝block(η
i-1
)
[0048]
[μ,σ]＝linear(ηi)
[0049]
其中cat(
·
)表示将两组特征向量拼接在一起，linear表示步骤4.3中的线性层，block为步骤4.1中由注意力层、多层感知机和层归一化线性串联后组成的基本模块，框架中可串联增加多个基本模块，η
i-1
和ηi分别表示前后基本模块(在前的第i-1个基本模块与在后的第i个基本模块)输出的中间变量(前级基本模块的输出作为后级基本模块的输入)，μ为预测均值，σ为预测标准差。根据本技术的实施例，串联的基本模块的数量可以调整，从
而根据需要增减模块数量来达到最好的预测效果，并使得模型的可移植性更强。
[0050]
进一步地，本发明的所述步骤5的具体方法为：
[0051]
步骤5.1：利用数据集对模型进行训练，由于输出的是满足高斯分布的电池容量值所对应的均值和标准差，因此定义高斯分布的损失函数g
loss
，以最小化损失函数为优化目标进行训练，具体计算公式为：
[0052][0053]
其中y为电池实际容量值；
[0054]
步骤5.2：以均方根误差(rmse)、平均绝对误差(mae)和平均绝对百分比误差(mape)作为评价指标，具体计算公式如下：
[0055][0056][0057][0058][0059]
其中m为样本个数；
[0060]
步骤5.3：基于训练后的模型得到预测容量的均值和标准差，得到一定置信区间内容量值的具体分布，结合定义的电池失效阈值推出电池可能的循环寿命区间。
[0061]
本发明的有益效果是：
[0062]
1)使用注意力机制能够自适应地从全局输入中提取有效信息，具备更广阔的视野域；同时解决了rnn及其变体模型存在的长序列预测中梯度消失问题。
[0063]
2)引入时间卷积原理，选择合适卷积核生成注意力机制中的键向量和查询向量，能够关注局部特征，有效提高信息提取的准确性；采用局部保留和跨步采样相结合的方式对注意力机制进行优化，保证准确率的同时降低运算复杂度。
[0064]
3)本模型输出的均值和标准差组合是具有一定长度的向量，即输出组合的向量长度即为希望一次性预测的步长，从而能够一次直接预测多步剩余寿命结果，并且以概率预测的形式出现，不仅避免误差累积问题，并且更具有实用性和鲁棒性；本模型还采用模块化设计，能根据实际需求进行模块增减，增加了使用的灵活性，使用更方便快捷。
附图说明
[0065]
图1为本发明整体的方法流程图。
[0066]
图2为本发明模型核心注意力机制层原理图。
[0067]
图3为本发明深度学习模型的整体结构图。
[0068]
图4为本发明实施例提供的nasa数据集锂电池老化过程放电容量退化图。
[0069]
图5为本发明所述方法在实施例上的预测结果图，左图为锂电池b0005预测结果，
右图为锂电池b0018预测结果。
具体实施方式
[0070]
下面通过本发明中的附图及实施例，对本发明的技术方案进行清晰、完整地描述，显然，所描述的实施例仅仅用于解释本发明，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0071]
请参阅图1，基于时间卷积注意力机制的锂电池剩余寿命概率预测方法可以分为以下步骤：
[0072]
步骤1：收集电池老化数据，包括充放电过程中的各项观测指标，建立锂电池老化数据库：
[0073]
步骤1.1：根据目标电池型号确定电池基本参数，包括额定容量、充放电截止电压以及电池失效对应的容量衰减阈值；
[0074]
步骤1.2：按照电池充放电循环实验协议，采集电池充放电状态下的电压、电流、温度、时间、电量等参数作为电池老化数据集，对应的充放电循环次数则作为电池寿命量化指标。
[0075]
步骤2：根据获得的原始数据，提取与锂电池寿命即充放电循环次数相关的观测指标作为健康因子构成特征向量，进行数据预处理并按比例划分训练集和测试集：
[0076]
步骤2.1：基于锂电池老化原始数据库，通过测量参数在电池全寿命周期中容量衰减的相关性分析方法提取相关性高的参数作为健康因子，即后续模型输入特征的构成之一ξ＝{ξ(i),i＝1,2,
…
,n1}，其中n1为提取健康因子的个数，具体的健康因子包括恒流充电时长ccct、恒压充电时长cvct、放电500s-1000s过程中电压变化范围δv、放电电压由3.8v降至3.4v所用时间δt和电池可放电容量值c等；
[0077]
步骤2.2：对数据进行预处理工作，去除其中的异常值与缺失值：为保证预测结果的精确性，对连续多个充放电循环的特征向量进行滑动窗计算，对缺失值或者超出正常变化范围的异常值进行去除，并使用窗口内相邻数据的均值替换，得到可用数据集d＝[ξ1,ξ2,
…
,ξn]，其中n为完整的数据序列长度，向量下角标表示数据对应的循环充放电次数；
[0078]
步骤2.3：按照一定比例将数据集d分为训练集d
train
与测试集d
test
两部分，使用d
train
训练模型，使用测试集d
test
验证模型的预测性能；对数据集进行输入数据与输出数据的划分，输入x＝[ξ1,ξ2,
…
,ξ
in
]，其中in表示模型输入的数据长度，输出y＝[y1,y2,
…
,y
out
]，其中y表示模型预测目标即容量值，out表示期望模型输出的数据长度。
[0079]
步骤3：构建以时间卷积原理为核心的注意力机制层，具体结构见图2：
[0080]
步骤3.1：基于时间卷积原理，采用因果卷积的方式构造特征向量的查询向量q、键向量k和值向量v，以包含局部信息，计算公式为：
[0081]
q＝causal_conv(x,k)
[0082]
k＝causal_conv(x,k)
[0083]
v＝conv(x,1)
[0084]
其中causal_conv表示因果卷积函数，k表示卷积核大小即参与卷积的向量个数，即为保证因果性，选择当前位置之前的k个向量参与卷积；由于值向量用于表述自身向量，
采用一般的卷积函数conv即可；
[0085]
步骤3.2：得到各循环次数下特征向量之间的关联关系，具体计算公式为：
[0086]
weight＝softmax(mask(matumul(q,k)))
[0087]
首先对查询向量与键向量做内积运算，公式中表示为matmul(
·
)函数，得到in
×
in大小的矩阵；为提高运算效率，同时保留全局有效信息，对上一步结果采取掩码操作，公式中表示为mask(
·
)函数，仅保留上一步矩阵中对角线局部位置和等步长采样位置的数据；最后进行归一化操作，公式中表示为softmax(
·
)函数，对筛选后的数据权重归一化；
[0088]
步骤3.3：利用权重矩阵对值向量加权求和，最终得到基于时间卷积自注意力机制的运算结果，具体计算公式为：
[0089]
att＝matmul(weight,v)
[0090]
其中att为注意力层的输出结果。
[0091]
步骤4：以注意力机制层为核心并结合多层感知机、层归一化构成基本模块(block)，位置编码层、线性连接层和多个基本模块堆叠的层级结构共同构成完整的电池容量衰减深度学习框架，具体结构见图3：
[0092]
步骤4.1：构建深度学习框架的基本模块，由注意力层、多层感知机和层归一化组成，具体公式为：
[0093]
att＝att_layer(input)
[0094]
output＝mlp(layernorm(att))
[0095]
其中att_layer表示步骤三中构建的注意力层，input和att分别为注意力层的输入和输出，layernorm表示进行层归一化操作，避免梯度消失，提高模型收敛速度，mlp为多层感知机，通过多层卷积对信息进行进一步提取，具体计算公式为：
[0096]
mlp(
·
)＝conv(relu(conv(
·
))
[0097]
其中relu(
·
)为激活函数，在两次卷积运算间加入非线性变换操作，提升泛化能力；
[0098]
步骤4.2：构建位置编码层，将输入序列的相对位置信息作为特征之一进行编码，表示为θ(i),i＝1,2,
…
,n2，其中n2为位置信息编码后的特征维度，具体公式为：
[0099]
θ＝pos_embed(loc)
[0100]
其中pos_embed表示对位置进行编码，loc＝1,2,
…
,in；
[0101]
步骤4.3：构建线性层(linear)，线性层的目的在于将前置模块输出序列的长度调整至期望输出的序列长度，起到改变维度和信息提取的作用，具体计算公式为：
[0102]
η1＝wη2+b
[0103]
上式中矩阵w与向量b都是权重矩阵与偏置向量，η2为前一层传入的向量，η1为预期维度的输出向量；步骤4.4：构建完整的深度学习框架，具体公式为：
[0104]
η0＝cat(x,θ)
[0105]
η1＝block(η0)
[0106]
ηi＝block(η
i-1
)
[0107]
[μ,σ]＝linear(ηi)
[0108]
其中cat(
·
)表示将两组特征向量拼接在一起，linear表示步骤4.3中的线性层，block为步骤4.1中由注意力层、多层感知机和层归一化线性串联后组成的基本模块，框架
中可串联增加多个基本模块，η
i-1
和ηi分别表示前后基本模块输出的中间变量，μ为预测均值，σ为预测标准差。
[0109]
步骤5：利用训练集训练模型，在训练集上获得较高准确率之后在测试集上输出锂电池多个时间步后对应的预测容量所满足高斯分布的均值和标准差结果，实现概率预测，并结合锂电池失效阈值得到其剩余寿命的预测结果：
[0110]
步骤5.1：利用数据集对模型进行训练，由于输出的是满足高斯分布的容量值所对应的均值和标准差，因此定义高斯分布的损失函数g
loss
，以最小化损失函数为优化目标进行训练，具体计算公式为：
[0111][0112]
其中y为实际容量值；
[0113]
步骤5.2：以均方根误差(rmse)、平均绝对误差(mae)和平均绝对百分比误差(mape)作为评价指标，具体计算公式如下：
[0114][0115][0116][0117][0118]
其中m为样本个数；
[0119]
步骤5.3：基于训练后的模型得到预测容量的均值和标准差，得到一定置信区间内容量值的具体分布，结合定义的电池失效阈值推出电池可能的循环寿命区间。
[0120]
实施例：
[0121]
为展示本发明提出的基于时间卷积注意力机制的锂电池剩余寿命概率预测方法的过程和估计性能，在此以一个实例说明：
[0122]
采用美国国家航空航天局(nasa)的锂电池b0005、b0006、b0007、b0018组成的测试数据集(具体见网址https://ti.arc.nasa.gov/tech/dash/pcoe/prognostic-data-repository/battery)验证本发明方法的有效性。nasa的实验环境为：在24℃环境下，以1.5a的cc模式充电，直到电压达到4.2v时改为cv模式充电，直到充电电流降至20ma；再以2a的cc模式放电，直到5、6、7和18的电压降到2.7v、2.5v、2.2v和2.5v。电池寿命中止标准为：额定容量下降至初始容量的30％。基于此类数据，应用本发明提供的寿命预测算法，具体步骤如下：
[0123]
(1)获取两类数据集数据，获得充放电过程中电压、电流、温度、时间、电量的数据序列，建立电池老化数据集。
[0124]
(2)选取具体的健康因子包括恒流充电时长ccct、恒压充电时长cvct、放电500s-1000s过程中电压变化范围δv、放电电压由3.8v降至3.4v所用时间δt和电池可放电容量
值c作为健康因子指标，共同构成输入特征序列；使用滑动窗方法去除异常值并用线性插值法补充缺失值得到可用数据，以容量数据为例，图4分别展示了两个数据集中各个电池随循环次数增加的容量衰减数据经过数据预处理后的曲线。本实施例分别预测b0005和b0018的剩余寿命，因此训练集划分为剩余三组电池数据集以及本组电池数据集前50％的数据部分，测试集为本组电池后50％的电池预测目标。
[0125]
(3)按前文所述步骤以及图2示意搭建注意力层。
[0126]
(4)按前文所述步骤以及图3示意搭建整体网络。
[0127]
(5)以高斯分布的损失函数g
loss
最小化作为优化目标，以准确率(accuracy)作为度量，使用rmsprop优化器调整模型参数得到理想的模型参数，最后通过容量衰退预测序列预测电池的剩余寿命。可视化结果如图5所示，左侧为b0005的预测结果，右侧为b0018的预测结果。其中阴影区域为概率预测置信区间，能够看到实际结果基本都位于概率区间内，以此实现实际应用的鲁棒性，同时预测值与实际值误差也保持在3％范围内，满足实际需要。综上所述，使用本发明提出的基于时间卷积注意力机制的深度学习模型具有较好的预测效果。
[0128]
本领域的技术人员容易理解，以上所述仅用于演示本发明的实际效果，并不用于限制本发明，凡在本发明的精神和原理之内所作的任何修改、等同替换和改进变型等，均应包含在本发明的保护范围之内。

技术特征：
1.基于时间卷积注意力机制的锂电池剩余寿命概率预测方法，其特征在于，包括以下步骤：步骤1：收集电池老化数据，包括充放电过程中的各项观测指标，建立锂电池老化数据库；步骤2：根据获得的原始数据，提取与锂电池寿命即充放电循环次数相关的观测指标作为健康因子构成特征向量，进行数据预处理并按比例划分训练集和测试集；步骤3：构建以时间卷积原理为核心的注意力层；步骤4：以注意力层为核心并结合多层感知机、层归一化构成基本模块，利用位置编码层、线性连接层和多个基本模块堆叠的层级结构共同构成完整的电池容量衰减深度学习框架；步骤5：利用所述训练集训练电池容量衰减深度学习框架，在训练集上获得准确率大于指定阈值之后在所述测试集上输出锂电池多个时间步后对应的预测容量所满足高斯分布的均值和标准差结果，实现概率预测，并结合锂电池失效阈值得到其剩余寿命的预测结果。2.根据权利要求1所述的基于时间卷积注意力机制的锂电池剩余寿命概率预测方法，其特征在于，所述步骤1的具体方法为：步骤1.1：根据目标电池型号确定电池基本参数，包括额定容量、充放电截止电压以及电池失效对应的容量衰减阈值；步骤1.2：按照电池充放电循环实验协议，采集电池充放电状态下的电压、电流、温度、时间、电量等参数作为电池老化数据集，对应的充放电循环次数则作为电池寿命量化指标。3.根据权利要求1或2所述的基于时间卷积注意力机制的锂电池剩余寿命概率预测方法，其特征在于，所述步骤2的具体方法为：步骤2.1：基于锂电池老化原始数据库，通过测量参数在电池全寿命周期中容量衰减的相关性分析方法提取相关性大于指定阈值的参数作为健康因子，将健康因子作为电池容量衰减深度学习框架输入特征ξ的构成之一，ξ＝{ξ
(i)
，i＝1，2，...，n1}，其中n1为提取健康因子的个数；步骤2.2：对数据进行预处理工作，去除其中的异常值与缺失值：为保证预测结果的精确性，对连续多个充放电循环的特征向量进行滑动窗计算，对缺失值或者超出正常变化范围的异常值进行去除，并使用窗口内相邻数据的均值替换，得到可用数据集d＝[ξ1，ξ2，
…
，ξ
n
]，其中n为完整的数据序列长度，向量下角标表示数据对应的循环充放电次数；步骤2.3：按照一定比例将数据集d分为训练集d
train
与测试集d
test
两部分，使用d
train
训练电池容量衰减深度学习框架，使用测试集d
test
验证所述电池容量衰减深度学习框架的预测性能；对数据集进行输入数据与输出数据的划分，输入x＝[ξ1，ξ2，
…
，ξ
in
]，其中in表示电池容量衰减深度学习框架输入的数据长度，输出y＝[y1，y2，
…
，y
out
]，其中y表示电池容量衰减深度学习框架预测目标，out表示期望电池容量衰减深度学习框架输出的数据长度。4.根据权利要求1-3之一所述的基于时间卷积注意力机制的锂电池剩余寿命概率预测方法，其特征在于，所述步骤3的具体方法为：步骤3.1：基于时间卷积原理，采用因果卷积的方式构造特征向量的查询向量q、键向量k和值向量v，以包含局部信息，计算公式为：q＝causal_conv(x，k)
k＝causal_conv(x，k)v＝conv(x，1)其中causal_conv表示因果卷积函数，k表示卷积核大小；步骤3.2：得到各循环次数下特征向量之间的关联关系，具体计算公式为：weight＝softmax(mask(matmul(q，k)))首先对查询向量与键向量做内积运算，公式中表示为matmul(
·
)函数，得到in
×
in大小的矩阵，其中in表示电池容量衰减深度学习框架输入的数据长度；为提高运算效率，同时保留全局有效信息，对上一步结果采取掩码操作，公式中表示为mask(
·
)函数，仅保留上一步矩阵中对角线局部位置和等步长采样位置的数据；最后进行归一化操作，公式中表示为softmax(
·
)函数，对筛选后的数据权重归一化；步骤3.3：利用权重矩阵对值向量加权求和，最终得到基于时间卷积自注意力机制的运算结果，具体计算公式为：att＝matmul(weight，v)其中att为注意力层的输出结果。5.根据权利要求4所述的基于时间卷积注意力机制的锂电池剩余寿命概率预测方法，其特征在于，所述步骤4的具体方法为：步骤4.1：构建电池容量衰减深度学习框架的基本模块，由注意力层、多层感知机和层归一化组成，具体公式为：att＝att_layer(input)output＝mlp(layernorm(att))其中att_layer表示步骤3中构建的注意力层，input和att分别为注意力层的输入和输出，layernorm表示进行层归一化操作，避免梯度消失，提高模型收敛速度，mlp为多层感知机，通过多层卷积对信息进行进一步提取，具体计算公式为：mlp(
·
)＝conv(relu(conv(
·
))其中relu(
·
)为激活函数，在两次卷积运算间加入非线性变换操作，提升泛化能力；步骤4.2：构建位置编码层，将输入序列的相对位置信息作为特征之一进行编码，表示为θ
(i)
，i＝1，2，...，n2，其中n2为位置信息编码后的特征维度，具体公式为：θ＝pos_embed(loc)其中pos_embed表示对位置进行编码，loc＝1，2，
…
，in；步骤4.3：构建线性层，线性层的目的在于将前置模块输出序列的长度调整至期望输出的序列长度，起到改变维度和信息提取的作用，具体计算公式为：η1＝wη2+b上式中矩阵w与向量b都是权重矩阵与偏置向量，η2为前一层传入的向量，η1为预期维度的输出向量；步骤4.4：构建完整的深度学习框架，具体公式为：η0＝cat(x，θ)η1＝block(η0)η
i
＝block(η
i-1
)[μ，σ]＝linear(η
i
)
其中cat(
·
)表示将两组特征向量拼接在一起，linear表示步骤4.3中的线性层，block为步骤4.1中由注意力层、多层感知机和层归一化线性串联后组成的电池容量衰减深度学习框架的基本模块，η
i-1
和η
i
分别表示前后层输出的中间变量，μ为预测均值，σ为预测标准差。6.根据权利要求1-5之一所述的基于时间卷积注意力机制的锂电池剩余寿命概率预测方法，其特征在于，所述步骤5的具体方法为：步骤5.1：利用数据集对模型进行训练，由于输出的是满足高斯分布的容量值所对应的均值和标准差，因此定义高斯分布的损失函数g
loss
，以最小化损失函数为优化目标进行训练，具体计算公式为：其中y为实际容量值；步骤5.2：以均方根误差(rmse)、平均绝对误差(mae)和平均绝对百分比误差(mape)作为评价指标，具体计算公式如下：为评价指标，具体计算公式如下：为评价指标，具体计算公式如下：为评价指标，具体计算公式如下：其中m为样本个数；步骤5.3：基于训练后的模型得到预测容量的均值和标准差，得到一定置信区间内容量值的具体分布，结合定义的电池失效阈值得到预测的电池循环寿命区间。7.一种信息处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述计算机程序由处理器执行时实现如权利要求1至6任一项所述的方法。

技术总结
本发明公开了基于时间卷积注意力机制的锂电池剩余寿命概率预测方法，属于电池技术领域。该方法包括步骤1：收集电池老化数据，包括充放电过程中的各项观测指标，建立锂电池老化数据库；步骤2：根据获得的原始数据，提取与锂电池寿命即充放电循环次数相关的观测指标作为健康因子构成特征向量，进行数据预处理并按比例划分训练集和测试集；步骤3：构建以时间卷积原理为核心的注意力层；步骤4：以注意力层为核心并结合多层感知机、层归一化构成基本模块，利用位置编码层、线性连接层和多个基本模块堆叠的层级结构共同构成完整的电池容量衰减深度学习框架；步骤5：利用所述训练集训练电池容量衰减深度学习框架，在训练集上获得准确率大于指定阈值之后在所述测试集上输出锂电池多个时间步后对应的预测容量所满足高斯分布的均值和标准差结果，实现概率预测，并结合锂电池失效阈值得到其剩余寿命的预测结果。锂电池失效阈值得到其剩余寿命的预测结果。锂电池失效阈值得到其剩余寿命的预测结果。


技术研发人员：王磊 秦鸿宇 任基泽 张建 肖茂栋
受保护的技术使用者：北京航空航天大学
技术研发日：2023.04.07
技术公布日：2023/7/7