一种基于自优化激活函数的生物信息时间序列预测方法

1.本发明属于生物信息时间序列预测领域，自优化激活函数(self-optimizing activation function)具体涉及将多个通用激活函数灵活组合。可以根据任务的特点和难度，灵活选择激活函数进行组合和调整，从而提高深度学习模型的性能和效率。以及该方法在时间序列任务预测中的应用。


背景技术：

2.随着人工智能的迅速发展，深度学习已经成为一种重要的数据驱动方法。神经网络作为深度学习的核心，被广泛应用于图像识别、语音识别、自然语言处理等领域。但是，神经网络本身的表达能力是有限的。如果神经网络没有激活函数，那么它只能处理线性问题，这限制了神经网络在实际应用中的表现。因此，激活函数的引入是神经网络发展的重要里程碑。
3.激活函数是一种非线性变换，通过将输入映射到一个非线性空间中，使神经网络能够处理更加复杂的模型。在神经网络中，激活函数的引入不仅提高了模型的表达能力，还可以加速训练过程、减少训练误差。目前，常用的激活函数包括sigmoid、relu、tanh等。
4.虽然加入激活函数可以提高神经网络的表达能力，但在实际应用中，选择适当的激活函数仍然是一项挑战。不同的激活函数对于不同的问题有不同的表现，有时会出现梯度消失或梯度爆炸等问题，影响神经网络的训练效果。因此，设计更加有效的激活函数仍然是深度学习研究的重要方向。
5.激活函数的类型是多种多样的，每种函数都有自己的特点，这使得为特定问题选择正确的激活函数成为设计有效神经网络的关键任务。在神经网络设计中，激活函数及其超参数的选择对模型的训练效果影响很大，通常由研究人员根据经验和试错来解决。
6.首先，值得注意的是，生物信息时间序列数据中的每个数据点都与其前一个数据点存在时间上的依赖关系。这一点的重要性在于，选择适当的激活函数能够有效地捕捉到这种时间依赖性。其次，生物学过程中的一些现象表现出明显的周期性变化，例如细胞基因表达数据。为了更好地捕捉数据中的这种周期性变化，可以考虑采用具有周期性特征的激活函数。自适应优化的激活函数则具备自我调整周期性的能力。此外，生物信息时间序列数据通常受到噪声和变异性的影响，这些因素可能源自实验误差、技术偏差或不同生物个体之间的差异。因此，在选择激活函数时，必须考虑其对噪声和变异性的鲁棒性，以提高模型对数据的预测能力。最后，生物信息时间序列数据往往呈现出非线性关系，而传统的线性模型可能无法准确地捕捉到数据中的复杂关系。因此，引入自适应优化的激活函数能够协助模型更好地建模和预测生物信息时间序列数据中的非线性关系。


技术实现要素：

7.针对现有技术中存在的不足，本发明提供一种根据不同任务可自优化变换的激活函数。
8.根据最新研究，将周期因子融入激活函数中，可以提升神经网络在预测周期函数时的拟合性能。因此，在神经网络的设计中，采用多种激活函数的组合，可能比单一类型的激活函数更有效。
9.根据最新研究，混合激活函数的引入可以有效提升神经网络的表达能力。该方法采用了多个通用激活函数的线性组合，并利用优化技术确定其权重，从而达到最优的拟合效果。与单一激活函数相比，混合激活函数具有更大的灵活性和适应性，能够更好地解决各种复杂问题。
10.本发明通过采用动态组合多种通用激活函数的方式，实现了神经网络设计和优化的更加灵活。相比于传统的神经网络设计方法，本创新不仅能够提高神经网络的性能，而且还能够有效减少人工选择激活函数所需的时间和成本。同时，本创新可适用于各种复杂的预测任务，为这些任务的处理提供了更加优秀的工具和方法。
11.一种基于自优化激活函数的生物信息时间序列预测方法，包括步骤如下：
12.步骤一、构建一个包含多种激活函数候选集。
13.步骤二、搭建自优化激活函数模块。
14.在通用激活函数中加入可学习权重参数。通过加权线性相加的方式，将多个激活函数组合成一个新的激活函数。
15.步骤三、将新的激活函数应用于循环神经网络中，用于实现非线性变换。
16.步骤四、通过改进后的循环神经网络对生物信息时间序列进行预测。
17.进一步的，步骤一具体方法如下：
18.选择tanh、relu、softplus、elu、gelu和sin作为激活函数候选集。
19.进一步的，步骤二具体方法如下：
20.自优化激活函数通过在激活函数候选集自动选择通用激活函数并进行线性加权求和来学习。
[0021][0022][0023]
其中，σ是激活函数候选集，k是激活函数候选集中激活函数的个数，r是长度为k的可训练权向量，w是变换后的系数向量。为了获得激活函数的最优加权系数，使用softmax函数将可训练权向量r转换为系数向量w。
[0024]
进一步的，步骤三具体方法如下：
[0025]
将自优化激活函数引入循环神经网络模型，对改进后的循环神经网络进行训练。具体过程如下：
[0026]
将自优化激活函数合并到循环神经网络(rnn)中，使用自优化激活函数取代了原始的单个激活函数，使得每个任务和每层神经网络都有自己独特的非线性变换方法。将训练集中的生物信息时间序列数据切分为输入序列和目标序列。其次，建立rnn模型，并对网络参数进行初始化。在前向传播过程中，按时间步骤逐个输入输入序列，并通过如下公式计算隐藏状态：
[0027]ht
＝σ
optimization
(w
hh
·ht-1
+w
xh
·
x
t
+bh)
[0028]
其中，h
t
表示当前时间步骤的隐藏状态，h
t-1
表示上一个时间步骤的隐藏状态，x
t
表示当前时间步骤的输入，w
hh
和w
xh
分别表示隐藏状态到隐藏状态和输入到隐藏状态的权重矩阵，bh表示隐藏状态的偏置向量。
[0029]
在训练过程中，通过计算预测序列与目标序列之间的损失，并使用反向传播算法和优化算法对网络参数进行更新，以寻找最优解。并且将可训练权向量r与循环神经网络的其他可训练参数一同进行联合训练，同时获得最优的激活函数。在训练过程中，通过调整权向量r的数值，能够优化激活函数的行为，使其更好地适应具体的任务和数据特点。梯度下降是一种常用的优化算法，它通过迭代更新权向量r的数值，使激活函数逐渐达到最优状态。在每次迭代中，计算损失函数关于权向量r的梯度，并将梯度反向传播到网络中，逐步调整权向量r的数值，以提升激活函数的性能。这个过程持续进行直到达到最优解，即找到最适合当前任务的激活函数。
[0030]
训练过程重复进行直到达到预设的训练轮数或损失函数收敛。
[0031]
本发明的有益效果是：
[0032]
在本发明中，我们提出了一种新颖的自优化激活函数，使循环神经网络的每个激活函数能随着任务的不同自我优化改变自生结构，实现了循环神经网络设计和优化的更加灵活。与传统方法相比，本发明不仅提高了循环神经网络性能，还有效减少了选择激活函数所需的时间和成本。此外，本创新适用于各种复杂预测任务，在时序预测任务上性能提升效果显著。
附图说明
[0033]
图1为本发明中自优化激活函数的详细结构图。
[0034]
图2为本发明自优化激活函数权重参数变换图。
[0035]
图3为自优化激活函数与单个激活函数的性能对比图。
具体实施方式
[0036]
以下结合附图与实施例，对本发明技术方案进行进一步描述。
[0037]
一种基于自优化激活函数的生物信息时间序列预测方法，包括步骤如下：
[0038]
步骤一、构建一个包含多种激活函数候选集。可以满足不同生物信息时间序列预测任务的需求。
[0039]
在进行神经网络模型设计时，选取合适的通用激活函数是十分重要的。在二元分类任务中，tanh函数表现出色，因此可以考虑将其用于该类型任务中。对于需要处理高维数据、大规模数据的任务，relu函数能够提供快速的计算速度，因此在这些场景下也值得考虑使用。对于一些需要对输入进行标准化的任务，softplus函数适用性较好。而在一些需要处理负数输入数据的任务中，elu函数则表现较为出色。gelu函数通常适用于需要高精度的模型预测。而对于需要处理周期性时间序列数据的任务，sin函数则可以对输入进行周期性变换，从而能够捕捉到周期性的变化模式，因此在这些场景下也值得考虑使用。
[0040]
在实践中，我们考虑选择tanh、relu、softplus、elu、gelu和sin作为激活函数候选集，因为它们在各种模型和任务中都表现出了出色的性能。
[0041]
步骤二、搭建自优化激活函数模块。在通用激活函数中加入可学习权重参数。通过加权线性相加的方式，将多个激活函数组合成一个新的激活函数。
[0042]
自优化激活函数可以通过在激活函数候选集选择几个通用激活函数并进行线性加权求和来学习。这种方法可以将激活函数的选择甚至设计变成一个优化问题。
[0043][0044][0045]
这里σ是激活函数候选集，k是激活函数候选集的个数，r是长度为k的可训练权向量，w是变换后的系数向量。如图1所示，为了获得激活函数的最优加权系数，我们使用softmax函数将可训练权向量r转换为系数向量w。
[0046]
图1为本发明中自优化激活函数的详细结构图。
[0047]
步骤三、将新的激活函数应用于循环神经网络(rnn)中，用于实现非线性变换。使用所述循环神经网络对生物信息时间序列任务进行预测。
[0048]
将自优化的激活函数引入循环神经网络，以用于生物信息时间序列的预测。具体过程如下：
[0049]
通过将自优化激活函数合并到循环神经网络中，我们使用自优化激活函数取代了原始的单个激活函数，这使得每个任务和每层神经网络都有自己独特的非线性变换方法。我们将其应用于循环神经网络(rnn)进行对时间序列的预测领域。首先将训练集中的生物信息时间序列数据切分为输入序列和目标序列，训练集采用现有生物信息时间序列数据集。其次，建立rnn模型，并对网络参数进行初始化。在前向传播过程中，按时间步骤逐个输入输入序列，并通过如下公式计算隐藏状态：
[0050]ht
＝σ
optimization
(w
hh
·ht-1
+w
xh
·
x
t
+bh)
[0051]
其中，h
t
表示当前时间步骤的隐藏状态，h
t-1
表示上一个时间步骤的隐藏状态，x
t
表示当前时间步骤的输入，w
hh
和w
xh
分别表示隐藏状态到隐藏状态和输入到隐藏状态的权重矩阵，bh表示隐藏状态的偏置向量。在训练过程中，通过计算预测序列与目标序列之间的损失，并使用反向传播算法和优化算法对网络参数进行更新，以寻找最优解。并且将可训练权向量r与循环神经网络的其他可训练参数一同进行联合训练，我们同时可以获得最优的激活函数。在训练过程中，通过调整权向量r的数值，我们能够优化激活函数的行为，使其更好地适应具体的任务和数据特点。梯度下降是一种常用的优化算法，它通过迭代更新权向量r的数值，使激活函数逐渐达到最优状态。在每次迭代中，计算损失函数关于权向量r的梯度，并将梯度反向传播到网络中，逐步调整权向量r的数值，以提升激活函数的性能。这个过程持续进行直到达到最优解，即找到最适合当前任务的激活函数。图2为本发明自优化激活函数权重参数变换图。
[0052]
在图2中展示了在模型训练过程中激活函数权重的动态调节，呈现了持续的优化特性。这一观察结果清晰地表明激活函数能够根据任务的特征和难度不断自我优化，以提升非线性变换的能力。训练过程重复进行直到达到预设的训练轮数或损失函数收敛。
[0053]
步骤四、通过改进后的循环神经网络对生物信息时间序列进行预测。
[0054]
使用经过训练的模型对六类生物信息时间序列进行预测。该加入自优化激活函数的rnn方法能够灵活地调整非线性变换，以更好地适应具体任务和数据特征，并且在时间序列预测任务中具备明显的优势，能够提供更加准确和可靠的预测结果。图3展示了rnn使用自优化激活函数和其他通用激活函数的性能对比。在总体性能上，自优化激活函数性能排名第一。
[0055]
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
[0056]
本发明未详细说明部分属于本领域技术人员公知技术。

技术特征：
1.一种基于自优化激活函数的生物信息时间序列预测方法，其特征在于，包括步骤如下：步骤一、构建一个包含多种激活函数候选集；步骤二、搭建自优化激活函数模块；在通用激活函数中加入可学习权重参数；通过加权线性相加的方式，将多个激活函数组合成一个新的激活函数；步骤三、将新的激活函数应用于循环神经网络中，用于实现非线性变换；步骤四、通过改进后的循环神经网络对生物信息时间序列进行预测。2.根据权利要求1所述的一种基于自优化激活函数的生物信息时间序列预测方法，其特征在于，步骤一具体方法如下：选择tanh、relu、softplus、elu、gelu和sin作为激活函数候选集。3.根据权利要求2所述的一种基于自优化激活函数的生物信息时间序列预测方法，其特征在于，步骤二具体方法如下：自优化激活函数通过在激活函数候选集自动选择通用激活函数并进行线性加权求和来学习；来学习；其中，σ是激活函数候选集，k是激活函数候选集中激活函数的个数，r是长度为k的可训练权向量，w是变换后的系数向量；为了获得激活函数的最优加权系数，使用softmax函数将可训练权向量r转换为系数向量w。4.根据权利要求3所述的一种基于自优化激活函数的生物信息时间序列预测方法，其特征在于，步骤三具体方法如下：将自优化激活函数引入循环神经网络模型，对改进后的循环神经网络进行训练；具体过程如下：将自优化激活函数合并到循环神经网络rnn中，使用自优化激活函数取代了原始的单个激活函数，使得每个任务和每层神经网络都有自己独特的非线性变换方法；将训练集中的生物信息时间序列数据切分为输入序列和目标序列；其次，建立rnn模型，并对网络参数进行初始化；在前向传播过程中，按时间步骤逐个输入输入序列，并通过如下公式计算隐藏状态：h
t
＝σ
optimization
(w
hh
·
h
t-1
+w
xh
·
x
t
+b
h
)其中，h
t
表示当前时间步骤的隐藏状态，h
t-1
表示上一个时间步骤的隐藏状态，x
t
表示当前时间步骤的输入，w
hh
和w
xh
分别表示隐藏状态到隐藏状态和输入到隐藏状态的权重矩阵，b
h
表示隐藏状态的偏置向量；在训练过程中，通过计算预测序列与目标序列之间的损失，并使用反向传播算法和优化算法对网络参数进行更新，以寻找最优解；并且将可训练权向量r与循环神经网络的其他
可训练参数一同进行联合训练，同时获得最优的激活函数；在训练过程中，通过调整权向量r的数值，能够优化激活函数的行为，使其更好地适应具体的任务和数据特点；梯度下降是一种常用的优化算法，它通过迭代更新权向量r的数值，使激活函数逐渐达到最优状态；在每次迭代中，计算损失函数关于权向量r的梯度，并将梯度反向传播到网络中，逐步调整权向量r的数值，以提升激活函数的性能；这个过程持续进行直到达到最优解，即找到最适合当前任务的激活函数；训练过程重复进行直到达到预设的训练轮数或损失函数收敛。

技术总结
本发明公开了一种基于自优化激活函数的生物信息时间序列预测方法，首先构建一个包含多种激活函数候选集；然后搭建自优化激活函数模块；将新的激活函数应用于循环神经网络中，用于实现非线性变换；最后通过改进后的循环神经网络对生物信息时间序列进行预测。本发明提出了一种新颖的自优化激活函数，使循环神经网络的每个激活函数能随着任务的不同自我优化改变自生结构，实现了循环神经网络设计和优化的更加灵活。与传统方法相比，本发明不仅提高了循环神经网络性能，还有效减少了选择激活函数所需的时间和成本。数所需的时间和成本。数所需的时间和成本。


技术研发人员：赵健祥 颜成钢 杨德富 张莹 何敏 王帅 高宇涵 殷海兵 王鸿奎 赵治栋 孙垚棋 朱尊杰 张继勇 李宗鹏
受保护的技术使用者：杭州电子科技大学
技术研发日：2023.06.06
技术公布日：2023/8/16