深度聚类变分自编码器和基于它的电信号聚类分析方法

1.本发明涉及一种深度聚类变分自编码器和基于它的电信号聚类分析方法。


背景技术：

2.在飞行器的运行测试过程中，各路传感器所采集的连续时序信号是数据集的主要来源。由于传感器采集到的数据集多为无标签样本，如果要对数据进行进一步分析，尤其是通过分类手段实现对信号的识别与监测，就需要对数据进行截取与分析。通过领域专家的人工手段，对各类信号进行合理标注，构建出带标签的数据集，形成专家数据库，从而才能在后续工作中对分类器模型进行有监督训练，构建信号识别系统。
3.然而，对于含有大量数据的数据库和数据集，其数据量巨大且数据复杂，信号条目数高达数十万条，每条均为数据长度超过几千的长时序数据。对于大量的复杂数据，进行人工分类的时间、人力成本极高，快速地对大量数据进行标签化是一项艰难且费时费力的任务。在机器学习领域中，针对无标签的数据，可以通过无监督学习的手段，对数据进行自动归类整理，这类无监督学习算法被称为聚类分析算法。由于同类别信号数据具有一定相似性，采用聚类分析算法对多类别信号进行归类整理，并以人工识别辅助构建专家知识库，对于大数据集的整理具有可行性。
4.传统的聚类分析算法包括k均值算法、密度聚类算法、模糊聚类算法等，但这些算法对数据的特征代表属性依赖性强，虽然在低维度特征的数据集上表现良好，但在高维数据上的聚类性能差。对于高维数据，为了进行聚类分析，通常采用无监督特征提取算法，将高维数据映射到低维特征空间中，再根据低维空间下的特征向量进行聚类分析，但电信号数据噪声多、数据量极大，使用这种传统方法提取的特征不具有代表性，且该类方法算法割裂，聚类和特征提取算法间缺乏数据反馈，从而导致聚类效果不佳。


技术实现要素：

5.针对现有技术的上述问题，本发明人利用深度神经网络的特征提取能力，对基于变分自编码器的一体化的深度聚类算法进行了改进设计，构建了一种基于深度聚类变分自编码器的电信号聚类分析方法，从而能够对复杂的电信号数据进行自主聚类分析。
6.目前在飞行器电信号测试分类模型的构建过程当中，需要带标签的电信号数据对分类模型实现监督式训练，从而优化分类器性能。然而，大部分的原始数据都是处于无标签状态，需要对数据进行标注等预处理手段，才能应用于实际的分类任务当中。而传统的数据标注手段往往依靠专家人工完成，该过程费时费力，大大影响了模型构建的效率。
7.为此，本发明对基于深度卷积变分自编码器网络的聚类方法进行了重要实质性改进，使得本发明的基于深度聚类变分自编码器的电信号聚类分析方法能够在不采用先验的数据标签的情况下，对原始电信号数据实现无监督的初步聚类，且该聚类结果可以用于电信号的辅助标注，能够有效提升专家数据的标注效率。
8.根据一个更具体的方面，本发明对变分自编码器特征提取模型进行了改进，融合
了卷积神经网络结构以及自主设计的聚类结构，提出了根据本发明的基于深度聚类变分自编码器的电信号聚类分析方法，本发明的该方法具有更强的特征提取能力和泛化能力，对高维或低维信号都具有更好的适用性，并体现出了良好的算法性能。
9.根据本发明的一个方面，提供了一种针对飞行器电信号聚类任务的深度变分自编码器，其特征在于包括：
10.变分自编码器模块；
11.多尺度残差卷积网络模块；
12.信号聚类模块。
13.本发明中的基于深度变分自编码器的飞行器电信号聚类分析克服了现有飞行器信号聚类分析中存在的高维信号深受噪声困扰，难以完成特征有效提取的问题，有效解决了高维信号数据量大、噪声强等问题，显著提升了飞行器电信号聚类分析的准确率。
附图说明
14.图1显示了根据本发明的一个实施例的基于深度聚类变分自编码器的电信号聚类分析方法的流程图；
15.图2显示了根据本发明的一个实施例的基于深度聚类变分自编码器的电信号聚类分析方法的训练流程图。
具体实施方式
16.如图1所示，根据本发明的一个实施例的基于深度聚类变分自编码器的电信号聚类分析方法包括：
17.当飞行器电信号进行聚类分析时(101)，首先进行信号采集与传输(102)；
18.把采集到的电信号送入第一多尺度残差膨胀卷积模块(103)；
19.再结合最大值池化层(104)进行堆栈。在编码器的网络中，网络的输入为原始信号，经过由堆栈的特征提取模块后，得到输入信号的特征映射；
20.然后，将特征映射分别通过两个并列的第一全连接层(105)和第二全连接层(106)，分别得到特征均值(107)与特征方差(108)，编码器结构与变分自编码器类似；
21.在解码器网络中，把经过重构后的特征向量(109)作为解码器的网络的输入，并经过第三全连接层(110)，进入到特征重构模块；所述特征重构模块包括上采样层(111)和第二多尺度残差膨胀卷积模块(112)，解码器的结构与编码器是完全对称的，包括层数的堆叠和输出通道等；上采样层(111)为最大值池化层(104)的反向运算；经过特征重构模块后，解码器的输出为重构信号(113)，旨在与编码器网络的输入的信号完全匹配；该解码器网络在特征重构模块后，还包括一路聚类模块，在该聚类模块中，重构的特征向量通过第四全连接层(114)进行特征变换，并在最终层结合softmax函数，以输出分类结果的模式进行聚类结果(115)的输出。
22.接下来分别对第一和第二多尺度残差膨胀卷积模块(103、112)与变分自编码器进行说明。
23.变分自编码器是在自编码器的基础上，为了对获得的特征向量进行约束，从而使特征向量中的每个值都具有普遍的统计含义，从而获得生成模型的算法部分。在自编码器
的编码过程中，可以认为特征向量中的每个值都能表征原始数据的某个潜在属性。在变分自编码器算法中，每个潜在属性都服从概率分布，为了在实践中使网络能顺利训练，每个特征值都被假设服从标准正态分布。从统计学角度，认为原始数据x在其维度空间中满足某种概率分布p(x)，而其分布律是难以计算的，当前的原始数据样本只是从该分布律中采样所得到的样本x。在变分自编码器中设定，通过构建隐含变量z来表示出x的分布律，即：
[0024][0025]
由此，这里的p(x|z)就表征了一个由z生成样本x的模型，通过在分布内调整z向量中的值，所生成的样本x也将满足数据集x在其维度空间的分布。因此，变分自编码器就是一个生成算法部分，即其编码器部分作为识别模型，而解码器部分作为生成模型。
[0026]
变分自编码器在网络设计和损失函数设计上实现了其内在的统计学功能。在编码过程中，网络会拟合出两个长度相等的向量，分别表征特征z的均值和方差。这里的编码器网络结构为x与z的联合分布p(x,z)，然而这个概率分布是难以求解的，因此网络的思路是让p(x,z)尽可能地接近一个近似分布q(x,z)，这里的q设定为标准正态分布。为了使特征均值和特征方差能够满足标准正态分布，在损失函数的设计上，除了对重构误差的约束，损失函数还考虑了z的分布与标准正态分布的kl散度，即：
[0027]
其中μ为特征均值，σ2为特征方差，n(0,i)为标准正态分布。
[0028]
从概率背景进行分析，在此将原变分自编码器的隐变量z扩展为(z,y)，其中y是聚类层输出的离散变量，表征输出类别。因此，其kl损失就可以写作：
[0029][0030]
(x表示“从该分布律中采样所得到的样本x”；z表示隐变量z中的一维)为了使损失函数能够更容易计算，本发明在模型中进行一系列设定：
[0031]
设定p(z|x)为正态分布，其输出即为特征均值和特征方差；
[0032]
设定q(x|z)表示为方差为常数的正态分布，相当于采用均方误差作为重构误差；
[0033]
设定q(z|y)假设为均值与y输出的均值相当，方差为1的正态分布；
[0034]
设定q(y)假设为均匀分布，以使类别的分布是均衡的；
[0035]
则利用聚类模块对p(y|z)进行拟合，
[0036]
最终，把网络的损失函数表征为：
[0037][0038]
其中,三项损失的含义分别是：
⑴
重构损失用于约束重构信号与输入信号的相似度，通过均方误差计算输入信号与重构信号的误差并进行最小化；
[0039]
⑵
kl损失用于约束特征的分布，具体地，对p(y|z)和q(y)分布计算kl散度，以约束隐向量的分布情况；
[0040]
⑶
类别损失用于约束输出聚类类别与特征向量的对应性，通过交叉熵误差来限制聚类结果的输出，实现聚类类别与特征向量的对齐。
[0041]
本发明的聚类变分自编码器通过采用深度神经网络，能从高维度数据提取出深层特征。多尺度残差膨胀卷积模块具有从复杂的电信号中提取特征的能力，其提取特征的性能优于全连接神经网络(dnn)和卷积神经网络(cnn)。因此，本发明将多尺度残差膨胀卷积模块引入聚类变分自编码器中，作为网络中编码器和解码器的主要组成部分，使自编码器网络获得改进的信号特征提取能力和信号重构能力。
[0042]
第一和第二多尺度残差膨胀卷积模块包括以下特征：
[0043]
多尺度特征提取支流：对于高维度信号特征而言，网络被希望能以较小的层数，捕捉大尺度特征，同时也不忽略小尺度特征。为此，借鉴了著名的googlenet网络，本发明在模块的设计上引入了多尺度特征提取支流。特征提取模块(多尺度残差膨胀卷积模块(103)加最大值池化层模块(104))包括带有不同尺度卷积核的两条支流：
[0044]-小尺度特征提取支流，其卷积核尺寸为3，用于感知小尺度特征；
[0045]-大尺度特征提取支流，其的卷积核尺寸为5，用于感知大尺度特征，
[0046]
通过这两条支流的分别作用，特征提取模块可并行地捕捉不同尺度的信号特征。
[0047]
膨胀卷积：所谓膨胀卷积(或称空洞卷积)，是指在卷积核的每个元素之间加入相隔若干元素(膨胀率)的空洞，从而在不增加卷积核参数数目的情况下，扩大卷积层的感受野。在本发明中，小尺度特征提取支流的第二卷积层采用了膨胀率为2的卷积，大尺度特征提取支流的第一、第二层分别采用了膨胀率为2和5的卷积。采用该技术，该模块的感受野可以得到有效扩大。当不采用膨胀卷积技术时，两层卷积神经网络中，卷积核尺寸3和5能分别带来长度为5和9的感受野；当采用膨胀卷积时，以本发明提出的膨胀卷积模块为例，感受野可分别扩充至9和25。
[0048]
该特征提取模块通过融合多种先进的神经网络技术，有效解决了从高维度信号中提取多尺度特征的问题，同时克服了深度网络中的出现的梯度消失；与此同时，由于采用了膨胀卷积，网络的参数数目和复杂度也得到了有效控制，运行效率进一步提高。综上，所提出的第一和第二多尺度残差膨胀卷积模块能有效满足高维飞行器电信号的特征提取需求。
[0049]
相比传统的变分自编码器，本发明的聚类变分自编码器在聚类任务的适应性更佳。首先，本发明的聚类变分自编码器将降维算法变为聚类算法，解决以往针对高维数据进
行聚类时算法割裂问题，即深度自编码器所提取的特征直接与最终输出的聚类类别相关，且从概率角度具有可解释性；同时，针对电信号的数据结构特点，本发明的深度聚类变分自编码器引入了多尺度残差膨胀卷积模块对信号进行特征提取和信号重构，提高其神经网络对电信号数据的适应能力。
[0050]
本发明采用两阶段训练对深度聚类变分自编码器网络进行训练的算法流程图如图2所示。先进行第一阶段的训练(201)，首先迭代步初始化(202)开始一轮训练(203)，通过输入无标签的训练样本(204)，网络对信号进行重构(205)并输出聚类结果，对这些结果计算误差和损失函数(206)，然后采用第一阶段学习率α1反向传播更新网络参数(207)，判断是否遍历训练集(208)，“否”则返回步骤(204)，若已完成则迭代步数加1(209)，再判断轮数是否达到第一阶段的训练轮数个数(210)，“否”则返回步骤(203)，“是”则结束第一阶段训练并开始的第二阶段训练。
[0051]
在第二阶段训练中，继承网络参数并开始多轮训练，区别在于采用第二阶段学习率α2反向传播更新网络参数(217)。当轮数达到设定目标后(220)，结束训练(221)。训练采用的损失函数如式(4)所示。
[0052]
根据本发明的飞行器电信号聚类分析的深度变分自编码器算法的优点和有益效果包括：
[0053]
⑴
相比传统的变分自编码器，本发明的深度聚类变分自编码器在完成聚类任务时具有更好的适应性。首先，本发明的聚类变分自编码器将降维算法变为聚类算法，解决以往针对高维数据进行聚类时算法割裂问题，即深度自编码器所提取的特征直接与最终输出的聚类类别相关，且从概率角度具有可解释性；同时，针对电信号的数据结构特点，本发明的深度聚类变分自编码器通过引入多尺度残差膨胀卷积模块对信号进行特征提取和信号重构，对电信号数据具有更强的适应能力；
[0054]
⑵
本发明的深度聚类变分自编码器引入多尺度残差膨胀卷积模块对信号进行特征提取，通过融合多种先进的神经网络技术，有效解决了从高维度信号中提取多尺度特征的问题，同时克服了深度网络中的出现的梯度消失；与此同时，由于采用了膨胀卷积，网络的参数数目和复杂度也得到了有效控制，运行效率进一步提高，有效满足了飞行器高维电信号的特征提取需求；
[0055]
⑶
本发明的深度聚类变分自编码器显著提升了飞行器电信号的聚类准确率，对电信号数据具有更强的适应性及鲁棒性，为飞行器健康管理策略的核心故障识别做出了卓越贡献。

技术特征：
1.一种针对飞行器电信号聚类任务的深度变分自编码器，其特征在于包括：变分自编码器模块；信号聚类模块，其中：所述变分自编码器模块包括：编码器、重构层与解码器，编码器包括：信号采集与传输模块(102)，用于在对飞行器电信号进行聚类分析时进行信号采集与传输(101)；第一多尺度残差膨胀卷积模块(103)，用于接收信号采集与传输模块(102)采集到的电信号；最大值池化层(104)，用于结合第一多尺度残差膨胀卷积模块(103)进行堆栈，由所述电信号得到特征映射；并列的第一全连接层(105)和第二全连接层(106)，所述特征映射分别通过并列的第一全连接层(105)和第二全连接层(106)，分别得到特征均值(107)与特征方差(108)；重构层(109)用于把特征均值与特征方差重构成特征向量，作为解码器网络模块的输入，解码器包括：第三全连接层(110)，上采样层(111)，第二多尺度残差膨胀卷积模块(112)，上采样层(111)结合第二多尺度残差膨胀卷积模块(112)，进行最大值池化层(104)的反向运算，且所述特征向量经过第三全连接层(110)进入到上采样层(111)，重构模块(113)，用于对解码器的输出进行重构，以与编码器的输入完全匹配；所述信号聚类模块包括：第四全连接层(114)，用于对重构的特征向量进行特征变换，最终层(115)，用于把第四全连接层(114)进行特征变换后的重构的特征向量结合softmax函数，输出聚类结果，其中，在所述第一和第二多尺度残差膨胀卷积模块中：设原始数据x在其维度空间中满足概率分布p(x)，设当前的原始数据样本是从该分布p(x)中采样所得到的样本x,通过构建隐含变量z来表示x的分布律，即：p(x|z)就表征了一个由z生成样本x的模型，通过在分布内调整向量z中的值，所生成的样本x也将满足数据集x在其维度空间的分布，在编码过程中，变分自编码器模块拟合出两个长度相等的向量，分别表征z的均值和方差，变分自编码器模块的网络结构为x与z的联合分布p(x,z)，使p(x,z)尽可能地接近一个近似分布q(x,z)，其中q设定为标准正态分布，
为使z的均值和特征方差能够满足标准正态分布，损失函数除了对重构误差的约束还考虑了z的分布与标准正态分布的kl散度，即：其中μ为特征均值，σ2为特征方差，n(0,i)为标准正态分布，从而将z扩展为(z,y)，其中y是聚类层输出的离散变量，表征输出类别，由此z的kl损失就被表征为：其中x表示从x的分布律中采样所得到的样本，z表示隐变量z中的一维，为使损失函数能够更容易计算：设定p(z|x)为正态分布，其输出即为z的均值和特征方差；设定q(x|z)表示为方差为常数的正态分布；设定q(z|y)为均值与y输出的均值相当、方差为1的正态分布；设定q(y)为均匀分布，以使类别的分布是均衡的；利用聚类模块对p(y|z)进行拟合，把损失函数表征为：其中,三项损失的含义分别是：重构损失用于约束重构信号与输入信号的相似度，通过均方误差计算输入信号与重构信号的误差并进行最小化；kl损失用于约束特征的分布；类别损失用于约束输出聚类类别与特征向量的对应性，通过交叉熵误差来限制聚类结果的输出，实现聚类类别与特征向量的对齐。2.根据权利要求1所述的深度变分自编码器，其特征在于：在kl损失确定中，计算分布p(y|z)和分布q(y)间的kl散度，以约束隐向量的分布情况。3.根据权利要求1所述的深度变分自编码器，其特征在于所述第一和第二多尺度残差膨胀卷积模块各包括：带有不同尺度卷积核的两条支流：-小尺度特征提取支流，其卷积核尺寸为3，用于感知小尺度特征；-大尺度特征提取支流，其的卷积核尺寸为5，用于感知大尺度特征，
通过这两条支流的分别作用，第一和第二多尺度残差膨胀卷积模块可并行地捕捉不同尺度的信号特征，其中：小尺度特征提取支流的第二卷积层采用了膨胀率为2的卷积，大尺度特征提取支流的第一、第二层分别采用了膨胀率为2和5的卷积。4.根据权利要求1－3之一所述的深度变分自编码器，其特征在于采用两阶段训练对深度变分自编码器设进行训练，包括：先进行第一阶段的训练(201)，首先迭代步初始化(202)，开始一轮训练(203)，输入无标签的训练样本(204)，对样本信号进行重构(205)并输出聚类结果，对该聚类结果计算误差和损失函数(206)，然后采用第一阶段学习率α1反向传播更新网络参数(207)，判断是否遍历训练集(208)，“否”则返回输入无标签的训练样本的步骤(204)，“是”则迭代步数加1(209)，再判断轮数是否达到第一阶段的训练轮数个数(210)，“否”则返回开始一轮训练的步骤(203)，“是”则结束第一阶段训练并开始的第二阶段训练，在第二阶段训练中，继承网络参数并开始多轮训练，区别在于采用第二阶段学习率α2反向传播更新网络参数(217)，当轮数达到设定目标后(220)，结束训练(221)，其中训练采用的损失函数如式(4)所示。5.一种针对飞行器电信号聚类任务的电信号聚类分析方法，其特征在于包括：利用第一多尺度残差膨胀卷积模块(103)，接收信号采集与传输模块(102)采集到的电信号；利用最大值池化层(104)，结合第一多尺度残差膨胀卷积模块(103)进行堆栈，由所述电信号得到特征映射；使所述特征映射分别通过两个并列的第一全连接层(105)和第二全连接层(106)，分别得到特征均值(107)与特征方差(108)；利用重构层(109)，把特征均值与特征方差重构成特征向量，把特征向量输入第三全连接层(110)，使所述特征向量经过第三全连接层(110)进入到上采样层(111)，利用上采样层(111),结合第二多尺度残差膨胀卷积模块(112)，进行与最大值池化层(104)反向的运算，利用重构模块(113)，对解码器网络模块的输出进行重构，以与编码器的输入完全匹配；利用第四全连接层(114)，对重构的特征向量进行特征变换，利用最终层(115)，把第四全连接层(114)进行特征变换后的重构的特征向量结合
softmax函数，输出聚类结果，其中，利用所述第一和第二多尺度残差膨胀卷积模块进行如下操作：设原始数据x在其维度空间中满足概率分布p(x)，设当前的原始数据样本是从该分布p(x)中采样所得到的样本x,通过构建隐含变量z来表示x的分布律，即：以p(x|z)表征一个由z生成样本x的模型，通过在分布内调整向量z中的值，所生成的样本x也将满足数据集x在其维度空间的分布，在编码过程中，利用包括信号采集与传输模块(102)、第一多尺度残差膨胀卷积模块(103)、最大值池化层(104)、两个并列的第一全连接层(105)和第二全连接层(106)的变分自编码器模块拟合出两个长度相等的向量，分别表征z的均值(107)和方差(108)，变分自编码器模块的网络结构为x与z的联合分布p(x,z)，使p(x,z)尽可能地接近一个近似分布q(x,z)，其中q设定为标准正态分布，为使z的均值和特征方差能够满足标准正态分布，损失函数除了对重构误差的约束还考虑了z的分布与标准正态分布的kl散度，即：其中μ为特征均值，σ2为特征方差，n(0,i)为标准正态分布，从而将z扩展为(z,y)，其中y是聚类层输出的离散变量，表征输出类别，由此z的kl损失就被表征为：其中x表示从x的分布律中采样所得到的样本，z表示隐变量z中的一维，为使损失函数能够更容易计算：设定p(z|x)为正态分布，其输出即为z的均值和特征方差；设定q(x|z)表示为方差为常数的正态分布；设定q(z|y)为均值与y输出的均值相当、方差为1的正态分布；设定q(y)为均匀分布，以使类别的分布是均衡的；利用聚类模块对p(y|z)进行拟合，把损失函数表征为：
其中,三项损失的含义分别是：重构损失用于约束重构信号与输入信号的相似度，通过均方误差计算输入信号与重构信号的误差并进行最小化；kl损失用于约束特征的分布；类别损失用于约束输出聚类类别与特征向量的对应性，通过交叉熵误差来限制聚类结果的输出，实现聚类类别与特征向量的对齐。6.根据权利要求5所述的电信号聚类分析方法，其特征在于：在kl损失确定中，计算分布p(y|z)和分布q(y)间的kl散度，以约束隐向量的分布情况。7.根据权利要求5所述的电信号聚类分析方法，其特征在于所述第一和第二多尺度残差膨胀卷积模块各包括：带有不同尺度卷积核的两条支流：-小尺度特征提取支流，其卷积核尺寸为3，用于感知小尺度特征；-大尺度特征提取支流，其的卷积核尺寸为5，用于感知大尺度特征，通过这两条支流的分别作用，第一和第二多尺度残差膨胀卷积模块可并行地捕捉不同尺度的信号特征，其中：小尺度特征提取支流的第二卷积层采用了膨胀率为2的卷积，大尺度特征提取支流的第一、第二层分别采用了膨胀率为2和5的卷积。8.根据权利要求5－7之一所述的电信号聚类分析方法，其特征在于进一步包括采用两阶段训练进行训练，包括：先进行第一阶段的训练(201)，首先迭代步初始化(202)，开始一轮训练(203)，输入无标签的训练样本(204)，对样本信号进行重构(205)并输出聚类结果，对该聚类结果计算误差和损失函数(206)，然后采用第一阶段学习率α1反向传播更新网络参数(207)，判断是否遍历训练集(208)，“否”则返回输入无标签的训练样本的步骤(204)，“是”则迭代步数加1(209)，再判断轮数是否达到第一阶段的训练轮数个数(210)，“否”则返回开始一轮训练的步骤(203)，“是”则结束第一阶段训练并开始的第二阶段训练，在第二阶段训练中，继承网络参数并开始多轮训练，区别在于采用第二阶段学习率α2反向传播更新网络参数(217)，当轮数达到设定目标后(220)，结束训练(221)，其中训练采用的损失函数如式(4)所示。

技术总结
本发明涉及一种飞行器电信号聚类分析的深度变分自编码器算法。包括：变分自编码器模块，多尺度残差卷积网络模块和信号聚类模块。飞行器电信号进行聚类分析时(101)，首先进行信号采集与传输(102)，送入多尺度残差卷积模块(103)和最大池化层(104)完成特征提取，将特征映射分别通过两个并列的全连接层(105)和(106)得到特征均值(107)与特征方差(108)，之后通过解码器网络，采用与编码器完全对称的结构，最终输出重构信号(113)，旨在与输入信号完全匹配。通过构建损失函数与两阶段训练方式对网络进行训练，最终通过重构特征向量(109)完成聚类分析(115)。成聚类分析(115)。成聚类分析(115)。


技术研发人员：李可 陈晓丹 兰巍 王养柱 李源淦 杨顺昆
受保护的技术使用者：北京航空航天大学
技术研发日：2023.05.15
技术公布日：2023/8/14