基于具有注意力机制的深度聚类变分自编码器的电信号聚类分析方法技术

本发明专利技术涉及一种飞行器电信号聚类分析的深度变分自编码器算法。包括：变分自编码器模块，多尺度残差卷积网络模块和信号聚类模块。飞行器电信号进行聚类分析时(101)，首先进行信号采集与传输(102)，送入多尺度残差卷积模块(103)和注意力机制层(104)，将加权多尺度特征输入最大池化层(104)完成特征提取，将特征映射分别通过两个并列的全连接层(105)和(106)得到特征均值(107)与特征方差(108)，之后通过解码器网络，采用与编码器完全对称的结构，最终输出重构信号(113)，旨在与输入信号完全匹配。通过构建损失函数与两阶段训练方式对网络进行训练，最终通过重构特征向量(109)完成聚类分析(115)。成聚类分析(115)。成聚类分析(115)。

【技术实现步骤摘要】
基于具有注意力机制的深度聚类变分自编码器的电信号聚类分析方法


[0001]本专利技术涉及一种基于具有注意力机制的深度聚类变分自编码器的电信号聚类分析方法。

技术介绍

[0002]在飞行器的运行测试过程中，各传感器所采集的连续时序信号是数据集的主要来源。然而，传感器采集到的数据集多为无标签样本，这给进一步分析和信号分类带来了挑战。为了实现对信号的识别与监测，我们需要对数据进行截取和分析，并构建带标签的数据集，以便进行分类器模型的有监督训练和信号识别系统的构建。传统方法是通过领域专家进行手动标注，但对于大规模和复杂的数据集来说，人工分类的时间和人力成本是巨大的。
[0003]在机器学习领域中，聚类分析算法被广泛应用于处理无标签的数据。对于含有大量数据的数据库和数据集来说，快速有效地进行数据标签化是一项艰巨而费时费力的任务。聚类分析算法通过自动归类和整理数据，为大数据集的标签化提供了可行性。由于同类别信号数据具有一定的相似性，聚类分析算法可以将多类别信号进行归类整理，同时辅以人工识别，构建专家知识库。
[0004]因此，聚类分析算法在这种情况下具有重要的应用价值。它可以快速对大量复杂数据进行初步分类和整理，减少人工标注的工作量，提高效率。通过聚类分析算法和人工识别的结合，可以构建专家数据库，为后续的分类器模型训练和信号识别系统的构建奠定基础。
[0005]传统的聚类分析算法包括K均值算法、密度聚类算法、模糊聚类算法等，但这些算法对数据的特征代表属性依赖性强，虽然在低维度特征的数据集上表现良好，但在高维数据上的聚类性能差。对于高维数据，为了进行聚类分析，通常采用无监督特征提取算法，将高维数据映射到低维特征空间中，再根据低维空间下的特征向量进行聚类分析，但电信号数据噪声多、数据量极大，使用这种传统方法提取的特征不具有代表性，且该类方法算法割裂，聚类和特征提取算法间缺乏数据反馈，从而导致聚类效果不佳。

技术实现思路

[0006]针对现有技术的上述问题，本专利技术人利用基于注意力机制的深度神经网络的特征提取能力，对基于变分自编码器的一体化的深度聚类算法进行了改进设计，构建了基于具有注意力机制的深度聚类变分自编码器的电信号聚类分析方法，从而能够对复杂的电信号数据进行自主聚类分析。
[0007]目前在飞行器电信号测试分类模型的构建过程当中，需要带标签的电信号数据对分类模型实现监督式训练，从而优化分类器性能。然而，大部分的原始数据都是处于无标签状态，需要对数据进行标注等预处理手段，才能应用于实际的分类任务当中。而传统的数据标注手段往往依靠专家人工完成，该过程费时费力，大大影响了模型构建的效率。
[0008]为此，本专利技术对基于深度卷积变分自编码器网络的聚类方法进行了重要实质性改进，使得本专利技术的基于具有注意力机制的深度聚类变分自编码器的电信号聚类分析方法能够在不采用先验的数据标签的情况下，对原始电信号数据实现无监督的初步聚类，且该聚类结果可以用于电信号的辅助标注，能够有效提升专家数据的标注效率。
[0009]根据一个更具体的方面，本专利技术对变分自编码器特征提取模型进行了改进，融合了卷积神经网络结构以及自主设计的聚类结构，提出了根据本专利技术的基于具有注意力机制的深度聚类变分自编码器的电信号聚类分析方法具有更强的特征提取能力和泛化能力，对高维或低维信号都具有更好的适用性，并体现出了良好的算法性能。
[0010]同时，本专利技术在自编码器的编码器和解码器中加入了对多尺度特征信号进行融合的注意力机制层。注意力机制层的加入可以充分利用飞行器不同电信号的尺度差异性，更好的对电信号不同尺度的信号特征分配权重，帮助整个网络对于不同种类电信号的区分，进一步提升电信号聚类分析的准确率。
[0011]根据本专利技术的一个方面，提供了一种针对飞行器电信号聚类任务的基于注意力机制的深度变分自编码器，其特征在于包括：
[0012]变分自编码器模块；
[0013]多尺度残差卷积网络模块；
[0014]注意力机制模块；
[0015]信号聚类模块。
[0016]本专利技术中的基于注意力机制的深度变分自编码器的飞行器电信号聚类分析克服了现有飞行器信号聚类分析中存在的高维信号深受噪声困扰，难以完成特征有效提取的问题，有效解决了高维信号数据量大、噪声强等问题，显著提升了飞行器电信号聚类分析的准确率。
附图说明
[0017]图1显示了根据本专利技术的一个实施例的基于具有注意力机制的深度聚类变分自编码器的电信号聚类分析方法的流程图；
[0018]图2显示了根据本专利技术的一个实施例的基于具有注意力机制的深度聚类变分自编码器的电信号聚类分析方法的训练流程图。
[0019]图3显示了根据本专利技术的一个实施例的基于具有注意力机制的深度聚类变分自编码器的电信号聚类分析方法的注意力机制流程图。
具体实施方式
[0020]如图1所示，根据本专利技术的一个实施例的基于具有注意力机制的深度聚类变分自编码器的电信号聚类分析方法包括：
[0021]当飞行器电信号进行聚类分析时(101)，首先进行信号采集与传输(102)；
[0022]把采集到的电信号送入第一多尺度残差膨胀卷积模块(103)和注意力机制模块(104)；
[0023]再结合最大值池化层(105)进行堆栈。在编码器的网络中，网络的输入为原始信号，经过由堆栈的特征提取模块后，得到输入信号的特征映射；
[0024]然后，将特征映射分别通过两个并列的第一全连接层(106)和第二全连接层(107)，分别得到特征均值(108)与特征方差(109)，编码器结构与变分自编码器类似；
[0025]在解码器网络中，把经过重构后的特征向量(110)作为解码器的网络的输入，并经过第三全连接层(111)，进入到特征重构模块；所述特征重构模块包括上采样层(112)和第二多尺度残差膨胀卷积模块(113)，解码器的结构与编码器是完全对称的，包括层数的堆叠和输出通道等；上采样层(112)为最大值池化层(105)的反向运算；经过特征重构模块后，解码器的输出为重构信号(114)，旨在与编码器网络的输入的信号完全匹配；该解码器网络在特征重构模块后，还包括一路聚类模块，在该聚类模块中，重构的特征向量通过第四全连接层(115)进行特征变换，并在最终层结合Softmax函数，以输出分类结果的模式进行聚类结果(116)的输出。
[0026]其中本专利技术引入的注意力机制模块中，把经过第一多尺度残差膨胀卷积模块(103)提取后的多尺度特征(301)作为注意力机制模块(104)的输入。本专利技术以两个特征尺度为例进行注意力机制模块的介绍。多尺度特征(301)向量按不同尺度拆分为尺度一与尺度二的特征(302和303)向量，分别经过最大值池化层(304和306)和平均池化层(305和307)的运算提取特征向量，将特征向量拼接(308)输入第一全连接层(309)，得到的特征经过ReLU激励函数(310)，进入第二全连接层(311)，得到的特征经过Sigmoid激本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于具有注意力机制的深度聚类变分自编码器的电信号聚类分析方法，其特征在于包括：利用第一多尺度残差膨胀卷积模块(103)，接收信号采集与传输模块(102)采集到的电信号；利用注意力机制模块(104)结合第一多尺度残差膨胀卷积模块(103)进行堆栈，由所述电信号得到特征映射；利用最大值池化层(105)对得到的特征映射进行特征提取与降维；使所述特征映射分别通过两个并列的第一全连接层(106)和第二全连接层(107)，分别得到特征均值(108)与特征方差(109)；利用重构层(110)，把特征均值与特征方差重构成特征向量，把特征向量输入第三全连接层(111)，使所述特征向量经过第三全连接层(111)进入到上采样层(112)，利用上采样层(112)，结合第二多尺度残差膨胀卷积模块(113)，进行与最大值池化层(105)反向的运算，利用重构模块(114)，对解码器网络模块的输出进行重构，以与编码器的输入完全匹配；利用第四全连接层(115)，对重构的特征向量进行特征变换，利用最终层(116)，把第四全连接层(115)进行特征变换后的重构的特征向量结合Softmax函数，输出聚类结果，其中，利用所述第一和第二多尺度残差膨胀卷积模块进行如下操作：设原始数据X在其维度空间中满足概率分布p(X)，设当前的原始数据样本是从该分布p(X)中采样所得到的样本x，通过构建隐含变量Z来表示X的分布律，即：以p(X|Z)表征一个由Z生成样本X的模型，通过在分布内调整向量Z中的值，所生成的样本X也将满足数据集X在其维度空间的分布，在编码过程中，利用包括信号采集与传输模块(102)、第一多尺度残差膨胀卷积模块(103)、注意力机制模块(104)、最大值池化层(105)、两个并列的第一全连接层(106)和第二全连接层(107)的变分自编码器模块拟合出两个长度相等的向量，分别表征Z的均值(108)和方差(109)，变分自编码器模块的网络结构为X与Z的联合分布p(X，Z)，使p(X，Z)尽可能地接近一个近似分布q(X，Z)，其中q设定为标准正态分布，为使Z的均值和特征方差能够满足标准正态分布，损失函数除了对重构误差的约束还考虑了Z的分布与标准正态分布的KL散度，即：其中μ为特征均值，σ2为特征方差，N(0，I)为标准正态分布，从而将Z扩展为(Z，Y)，其中Y是聚类层输出的离散变量，表征输出类别，由此Z的KL损失就被表征为：
其中x表示从X的分布律中采样所得到的样本，z表示隐变量Z中的一...

【专利技术属性】
技术研发人员：李可，王少凡，李鹏蛟，武昊鹏，阚艳，庞丽萍，杨顺昆，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：