一种基于多尺度上下文的多元时序信号分析方法技术

本发明专利技术提供了一种基于多尺度上下文的多元时序信号分析方法。首先，对多元时序信号进行时频转换和不同尺度的切分，以切分后的切片向量作为网络训练的输入用向量；然后，对构建的多元时序信号分析网络进行训练，所构建的网络采用多尺度上下文Transformer模型，包括多层级编码模块和双向特征融合模块，能够更好挖掘不同尺度间的潜在上下文关系，提升时序信号的特征表示；最后，应用训练好的网络进行时序信号分析。本发明专利技术通过使用Transformer来建模MTS信号的多尺度相关性，不仅可以最大限度地提高每个单一尺度生成特征的能力，还可以充分利用多尺度特征增强MTS分析网络的整体表示能力。力。力。

【技术实现步骤摘要】
一种基于多尺度上下文的多元时序信号分析方法


[0001]本专利技术属时序信号分析
，具体涉及一种基于多尺度上下文的多元时序信号分析方法。

技术介绍

[0002]时间序列在许多领域都无处不在，包括医学、金融、气象学、生物学、智慧城市、工程应用等。近年来，深度学习在时间序列分析中也取得了显著的成功。该领域的大部分研究都集中在单变量时间序列(Univariate Time Series，UTS)，即每个实例只有一个序列。而在现实世界中，每个实例通常包含多个具有内在相关性的序列。因此，对在每个时间戳上具备几个时间相关连续观测值的多变量时间序列(Multivariable Time Series,MTS)分析，已成为该领域一个重要且更具挑战性的方向。
[0003]Transformer在长距离相关性上表现出了强大的建模能力，因此，最近其作为先进的计算模型被引入到时间序列分析领域。用于分析时间序列的Transformer网络及其变体通常使用自注意力机制对全局特征进行编码以应对时间序列中的各类挑战，并应用于多种时间序列任务，如分类、回归、预测、异常检测等。具体地，Transformer网络的通常做法是：首先，将输入数据切分成固定尺寸的切片，之后对展平的切片进行线性映射。为了保留每个切片的位置信息，在切片送入编码器之前，对每个切片加入了位置编码信息。编码器由L个标准的模块组成，每个模块由层归一化、多头自注意力模块、多层感知机及残差连接等构成。与传统的网络相比，Transformer网络取得了巨大的性能增益，但在MTS分析任务上存在只能处理单一尺度特征的局限性。通常，由多个简单序列组成的MTS具有多个时间/空间尺度特征，呈现层级结构，而仅使用单尺度切片的建模无法反映出数据中的多尺度信息。为解决这个问题，一些CNN网络采用不同大小/数量的感受野，提取时序信号的多分辨率特征，为训练提供不同层次的语义信息。然而，通过简单地级联操作来融合不同尺度信息，忽略了多尺度特征之间的潜在上下文关系，这不仅限制了每个单一尺度中的特征表示能力，还削弱了输入信号的整体特征表示。从上述分析中可以发现，如何有效利用多尺度上下文提升时序信号的特征表示是MTS分析中的主要挑战。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术提供一种基于多尺度上下文的多元时序信号分析方法。首先，对多元时序信号进行时频转换和不同尺度的切分，以切分后的切片向量作为网络训练的输入用向量；然后，对构建的多元时序信号分析网络进行训练，所构建的网络采用多尺度上下文Transformer模型，包括多层级编码模块和双向特征融合模块，能够更好挖掘不同尺度间的潜在上下文关系，提升时序信号的特征表示；最后，应用训练好的网络进行时序信号分析。本专利技术通过使用Transformer来建模MTS信号的多尺度相关性，不仅可以最大限度地提高每个单一尺度生成特征的能力，还可以充分利用多尺度特征增强MTS分析网络的整体表示能力。
[0005]一种基于多尺度上下文的多元时序信号分析方法，其特征在于步骤如下：
[0006]S1、给定一个多元时序信号训练集，使用短时傅里叶变换将时序信号转换为时频谱，并将同一实例的时频谱按照Z轴方向进行拼接，对拼接后的时频谱按照8
×
8、12
×
12和16
×
16三种尺度大小进行切分，得到三个尺度的若干切片；然后，采用线性映射将每个切片映射成为一个长度为768的一维向量，并采用同样长度的向量记录该切片在原信号中的位置信息，作为其位置编码向量；将同一尺度的所有切片向量进行拼接，得到一个长度为768的多维向量，该向量作为训练参数向量，再将位置编码向量叠加到对应的切片向量上，得到同一尺度下的网络训练用向量；
[0007]S2、构建多元时序信号分析网络，包括多层级编码模块和双向特征融合模块，其中，多层级编码模块包括结构相同、参数独立的三个层级网络，每个层级网络都采用Vision Transformer架构，将三个不同尺度的训练用向量分别输入到三个层级网络，输出得到三个尺度下的特征图；双向特征融合模块主要包括特征融合模块，特征融合模块的输入为两个不同的特征图，先进行特征图拼接，拼接后的特征图经过一个包含两个卷积核大小分别为1
×
1和3
×
3的卷积层，再经过包含一个卷积核大小为1
×
1的卷积层，经sigmoid函数输出得到融合后的特征图；双向特征融合模块的具体处理过程为：对于多层级编码模块输出的三个尺度下的特征图，首先进行正向融合，即以其中小尺度和中尺度下的两个特征图作为输入，经过特征融合模块进行处理，得到融合后的特征图F1，再以特征图F1和多层级编码模块输出的大尺度下的特征图作为输入，经过特征融合模块进行处理，得到正向融合后的特征图F2；接着进行反向融合，即以多层级编码模块输出的大尺度和中尺度下的特征图作为输入，经过特征融合模块进行处理，得到融合后的特征图F3，再以特征图F3和多层级编码模块输出的小尺度下的特征图作为输入，经过特征融合模块进行处理，得到反向融合后的特征图F4；最后以正向融合得到的特征图F2和反向融合得到的特征图F4作为输入，经过特征融合模块进行处理，得到最终融合后的特征图F5；
[0008]S3、将步骤S1得到的不同尺度下的训练用向量输入到多元时序信号分析网络进行网络训练，其中，若训练时采用交叉熵损失，得到训练好的分类任务模型，若训练时采用MSE损失，得到训练好的回归任务模型；
[0009]S4、将待处理的多元时序信号按照步骤S1的方式进行时频谱转换和拼接后，输入到步骤S3得到的训练好的多元时序信号分析网络，输出的特征图即为其最终的分类或回归结果。
[0010]本专利技术的有益效果是：构建了一个简单但有效的多尺度上下文多元时序信号分析方法，根据多元时序信号数据特征，致力于使用Transformer来建模MTS信号的多尺度特征，并探索多层级特征图上下文间的潜在关系。通过不同尺度间的信息传递，可以最大限度地增强每个单一尺度生成特征的能力，以提高MTS在多尺度上的特征表达。为了聚合多尺度信息，采用双向学习来迭代地融合相邻尺度特征，其中，正反两个方向彼此激励、相互促进，可以充分利用多尺度特征来增强网络的输出表示，最终显著提升多元时序信号的分析效果。
附图说明
[0011]图1是本专利技术的一种基于多尺度上下文的多元时序信号分析方法流程图。
具体实施方式
[0012]下面结合附图和实施例对本专利技术进一步说明，本专利技术包括但不仅限于下述实施例。
[0013]为提升Transformer模型在多元时序信号分析任务中的性能，本专利技术提供了一种基于多尺度上下文的多元时序信号分析方法。如图1所示，其具体实现过程如下：
[0014]S1、给定一个多元时序信号训练集，使用短时傅里叶变换将时序信号转换为时频谱，并将同一实例的时频谱按照Z轴方向进行拼接，对拼接后的时频谱按照8
×
8、12
×
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度上下文的多元时序信号分析方法，其特征在于步骤如下：S1、给定一个多元时序信号训练集，使用短时傅里叶变换将时序信号转换为时频谱，并将同一实例的时频谱按照Z轴方向进行拼接，对拼接后的时频谱按照8
×
8、12
×
12和16
×
16三种尺度大小进行切分，得到三个尺度的若干切片；然后，采用线性映射将每个切片映射成为一个长度为768的一维向量，并采用同样长度的向量记录该切片在原信号中的位置信息，作为其位置编码向量；将同一尺度的所有切片向量进行拼接，得到一个长度为768的多维向量，该向量作为训练参数向量，再将位置编码向量叠加到对应的切片向量上，得到同一尺度下的网络训练用向量；S2、构建多元时序信号分析网络，包括多层级编码模块和双向特征融合模块，其中，多层级编码模块包括结构相同、参数独立的三个层级网络，每个层级网络都采用Vision Transformer架构，将三个不同尺度的训练用向量分别输入到三个层级网络，输出得到三个尺度下的特征图；双向特征融合模块主要包括特征融合模块，特征融合模块的输入为两个不同的特征图，先进行特征图拼接，拼接后的特征图经过一个包含两个卷积核大小分别为1
×
1和3
×
3的卷积层...

【专利技术属性】
技术研发人员：张鼎文，姚洁茹，郑朝晖，韩军伟，刘念，韩龙飞，杨凯辉，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：