一种基于双层嵌套LSTM的超长多维时间序列分类方法技术

本发明专利技术公开了一种基于双层嵌套LSTM的超长多维时间序列分类方法，包括：获取超长多维时间序列数据集；将输入层、由i个LSTM网络并联而合成的网络、LSTM网络、全连接层、Batch Normalization层、Softmax层进行串联，得到双层嵌套LSTM模型；将已知所属类别的时间序列作为训练数据输入双层嵌套LSTM模型进行分类训练；使用训练后的双层嵌套LSTM模型对未知所属类别的目标时间序列进行分类识别。本方法适用于各种实际应用场景中的超长多维时间序列，能够对采集自这些现实场景中的超长时间序列数据进行有效处理，且不会出现训练时间长、参数更新慢，甚至梯度消失等问题。甚至梯度消失等问题。甚至梯度消失等问题。

【技术实现步骤摘要】
一种基于双层嵌套LSTM的超长多维时间序列分类方法


[0001]本专利技术涉及时间序列的数据挖掘
，具体涉及一种基于双层嵌套LSTM的超长多维时间序列分类方法。

技术介绍

[0002]多维时间序列是指在一段时间内按照一定的时间间隔频率对所观测的客观对象的多个变量值进行采样而得到的一段数据序列，它如实地记录了所观测对象在各个测量时间点上的状态值，是所观测对象真实运行状态的客观反映。多维时间序列数据是实值型的序列数据，具有数据量大、数据维度高以及数据是不断更新的等特点。近十几年来，随着物联网(IOT)和大数据技术的蓬勃发展，也带来了数据的爆发式增长，其中，多维时间序列更是随着硬件设备的快速迭代迎来了其增长的黄金时代。现在，多维时间序列已经普遍存在于各行各业，包括医疗产业的心电图时间序列数据、金融产业的金融时间序列数据、交通运输业的交通指数时间序列数据等，通过深入研究各个行业中的多维时序数据，可以挖掘出这些数据中隐藏着的信息，再将这些挖掘出来的信息加以利用来指导各自行业进一步的发展。
[0003]目前，针对多维时间序列的分类问题，传统的解决方法主要包括基于距离的方法、基于特征的方法和基于集成学习的方法等。基于距离的方法，主要是先通过定义距离函数来计算两个时间序列间的相似性，然后根据每条时间序列实例与训练数据中距离最近的实例来区分所属的类，最后将该序列实例分类到相对应的类中。基于特征的方法，一般包括两个步骤：首先是设计特征表示方法将序列转换成一种特征向量，然后训练基于序列特征的分类器对序列进行分类。基于集成学习(Ensemble Learning)的方法是将不同的分类器组合成一个新的分类器，将神经网络作为集成学习的基分类器可以提高网络的泛化能力与分类的效果。上述的这些方法都需要对数据进行复杂的预处理，或者进行复杂且繁重的特征工程，特别是基于特征的方法。
[0004]深度学习作为当前机器学习中的一个主流领域，其凭借海量数据驱动，可以自动地获取到深层且抽象的特征表达，很多时候可以替代人工设计的特征。深度学习算法是一种端到端的算法，它属于表示学习的一种，只需要数据输入和对应的目标输出，在此过程中省去了人工特征提取工程，这是深度学习区别于传统算法的特点。如果使用人工进行特征提取，那么人工特征提取的优劣决定了分类的精度。人工进行提取的特征不仅简单而且还不稳定，这就会影响模型的质量，不能对时间序列数据进行有效的特征提取，因此，相较于传统算法，利用深度学习模型来对时间序列数据进行分类往往能够得到更优的性能。
[0005]由于多维时间序列数据是按照采样时刻的先后顺序依次排列，前后数据之间存在着较强的时间依赖关系，而且多维时间序列数据还表现出变量之间的相关性。数据矩阵前一行数据对应前一个时刻的采样值，后一行数据对应后一个时刻的采样值，交换某两行数据会导致当前序列所含信息发生变化；每个序列含有多个时间变量，每个变量表示序列的一个维度，多个维度组合成一个整体，增加或删除变量将会变成一个完全不同的序列；不同
维度之间可能存在某种未知的线性或非线性相关性，不同类型的序列，其维度之间的相关关系可能不同，因此，这种相关关系亦是序列含有的重要信息。此外，在各种实际的工业应用场景中采集到的真实多维时间序列数据往往存在采样频率偏高的问题，采样频率越高，能够获取到的信息就越丰富，根据计算表达式
[0006][0007]其中，t为采样总时间；N为采样点数量；fs为采样频率。在采样点数量一定的情况下，采样频率越高，采集数据对应的采样总时间就越短。以医疗异常诊断领域的心电图数据为例，它包括P波、PR段、P
‑
R间期、QRS波群、ST段、T波、Q
‑
T间期和U波等多个维度的信息，实际上就是一种多维时间序列数据。在采集心电图数据时往往会选取较高的采样频率，而较高的采样频率可能会导致采样点数量相当多(即时间序列长度相当长)的一段心电图序列仅仅只能表示其在相当短的一段采样时间内的变化。之后在对其进行心电图样本切片时，为了使一次切得的心电图样本片段包含分类所应具有的全部特征，通常会让切片长度尽可能地大，即切得超长序列样本。在使用深度学习模型对这些超长序列进行处理时，往往会出现训练时间长、参数更新慢，甚至梯度消失等问题。因此，探究一种对真实超长多维时间序列数据高效可行的分类方法具有较好的研究和应用价值。

技术实现思路

[0008]为了解决现有技术中的上述不足，本专利技术提出了一种基于双层嵌套LSTM的超长多维时间序列分类方法，以达到提高超长多维时间序列数据的分类准确率的目的。
[0009]本专利技术是针对采集自各种实际应用场景中的真实时间序列数据的分类问题而提出的，可以广泛应用于医学异常诊断、金融异常检测、交通流量控制等领域。
[0010]为了达到上述专利技术目的，本专利技术基于深度学习思想，利用嵌套的两层长短期记忆网络(LSTM)，再结合“先分割，再拼合”的思想，提出了一种超长多维时间序列的分类模型。其中，通过嵌套(和堆叠相对)为LSTM增加网络的层深，使其能够有效提取超长时序样本的时间相关特征，并获得更好的分类性能。本专利技术采用的技术方案：一种基于双层嵌套LSTM的超长多维时间序列分类方法，其包括以下步骤：
[0011]S1：获取多维时间序列，并标注其所属类别；
[0012]S2：将输入层、一个由i个LSTM网络并联而合成的网络、一个LSTM网络、三个全连接层、两个Batch Normalization层、一个Softmax层进行串联，得到双层嵌套LSTM模型；
[0013]S3：将已知所属类别的时间序列样本作为训练数据输入双层嵌套LSTM模型进行分类训练，得到训练后的双层嵌套LSTM模型；
[0014]S4：使用训练后的双层嵌套LSTM模型对未知所属类别的目标时间序列样本进行分类识别。
[0015]进一步地，在各种实际应用场景中，使用专业仪器或技术手段实时获取多维时间序列数据，并依据该领域的专业知识对这些数据的所属类别进行标注。以医疗诊断领域的心电图异常数据识别为例，使用动态心电图仪实时采集使用者的所有心电图数据，包括P波、PR段、P
‑
R间期、QRS波群、ST段、T波、Q
‑
T间期和U波等多个维度的数据信息，对于各项数据显示正常的心电图数据标注为“正常”，对于各项数据显示心动过速、心动过缓、心房纤
颤、心房扑动、房性早搏、室性早搏等异常的心电图数据标注为“异常”；
[0016]进一步地，t时刻的LSTM记忆单元将t时刻的时间序列数据x
t
、t
‑
1时刻的LSTM记忆单元输出的隐藏层状态h
t
‑1和t
‑
1时刻的LSTM记忆单元输出的细胞状态C
t
‑1作为输入，并输出t时刻的LSTM记忆单元的隐藏层状态h
t
和t时刻的LSTM记忆单元的细胞状态C
t
，h
t
且C
t
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双层嵌套LSTM的超长多维时间序列分类方法，其特征在于，包括以下步骤：S1：获取多维时间序列样本，并标注所属类别，得到已知所属类别的时间序列样本；S2：将输入层、一个由i个LSTM网络并联而合成的网络、一个LSTM网络、三个全连接层、两个Batch Normalization层、一个Softmax层进行串联，得到双层嵌套LSTM模型；S3：将已知所属类别的时间序列样本作为训练数据输入双层嵌套LSTM模型进行分类训练，得到训练后的双层嵌套LSTM模型；S4：使用训练后的双层嵌套LSTM模型对未知所属类别的目标时间序列样本进行分类识别。2.根据权利要求1所述的基于双层嵌套LSTM的超长多维时间序列分类方法，其特征在于，步骤S2中，所述的LSTM网络包括:t时刻的LSTM记忆单元将t时刻的时间序列数据x
t
、t
‑
1时刻的LSTM记忆单元输出的隐藏层状态h
t
‑1和t
‑
1时刻的LSTM记忆单元输出的细胞状态C
t
‑1作为输入，并输出t时刻的LSTM记忆单元的隐藏层状态h
t
和t时刻的LSTM记忆单元的细胞状态C
t
，h
t
且C
t
和的计算表达式为：i
t
＝σ(W
i
·
[h
t
‑1,x
t
]+b
i
)f
t
＝σ(W
f
·
[h
t
‑1,x
t
]+b
f
)o
t
＝σ(W
o
·
[h
t
‑1,x
t
]+b
o
)h
t
＝o
t
·
tanh(C
t
)其中，W
i
、W
f
、W
C
和W
o
均为权重；b
...

【专利技术属性】
技术研发人员：曹斌，钱凤，侯晨煜，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：