一种基于全卷积注意力的多元时间序列分类方法及系统技术方案

本发明专利技术涉及一种基于全卷积注意力的多元时间序列分类方法及系统，本发明专利技术利用图像领域中全卷积的设计思路，使用2D卷积滤波器捕获多元时间序列局部变量特征以学习相邻变量之间的联动关系，同时使用2D卷积滤波器捕获多元时间序列局部时间特征以学习相邻时间之间的趋势信息，减弱突变信息对结果的影响；采用卷积加自注意力模型，多核卷积获取多种局部特征，自注意力模型计算多种局部特征和非局部特征的权重，提供了不同的视角去审视多元时间序列数据；采用注意力模型分别融合对应视角的变量和时间特征，同时学习到变量的全局依赖关系以及时间的全局依赖关系；采用权重矩阵方法融合多视角的特征，学习更全面更准确的时间变量交互特征。互特征。互特征。

【技术实现步骤摘要】
一种基于全卷积注意力的多元时间序列分类方法及系统


[0001]本专利技术涉及一种分装盒，尤其涉及一种基于全卷积注意力的多元时间序列分类方法及系统。

技术介绍

[0002]时间序列是按照时间排序的一组随机变量，它通常是在相等间隔的时间段内依照给定的采样率对某种潜在过程进行观测的结果。时间序列数据本质上反映的是某个或者某些随机变量随时间不断变化的趋势，而时间序列分类方法的核心就是从数据中挖掘出这种规律，并利用其对将来的数据做出类别预测。现实生活中，在一系列时间点上观测数据是司空见惯的活动，在农业、商业、气象、军事和医疗等研究领域都包含大量的时间序列数据。总之，目前时间序列数据正以不可预测的速度几乎产生于现实生活中的每一个应用领域。
[0003]多元时间序列数据分析是指对多变量时间序列的研究，实际中很多序列的变化规律都会受到其他序列的影响。例如，在工程上要研究电流与电压同时随时间变化的情况；在化学变化中要分析压力、温度和体积的变化关系；在气象预报分析时需要同时考虑该地区的雨量、气温和气压等记录资料。不仅要把他们各分量看做单变量过程来研究，而且要研究各分量之间的关系及变化规律，从而对时间序列做出预报和控制。多元时间序列数据的特点使多元时间序列分类存在以下两个难点：1、多元时间序列中的多元存在较强的局部关联性，同时也存在全局关联性，需要学习到多元之间局部与全局的信息；2、多元时间序列中的时间存在局部趋势性与全局趋势性，局部趋势信息可以减弱数据的突变对预测结果的影响维度，全局趋势信息结合局部趋势信息可以更准确的进行预测。
[0004]随着时间序列分类的应用不断扩大，一些研究人员针对时间序列分类技术做了大量探索和实践。专利申请号CN 202010638794.X提出了一种用于异常金融账号检测的金融时间序列分类方法及应用，通过自注意力可以同时提取到金融时间序列的全局序列模式，提高了分类准确率。专利申请号CN 201910136093.3提出了一种基于多头自注意力机制的卷积回声状态网络时序分类方法，通过多头自注意力机制对回声状态网络时序编码，再由一个浅层的卷积神经网络进行解码以实现高效分类。以上针对的是时间序列分类技术研究，针对多元时间序列分类技术的研究较少，时间序列分类技术无法解决多变量之间的依赖关系。

技术实现思路

[0005]本专利技术为克服上述的不足之处，目的在于提供一种基于全卷积注意力的多元时间序列分类方法及系统，本专利技术包括利用全卷积神经网络提取多变量的局部依赖关系；利用全卷积神经网络提取时间序列的局部依赖关系；利用多核卷积输出多种局部特征；利用自注意力模型计算不同视角的权重；利用注意力模型融合各视角的时间变量特征；利用权重矩阵融合多视角特征；以及多元时间序列分类模型训练。本专利技术可减弱突变信息对结果的影响；同时提供了不同的视角去审视多元时间序列数据；本专利技术还可以学习更全面更准确
的时间变量交互特征。
[0006]本专利技术是通过以下技术方案达到上述目的：一种基于全卷积注意力的多元时间序列分类方法，包括如下步骤：
[0007](1)对多元时间序列数据预处理，利用全卷积神经网络分别提取局部与非局部变量特征、局部与非局部时间特征，得到不同视角特征；
[0008](2)利用自注意力模型分别计算变量不同视角的自注意力权重和时间不同视角的自注意力权重，分别得到变量不同视角的自注意力向量和时间不同视角的自注意力向量；
[0009](3)利用注意力模型分别融合各视角的时间特征和变量特征，计算得到不同视角融合时间信息的变量向量和不同视角融合变量信息的时间向量；
[0010](4)利用权重矩阵分别计算融合多视角的变量向量和融合多视角的时间向量，得到融合多视角的时间变量向量；
[0011](5)基于得到的融合多视角的时间变量向量，训练得到多元时间序列分类模型，利用该模型实现多元时间序列分类。
[0012]作为优选，所述步骤(1)具体如下：
[0013](1.1)将收集的多元时间序列数据预处理为多元时间序列向量X∈R
N
×
V
×
M
，其对应的标签为Y∈R
N
，其中N为收集数据的总数，V为收集数据的变量数，M为收集数据的时间步；一个多元时间序列实例为其中表示第V个变量在第M时间步的值；
[0014](1.2)根据步骤(1.1)输出的多元时间序列向量X，将任意一个多元时间序列实例x∈R
V
×
M
输入到变量2D卷积层中，利用滤波器对某时间相邻变量做卷积计算，则滤波器大小为h
V
×
1，其中h
V
为卷积核窗口中的变量数，即学习h
V
个相邻变量信息，则卷积操作后输出特征为：
[0015][0016]其中b
V
∈R为偏差项，为卷积核的权重矩阵，f是卷积核函数，为多元时间序列向量在时间维度第j维以及变量维度第i维到第i+h
V
‑
1维的二维向量；在卷积过程中允许卷积核超出原始向量边界，并使得卷积后结果的大小与原来的一致，该滤波器应用于一个多元时间序列实例得到局部变量特征v_T为：
[0017][0018](1.3)输出多种局部变量特征：根据步骤(1.2)的变量2D卷积计算过程，初始化C个滤波器应用于一个多元时间序列实例，得到多种局部变量特征T
V
为：
[0019]T
V
＝[v_T1,v_T2,Λ,v_T
C
]∈R
V
×
M
×
C
[0020](1.4)基于步骤(1.3)输出的多种局部变量特征和步骤(1.1)输出的多元时间序列实例，采用增加卷积通道的方式得到局部与非局部变量特征T
V
'：
[0021]T
V
'＝[T
V
,x]∈R
V
×
M
×
(C+1)
。
[0022](1.5)根据步骤(1.1)输出的多元时间序列向量X，将任意一个多元时间序列实例x∈R
V
×
M
输入到时间2D卷积层中，利用滤波器对某变量相邻时间做卷积计算，则滤波器大小为1
×
h
M
，其中h
M
为卷积核窗口中的时间数，即学习变量在h
M
个相邻时间趋势变化信息，减弱突
变信息对结果的干扰，则卷积操作后输出特征为：
[0023][0024]其中b
M
∈R为偏差项，为卷积核的权重矩阵，f是卷积核函数，为多元时间序列向量在变量维度第i维以及时间维度第j维到第j+h
M
‑
1维的二维向量；卷积过程中允许卷积核超出原始向量边界，并使得卷积后结果的大小与原来的一致，该滤波器应用于一个多元时间序列实例得到特征m_T为：...

【技术保护点】

【技术特征摘要】
1.一种基于全卷积注意力的多元时间序列分类方法，其特征在于，包括如下步骤：(1)对多元时间序列数据预处理，利用全卷积神经网络分别提取局部与非局部变量特征、局部与非局部时间特征，得到不同视角特征；(2)利用自注意力模型分别计算变量不同视角的自注意力权重和时间不同视角的自注意力权重，分别得到变量不同视角的自注意力向量和时间不同视角的自注意力向量；(3)利用注意力模型分别融合各视角的时间特征和变量特征，计算得到不同视角融合时间信息的变量向量和不同视角融合变量信息的时间向量；(4)利用权重矩阵分别计算融合多视角的变量向量和融合多视角的时间向量，得到融合多视角的时间变量向量；(5)基于得到的融合多视角的时间变量向量，训练得到多元时间序列分类模型，利用该模型实现多元时间序列分类。2.根据权利要求1所述的一种基于全卷积注意力的多元时间序列分类方法，其特征在于：所述步骤(1)具体如下：(1.1)将收集的多元时间序列数据预处理为多元时间序列向量X∈R
N
×
V
×
M
，其对应的标签为Y∈R
N
，其中N为收集数据的总数，V为收集数据的变量数，M为收集数据的时间步；一个多元时间序列实例为其中表示第V个变量在第M时间步的值；(1.2)根据步骤(1.1)输出的多元时间序列向量X，将任意一个多元时间序列实例x∈R
V
×
M
输入到变量2D卷积层中，利用滤波器对某时间相邻变量做卷积计算，则滤波器大小为h
V
×
1，其中h
V
为卷积核窗口中的变量数，即学习h
V
个相邻变量信息，则卷积操作后输出特征为：其中b
V
∈R为偏差项，为卷积核的权重矩阵，f是卷积核函数，为多元时间序列向量在时间维度第j维以及变量维度第i维到第i+h
V
‑
1维的二维向量；在卷积过程中允许卷积核超出原始向量边界，并使得卷积后结果的大小与原来的一致，该滤波器应用于一个多元时间序列实例得到局部变量特征v_T为：(1.3)输出多种局部变量特征：根据步骤(1.2)的变量2D卷积计算过程，初始化C个滤波器应用于一个多元时间序列实例，得到多种局部变量特征T
V
为：T
V
＝[v_T1,v_T2,Λ,v_T
C
]∈R
V
×
M
×
C
(1.4)基于步骤(1.3)输出的多种局部变量特征和步骤(1.1)输出的多元时间序列实例，采用增加卷积通道的方式得到局部与非局部变量特征T
′
V
：T
′
V
＝[T
V
,x]∈R
V
×
M
×
(C+1)
。3.根据权利要求2所述的一种基于全卷积注意力的多元时间序列分类方法，其特征在于：所述步骤(1)还包括如下步骤：(1.5)根据步骤(1.1)输出的多元时间序列向量X，将任意一个多元时间序列实例x∈R
V
×
M
输入到时间2D卷积层中，利用滤波器对某变量相邻时间做卷积计算，则滤波器大小为1
×
h
M
，其中h
M
为卷积核窗口中的时间数，即学习变量在h
M
个相邻时间趋势变化信息，减弱突变信息对结果的干扰，则卷积操作后输出特征为：其中b
M
∈R为偏差项，为卷积核的权重矩阵，f是卷积核函数，为多元时间序列向量在变量维度第i维以及时间维度第j维到第j+h
M
‑
1维的二维向量；卷积过程中允许卷积核超出原始向量边界，并使得卷积后结果的大小与原来的一致，该滤波器应用于一个多元时间序列实例得到特征m_T为：(1.6)根据步骤(1.6)的时间2D卷积计算过程，初始化C个滤波器应用于一个多元时间序列实例，得到多种局部时间特征T
M
为：T
M
＝[m_T1,m_T2,Λ,m_T
C
]∈R
V
×
M
×
C
(1.7)基于步骤(1.6)输出的多种局部时间特征和步骤(1.1)输出的多元时间序列实例，采用增加卷积通道的方式得到局部与非局部时间特征T
′
M
：T
′
M
＝[T
M
,x]∈R
V
×
M
×
(C+1)
。4.根据权利要求1所述的一种基于全卷积注意力的多元时间序列分类方法，其特征在于：所述步骤(2)步骤如下：(2.1)根据步骤(1.4)输出的局部与非局部变量特征T
′
V
∈R
V
×
M
×
(C+1)
，每个变量都有C+1个不同的视角；以第一个变量为例，输出第一个变量不同视角向量v_1∈R
(C+1)
×
M
；(2.2)根据步骤(2.1)输出的第一个变量的不同视角向量v_1∈R
(C+1)
×
M
，初始化三个变量W
q
∈R
M
×
M
,W
k
∈R
M
×
M
,W
v
∈R
M
×
M
，分别与v_1进行点乘：q＝v_1
×
W
q
＝[q
1 q
2 Λ q
(C+1)
]∈R
(C+1)
×
M
k＝v_1
×
W
k
＝[k
1 k
2 Λ k
(C+1)
]∈R
(C+1)
×
M
v＝v_1
×
W
v
＝[v
1 v
2 Λ v
(C+1)
]∈R
(C+1)
×
M
首先计算第一个变量第一个视角与其他视角的注意力，第一个得分第二个得分以此类推第(C+1)个得分将进行softmax使分数得到标准化；该softmax分数确定第一个变量的第一个视角在各个视角表达的程度；显然，标准化后的将具有最高的softmax分数，即为第一个变量第一个视角的自我关注度；以此类推计算第一个变量各个视角与其他视角的注意力，得到第一个变量每个视角的自注意力权重(2.3)将步骤(2.2)输出的第一个变量每个视角的自我关注度与步骤(2.1)输出的第一个变量不同视角向量v_1∈R
(C+1)
×
M
相乘，得到第一个变量不同视角自注意力向量v_attention1＝v_w1×
v_1∈R
(C+1)
×
M
,同理计算得到局部与非局部变量特征T
′
V
∈R
V
×
M
×
(C+1)
中每个变量在不同视角的自注意力权重，并输出变量
不同视角自注意力向量T
V
_attention∈R
V
×
M
×
(C+1)
。5.根据权利要求4所述的一种基于全卷积注意力的多元时间序列分类方法，其特征在于：所述步骤(2)还包括如下步骤：(2.4)根据步骤(1.7)输出的局部与非局部时间特征T
′
M
∈R
V
×
M
×
(C+1)
，每个时间都有C+1个不同的视角；以第一个时间为例，输出第一个时间不同视角向量m_1∈R
(C+1)
×
V
；(2.5)根据步骤(2.4)输出的第一个时间不同视角向量m_1∈R
(C+1)
×
V
，初始化三个变量W
q'
∈R
V
×
V
,W
k'
∈R
V
×
V
,W
v'
∈R
V
×
V
，分别与m_1进行点乘得到q',k',v'，依次计算第一个时间第一个视角与其他视角的注意力，并进行softmax标准化得到第一个时间第一个视角的自我关注度，以此类推计算第一个时间各个视角与其他视角的注意力，得到第一个时间不同视角的自注意力权重(2.6)将步骤(2.5)输出的第一个时间每个视角的自我关注度与步骤(2.4)输出的第一个时间不同视角向量m_1∈R
(C+1)
×
V
相乘，得到第一个时间不同视角自注意力向量m_attention1＝m_w1×
，m_1∈R
(C+1)
×
V
,同理计算得到局部与非局部变量特征T
′
M
∈R
V
×
M
×
(C+1)
中每个时间在不同视角的自注意力权重，并输出时间不同视角自注意力向量T
M
_attention∈R
V
×
M
×
(C+1)
。6.根据权利要求1所述的一种基于全卷积注意力的多元时间序列分类方法，其特征在于：所述步骤(3)具体如下：...

【专利技术属性】
技术研发人员：金佳佳，韩潇，丁锴，王开红，李建元，陈涛，
申请(专利权)人：银江股份有限公司，
类型：发明
国别省市：