一种基于多元时序图结构的异步时间序列分类方法技术

本发明专利技术属于图计算与时间序列序列分类领域，公开了一种基于多元时序图网络的异步时间序列分类方法，该方法构建了一个多元交互模块来处理缺失信息，并自动提取图结构关系，设计了一种新的邻接图传播机制来聚合当前和以前的多步快照的邻居信息，并构建了基于掩码时间感知的注意力模块用于学习观测值之间的时间相关性。本发明专利技术在对异步时序数据进行分类的过程中，实现了对缺失观测值的填充以及信息在不同传感器间相互传播，提高了算法在数据大量缺失下的鲁棒性，同时考虑时序数据在时间戳上下文的绝对意义和时间间隔的异步性，提高了多维异步时序数据的分类效果。异步时序数据的分类效果。异步时序数据的分类效果。

【技术实现步骤摘要】
一种基于多元时序图结构的异步时间序列分类方法


[0001]本专利技术属于图计算与时间序列序列分类领域，尤其涉及一种基于多元时序图网络的异步时间序列分类方法。

技术介绍

[0002]多维异步时间序列常出现在医学、金融学、气候科学等日常领域，它是观测时间间隔不规则的采样序列，序列之间的采样率通常也是异步的，且数据中存在较多不规则缺失。多维异步时间序列一般用于分类、预测等任务，例如，基于医疗中的非规则的健康记录数据分析，进行患者死亡风险预测、疾病早期检测、患者分型等等。
[0003]传统的分类算法，如机器学习、神经网络等都要求数据是规则的，具体包括固定的数据维度，连续且固定的时间采样。当前学者们主要通过研究填充对齐数据的方法，补全缺失信息，将数据处理成规则的时间序列后，再使用经典的分类算法进行分析。这些方法数据处理的方法，仅仅在单数据维度中结合时间依赖性进行简单的数据填充、插值补全，没有充分考虑到多个数据维度之间(传感器之间)存在的相互依赖性，导致最后的分类效果鲁棒性不强。

技术实现思路

[0004]本专利技术的目的在于针对现有技术的不足，提供一种基于多元时序图网络的异步时间序列分类方法。
[0005]本专利技术的目的是通过以下技术方案来实现的：
[0006]一种基于多元时序图网络的异步时间序列分类方法，包括以下步骤：
[0007]步骤一：根据单个异步时序样本数据情况，将时序数据在单个样本上对齐，没有观测值的时刻定义为观测值缺失；
[0008]步骤二：针对每个样本，在多元交互模块中，学习所有传感器之间的关联权重，构建有向时序图网络；
[0009]步骤三：针对每个样本，在邻接图邻居聚合模块中，通过邻接图消息传播机制对样本每个时间点上所有传感器数据信息进行更新；
[0010]步骤四：考虑样本中每个传感器不同时间前后的关联，构建基于掩码时间感知的注意力模块，学习观测值间的时间相关性，集成传感器各个时间点的数据，生成单个传感器嵌入表达；
[0011]步骤五：将样本各传感器的数据与样本静态特征进行结合，获得样本最终特征，最后使用线性分类方法对样本进行分类训练。
[0012]进一步地，所述步骤二通过以下子步骤来实现：
[0013]步骤2.1：使用可训练衰减机制捕捉变量的缺失模式，对缺失的观测值进行填充；
[0014]步骤2.2：将样本在传感器上的观测值映射到高维空间，获得节点的初始表示；
[0015]步骤2.3：通过匹配节点的嵌入来计算注意力系数，即学习传感器间的关联权重，
从而构建有向时序图网络。
[0016]进一步地，所述步骤二包括如下具体步骤：
[0017]将每个样本看作一个有向图其中表示d个传感器构成的节点集合，节点v
i
表示第i个传感器，是有向图的带权有向边，其中e
k,ij
＞0表示从节点v
i
到v
j
边的权重，e
k,ij
＝0表示从节点v
i
到v
j
之间不存在边，之间不存在边，其中表示在时刻t节点v
i
对v
j
的重要性；
[0018]对于样本s
k
在第i个传感器上t时刻被观测到的数据使用非线性映射将其映射到更高维空间其中为样本s
k
节点v
i
在t时刻的初始表示，d
h
＝4表示向量维度；如果样本s
k
在第i个传感器上t时刻的值未被观测到，则通过引入可训练衰减机制对缺失值进行填充后将其映射到高维空间：
[0019][0020]其中是其最近时间τ＜t的观测值，为第j个传感器观测值的经验均值，衰变率为可训练变量，w
λ
、b
λ
为可训练参数；
[0021]在获得节点的初始表示后，通过匹配节点的嵌入来计算注意系数，即时刻t节点v
i
对v
j
的重要性：
[0022][0023]其中c和W
α
为可训练参数，σ为sigmoid激活函数，为时刻t的时间戳编码向量表示，d
t
＝12表示向量的维度，为预定义的参数，计算方式如下：
[0024][0025]其中φ(t)[u]表示时间戳t编码向量φ(t)的第u维值，为可训练参数集合；
[0026]根据学习到的注意力系数，即时刻t节点v
i
对v
j
的重要性，对样本两两节点的连接及相关权重进行重构：
[0027][0028]通过对每个样本前K％最小的权重的边进行剪枝的方式减少信息冗余并加强数据的稀疏性，其中K＝50为预定义的参数。
[0029]进一步地，所述步骤三通过以下子步骤来实现：
[0030]步骤3.1：使用图注意力机制学习当前时刻和前R步时刻的邻居节点对当前节点的影响权重；
[0031]步骤3.2：聚合当前时刻和前R步时刻的邻居信息，对当前节点的信息进行更新，从而更新每个时间点上所有传感器数据的信息。
[0032]进一步地，所述步骤三包括如下具体步骤：
[0033]对每个邻居的影响进行建模，并在此影响下聚集邻居节点信息，使用一种特殊的R步马尔可夫性质的图卷积模块，来建模同一时刻内和跨时域间的依赖，学习邻接图的时间和结构信息，第l层的聚合过程如下：
[0034][0035]其中W
(l)
和为可训练参数，R＝2表示最长时间步，为预定义参数，表示节点v
i
在时刻t
‑
r
的邻居节点，t
‑
r
表示时刻t前第r个时刻，t
‑0＝t，表示在第l层节点v
i
在t时刻和其在t
‑
r
时刻的邻居v
j
的注意力得分，其中注意力得分根据节点的嵌入表达使用全连接神经网络和softmax函数获得，图卷积模块总层数L＝2，从而获得节点多跳邻居节点信息。
[0036]进一步地，所述步骤四通过以下子步骤来实现：
[0037]步骤4.1：将样本在每个传感器上每个时刻的嵌入表达信息与时间位置编码信息进行拼接，获得包含时间位置信息的嵌入表达；
[0038]步骤4.2：使用基于时间间隔的Tansformer机制，学习各个时间步间的相互影响后信息；
[0039]步骤4.3：将各个样本每个传感器上有观测值的时间点的嵌入表达进行求和平均，获得最终各个样本每个传感器对应的掩码传感器嵌入表达。
[0040]进一步地，所述步骤四包括如下具体步骤：
[0041]针对样本s
k
中节点v
i
在上一步最后一层，即第L＝2层获得的长度的嵌入表达序列将其与对应时间戳编码向量进行拼接，获得包含时间位置信息的嵌入表达矩阵
[0042]使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多元时序图网络的异步时间序列分类方法，其特征在于，包括以下步骤：步骤一：根据单个异步时序样本数据情况，将时序数据在单个样本上对齐，没有观测值的时刻定义为观测值缺失；步骤二：针对每个样本，在多元交互模块中，学习所有传感器之间的关联权重，构建有向时序图网络；步骤三：针对每个样本，在邻接图邻居聚合模块中，通过邻接图消息传播机制对样本每个时间点上所有传感器数据信息进行更新；步骤四：考虑样本中每个传感器不同时间前后的关联，构建基于掩码时间感知的注意力模块，学习观测值间的时间相关性，集成传感器各个时间点的数据，生成单个传感器嵌入表达；步骤五：将样本各传感器的数据与样本静态特征进行结合，获得样本最终特征，最后使用线性分类方法对样本进行分类训练。2.根据权利要求1所述的异步时序数据分类方法，其特征在于，所述步骤二通过以下子步骤来实现：步骤2.1：使用可训练衰减机制捕捉变量的缺失模式，对缺失的观测值进行填充；步骤2.2：将样本在传感器上的观测值映射到高维空间，获得节点的初始表示；步骤2.3：通过匹配节点的嵌入来计算注意力系数，即学习传感器间的关联权重，从而构建有向时序图网络。3.根据权利要求1所述的异步时序数据分类方法，其特征在于，所述步骤二包括如下具体步骤：将每个样本看作一个有向图其中表示d个传感器构成的节点集合，节点v
i
表示第i个传感器，是有向图的带权有向边，其中e
k,ij
＞0表示从节点v
i
到v
j
边的权重，e
k,ij
＝0表示从节点v
i
到v
j
之间不存在边，之间不存在边，其中表示在时刻t节点v
i
对v
j
的重要性；对于样本s
k
在第i个传感器上t时刻被观测到的数据使用非线性映射将其映射到更高维空间其中为样本s
k
节点v
i
在t时刻的初始表示，d
h
＝4表示向量维度；如果样本s
k
在第i个传感器上t时刻的值未被观测到，则通过引入可训练衰减机制对缺失值进行填充后将其映射到高维空间：其中是其最近时间τ＜t的观测值，为第j个传感器观测值的经验均值，衰变率为可训练变量，w
λ
、b
λ
为可训练参数；在获得节点的初始表示后，通过匹配节点的嵌入来计算注意系数，即时刻t节点v
i
对v
j
的重要性：
其中c和W
α
为可训练参数，σ为sigmoid激活函数，为时刻t的时间戳编码向量表示，d
t
＝12表示向量的维度，为预定义的参数，计算方式如下：其中φ(t)[u]表示时间戳t编码向量φ(t)的第u维值，为可训练参数集合；根据学习到的注意力系数，即时刻t节点v
i
对v
j
的重要性，对样本两两节点的连接及相关权重进行重构：通过对每个样本前K％最小的权重的边进行剪枝的方式减少信息冗余并加强数据的稀疏性，其中K＝50为预定义的参数。4.根据权利要求1所述的异步时序数据分类方法，其特征在于，所述步骤三通过以下子步骤来实现：步骤3.1：使用图注意力机制学习当前时刻和前R步时刻的邻居节点对当前节点的影响权重；步骤3.2：聚合当前时刻和前R步时刻的邻居信息，对当前节点的信息进行更新，从而更新每个时间点上所有传感器数据的信息。5.根据权利要求1所述的异步时序数据分类方法，其特征在于，所述步骤三包括如下具体步骤：对每个邻居的影响进行建模，并在此影响下聚集邻居节点信息，使用一种特殊的R步马尔可夫性质的图卷积模块，来建模同一时刻内和跨时域间的依赖，学习邻接图的时间和结构信息，第l层的聚合过程如下：其中W
(l)
和为可训练参数，R＝2表示最长时间步，为预定义参数，表示节点v
i
在时刻t
‑
r

【专利技术属性】
技术研发人员：王振，姜婷，许增辉，张吉，
申请(专利权)人：之江实验室，
类型：发明
国别省市：