一种基于空间结构图学习的多维异步时序数据分类方法技术

本发明专利技术属于图计算与时序数据预测领域，公开了一种基于空间结构图学习的多维异步时序数据分类方法，该方法考虑到传感器间的互相作用，将每一时间点的多维数据分别构建成图，使用图神经网络实现各传感器数据信息更新，同时在信息传播的过程中对缺失的观测值进行填充，并利用基于时间间隔的Transformer机制学习不同时刻间的相互关系。本发明专利技术在对异步时序数据进行分类的过程中，实现了信息在不同传感器间相互传播，并对缺失的观测值进行填充，提高了算法在数据大量缺失下的鲁棒性，同时考虑时序数据在时序上的相关性，提高了多维异步时序数据的分类效果。据的分类效果。据的分类效果。

【技术实现步骤摘要】
一种基于空间结构图学习的多维异步时序数据分类方法


[0001]本专利技术属于图计算与时序数据预测领域，尤其涉及一种基于空间结构图学习的多维异步时序数据分类方法。

技术介绍

[0002]多维异步时序数据具有维度多、异步、时序性等特点，其在实际生活场景(如医疗、气象、金融、工业等)采样过程中存在采样观察时间间隔不规律的特性，因此对多维异步时序数据的分类分析存在很大的挑战。
[0003]针对多维异步时序数据，目前主流的做法是选择最小的异步采样时间间隔，对各维度的时序缺失数据进行数据预测补全，形成规则的多维时序数据；然后结合现有的深度学习算法完成分类任务。然而，在数据预测补全方面，现有的方法仅分别在单维数据中利用缺失值补全技术补全缺失数据，没有深度考虑多个维度之间的数据关联性，数据可行度低；在深度学习算法方面，当前分类算法没有考虑时序数据在时序上的相关性，分类效果较差。

技术实现思路

[0004]本专利技术的目的在于针对现有技术的不足，提供一种基于空间结构图学习的多维异步时序数据分类方法。
[0005]本专利技术的目的是通过以下技术方案来实现的：
[0006]一种基于空间结构图学习的多维异步时序数据分类方法，包括以下步骤：
[0007]步骤一：根据单个多维异步时序样本数据情况，将缺失的观测值赋值为0，将时序数据在单个样本上对齐，根据所有样本的最长时间长度，将所有样本时长对齐；
[0008]步骤二：针对每个样本，初始化所有传感器间的关系图结构为有向全连接图，其中每条有向边的权重为1，该关系图结构会随着消息传递过程进行更新迭代；
[0009]步骤三：针对每个样本，通过消息传递机制对样本每个时间点上所有传感器数据信息进行更新，并根据消息传播过程中产生的注意力权重更新图结构；
[0010]步骤四：考虑样本中每个传感器不同时间前后的关联，使用基于时间间隔的Transformer方法，集成传感器各个时间点的数据，生成单个传感器嵌入表达；
[0011]步骤五：将样本各传感器的数据与样本静态特征进行结合，获得样本最终特征，最后使用线性分类方法对样本进行分类训练。
[0012]进一步地，所述步骤一包括如下具体步骤：
[0013]对于给出的N个多维异步时序样本数据其中y
i
∈{1,2,...,C}是样本S
i
的标签，首先针对每个单一样本其中表示样本在F个传感器{u1,u2,...,u
F
}上观测到数据的时间，表示样本S
i
的传感器u在时间τ的观测值，若观测值缺失，则将其填充为0；将所有时间序列时长都统一转化为T，其中T为所有观测样本的最长时长，具体操作为：对于
所有时长大于T的序列，取其最近的T个时长；对于时长小于T的序列，通过在其后填充0的方式将其补齐为时长T。
[0014]进一步地，所述步骤二包括如下具体步骤：
[0015]样本传感器间关系图初始化阶段，为每个样本S
i
构建一个有向权重图G
i
＝{V,E
i
}，其中V表示所有传感器构成的节点集合，E
i
表示传感器两两之间构成的有向边集合，对于任意的表示传感器u对传感器v的影响大小，并且当传感器u上有观测值时，将会通过有向边传播信息给传感器v，当时，传感器u到传感器v之间无信息传播，根据有向边的定义可知一般情况下，当u≠v，
[0016]在进行信息传播之前，先将有向图定义为有向全连接图，并且每条有向边的权重均初始化为1，亦即对于样本S
i
，对任意两个传感器u、v，
[0017]进一步地，所述步骤三通过以下子步骤来实现：
[0018]步骤3.1：将样本在传感器上的观测值映射到高维空间，并根据传感器间的关系图，实现传感器间观测数据信息传播与更新；
[0019]步骤3.2：根据信息传播过程中计算的中间结果，更新传感器间的关系图结构与权重。
[0020]进一步地，所述步骤三包括如下具体步骤：
[0021]首先使用非线性映射将样本S
i
在传感器u上τ时刻的1维观测值映射到更高维空间其中σ是一个非线性激活函数，O
u
是仅与传感器u相关的可训练参数，d
h
＝4为预定义的维数参数；
[0022]然后，样本S
i
各个时刻的观测数据将根据构造的传感器间关系图进行L层信息传播，其中L＝2为预定义参数，在第l层，样本S
i
在传感器u上τ时刻的信息将汇聚其观测到的邻居节点信息及其前一时刻信息进行更新，更新公式如下：
[0023][0024]其中
⊙
表示点乘运算，μ＝0.3为预定的前一时刻对当前时刻信息的影响权重参数，w
u
、是仅与传感器u、v相关的可训练参数，表示在样本S
i
上传感器u对传感器v的影响大小，是规范化后的τ时刻传感器v对u的注意力权重，亦即在样本S
i
中τ时刻传感器v信息对传感器u的影响大小/重要性权重，计算过程如下：
[0025][0026][0027]其中是仅与传感器u相关的可训练向量参数，d
l
＝16为预定义参数，是将从d
h
维空间映射到d
l
+d
p
维空间的可训练参数，d
p
＝16为预定义参数，是时刻τ的位置编码，定义为一系列频率为F的三角函数：
[0028][0029]其中2k、2k+1表示特征维度，位置编码的奇数列和偶数列计算方式不同，F＝10000和d
p
＝16为预定义参数；
[0030]在信息传播的过程中，通过汇聚学习到的不同时刻不同传感器间的注意力权重信息，来更新全局传感器间关系图的权重：
[0031][0032]并通过对每个样本的最小的K％边权重进行剪枝，从而更新样本上传感器间关系图的结构，其中K＝50为预定义的参数。
[0033]进一步地，所述步骤四通过以下子步骤来实现：
[0034]步骤4.1：将样本在每个传感器上每个时刻的嵌入表达信息与时间位置编码信息进行拼接，获得包含时间位置信息的嵌入表达；
[0035]步骤4.2：使用基于时间间隔的Transformer机制，学习各个时间步间的相互影响后信息；
[0036]步骤4.3：将各个样本每个传感器上有观测值的时间点的嵌入表达进行求和平均，获得最终各个样本每个传感器对应的掩码传感器嵌入表达。
[0037]进一步地，所述步骤四包括如下具体步骤：
[0038]传感器嵌入表达生成阶段，针对样本S
i
，首先将其在传感器u上时刻τ嵌入表达信息与时间位置编码p
τ
进行拼接*
T
表示矩阵的转置，此时表示样本S
i
在传感器u上时刻τ的包含时间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空间结构图学习的多维异步时序数据分类方法，其特征在于，包括以下步骤：步骤一：根据单个多维异步时序样本数据情况，将缺失的观测值赋值为0，将时序数据在单个样本上对齐，根据所有样本的最长时间长度，将所有样本时长对齐；步骤二：针对每个样本，初始化所有传感器间的关系图结构为有向全连接图，其中每条有向边的权重为1，该关系图结构会随着消息传递过程进行更新迭代；步骤三：针对每个样本，通过消息传递机制对样本每个时间点上所有传感器数据信息进行更新，并根据消息传播过程中产生的注意力权重更新图结构；步骤四：考虑样本中每个传感器不同时间前后的关联，使用基于时间间隔的Transformer方法，集成传感器各个时间点的数据，生成单个传感器嵌入表达；步骤五：将样本各传感器的数据与样本静态特征进行结合，获得样本最终特征，最后使用线性分类方法对样本进行分类训练。2.根据权利要求1所述的多维异步时序数据分类方法，其特征在于，所述步骤一包括如下具体步骤：对于给出的N个多维异步时序样本数据其中y
i
∈{1,2,...,C}是样本S
i
的标签，首先针对每个单一样本其中表示样本在F个传感器{u1,u2,...,u
F
}上观测到数据的时间，表示样本S
i
的传感器u在时间τ的观测值，若观测值缺失，则将其填充为0；将所有时间序列时长都统一转化为T，其中T为所有观测样本的最长时长，具体操作为：对于所有时长大于T的序列，取其最近的T个时长；对于时长小于T的序列，通过在其后填充0的方式将其补齐为时长T。3.根据权利要求1所述的多维异步时序数据分类方法，其特征在于，所述步骤二包括如下具体步骤：样本传感器间关系图初始化阶段，为每个样本S
i
构建一个有向权重图G
i
＝{V,E
i
}，其中V表示所有传感器构成的节点集合，E
i
表示传感器两两之间构成的有向边集合，对于任意的表示传感器两两之间构成的有向边集合，对于任意的表示传感器u对传感器v的影响大小，并且当传感器u上有观测值时，将会通过有向边传播信息给传感器v，当时，传感器u到传感器v之间无信息传播，根据有向边的定义可知一般情况下，当u≠v，在进行信息传播之前，先将有向图定义为有向全连接图，并且每条有向边的权重均初始化为1，亦即对于样本S
i
，对任意两个传感器u、v，4.根据权利要求1所述的多维异步时序数据分类方法，其特征在于，所述步骤三通过以下子步骤来实现：步骤3.1：将样本在传感器上的观测值映射到高维空间，并根据传感器间的关系图，实现传感器间观测数据信息传播与更新；步骤3.2：根据信息传播过程中计算的中间结果，更新传感器间的关系图结构与权重。5.根据权利要求1所述的多维异步时序数据分类方法，其特征在于，所述步骤三包括如下具体步骤：
首先使用非线性映射将样本S
i
在传感器u上τ时刻的1维观测值映射到更高维空间其中σ是一个非线性激活函数，O
u
是仅与传感器u相关的可训练参数，d
h
＝4为预定义的维数参数；然后，样本S
i
各个时刻的观测数据将根据构造的传感器间关系图进行L层信息传播，其中L＝2为预定义参数，在第l层，样本S
i
在传感器u上τ时刻的信息将汇聚其观测到的邻居节点信息及其前一时刻信息进行更新，更新公式如下：其中
⊙
表示点乘运算，μ＝0.3为预定的前一时刻对当前时刻信息的影响权重参数，w
u
、是仅与传感器u、v相关的可训练参数，表示在样本S
i
上传感器u对传感器v的影响大小，是规范化后的τ时刻传感器v对u的注意力权重，亦即在样本S
i
中τ时刻传感器v信息对传感器u的影响大小/重要性权重，计算过程如下：信息对传感器u的影响大小/重要性权重，计算过程如下：其中是仅与传感器u相关的可训练向量参数，d
l
＝16为预定义参数，是将从d
h
维空间映射到d
l
+d
p
维空间的可训练参数，d
p
＝16为预定义参数，是时刻τ的位置编码，定义为一系列频率为F的三角函数：其中2k、2k+1表示特征维度，位置编码的奇...

【专利技术属性】
技术研发人员：王振，姜婷，许增辉，张吉，张阳，
申请(专利权)人：之江实验室，
类型：发明
国别省市：