【技术实现步骤摘要】
本专利技术涉及神经网络，特别涉及基于图神经网络的流处理任务延迟预测方法及系统。
技术介绍
1、随着物联网(iot)技术的迅猛发展，终端设备的数量显著增加，包括智能设备、车载设备、无人机等。这一趋势导致了流数据在数量和种类上的爆发式增长。根据国际数据公司(idc)的《数据时代2025》白皮书，到2025年，全球互联网数据预计将达到惊人的163zb，实时流数据将占据其中超过四分之一。流数据的独特特征，如其巨大容量、快速波动和持续生成，对传统的批处理计算方法构成了重大挑战。
2、因此，涌现了大量的流处理系统(sps)，包括apache storm、spark streaming和apache flink等，用于执行流处理任务(spt)。对于spt的延迟预测在监控、建模、分析、参数调整和负载优化等多个领域具有至关重要的意义。作为流计算领域的一个关键问题，它结合了理论分析和实验测量，用于预测分布式sps中运行的spt的实时延迟。
3、例如，在评估需求和成本方面，spt的延迟预测使得可以就资源分配做出明智决策。在调度器设计方面，利用spt延迟预测的历史信息可以建立计算资源和任务之间的密切关联，从而提高整体系统利用效率。在参数优化和负载优化的背景下，提前预测spt延迟，可以启用相应的优化策略，主动执行，有助于避免由于延迟策略实施滞后而导致的性能下降，甚至系统崩溃。
4、由于实时性、可变性、无序性、无限性和动态影响等特征在运行时影响任务延迟，准确预测延迟是一项艰巨的任务。此外，目前的方法难以解决多变量时间序列
技术实现思路
1、本专利技术的目的之一在于，提供基于图神经网络的流处理任务延迟预测系统，能够准确预测流处理任务的延迟。
2、为了解决上述技术问题，本申请提供如下技术方案：
3、基于图神经网络的流处理任务延迟预测系统，包括数据获取模块、卷积神经网络、图神经网络、注意力层和全连接层；
4、数据获取模块用于接收输入数据，输入数据包括图结构数据和多变量时间序列数据；
5、卷积神经网络用于对多变量时间序列数据进行特征提取，得到时序特征；
6、图神经网络用于从图结构数据中提取空间特征，将时序特征和空间特征整合成时空特征；
7、注意力层用于将各时空特征赋予不同的权重；
8、全连接层用于获取注意力层输出的结果，学习特征与延迟值之间的关系，输出延迟值预测结果。
9、进一步，所述图结构数据包括流处理任务中的有向无环图，定义为图g＝(v,e)，图中节点表示算子，节点v∈v，节点属性为算子类型；边为流处理任务中算子之间的数据流，边e∈e，e＝(vi,vj)，表示从vi指向vj的一条边；
10、多变量时间序列数据为：x∈rn×t，其中n为图中的节点数，t为多变量时间序列长度。
11、进一步，所述卷积神经网络包括多个1d卷积层，1d卷积层使用a个卷积核块在多变量时间序列数据的节点上执行特征提取，提取时序特征。
12、进一步，所述卷积神经网络的输入维度为(n,t)，调整后，输出维度为(n,t*,f)，其中t*是多变量时间序列的剩余长度，f是卷积核的数量。
13、进一步，所述图神经网络包括b个图卷积层，用于使用b个图卷积块处理从图中提取的邻接矩阵a计算得到的空间特征的特征向量，融合1d卷积层提取的时序特征，得到时空特征。
14、进一步，所述图g＝(v,e)中，每个节点v都获得一个形状为(n,f)的特征向量，并包括算子类型作为节点特征，其中f表示特征向量的长度；
15、这b个图卷积层利用节点特征作为消息，根据图g的结构进行传播，传播表示为：
16、
17、其中，hl∈rn×h,表示图神经网络的第l层的节点特征，是图g的度数矩阵，是图g的邻接矩阵，wl是图神经网络迭代优化过程中的可学习参数。
18、进一步，所述注意力层的自注意力机制的公式如下：
19、
20、其中，q、k和v分别表示query、key、value，由x和权重参数计算得到，x为注意力层的输入；
21、q＝wqx，k＝wkx，v＝wvx，其中wq,wk和wv是可学习的权重；
22、自注意力层的输入和输出维度为(128n×1)。
23、本专利技术的目的之二在于，提供基于图神经网络的流处理任务延迟预测方法，使用上述系统进行流处理任务的延迟预测。
24、有益效果：本方案为了捕捉时空依赖关系，将流处理任务自然转化为有向无环图，其中算子表示图中的节点，数据流表示图中的边。为了有效学习时空特征并准确预测流处理任务延迟，本方案首先采用多个1d卷积层从多变量时间序列数据中提取时序特征。随后，利用多个图卷积层从有向无环图中捕捉空间特征，将时序特征和空间特征整合成时空特征，最后采用全连接层输出延迟值。
25、本方案通过结合cnn、gnn和注意机制，将图结构输入数据和多变量时间序列数据进行组合，实现了对流处理任务的延迟的准确预测。
本文档来自技高网...【技术保护点】
1.基于图神经网络的流处理任务延迟预测系统，其特征在于，包括数据获取模块、卷积神经网络、图神经网络、注意力层和全连接层；
2.根据权利要求1所述的基于图神经网络的流处理任务延迟预测系统，其特征在于：所述图结构数据包括流处理任务中的有向无环图，定义为图G＝(V,E)，图中节点表示算子，节点v∈V，节点属性为算子类型；边为流处理任务中算子之间的数据流，边e∈E，e＝(vi,vj)，表示从vi指向vj的一条边；
3.根据权利要求2所述的基于图神经网络的流处理任务延迟预测系统，其特征在于：所述卷积神经网络包括多个1D卷积层，1D卷积层使用a个卷积核块在多变量时间序列数据的节点上执行特征提取，提取时序特征。
4.根据权利要求3所述的基于图神经网络的流处理任务延迟预测系统，其特征在于：所述卷积神经网络的输入维度为(N,T)，调整后，输出维度为(N,T*,F)，其中T*是多变量时间序列的剩余长度，F是卷积核的数量。
5.根据权利要求4所述的基于图神经网络的流处理任务延迟预测系统，其特征在于：所述图神经网络包括b个图卷积层，用于使用b个图卷积块处理
6.根据权利要求5所述的基于图神经网络的流处理任务延迟预测系统，其特征在于：所述图G＝(V,E)中，每个节点v都获得一个形状为(N,F)的特征向量，并包括算子类型作为节点特征；
7.根据权利要求6所述的基于图神经网络的流处理任务延迟预测系统，其特征在于：所述注意力层的自注意力机制的公式如下：
8.基于图神经网络的流处理任务延迟预测方法，其特征在于，使用权利要求1-7任一项所述系统进行流处理任务的延迟预测。
...【技术特征摘要】
1.基于图神经网络的流处理任务延迟预测系统，其特征在于，包括数据获取模块、卷积神经网络、图神经网络、注意力层和全连接层；
2.根据权利要求1所述的基于图神经网络的流处理任务延迟预测系统，其特征在于：所述图结构数据包括流处理任务中的有向无环图，定义为图g＝(v,e)，图中节点表示算子，节点v∈v，节点属性为算子类型；边为流处理任务中算子之间的数据流，边e∈e，e＝(vi,vj)，表示从vi指向vj的一条边；
3.根据权利要求2所述的基于图神经网络的流处理任务延迟预测系统，其特征在于：所述卷积神经网络包括多个1d卷积层，1d卷积层使用a个卷积核块在多变量时间序列数据的节点上执行特征提取，提取时序特征。
4.根据权利要求3所述的基于图神经网络的流处理任务延迟预测系统，其特征在于：所述卷积神经网络的输入维度为(n,t)，调整后，输...
【专利技术属性】
技术研发人员：褚征，陈东文，张玉梁，周建，俞劲屹，夏逸峰，姚佳炜，
申请(专利权)人：浙大城市学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。