一种流处理应用延迟性能预测系统、方法及存储介质技术方案

本发明专利技术涉及延迟预测技术领域，具体公开了一种流处理应用延迟性能预测系统、方法及存储介质，其中方法包括如下内容：S1、抽取流处理应用的特征，特征包括应用类特征、数据类特征和系统类特征；S2、对每个特征构建时间序列特征向量，以及当前时间点下的时间序列特征向量对应的下一时间点的延迟数值；S3、构建Attention

【技术实现步骤摘要】
一种流处理应用延迟性能预测系统、方法及存储介质


[0001]本专利技术涉及延迟预测
，特别涉及一种流处理应用延迟性能预测系统、方法及存储介质。

技术介绍

[0002]物联网(IoT)的普及使智能设备的数量和类型显著增加，导致流数据的数量和类型呈指数级增长。因此，许多领域都采用了流处理应用程序(Stream Processing Application,SPA)来处理实时应用场景。各个领域的从业者和科学家都依赖SPA的延迟预测，这对于SPA分析和主动性能优化至关重要。然而，由于SPA类型的多样性及其内部的复杂性，预测SPA延迟具有一定的挑战性。
[0003]目前，预测SPA的延迟的方案主要包括：方案一，提出了一个预测框架，用于估计SPA中特定算子的延迟(即流连接算子)，其基于时间和记录将窗口中的两个流连接起来。然而，这种方案只关注单个算子，而不是整个SPA。而SPA通常由多个算子组成，以执行特定的任务。因此，预测整个SPA的延迟比预测单个算子的延迟更具挑战性。方案二，提出了一个基于岭回归的模型来预测在Twitter Heron中的SPA延迟。尽管该模型可以预测SPA的延迟，但它只考虑了一般的系统特性，如CPU和内存使用情况，而没有考虑SPA在运行时的动态特性。方案三，提出了一个基于SPA中算子并行度的粗略延迟预测模型。但该模型的粒度较粗，仅考虑并行度，无法准确预测SPA的延迟。方案四，结合平均等待时间和平均计算时间提出了一个延迟模型，其只考虑了这两个因素，并没有准确预测SPA的具体延迟数值。方案五，提出了一个基于强化学习的模型来预测算子和SPA延迟。尽管该模型同时考虑了算子和SPA的延迟，但仍然没有预测SPA的具体延迟数值。综上，针对流处理任务的延迟性能预测，现有的方案只考虑了部分或特定类型的特征，导致预测的准确性不能满足要求。
[0004]为此，需要一种能够提高预测准确性的流处理应用延迟性能预测系统、方法及存储介质。

技术实现思路

[0005]本专利技术的目的之一在于，提供了一种流处理应用延迟性能预测方法，能够有效提高预测准确性。
[0006]为了解决上述技术问题，本申请提供如下技术方案：
[0007]一种流处理应用延迟性能预测方法，包括如下内容：
[0008]S1、抽取流处理应用的特征，特征包括应用类特征、数据类特征和系统类特征；
[0009]S2、对每个特征构建时间序列特征向量，以及当前时间点下的时间序列特征向量对应的下一时间点的延迟数值；
[0010]S3、构建Attention
‑
LSTM模型，基于历史的时间序列特征向量和延迟数值分别构建训练数据集和验证数据集；基于训练数据集对Attention
‑
LSTM模型进行训练，通过验证数据集验证训练后的Attention
‑
LSTM模型，如果满足预设要求，训练完成；
[0011]S4、将时间序列特征向量输入至训练完成的Attention
‑
LSTM模型，从Attention
‑
LSTM模型得到流处理应用的具体延迟数值。
[0012]进一步，所述步骤S3中，Attention
‑
LSTM模型包括输入层、长短期记忆循环神经网络层、注意力层、丢弃层、全连接层和输出层。
[0013]进一步，所述步骤S3中，训练过程具体包括：
[0014]S301、将训练样本集中的时间序列特征向量输入构建的Attention
‑
LSTM模型的输入层；输入层将时间序列特征向量输出至长短期记忆循环神经网络层；
[0015]S302、长短期记忆循环神经网络层通过循环神经网络的前项传播算法抽取时间依赖特征，将时间依赖特征传递至注意力层；
[0016]S303、注意力层通过权重大小赋予不同时间依赖特征不同的重要程度，将赋予权重的时间依赖特征输出至丢弃层；
[0017]S304、丢弃层接收到注意力层的输出的时间依赖特征后，以固定比例的方式随机冻结部分神经元，使其无法输出或输出为零，将从未冻结神经元得到的深层时空特征输出至全连接层；
[0018]S305、全连接层将深层特征展平为特征向量，学习深层特征与延迟之间的关系；
[0019]S306、通过参数学习算法，输出层将最终的延迟数值输出。
[0020]S307、通过验证数据集验证训练后的Attention
‑
LSTM模型，基于实际延迟数值和Attention
‑
LSTM模型输出的延迟数值计算预测准确性，判断准确性是否满足预设要求，如果满足预设要求，训练完成，如果不满足预设要求，重复步骤S301
‑
S306。
[0021]进一步，所述步骤S1中，应用类特征包括算子类型、算子并行度、算子时间窗口大小、输入流数量、输出流数量；
[0022]数据类特征包括数据到达速率、数据发送速率；
[0023]系统类特征包括CPU使用率、内存可用量、内存使用率、网络带宽利用率。
[0024]进一步，所述步骤S304中，每次训练时随机冻结神经元。
[0025]本专利技术的目的之二在于，提供一种流处理应用延迟性能预测系统，包括数据采集模块，模型创建模块，模型训练模块和预测模块；
[0026]数据采集模块用于从流处理应用中抽取特征，特征包括应用类特征、数据类特征和系统类特征；还用于对每个特征构建时间序列特征向量，以及当前时间点下的时间序列特征向量对应的下一时间点的延迟数值；还用于根据历史的时间序列特征向量和延迟数值分别构建训练数据集和验证数据集；
[0027]模型创建模块用于构建Attention
‑
LSTM模型，基于训练数据集对Attention
‑
LSTM模型进行训练，通过验证数据集验证训练后的Attention
‑
LSTM模型，如果满足预设要求，保存训练完成的Attention
‑
LSTM模型；
[0028]预测模块从数据采集模块获取时间序列特征向量，将时间序列特征向量输入至训练完成的Attention
‑
LSTM模型，从Attention
‑
LSTM模型得到流处理应用的具体延迟数值。
[0029]进一步，所述应用类特征包括算子类型、算子并行度、算子时间窗口大小、输入流数量、输出流数量；
[0030]数据类特征包括数据到达速率、数据发送速率；
[0031]系统类特征包括CPU使用率、内存可用量、内存使用率、网络带宽利用率。
[0032]进一步，所述Attention
‑
LSTM模型包括输入层、长短期记忆循环神经网络层、注意力层、丢弃层、全连接层和输出层。
[0033]进一步，所述模型训练模块用于将训练样本集中的时间序列特征向量输入构建的Attention
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流处理应用延迟性能预测方法，其特征在于，包括如下内容：S1、抽取流处理应用的特征，特征包括应用类特征、数据类特征和系统类特征；S2、对每个特征构建时间序列特征向量，以及当前时间点下的时间序列特征向量对应的下一时间点的延迟数值；S3、构建Attention
‑
LSTM模型，基于历史的时间序列特征向量和延迟数值分别构建训练数据集和验证数据集；基于训练数据集对Attention
‑
LSTM模型进行训练，通过验证数据集验证训练后的Attention
‑
LSTM模型，如果满足预设要求，训练完成；S4、将时间序列特征向量输入至训练完成的Attention
‑
LSTM模型，从Attention
‑
LSTM模型得到流处理应用的具体延迟数值。2.根据权利要求1所述的流处理应用延迟性能预测方法，其特征在于：所述步骤S3中，Attention
‑
LSTM模型包括输入层、长短期记忆循环神经网络层、注意力层、丢弃层、全连接层和输出层。3.根据权利要求2所述的流处理应用延迟性能预测方法，其特征在于：所述步骤S3中，训练过程具体包括：S301、将训练样本集中的时间序列特征向量输入构建的Attention
‑
LSTM模型的输入层；输入层将时间序列特征向量输出至长短期记忆循环神经网络层；S302、长短期记忆循环神经网络层通过循环神经网络的前项传播算法抽取时间依赖特征，将时间依赖特征传递至注意力层；S303、注意力层通过权重大小赋予不同时间依赖特征不同的重要程度，将赋予权重的时间依赖特征输出至丢弃层；S304、丢弃层接收到注意力层的输出的时间依赖特征后，以固定比例的方式随机冻结部分神经元，使其无法输出或输出为零，将从未冻结神经元得到的深层时空特征输出至全连接层；S305、全连接层将深层特征展平为特征向量，学习深层特征与延迟之间的关系；S306、通过参数学习算法，输出层将最终的延迟数值输出。4.根据权利要求1所述的流处理应用延迟性能预测方法，其特征在于：所述步骤S1中，应用类特征包括算子类型、算子并行度、算子时间窗口大小、输入流数量、输出流数量；数据类特征包括数据到达速率、数据发送速率；系统类特征包括CPU使用率、内存可用量、内存使用率、网络带宽利用率。5.根据权利要求3所述的流处理应用延迟性能预测方法，其特征在于：所述步骤S304中，每次训练时随机冻结神经元。6.一种流处理应用延迟性能预测系统，其特征在于，包括数据采集模块，模型创建模...

【专利技术属性】
技术研发人员：褚征，陈东文，
申请(专利权)人：浙大城市学院，
类型：发明
国别省市：