一种基于动态优化模型的云平台流处理资源分配方法组成比例

本发明专利技术公开了一种基于动态优化模型的云平台流处理资源分配方法。该方法首先定义流处理任务的算子性能模型；然后，引入通信开销因子并修正上述算子性能模型；之后，感知用户提交的流处理任务，并诊断其性能状态；随后，以默认并行度做参数预设，得到初步的模型拟合曲线，并持续拟合优化通信开销模型，使模型与性能指标的误差尽量小；紧接着，对算子性能模型进行更新，若需要伸缩，则进行任务重配置；最后，重复上述过程直到流处理作业完成。本发明专利技术可以考虑流处理算子在复杂任务中的通信开销，并构建一个非线性的算子性能模型，以实现云平台流处理系统资源的及时、合理分配。合理分配。合理分配。

【技术实现步骤摘要】
一种基于动态优化模型的云平台流处理资源分配方法


[0001]本专利技术涉及流数据系统和大数据云计算领域，尤其涉及一种基于动态优化模型的云平台流处理资源分配方法。

技术介绍

[0002]云计算作为一种支撑上层众多行业应用运行的新型信息化基础设施服务，正越来越受到行业重视。随着云计算技术的不断更迭演进，云原生技术因其轻量级、细粒度、高弹性等特点正被逐步推广使用。不同于传统云计算，云原生将资源分配和任务调度下降到了容器级别，能极大提升云计算的计算效率，也被众多的云厂商列为下一代的云计算的关键技术。云平台上的流处理系统在当前流处理系统研究的前沿。
[0003]现代的云平台流处理系统通常采用横向扩展的设计模式，其中，流处理的任务被表示为有向无环图，图中的每个节点代表一个流处理算子，每个算子从其上游的算子接收数据、处理数据并将处理结果发送到下游算子。没有上游的算子称为源算子，没有下游的算子称为汇算子。在实际运行时，分布式流处理系统以数据并行的方式进行计算。具体而言，一个算子会被映射到多个并行实例。一个算子的实例数被称为这个算子的并行度。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态优化模型的云平台流处理资源分配方法，包括以下步骤：(1)自动感知用户提交的流处理任务生成流处理任务的拓扑G，并将拓扑G加入到策略所需监控的作业列表中；对每一个需要监控的流处理系统作业，监控当前系统执行流处理系统作业的性能指标；(2)对拓扑G中的每个算子O
i
，建立算子O
i
所有实例的总处理速率o
i
[λ
p
]与算子当前并行度p
i
之间的处理映射关系建立算子O
i
所有实例的总输出速率o
i
[λ
o
]与算子当前并行度p
i
之间的输出映射关系从而能预测不同的并行度设置下的算子性能；所述映射关系的集合即为拓扑G的算子性能模型；(3)引入通信开销因子r
c
；然后，修正所述步骤(2)中的算子性能模型，得到引入通信开销后算子O
i
的非线性性能模型；(4)将因通信开销而无法利用的时间记为t
c
，将算子O
i
的t
c
与算子当前并行度p
i
的通信开销映射关系记作然后，以默认并行度提交流处理任务，得到初步的通信开销映射关系拟合曲线；然后，使用初始的算子性能模型以及目标输入流量，持续重配置流处理任务的拓扑G中的算子当前并行度p
i
，持续拟合算子性能模型，以减少总体误差；(5)根据算子性能模型，若重配置后的算子当前并行度p
i
不在采样集S
c
中，则使用最新的拟合曲线的结果，减少拟合误差，若算子当前并行度p
i
已出现在采样集S
c
中，则直接使用采样集S
c
中的值；若流处理任务需要进行资源重分配，则进行算子并行度和内存设置的重配置；(6)在流处理作业处理过程中，重复所述步骤(3)至步骤(5)，直到流处理作业全部完成。2.根据权利要求1所述的一种基于动态优化模型的云平台流处理资源分配方法，其特征在于，所述步骤(1...

【专利技术属性】
技术研发人员：吴侗雨，顾荣，殷瀚，钟伟畅，黄宜华，
申请(专利权)人：南京大学，
类型：发明
国别省市：