任务处理并行度的弹性调整方法及装置制造方法及图纸

本说明书提供一种任务处理并行度的弹性调整方法及装置。所述方法包括：在任务执行器针对数据源的分片存储数据进行处理的过程中，获取所述任务执行器反馈的延时信息；将所述延时信息与预设的正常延时阈值范围进行比较；在比较结果表明所述任务执行器的延时未落入所述正常延时阈值范围的情况下，调整所述任务执行器针对所述分片存储数据进行处理的并行度。行器针对所述分片存储数据进行处理的并行度。行器针对所述分片存储数据进行处理的并行度。

【技术实现步骤摘要】
任务处理并行度的弹性调整方法及装置


[0001]本说明书一个或多个实施例涉及实时计算
，尤其涉及一种任务处理并行度的弹性调整方法及装置。

技术介绍

[0002]云计算领域中的实时计算是一种通用服务，其客户数量较大，并且客户的使用场景复杂，解决的问题种类繁多，导致不同作业的计算复杂度差别较大，其中Flink、Kafka Streaming和Rocketmq Streaming是应用较为广泛的传统实时计算系统。
[0003]在相关技术中，基于上述传统实时计算系统提供实时计算服务时，需要提前预估数据吞吐量，根据预估数据吞吐量来确定数据分片存储时的分片数，并将分片数与任务执行器中的任务处理的并行度绑定。但在实际数据量远超预估吞吐量时，因并行度的限制无法及时处理数据而造成数据处理的延时，在实际数据量低于预估吞吐量时，虽然不存在延时但难免会造成任务执行器资源的浪费。

技术实现思路

[0004]有鉴于此，本说明书一个或多个实施例提供一种任务处理并行度的弹性调整方法及装置。
[0005]为实现上述目的，本说明书一个或多个实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理并行度的弹性调整方法，其特征在于，应用于实时计算系统的任务调度器，所述方法包括：在任务执行器针对数据源的分片存储数据进行处理的过程中，获取所述任务执行器反馈的延时信息；将所述延时信息与预设的正常延时阈值范围进行比较；在比较结果表明所述任务执行器的延时未落入所述正常延时阈值范围的情况下，调整所述任务执行器针对所述分片存储数据进行处理的并行度。2.根据权利要求1所述的方法，其特征在于，所述在比较结果表明所述任务执行器的延时未落入所述正常延时阈值范围的情况下，调整所述任务执行器针对所述分片存储数据进行处理的并行度，包括：在所述比较结果表明所述任务执行器的延时大于所述预设的正常延时阈值范围的阈值上限的情况下，按照相对较大的比例增大所述并行度；在所述比较结果表明所述任务执行器的延时小于所述预设的正常延时阈值范围的阈值下限的情况下，按照相对较小的比例减小所述并行度。3.根据权利要求1或2所述的方法，其特征在于，所述在比较结果表明所述任务执行器的延时未落入所述正常延时阈值范围的情况下，调整所述任务执行器针对所述分片存储数据进行处理的并行度，包括：在比较结果表明所述任务执行器的延时未落入所述正常延时阈值范围的情况下，确定所述并行度的当前取值与所述分片存储数据的分片数之间的大小关系；根据所述大小关系确定针对所述并行度的调整比例，并按照确定的比例调整所述并行度。4.根据权利要求3所述的方法，其特征在于，所述根据所述大小关系确定针对所述并行度的调整比例，包括：确定所述比较结果表明所述任务执行器的延时大于所述预设的正常延时阈值范围的阈值上限；若所述并行度的当前取值小于所述分片数，则确定所述并行度按第一预设比例增大后的预估取值：当所述预估取值超过所述分片数时，将所述调整比例确定为用于将所述并行度的取值增大至所述分片数；当所述预估取值未超过所述分片数时，将所述调整比例确定为所述第一预设比例；若所述并行度的当前取值不小于所述分片数，则将所述调整比例确定为所述第一预设比例。5.根据权利要求3所述的方法，其特征在于，所述根据所述大小关系确定针对所述并行度的调整比例，包...

【专利技术属性】
技术研发人员：王彬，唐恺，王星宇，孙永华，袁庆军，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：