本公开提供了一种资源调度方法、资源调度装置、计算机可读存储介质与电子设备，属于计算机技术领域。所述方法包括：获取实时处理任务的性能监测数据；对所述性能监测数据中各算子的性能数据进行分析，确定所述实时处理任务中各算子的目标并行度；按照各所述算子的目标并行度对所述实时处理任务进行扩容或缩容处理。本公开可以实现算子级的弹性资源伸缩，提高数据处理效率。高数据处理效率。高数据处理效率。
【技术实现步骤摘要】
资源调度方法、资源调度装置、存储介质与电子设备
[0001]本公开涉及计算机
，尤其涉及一种资源调度方法、资源调度装置、计算机可读存储介质与电子设备。
技术介绍
[0002]随着计算机技术等的发展，各类应用系统的规模和产生的数据量不断增加，为了实时监测网络和应用系统的运行状态、挖掘数据价值，需要对应用系统产生的数据进行实时处理。
[0003]然而，在数据的实时处理中，数据生产率等会随着业务使用情况动态变化，如果将数据的处理资源设置为固定值，则会导致在一些时刻数据的处理资源无法匹配数据的处理需求，例如，当数据的处理资源大于当前时刻的数据生产率的资源需求时，虽然能够完成数据处理任务，但是会导致部分处理资源被浪费，当数据的处理资源小于当前时刻的数据生产率的资源需求时，则会导致应用系统不能及时处理所有数据，甚至可能会引起整个系统崩溃。
[0004]因此，需要提供一种能够动态调整数据处理资源的方法。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0006]本公开提供了一种资源调度方法、资源调度装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善现有技术无法动态调整数据处理资源的问题。
[0007]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0008]根据本公开的第一方面，提供一种资源调度方法，所述方法包括：获取实时处理任务的性能监测数据；对所述性能监测数据中各算子的性能数据进行分析，确定所述实时处理任务中各算子的目标并行度；按照各所述算子的目标并行度对所述实时处理任务进行扩容或缩容处理。
[0009]在本公开的一种示例性实施方式中，所述对所述性能监测数据中各算子的性能数据进行分析，确定所述实时处理任务中各算子的目标并行度，包括：依据所述性能监测数据判断所述实时处理任务中各算子的数据处理速率与各所述算子对应的源算子的数据处理速率是否匹配；在确定任一算子的数据处理速率与所述任一算子对应的源算子的数据处理速率不匹配时，根据所述任一算子与所述实时处理任务中其他算子的节点关系和所述任一算子的性能数据，计算所述实时处理任务中各所述算子的目标并行度。
[0010]在本公开的一种示例性实施方式中，所述根据所述任一算子与所述实时处理任务中其他算子的节点关系和所述任一算子的性能数据，计算所述实时处理任务中各所述算子的目标并行度，包括：根据所述任一算子的性能数据计算所述任一算子的目标处理速率；基
于所述任一算子与所述实时处理任务中其他算子的节点关系，利用所述任一算子的目标处理速率计算所述实时处理任务中其他算子的目标处理速率，并根据各算子的目标处理速率计算各所述算子的目标并行度。
[0011]在本公开的一种示例性实施方式中，所述根据所述任一算子的性能数据计算所述任一算子的目标处理速率，包括：当所述任一算子的数据处理速率小于所述任一算子对应的源算子的数据处理速率时，根据所述任一算子的性能数据确定所述任一算子在对应时间内的数据积压率，并将所述任一算子的数据处理速率和所述数据积压率的和确定为所述任一算子的目标处理速率；当所述任一算子的数据处理速率大于所述任一算子对应的源算子的数据处理速率时，根据所述任一算子的性能数据确定所述任一算子在对应时间内处理的数据量和所述任一算子的工作时间，并将所述任一算子在对应时间内处理的数据量与所述任一算子的工作时间的比值确定为所述任一算子的目标处理速率。
[0012]在本公开的一种示例性实施方式中，在确定所述实时处理任务中各算子的目标并行度后，所述方法还包括：在历史调度数据中，查找所述实时处理任务对应的具有相同并行度参数的历史调度记录，所述并行度参数包括对所述实时处理任务进行扩容或缩容处理前后的并行度数据；根据所述历史调度记录确定所述实时处理任务在进行扩容或缩容处理前后的性能优化情况，并根据所述性能优化情况对所述实时处理任务中各算子的目标并行度的可用性进行校验。
[0013]在本公开的一种示例性实施方式中，在根据所述性能优化情况对所述实时处理任务中各算子的目标并行度的可用性进行校验后，所述方法还包括：在根据所述性能优化情况确定所述实时处理任务中各算子的目标并行度不可用时，增加各所述算子的目标并行度，并基于增加后的各所述算子的目标并行度，监测所述实时处理任务的性能优化情况，直至各所述算子的并行度达到资源阈值。
[0014]在本公开的一种示例性实施方式中，所述方法还包括：在确定任一算子的数据处理速率与所述任一算子对应的源算子的数据处理速率不匹配时，根据所述历史调度数据判断所述实时处理任务是否调度完成；当确定所述实时处理任务调度完成时，依据所述性能监测数据确定所述实时处理任务的性能优化情况，并根据所述性能优化情况设置所述历史调度数据中对应的历史调度记录的可用性。
[0015]根据本公开的第二方面，提供一种资源调度装置，所述装置包括：获取模块，用于获取实时处理任务的性能监测数据；分析模块，用于对所述性能监测数据中各算子的性能数据进行分析，确定所述实时处理任务中各算子的目标并行度；处理模块，用于按照各所述算子的目标并行度对所述实时处理任务进行扩容或缩容处理。
[0016]在本公开的一种示例性实施方式中，所述分析模块用于依据所述性能监测数据判断所述实时处理任务中各算子的数据处理速率与各所述算子对应的源算子的数据处理速率是否匹配，在确定任一算子的数据处理速率与所述任一算子对应的源算子的数据处理速率不匹配时，根据所述任一算子与所述实时处理任务中其他算子的节点关系和所述任一算子的性能数据，计算所述实时处理任务中各所述算子的目标并行度。
[0017]在本公开的一种示例性实施方式中，所述分析模块用于根据所述任一算子的性能数据计算所述任一算子的目标处理速率，基于所述任一算子与所述实时处理任务中其他算子的节点关系，利用所述任一算子的目标处理速率计算所述实时处理任务中其他算子的目
标处理速率，并根据各算子的目标处理速率计算各所述算子的目标并行度。
[0018]在本公开的一种示例性实施方式中，所述分析模块用于当所述任一算子的数据处理速率小于所述任一算子对应的源算子的数据处理速率时，根据所述任一算子的性能数据确定所述任一算子在对应时间内的数据积压率，并将所述任一算子的数据处理速率和所述数据积压率的和确定为所述任一算子的目标处理速率，当所述任一算子的数据处理速率大于所述任一算子对应的源算子的数据处理速率时，根据所述任一算子的性能数据确定所述任一算子在对应时间内处理的数据量和所述任一算子的工作时间，并将所述任一算子在对应时间内处理的数据量与所述任一算子的工作时间的比值确定为所述任一算子的目标处理速率。
[0019]在本公开的一种示例性实施方式中，在确定所述实时处理任务中各算子的目标并行度后，所述分析模块还用于在历史调度数据中，查找所述实时处理任务对应的具有相同并行本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种资源调度方法，其特征在于，所述方法包括：获取实时处理任务的性能监测数据；对所述性能监测数据中各算子的性能数据进行分析，确定所述实时处理任务中各算子的目标并行度；按照各所述算子的目标并行度对所述实时处理任务进行扩容或缩容处理。2.根据权利要求1所述的方法，其特征在于，所述对所述性能监测数据中各算子的性能数据进行分析，确定所述实时处理任务中各算子的目标并行度，包括：依据所述性能监测数据判断所述实时处理任务中各算子的数据处理速率与各所述算子对应的源算子的数据处理速率是否匹配；在确定任一算子的数据处理速率与所述任一算子对应的源算子的数据处理速率不匹配时，根据所述任一算子与所述实时处理任务中其他算子的节点关系和所述任一算子的性能数据，计算所述实时处理任务中各所述算子的目标并行度。3.根据权利要求2所述的方法，其特征在于，所述根据所述任一算子与所述实时处理任务中其他算子的节点关系和所述任一算子的性能数据，计算所述实时处理任务中各所述算子的目标并行度，包括：根据所述任一算子的性能数据计算所述任一算子的目标处理速率；基于所述任一算子与所述实时处理任务中其他算子的节点关系，利用所述任一算子的目标处理速率计算所述实时处理任务中其他算子的目标处理速率，并根据各算子的目标处理速率计算各所述算子的目标并行度。4.根据权利要求3所述的方法，其特征在于，所述根据所述任一算子的性能数据计算所述任一算子的目标处理速率，包括：当所述任一算子的数据处理速率小于所述任一算子对应的源算子的数据处理速率时，根据所述任一算子的性能数据确定所述任一算子在对应时间内的数据积压率，并将所述任一算子的数据处理速率和所述数据积压率的和确定为所述任一算子的目标处理速率；当所述任一算子的数据处理速率大于所述任一算子对应的源算子的数据处理速率时，根据所述任一算子的性能数据确定所述任一算子在对应时间内处理的数据量和所述任一算子的工作时间，并将所述任一算子在对应时间内处理的数据量与所述任一算子的工作时间的比值确定为所述任一算子的目标处理速率。5.根据权利要求1所述的方...
【专利技术属性】
技术研发人员：李翔，贾炎，齐洁，刘世缘，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。