一种作业资源调优方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种作业资源调优方法、装置、设备及存储介质，通过资源监控器获取到用户配置的伸缩策略并转化为告警规则，然后通过资源监控器实时收集flink集群的资源信息以及实时作业对应的多个指标，进一步通过资源监控器对资源信息及多个指标与告警规则进行匹配判断是否需要对作业资源进行调优，若是，则通过资源监控器进行对应的作业资源调整策略制定，并发送至伸缩监控器根据作业资源调整策略进行作业资源调优处理，解决了用户需要花费大量的时间进行如何配置该作业的资源、并发数、TaskManager个数及大小等作业调优，从而导致的用户往往需要手动重启作业再次设置资源用量，而这种操作繁琐的同时也是滞后的技术问题。题。题。

【技术实现步骤摘要】
一种作业资源调优方法、装置、设备及存储介质


[0001]本申请涉及分布式处理
，尤其涉及一种作业资源调优方法、装置、设备及存储介质。

技术介绍

[0002]Flink是一个框架和分布式处理引擎，用于对无限制和有限制的数据留进行有状态的计算。Flink被设计为可在所有常见的集群环境中运行，以内存速度和任何规模执行计算。flink运行在yarn或者k8s上时,需要根据数据量提前计算出最大并行度，然后由yarn或者k8s根据最大并行度确定所需要占用的taskManager，一直到运行结束，实时任务资源占用值始终处于固定值，需要在提交之前明确资源用量且作业运行过程中不会自动调整，但是运行过程中数据量是不断变化的，所以实时任务的负载也会呈周期性变化，有非常明显的波峰波谷。
[0003]然而，用户需要花费大量的时间进行作业调优。例如，新上线一个作业，需要考虑如何配置该作业的资源、并发数、TaskManager个数及大小等，从而导致了用户往往需要手动重启作业再次设置资源用量，而这种操作繁琐的同时也是滞后的技术问题。

技术实现思路

[0004]本申请提供了一种作业资源调优方法、装置、设备及存储介质，解决了目前用户需要花费大量的时间进行如何配置该作业的资源、并发数、TaskManager个数及大小等作业调优，从而导致的用户往往需要手动重启作业再次设置资源用量，而这种操作繁琐的同时也是滞后的技术问题。
[0005]有鉴于此，本申请第一方面提供了一种作业资源调优方法，方法包括：
[0006]S1、通过资源监控器获取到用户配置的伸缩策略并转化为告警规则；
[0007]S2、通过资源监控器实时收集flink集群的资源信息以及实时作业对应的多个指标；
[0008]S3、通过资源监控器对资源信息及多个指标与告警规则进行匹配判断是否需要对作业资源进行调优，若是，则执行步骤S4；
[0009]S4、通过资源监控器进行对应的作业资源调整策略制定，并发送至伸缩监控器根据作业资源调整策略进行作业资源调优处理。
[0010]优选地，步骤S1之前还包括：
[0011]S5、通过Kubernetes平台的控制器对flink的standalone模式进行任务隔离部署。
[0012]优选地，步骤S3具体包括：
[0013]S31、通过资源监控器对资源信息及多个指标与告警规则进行匹配判断是否有作业资源出现反压，若是，则执行步骤S4。
[0014]优选地，步骤S3具体包括：
[0015]S32、通过资源监控器对资源信息及多个指标与告警规则进行匹配判断是否对应
节点CPU负载升高，若是，则执行步骤S4。
[0016]优选地，步骤S3具体包括：
[0017]S33、通过资源监控器对资源信息及多个指标与告警规则进行匹配判断是否对应时间段多个节点负载降低，若是，则执行步骤S4。
[0018]优选地，步骤S4具体包括：
[0019]S41、通过资源监控器进行对应的作业资源调整策略制定，并发送至伸缩监控器；
[0020]S42、通过伸缩监控器根据作业资源调整策略和可用资源确定作业资源需求并行度，并根据作业资源调整策略进行作业资源调优处理。
[0021]优选地，步骤S42具体包括：作业资源调优处理包括：与用户配置的伸缩伸缩策略对应的基础资源量调整的纵向伸缩作业资源调优处理，和对TaskManager数量的增减的横向伸缩作业资源调优处理。
[0022]本申请第二方面提供一种作业资源调优装置，装置包括：
[0023]获取单元，用于通过资源监控器获取到用户配置的伸缩策略并转化为告警规则；
[0024]实时收集单元，用于通过资源监控器实时收集flink集群的资源信息以及实时作业对应的多个指标；
[0025]作业调优判断单元，用于通过资源监控器对资源信息及多个指标与告警规则进行匹配判断是否需要对作业资源进行调优，若是，则触发作业调优单元；
[0026]作业调优单元，用于通过资源监控器进行对应的作业资源调整策略制定，并发送至伸缩监控器根据作业资源调整策略进行作业资源调优处理。
[0027]本申请第三方面提供一种作业资源调优设备，设备包括处理器以及存储器：
[0028]存储器用于存储程序代码，并将程序代码传输给处理器；
[0029]处理器用于根据程序代码中的指令，执行如上述第一方面的作业资源调优方法的步骤。
[0030]本申请第四方面提供一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行上述第一方面的作业资源调优方法的步骤。
[0031]从以上技术方案可以看出，本申请实施例具有以下优点：
[0032]本申请中，提供了一种作业资源调优方法，通过资源监控器获取到用户配置的伸缩策略并转化为告警规则，然后通过资源监控器实时收集flink集群的资源信息以及实时作业对应的多个指标，进一步通过资源监控器对资源信息及多个指标与告警规则进行匹配判断是否需要对作业资源进行调优，若是，则通过资源监控器进行对应的作业资源调整策略制定，并发送至伸缩监控器根据作业资源调整策略进行作业资源调优处理，解决了用户需要花费大量的时间进行如何配置该作业的资源、并发数、TaskManager个数及大小等作业调优，从而导致的用户往往需要手动重启作业再次设置资源用量，而这种操作繁琐的同时也是滞后的技术问题。
[0033]进一步，本申请通过伸缩监控器根据作业资源调整策略和可用资源确定作业资源需求并行度，并根据作业资源调整策略进行作业资源调优处理，作业资源调优处理为对与用户配置的伸缩伸缩策略对应的基础资源量调整的纵向伸缩作业资源调优处理，和对TaskManager数量的增减的横向伸缩作业资源调优处理，从而实现解决了由于实时作业的负载往往随着流量的变化而变化，初始设置的资源量容易过多或太少，从而造成资源浪费
或者资源不足而导致作业延时的技术问题，同时实现了可以自动调整资源使用量，降低运维成本和提高处理问题的时效性，在高峰期提高资源使用量以避免作业失败重启的可能性，在低峰期自动降低资源使用量提供给其它作业执行，实现任务错峰执行的可能，降低业务成本，提高资源使用率。
附图说明
[0034]图1为本申请实施例中一种作业资源调优方法的方法的一个实施例的流程图；
[0035]图2为本申请实施例中一种作业资源调优装置的结构示意图；
[0036]图3为本申请实施例中一种作业资源调优设备的结构示意图。
具体实施方式
[0037]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0038]本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业资源调优方法，其特征在于，包括:S1、通过资源监控器获取到用户配置的伸缩策略并转化为告警规则；S2、通过所述资源监控器实时收集flink集群的资源信息以及实时作业对应的多个指标；S3、通过所述资源监控器对所述资源信息及多个所述指标与所述告警规则进行匹配判断是否需要对作业资源进行调优，若是，则执行步骤S4；S4、通过所述资源监控器进行对应的作业资源调整策略制定，并发送至伸缩监控器根据所述作业资源调整策略进行作业资源调优处理。2.根据权利要求1所述的作业资源调优方法，其特征在于，所述步骤S1之前还包括：S5、通过Kubernetes平台的控制器对flink的standalone模式进行任务隔离部署。3.根据权利要求1所述的作业资源调优方法，其特征在于，所述步骤S3具体包括：S31、通过所述资源监控器对所述资源信息及多个所述指标与所述告警规则进行匹配判断是否有作业资源出现反压，若是，则执行步骤S4。4.根据权利要求1所述的作业资源调优方法，其特征在于，所述步骤S3具体包括：S32、通过所述资源监控器对所述资源信息及多个所述指标与所述告警规则进行匹配判断是否对应节点CPU负载升高，若是，则执行步骤S4。5.根据权利要求1所述的作业资源调优方法，其特征在于，所述步骤S3具体包括：S33、通过所述资源监控器对所述资源信息及多个所述指标与所述告警规则进行匹配判断是否对应时间段多个节点负载降低，若是，则执行步骤S4。6.根据权利要求1至5中任意一项所述的作业资源调优方法，其特征在于，所述步骤S4具体包括：S41、通过所述资源监控器进行对应的作...

【专利技术属性】
技术研发人员：王炎培，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：