任务属性优化方法、装置、服务器及存储介质制造方法及图纸

本发明专利技术实施例公开了一种任务属性优化方法、装置、服务器及存储介质。该方法包括：执行目标任务，获取目标任务的任务属性数据，任务属性数据包括资源参数以及性能指标参数；根据任务属性数据、历史任务属性数据集以及任务评估规则，得到目标任务的任务预期属性数据；根据任务预期属性数据对目标任务的任务属性数据进行更新，并使用更新后的任务属性数据重新执行目标任务。本发明专利技术实施例的技术方案，可以自动对各个任务的任务属性进行优化，实现在控制任务资源合理占用的同时，提高任务运行效率。

【技术实现步骤摘要】
任务属性优化方法、装置、服务器及存储介质
本专利技术实施例涉及计算机
，尤其涉及一种任务属性优化方法、装置、服务器及存储介质。
技术介绍
目前，大多数Spark任务都是手动进行参数配置，人工成本较高，并且各任务的参数配置较为统一。由于部分任务处理的数据量较大，为了保证大多数任务能够正常运行，各任务的资源参数设置的较大，而实际上，处理的数据量较小的任务往往比较多，因此，造成大量的资源浪费。同时，由于参数配置不合理，还会产生任务的数据量过小、并发度过大、内存不够等问题，进一步导致任务的运行时间长。并且，现有技术中对集群Spark任务的优化通常是专项优化，无法整体优化集群任务。
技术实现思路
本专利技术实施例提供一种任务属性优化方法、装置、服务器及存储介质，可以自动对各个任务的任务属性进行优化，实现在控制任务资源合理占用的同时，提高任务运行效率。第一方面，本专利技术实施例提供了一种任务属性优化方法，包括：执行目标任务，获取目标任务的任务属性数据，任务属性数据包括资源参数以及性能指标参数；根据任务属性数据、历史任务属性数据集以及任务评估规则，得到目标任务的任务预期属性数据；根据任务预期属性数据对目标任务的任务属性数据进行更新，并使用更新后的任务属性数据重新执行目标任务。可选的，根据任务属性数据、历史任务属性数据集以及任务评估规则，得到目标任务的任务预期属性数据，包括：将目标任务的任务属性数据输入预先训练的优化模型中，得到优化模型输出的目标任务的任务预期属性数据；其中，优化模型预先根据历史任务属性数据集以及任务评估规则训练得到。可选的，在获取当前执行的目标任务的任务属性数据之前，还包括：对历史任务属性数据集中包括的各历史任务的历史任务属性进行数据筛选和数据格式转换，得到训练数据；获取由训练数据以及与历史任务对应的集群参数确定的任务评估规则，集群参数为运行各历史任务的计算机集群的参数；根据训练数据以及任务评估规则，对预设的算法模型进行训练，得到优化模型。可选的，获取由训练数据以及与历史任务对应的集群参数确定的任务评估规则，包括：对训练数据中包括的各项任务属性数据，以及与历史任务对应的集群参数进行统计分析，得到各项任务属性与任务预期属性之间的映射关系；将各项任务属性与任务预期属性之间的映射关系作为任务评估规则；各项任务预期属性分别包括至少两个预期属性档位。可选的，将目标任务的任务属性数据输入优化模型，得到优化模型输出的目标任务的任务预期属性数据，包括：将目标任务的各项任务属性数据输入优化模型；通过优化模型，确定与目标任务匹配的目标任务评估规则；通过优化模型，根据目标任务评估规则对目标任务的任务属性数据进行评估，输出评估结果为不合格的目标任务的任务预期属性数据。可选的，通过优化模型，根据目标任务评估规则对目标任务的任务属性数据进行评估，输出评估结果为不合格的目标任务的任务预期属性数据，包括：通过所述优化模型，将目标任务的资源参数与目标任务评估规则进行匹配，并根据目标任务评估规则输出与匹配失败的目标任务的资源参数对应的任务预期属性数据；通过所述优化模型，将目标任务的性能指标参数与目标任务评估规则进行匹配，并根据目标任务评估规则输出与匹配失败的目标任务的性能指标参数对应的任务预期属性数据。第二方面，本专利技术实施例还提供了一种任务属性优化装置，包括：属性获取模块，用于执行目标任务，获取目标任务的任务属性数据，任务属性数据包括资源参数以及性能指标参数；预期属性获取模块，用于根据任务属性数据、历史任务属性数据集以及任务评估规则，得到目标任务的任务预期属性数据；属性更新模块，用于根据任务预期属性数据对目标任务的任务属性数据进行更新，并使用更新后的任务属性数据重新执行目标任务。可选的，预期属性获取模块，具体用于：将目标任务的任务属性数据输入预先训练的优化模型中，得到优化模型输出的目标任务的任务预期属性数据；其中，优化模型预先根据历史任务属性数据集以及任务评估规则训练得到。第三方面，本专利技术实施例还提供了一种服务器，服务器包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本专利技术任意实施例提供的任务属性优化方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例提供的任务属性优化方法。本专利技术实施例的技术方案，通过执行目标任务，获取目标任务的任务属性数据，任务属性数据包括资源参数以及性能指标参数；根据任务属性数据、历史任务属性数据集以及任务评估规则，得到目标任务的任务预期属性数据；根据任务预期属性数据对目标任务的任务属性数据进行更新，并使用更新后的任务属性数据重新执行目标任务，解决了现有技术中存在的任务属性需手动配置，以及任务资源均分导致资源浪费和任务运行时间长的问题，实现自动对各个任务的任务属性进行优化，实现在控制任务资源合理占用的同时，提高任务运行效率。附图说明图1是本专利技术实施例一中的一种任务属性优化方法的流程图；图2a是本专利技术实施例二中的一种任务属性优化方法的流程图；图2b是本专利技术实施例二中的一种优化模型生成过程的流程图；图3是本专利技术实施例三中的一种任务属性优化装置的结构示意图；图4是本专利技术实施例四中的一种服务器的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1是本专利技术实施例一中的一种任务属性优化方法的流程图，本实施例可适用于对Spark任务自动进行属性优化的情况，该方法可以由任务属性优化装置来执行，该装置可以由硬件和/或软件来实现，并一般可以集成在提供任务属性优化服务的服务器中。如图1所示，该方法包括：步骤110、执行目标任务，获取目标任务的任务属性数据。本实施例中，目标任务是指Spark任务，例如SparkSQL任务和HiveonSpark模式的HiveSQL任务，每个Spark任务具有很多任务参数，可以将影响任务运行时间的各类任务参数以及实际运行时间统一称为任务属性数据。本实施例中的任务属性数据可以包括资源参数以及性能指标参数，其中，资源参数可以包括目标任务占用的中央处理器(CentralProcessingUnit，CPU)总数、虚拟CPU核数以及目标任务占用的内存大小等，性能指标参数可以包括目标任务的总运行时间、Spark应用Master与yarn资源管理器之间的心跳间隔以及Executor的最大失败次数等。执行目标任务的服务器是集群中的一台，集本文档来自技高网...

【技术保护点】
1.一种任务属性优化方法，其特征在于，包括：/n执行目标任务，获取所述目标任务的任务属性数据，所述任务属性数据包括资源参数以及性能指标参数；/n根据所述任务属性数据、历史任务属性数据集以及任务评估规则，得到所述目标任务的任务预期属性数据；/n根据任务预期属性数据对所述目标任务的任务属性数据进行更新，并使用更新后的任务属性数据重新执行所述目标任务。/n

【技术特征摘要】
1.一种任务属性优化方法，其特征在于，包括：
执行目标任务，获取所述目标任务的任务属性数据，所述任务属性数据包括资源参数以及性能指标参数；
根据所述任务属性数据、历史任务属性数据集以及任务评估规则，得到所述目标任务的任务预期属性数据；
根据任务预期属性数据对所述目标任务的任务属性数据进行更新，并使用更新后的任务属性数据重新执行所述目标任务。


2.根据权利要求1所述的方法，其特征在于，根据所述任务属性数据、历史任务属性数据集以及任务评估规则，得到所述目标任务的任务预期属性数据，包括：
将目标任务的任务属性数据输入预先训练的优化模型中，得到所述优化模型输出的所述目标任务的任务预期属性数据；
其中，所述优化模型预先根据所述历史任务属性数据集以及任务评估规则训练得到。


3.根据权利要求2所述的方法，其特征在于，在获取当前执行的目标任务的任务属性数据之前，还包括：
对历史任务属性数据集中包括的各历史任务的历史任务属性进行数据筛选和数据格式转换，得到训练数据；
获取由训练数据以及与所述历史任务对应的集群参数确定的任务评估规则，所述集群参数为运行各所述历史任务的计算机集群的参数；
根据所述训练数据以及任务评估规则，对预设的算法模型进行训练，得到所述优化模型。


4.根据权利要求3所述的方法，其特征在于，获取由训练数据以及与所述历史任务对应的集群参数确定的任务评估规则，包括：
对所述训练数据中包括的各项任务属性数据，以及与所述历史任务对应的集群参数进行统计分析，得到各项任务属性与任务预期属性之间的映射关系；
将各项任务属性与任务预期属性之间的映射关系作为任务评估规则；各项任务预期属性分别包括至少两个预期属性档位。


5.根据权利要求3所述的方法，其特征在于，将目标任务的任务属性数据输入所述优化模型，得到所述优化模型输出的所述目标任务的任务预期属性数据，包括：
将目标任务的各项任务属性数据输入所述优化模型；
通过所述优化模型，确定与目标任务匹配的...

【专利技术属性】
技术研发人员：汪伟，
申请(专利权)人：深圳市卡数科技有限公司，
类型：发明
国别省市：广东;44