任务属性优化方法、装置、服务器及存储介质制造方法及图纸

本发明专利技术实施例公开了一种任务属性优化方法、装置、服务器及存储介质。该方法包括：执行目标任务，获取目标任务的任务属性数据，任务属性数据包括资源参数以及性能指标参数；根据任务属性数据、历史任务属性数据集以及任务评估规则，得到目标任务的任务预期属性数据；根据任务预期属性数据对目标任务的任务属性数据进行更新，并使用更新后的任务属性数据重新执行目标任务。本发明专利技术实施例的技术方案，可以自动对各个任务的任务属性进行优化，实现在控制任务资源合理占用的同时，提高任务运行效率。

【技术实现步骤摘要】
任务属性优化方法、装置、服务器及存储介质
本专利技术实施例涉及计算机
，尤其涉及一种任务属性优化方法、装置、服务器及存储介质。
技术介绍
目前，大多数Spark任务都是手动进行参数配置，人工成本较高，并且各任务的参数配置较为统一。由于部分任务处理的数据量较大，为了保证大多数任务能够正常运行，各任务的资源参数设置的较大，而实际上，处理的数据量较小的任务往往比较多，因此，造成大量的资源浪费。同时，由于参数配置不合理，还会产生任务的数据量过小、并发度过大、内存不够等问题，进一步导致任务的运行时间长。并且，现有技术中对集群Spark任务的优化通常是专项优化，无法整体优化集群任务。
技术实现思路
本专利技术实施例提供一种任务属性优化方法、装置、服务器及存储介质，可以自动对各个任务的任务属性进行优化，实现在控制任务资源合理占用的同时，提高任务运行效率。第一方面，本专利技术实施例提供了一种任务属性优化方法，包括：执行目标任务，获取目标任务的任务属性数据，任务属性数据包括资源参数以及性能指标参数；<br>根据任务属性数本文档来自技高网...

【技术保护点】
1.一种任务属性优化方法，其特征在于，包括：/n执行目标任务，获取所述目标任务的任务属性数据，所述任务属性数据包括资源参数以及性能指标参数；/n根据所述任务属性数据、历史任务属性数据集以及任务评估规则，得到所述目标任务的任务预期属性数据；/n根据任务预期属性数据对所述目标任务的任务属性数据进行更新，并使用更新后的任务属性数据重新执行所述目标任务。/n

【技术特征摘要】
1.一种任务属性优化方法，其特征在于，包括：
执行目标任务，获取所述目标任务的任务属性数据，所述任务属性数据包括资源参数以及性能指标参数；
根据所述任务属性数据、历史任务属性数据集以及任务评估规则，得到所述目标任务的任务预期属性数据；
根据任务预期属性数据对所述目标任务的任务属性数据进行更新，并使用更新后的任务属性数据重新执行所述目标任务。


2.根据权利要求1所述的方法，其特征在于，根据所述任务属性数据、历史任务属性数据集以及任务评估规则，得到所述目标任务的任务预期属性数据，包括：
将目标任务的任务属性数据输入预先训练的优化模型中，得到所述优化模型输出的所述目标任务的任务预期属性数据；
其中，所述优化模型预先根据所述历史任务属性数据集以及任务评估规则训练得到。


3.根据权利要求2所述的方法，其特征在于，在获取当前执行的目标任务的任务属性数据之前，还包括：
对历史任务属性数据集中包括的各历史任务的历史任务属性进行数据筛选和数据格式转换，得到训练数据；
获取由训练数据以及与所述历史任务对应的集群参数确定的任务评估规则，所述集群参数为运行各所述历史任务的计算机集群的参数；
根据所述训练数据以及任务评估规则，对预设的算法模型进行训练，得到所述优化模型。


4.根据权利要求3所述的方法，其特征在于，获取由训练数据以及与所述历史任务对应的集群参数确定的任务评估规则，包括：
对所述训练数据中包括的各项任务属性数据，以及与所述历史任务对应的集群参数进行统计分析，得到各项任务属性与任务预期属性之间的映射关系；
将各项任务属性与任务预期属性之间的映射关系作为任务评估规则；各项任务预期属性分别包括至少两个预期属性档位。


5.根据权利要求3所述的方法，其特征在于，将目标任务的任务属性数据输入所述优化模型，得到所述优化模型输出的所述目标任务的任务预期属性数据，包括：
将目标任务的各项任务属性数据输入所述优化模型；
通过所述优化模型，确定与目标任务匹配的...

【专利技术属性】
技术研发人员：汪伟，
申请(专利权)人：深圳市卡数科技有限公司，
类型：发明
国别省市：广东;44