基于生成对抗网络的大数据系统资源配置参数调优方法技术方案

本公开涉及一种基于生成对抗网络的大数据系统资源配置参数调优方法，包括以下步骤：S100、构建已评估的配置参数集合，记录已评估的配置参数集合中的最优配置参数值；S200、利用已评估的配置参数集合，构造高斯过程，计算均值和方差；S300、构建候选配置参数集合，该集合至少包括生成对抗网络模拟当前最优配置参数值产生的N1组配置参数值；S400、将方差和均值代入采集函数，利用采集函数从候选配置参数集合中找到一组性能可能最优的配置参数值作为当前最优配置参数值；其中，N1为设定值。本公开利用生成对抗网络模拟已获得的配置参数最优值生成新的配置参数值，可以更快找到系统性能最优的资源配置参数值。能最优的资源配置参数值。能最优的资源配置参数值。

【技术实现步骤摘要】
基于生成对抗网络的大数据系统资源配置参数调优方法


[0001]本公开涉及大数据处理领域，具体涉及一种基于生成对抗网络的大数据系统资源配置参数调优方法。

技术介绍

[0002]流数据处理系统在现如今的大数据处理领域越来越流行，目前大量的公司使用它来做实时的资源监控以及实时的数据分析。诸如Apache Flink，Apache Storm以及Spark Structured Streaming等流行的流处理框架，已经被广泛应用在许多知名的互联网公司上(Alibaba和Twitter等)。
[0003]流数据处理系统通常提供了许多(比如超过300个)资源配置参数，比如CPU核数，任务使用的内存等等。这些与I/O行为，负载平衡等有关的资源配置参数，我们称之为关键配置参数。这些关键配置参数会严重影响流数据处理系统的性能(比如吞吐以及延迟)。合理调整这些关键配置参数，会显著提高流数据处理系统的性能；反之，不合理的配置参数设置会导致集群资源的浪费，系统性能的下降以及任务运行失败等恶果。
[0004]虽然对于大多数流数据处理系统(比如F1ink本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的大数据系统资源配置参数调优方法，其特征在于，所述方法包括以下步骤：S100、构建已评估的配置参数集合，记录已评估的配置参数集合中的最优配置参数值；S200、利用已评估的配置参数集合，构造高斯过程，计算均值和方差；S300、构建候选配置参数集合，该集合至少包括生成对抗网络模拟当前最优配置参数值产生的N1组配置参数值；S400、将方差和均值代入采集函数，利用采集函数从候选配置参数集合中找到一组性能可能最优的配置参数值作为当前最优配置参数值；其中，N1为设定值。2.根据权利要求1所述的方法，其特征在于，所述构建配置参数性能向量集合包括下述步骤：S101、随机生成N2组配置参数值；S102、获取每一组配置参数值对应的性能指标值，添加到已评估的配置参数集合中；其中，N2为设定值。3.根据权利要求1所述的方法，其特征在于，所述构建候选配置参数集合还包括采用随机生成配置参数值的方法。4.根据权利要求1所述的方法，其特征在于，所述方法还包括下述步骤：S500、获取当前最优配置参数值对应的性能指标值，将当前最优配置参数值添加到已评估的配置参数集合中；S600、判断是否停止搜索最优配置参数，若否，将当前最优配置参数值和对应的性能指标值添加到配置参数性能向量集合中，更新高斯过程，获取均值和方差，执行S300；否则，从已评估的配置参数集合选择当前最优配置参数值用于调优。5.根据权利要求4所述的方法，其特征在于，所述利用采集函数从候选配置参数集合中找到一组性能可能最优的配置参数值作为当前最优配置参数值，包括下述步骤：S401、对候选配置参数集合中的...

【专利技术属性】
技术研发人员：黄世鑫，郭艺津，李玉泽，陈超，喻之斌，杨永魁，王峥，单亚龙，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：