一种边缘计算平台上数据分析框架Spark配置参数的优化系统技术方案

本发明专利技术涉及信息计算领域，尤其涉及一种边缘计算平台上数据分析框架Spark配置参数的优化系统，包括配置参数区间输入子系统和参数优化子系统，配置参数区间输入子系统用于接收并保存调参范围信息和参数迭代次数；参数优化子系统被配置为：发送运行参数至边缘计算平台；接收边缘计算平台反馈的Spark作业的运行时长并选择运行时长最短的Spark作业所对应的运行参数作为最优配置参数。本发明专利技术提出的一种边缘计算平台上数据分析框架Spark配置参数的优化系统，提升了Spark作业的运行速度。提升了Spark作业的运行速度。提升了Spark作业的运行速度。

【技术实现步骤摘要】
一种边缘计算平台上数据分析框架Spark配置参数的优化系统


[0001]本专利技术涉及信息计算领域，尤其涉及一种边缘计算平台上数据分析框架Spark配置参数的优化系统。

技术介绍

[0002]近年来，可移动的边缘计算一体机是当前计算机体系结构领域的热点。边缘计算一体机主要由硬件层面上和软件层面上组成，硬件层面上包括满足边缘计算需求的小型计算机、网络设备和其他硬件。软件层面上由边缘计算定制的资源管理系统组成。它的主要特点表现为：体积小，低功耗，轻重量，易拓展，高性能，低成本。人们可以利用边缘计算一体机的便携性和灵活性，在靠近数据输入的地方提供计算和存储服务，解决传统模式下将数据回传到云计算中央数据中心的高延迟、网络不稳定和劫持数据不安全的问题。
[0003]基于内存的分布式计算框架Spark在工业界被广泛应用于数据分析。它使用能支持迭代计算的弹性分布式数据集RDD，显著提高了提高迭代计算和交互式数据挖掘中数据处理的速度。作为大数据计算引擎，Spark程序的配置参数多达几十个。
[0004]当前，大数据计算引擎Spark在许多行业应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边缘计算平台上数据分析框架Spark配置参数的优化系统，其特征在于，包括配置参数区间输入子系统和参数优化子系统，其中配置参数区间输入子系统，用于接收并保存调参范围信息和参数迭代次数；其中，所述调参范围信息为用户输入的参数值域范围的信息；所述参数优化子系统被配置为：发送运行参数至边缘计算平台，其中所述运行参数为基于所述调参范围进行迭代计算得到的参数；接收边缘计算平台反馈的Spark作业的运行时长并选择运行时长最短的Spark作业所对应的运行参数作为最优配置参数。2.根据权利要求1所述的一种边缘计算平台上数据分析框架Spark配置参数的优化系统，其特征在于，所述配置参数训练子系统包括配置参数搜索模块、任务限时运行模块、运行结果收集模块和最优参数输出模块；其中所述配置参数搜索模块被配置为：确定预设搜索方向、预设搜索步长和初始运行参数；根据运行参数初始值、预设搜索方向和预设搜索步长得到当前的运行参数，其中首轮迭代中的运行参数是利用随机算法生成的；所述任务限时运行模块被配置为：每隔2
‑
4秒监控当前Spark作业的运行时长是否长于历史最短运行时长时，若是则终止并标记本次Spark作业；所述运行结果收集模块用于接收并保存所述边缘计算平台发送的当前Spark作业的运行时长、运行参数以及是否有中断标记；所述最优参数模块用...

【专利技术属性】
技术研发人员：李乐乐，喻之斌，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：