一种基于Mesos的分布式超参数优化系统及方法技术方案

本发明专利技术公开了一种基于Mesos的分布式超参数优化系统及方法，包括计算层和调度层所述计算层与分布式的超参数优化算法相结合，所述计算层由各类优化算法组成，用于进行分布式超参数优化的采样和生成计算任务，所述调度层是一个Mesos运行框架的具体实现，主要负责资源分配和执行计算任务。本发明专利技术所提出的一种基于Mesos的分布式超参数优化系统及方法可以满足多租户在高性能集群的混部场景下使用，提高超参数优化的效率，该策略的适用范围更加广泛，对已经存在的Mesos集群系统侵入性低。

A Distributed Hyperparametric Optimization System and Method Based on Mesos

【技术实现步骤摘要】
一种基于Mesos的分布式超参数优化系统及方法
本专利技术涉及调度器
，尤其涉及一种基于Mesos的分布式超参数优化系统及方法。
技术介绍
调度器是可以提供定时激发任务的能力，资源管理的能力，维护任务的依赖关系和执行顺序的系统，有的调度系统还集成了任务监控和各种指标度量的工具，集群资源调度是分布式系统当中的资源管理和调度的系统，主要提供资源管理的能力，参数优化是达到设计目标的一种方法，通过将设计目标参数化，采用优化方法，不断的调整设计变量，使得设计结果不断接近参数化的目标值，超参数优化的概念是在现在人工智能中普遍使用的学习式模型里，通常情况下，需要人为指定的一些参数，这些参数就是超参数，针对这些超参数的优化是指在确定模型和参数组合确定的情况下，设定每个参数的优化范围，继而对这些参数进行优化以达到一个满意的训练效果。目前超参数优化的实现，存在两方面的问题：一方面是在超参数优化的采样和执行的过程中是串行实现，对于如今人工智能领域的机器学习，深度学习算法中的超参数优化上，由于进行一次参数结果评估需要花费大量的资源与时间，超参数优化串行的弊端就暴露了出来；另一方面，超数优化的过程中缺乏资源调度机制，目前的实现中不支持多租户，平台模式提交超参数优化作业，这对于现在大量使用大规模集群资源的状况相违背，导致用户可能只能使用十分有限的资源来进行超参数优化，无法很好利用集群资源，此外还有一个不得不提出来的一点，现有的方案主要由云服务提供商谷歌等基于自己的系统架构进行研发，适用范围十分狭窄。Mesos是一个集群资源调度系统，针对上述问题，本专利技术主要目标和内容集中在设计和实现一种基于Mesos的分布式超参数优化系统及方法，使超参数优化作业可以在大型分布式集群上运行，以解决超参数优化的大量计算资源使用及多租户场景下的资源竞争问题。
技术实现思路
本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种基于Mesos的分布式超参数优化系统及方法。为了实现上述目的，本专利技术采用了如下技术方案：一种基于Mesos的分布式超参数优化系统，包括计算层和调度层所述计算层与分布式的超参数优化算法相结合，所述计算层由各类优化算法组成，用于进行分布式超参数优化的采样和生成计算任务，所述调度层是一个Mesos运行框架的具体实现，主要负责资源分配和执行计算任务；所述计算层由主应用和从应用组成，使用主从架构，所述主应用负责运行超参数优化算法，所述从应用负责运行人工智能算法训练程序，所述调度层由客户端、调度器、执行器构成，所述客户端供用户使用，所述调度器负责系统资源的调度，所述执行器负责计算层任务的执行，各部分之间通过网络进行通信连接。优选地，所述计算层运行过程中仅有一个主应用，根据用户需求会有一个或者多个从应用进行计算。一种基于Mesos的分布式超参数优化方法，所述方法包括以下步骤：(1)用户指定需要优化的人工智能程序，并配置需要优化的超参数，通过系统提交任务给Mesos集群；(2)调度层集成的调度算法根据用户提交任务的资源需求以及任务的运行状况为其分配集群资源，启动计算层各个组件；(3)计算层首先启动主应用按照用户的配置进行超参数优化，并向调度层申请新的资源来运行从应用，从应用负责根据主应用提供的参数进行计算，并将计算结果反馈至主应用判断是否符合用户的停止要求；(4)最后当主应用达到用户停止要求时，将超参数优化结果返回用户，作业结束。相比于现有技术，本专利技术的有益效果在于：本专利技术所提出的一种基于Mesos的分布式超参数优化系统及方法可以满足多租户在高性能集群的混部场景下使用，提高超参数优化的效率，该策略的适用范围更加广泛，对已经存在的Mesos集群系统侵入性低。附图说明图1为本专利技术提出的一种基于Mesos的分布式超参数优化系统及方法的计算层架构示意图。图2为本专利技术提出的一种基于Mesos的分布式超参数优化系统及方法的调度层架构示意图。图3为本专利技术提出的一种基于Mesos的分布式超参数优化系统及方法的作业方法流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。在本专利技术的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。参照图1-3，一种基于Mesos的分布式超参数优化系统，包括计算层和调度层，计算层与分布式的超参数优化算法相结合，计算层由各类优化算法组成，用于进行分布式超参数优化的采样和生成计算任务，调度层是一个Mesos运行框架的具体实现，主要负责资源分配和执行计算任务；计算层由主应用和从应用组成，使用主从架构，主应用负责运行超参数优化算法，从应用负责运行人工智能算法训练程序，调度层由客户端、调度器、执行器构成，客户端供用户使用，调度器负责系统资源的调度，执行器负责计算层任务的执行，各部分之间通过网络进行通信连接。计算层运行过程中仅有一个主应用，根据用户需求会有一个或者多个从应用进行计算。一种基于Mesos的分布式超参数优化方法，方法包括以下步骤：(1)用户指定需要优化的人工智能程序，并配置需要优化的超参数，通过系统提交任务给Mesos集群；(2)调度层集成的调度算法根据用户提交任务的资源需求以及任务的运行状况为其分配集群资源，启动计算层各个组件；(3)计算层首先启动主应用按照用户的配置进行超参数优化，并向调度层申请新的资源来运行从应用，从应用负责根据主应用提供的参数进行计算，并将计算结果反馈至主应用判断是否符合用户的停止要求；(4)最后当主应用达到用户停止要求时，将超参数优化结果返回用户，作业结束。以上所述，仅为本专利技术较佳的具体实施方式，但本专利技术的保护范围并不局限于此，任何熟悉本
的技术人员在本专利技术揭露的技术范围内，根据本专利技术的技术方案及其专利技术构思加以等同替换或改变，都应涵盖在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于Mesos的分布式超参数优化系统，包括计算层和调度层，其特征在于，所述计算层与分布式的超参数优化算法相结合，所述计算层由各类优化算法组成，用于进行分布式超参数优化的采样和生成计算任务，所述调度层是一个Mesos运行框架的具体实现，主要负责资源分配和执行计算任务；所述计算层由主应用和从应用组成，使用主从架构，所述主应用负责运行超参数优化算法，所述从应用负责运行人工智能算法训练程序，所述调度层由客户端、调度器、执行器构成，所述客户端供用户使用，所述调度器负责系统资源的调度，所述执行器负责计算层任务的执行，各部分之间通过网络进行通信连接。

【技术特征摘要】
1.一种基于Mesos的分布式超参数优化系统，包括计算层和调度层，其特征在于，所述计算层与分布式的超参数优化算法相结合，所述计算层由各类优化算法组成，用于进行分布式超参数优化的采样和生成计算任务，所述调度层是一个Mesos运行框架的具体实现，主要负责资源分配和执行计算任务；所述计算层由主应用和从应用组成，使用主从架构，所述主应用负责运行超参数优化算法，所述从应用负责运行人工智能算法训练程序，所述调度层由客户端、调度器、执行器构成，所述客户端供用户使用，所述调度器负责系统资源的调度，所述执行器负责计算层任务的执行，各部分之间通过网络进行通信连接。2.根据权利要求1所述的一种基于Mesos的分布式超参数优化系统，其...

【专利技术属性】
技术研发人员：陆忠华，李铄，孙永泽，代闯闯，邓笋根，牛北方，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：北京,11