【技术实现步骤摘要】
基于混合分布架构的计算资源分配方法、装置和存储介质
本专利技术涉及大数据处理
，尤其涉及一种基于混合分布架构的计算资源分配方法、装置和存储介质。
技术介绍
大数据技术的兴起，再一次激发了人工智能的生命力。2016年的围棋大战又一次引爆了人工智能的热潮，正是因为有着成熟稳定的大数据技术支撑，才能完成AlphaGo背后海量的计算任务。ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎，拥有HadoopMapReduce所具有的优点,但不同于MapReduce的是，Job中间输出结果可以保存在内存中，从而不再需要读写HDFS(分布式文件系统)，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的的算法。近些年来很多构建于Spark之上的深度学习框架被提出，虽然它们均是架设在Spark上的，但配置过程与使用接口均不相同，多个框架同时使用时亦会发生资源抢占的情况。另一方面，传统的计算机运算处理核心资源一般是指中央处理器(CPU)，但是，随着人工智能等技术的发展，计算需求也呈现多样性，单纯的CPU已然无法满...
【技术保护点】
1.一种基于混合计算资源的分布式计算系统，其特征在于，至少包括计算引擎层、混合计算封装接口层和资源调度层，其中：/n所述计算引擎层由多个构建在同一个Spark计算引擎上的深度学习框架组成；/n所述混合计算封装接口层，用于针对所述计算引擎层统一封装各个深度学习框架的访问接口；/n所述资源调度层包括多种异构计算资源，所述异构计算资源包括以下至少一项：中央处理单元CPU、图形处理单元GPU和现场可编程门阵列FPGA；在所述资源调度层，根据待处理任务的任务类型划分不同的任务队列，根据不同物理机搭载的计算资源类型划分不同的逻辑集群中，根据待处理任务的任务类，将任务队列中的任务分配到对...
【技术特征摘要】
1.一种基于混合计算资源的分布式计算系统，其特征在于，至少包括计算引擎层、混合计算封装接口层和资源调度层，其中：
所述计算引擎层由多个构建在同一个Spark计算引擎上的深度学习框架组成；
所述混合计算封装接口层，用于针对所述计算引擎层统一封装各个深度学习框架的访问接口；
所述资源调度层包括多种异构计算资源，所述异构计算资源包括以下至少一项：中央处理单元CPU、图形处理单元GPU和现场可编程门阵列FPGA；在所述资源调度层，根据待处理任务的任务类型划分不同的任务队列，根据不同物理机搭载的计算资源类型划分不同的逻辑集群中，根据待处理任务的任务类，将任务队列中的任务分配到对应的逻辑集群中执行。
2.根据权利要求1所述的系统，其特征在于，
所述资源调度层，具体用于根据为物理机标注机器标签，将物理机划分不同的逻辑集群，所述机器标签为根据物理机搭载的计算资源类型标注的；根据处理的任务类型，为不同的任务队列添加队列标签；针对任一任务队列，根据该任务队列对应的队列标签，将该任务队列中的任务调度到具有与所述队列标签相同标签的物理机上执行。
3.根据权利要求2所述的系统，其特征在于，在所述资源调度层部署节点管理器和资源管理器，所述节点管理器部署于每一物理机上，所述资源管理器部署于其中一台物理机上，其中：
所述节点管理器，用于向所述资源管理器发送注册请求，所述注册请求中携带有自身所在物理机的可用资源信息，所述可用资源信息包括以下至少一项：CPU总量，内存总量，GPU虚拟数量和FPGA虚拟数量。
4.根据权利要求3所述的系统，其特征在于，
所述节点管理器，还用于在系统运行过程中，向所述资源管理器上报自身所在物理机的资源状态信息，所述资源状态信息包括空闲资源信息和已分配资源信息；
所述资源管理器，还用于根据各个节点管理器上报的...
【专利技术属性】
技术研发人员：钮艳，杜翠兰，赵淳璐，李扬曦，项菲，李鹏霄，佟玲玲，张丽，王祥，井雅琪，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。