一种自适应资源调度方法技术

本发明专利技术提供的是一种自适应资源调度方法。步骤一，模块化处理；步骤二，确定主次级GPU；步骤三，监测各GPU运行状态；步骤四；实时动态分配；步骤五，分散处理数据；步骤六，汇总组合；步骤七，完成学习。该发明专利技术，资源分配方式分为两级，第一级分配通过将平台模块化，然后划分主次级GPU使用权力，第二级分配以一种服务器自我学习方式，根据以往的任务经验估计动态资源分配量来分配资源，使得整个平台合理分配平台硬件资源，提高系统吞吐量、提高硬件资源的利用率，加快神经网络任务的训练速度，避免出现部分GPU闲置状况，解决资源调度，使得整个系统的负载均衡，没有闲置资源的情况。

An Adaptive Resource Scheduling Method

【技术实现步骤摘要】
一种自适应资源调度方法
本专利技术涉及的是一种深度学习方法，具体涉及一种基于分布式TensorFlow平台的自适应资源调度方法。
技术介绍
近年来，随着各种图像识别大赛的盛行和谷歌人工智能AlphaGo屡次战胜人类围棋顶级大师，人工智能开始火爆，其底层技术深度学习也受到许多研究学者的关注，国内外各大公司纷纷推出各自的深度学习框架，其中以谷歌推出的TensorFlow最为热门。神经网络的构建非常复杂，TensorFlow只需使用API的调用便能实现复杂神经网络的构建，极大加快了开发速度，而用于深度学习的数据量又极其庞大，庞大的数据量意味着庞大的计算量，神经网络的训练离不开庞大的数据量来训练学习获得更高的准确率，海量的数据和巨大的计算量的双重压力下，无疑给硬件资源带来了巨大的挑战。因此，深度学习任务通常在分布式部署下完成，以解决个人PC在硬件资源方面的瓶颈，但是，现有的分布式部署虽然容易，但是资源利用率通常不高，在单任务的情况下很难配置好合适的资源利用阈值，多数都在满负荷运行单任务，导致多任务的时候没有硬件资源执行其他任务。多任务下更是难以合理分配硬件资源，有时候一些相对简单任务占用资源本文档来自技高网...

【技术保护点】
1.一种自适应资源调度方法，其特征是包括如下步骤：步骤一，模块化处理；步骤二，确定主次级GPU；步骤三，监测各GPU运行状态；步骤四；实时动态分配；步骤五，分散处理数据；步骤六，汇总组合；步骤七，完成学习。

【技术特征摘要】
1.一种自适应资源调度方法，其特征是包括如下步骤：步骤一，模块化处理；步骤二，确定主次级GPU；步骤三，监测各GPU运行状态；步骤四；实时动态分配；步骤五，分散处理数据；步骤六，汇总组合；步骤七，完成学习。2.根据权利要求1所述的自适应资源调度方法，其特征是所述的模块化处理是指：将服务器按照视频、语音、文字和图片划分为四个模块，在四个模块均等配制GPU。3.根据权利要求1所述的自适应资源调度方法，其特征是所述确定主次级GPU是指：对GPU进行评估，判定各个GPU的计算处理能力，本模块直属的GPU为主级GPU，其他模块的GPU为本模块的次级GPU。4.根据权利要求1所述的自适应资源调度方法，其特征是所述的监测各GPU运行状态是指：定时监控各个模块的计算强度，同时对各个GPU的运行状态进行监控。5.根据...

【专利技术属性】
技术研发人员：邓牌，李晋，程建华，史长亭，白玉，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江,23