一种面向异构集群的任务处理方法及装置制造方法及图纸

本发明专利技术公开了一种面向异构集群的任务处理方法和装置，所述方法包括：接收任务请求及基本执行环境；根据所述任务请求调度异构设备；将所述基本执行环境编译为所调度的异构设备对应的执行环境，并部署到所调度的异构设备上；使所调度的异构设备执行所述任务请求。只需要用户针对任务提供基本执行环境，而不需要用户针对每一类型的硬件平台分别编写一版执行环境，实现了异构设备代码的快速开发，降低了开发维护成本。

【技术实现步骤摘要】
一种面向异构集群的任务处理方法及装置
本专利技术涉及计算机应用技术，特别涉及一种面向异构集群的任务处理方法及装置。
技术介绍
随着大数据及深度学习技术的发展，通过深度学习的方法对海量数据进行训练学习，最终学习出一套准确的深度模型的方法越来越被各科技公司重视。更加复杂且更加强大的深度模型能深刻揭示海量数据里所承载的复杂而丰富的信息，并对未来或未知事件做更精准的预测。深度学习应用包括语音识别、图像识别、自然语言处理、搜索广告CTR预估等。由于深度学习应用通常依赖巨大的计算和通信，使用CPU+异构加速器(GPU、FPGA等)的异构集群的方式来进行训练和上线已经成为支撑深度学习应用的主流方式。由于针对异构集群的开发需要用户对硬件架构和特定的编程语言(如CUDA、OPENCL、MPI)有一定的掌握。当前，如何在异构集群上高效地开发和部署深度学习应用已经成为推广和加速深度学习在各个领域使用的一项重要挑战。当前的解决方案主要是针对异构集群的每一种硬件(GPU、FPGA)开发一个特定版本，然后再匹配相应的硬件进行使用。但该方案存在以下几个方面的问题：1、开发成本巨大：为了编写硬件设备程序，项目开发人员需要学习一定的硬件知识，不便于软件的快速迭代。2、维护成本巨大：由于针对每一个硬件平台有一个版本的代码，需要维护统一功能的多份代码。
技术实现思路
本申请的多个方面提供了一种面向异构集群的任务处理方法及装置，能够降低开发维护成本。本申请的一方面，提供一种面向异构集群的任务处理方法，包括：接收任务请求及基本执行环境；根据所述任务请求调度异构设备；将所述基本执行环境编译为所调度的异构设备对应的执行环境，并部署到所调度的异构设备上；组建深度学习网络；使所调度的异构设备执行所述任务请求，对所述深度学习网络进行训练。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述基本执行环境基于预设的基本硬件设备类型的异构高性能库构建。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述任务请求包括：所述基本执行环境的标识、任务的配置信息、任务的数据信息。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述任务请求调度异构设备包括：根据所述任务请求中的任务的数据信息及异构集群可用资源额度，为所述任务请求调度异构设备。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述将所述基本执行环境编译为所调度的异构设备对应的执行环境包括：根据为所述任务请求调度的异构设备的类型，将所述基本硬件设备类型的异构高性能库切换为所调度的异构设备类型对应的异构高性能库，生成所调度的异构设备对应的执行环境。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述使所调度的异构设备执行所述任务请求包括：向所调度的异构设备发送包括所述任务的数据信息的任务指令，以使所调度的异构设备根据任务指令进行分布式计算。本申请的另一方面，提供一种面向异构集群的任务处理装置，包括：接收模块，用于接收任务请求及基本执行环境；调度模块，用于根据所述任务请求调度异构设备；部署模块，用于将所述基本执行环境编译为所调度的异构设备对应的执行环境，并部署到所调度的异构设备上；组建深度学习网络；执行模块，用于触发所调度的异构设备执行所述任务请求，对所述深度学习网络进行训练。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述基本执行环境基于预设的基本硬件设备类型的异构高性能库构建。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述任务请求包括：所述基本执行环境的标识、任务的配置信息、任务的数据信息。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述调度模块具体用于：根据所述任务请求中任务的数据信息及异构集群可用资源额度，为所述任务请求调度异构设备。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述部署模块具体用于：根据为所述任务请求调度的异构设备的类型，将所述基本硬件设备类型的异构高性能库切换为所调度的异构设备类型对应的异构高性能库，生成所调度的异构设备对应的执行环境。如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述执行模块具体用于：向所调度的异构设备发送包括所述任务的数据信息的任务指令，以使所调度的异构设备根据任务指令进行分布式计算。本专利技术的另一方面，提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。本专利技术的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。基于上述介绍可以看出，采用本专利技术所述方案，通过所述基本执行环境编译为所调度的异构设备对应的执行环境，只需要用户针对任务提供基本执行环境，而不需要用户针对每一类型的硬件平台分别编写一版执行环境，实现了异构设备代码的快速开发，降低了开发维护成本。【附图说明】图1为本专利技术所涉及的系统架构示意图；图2为本专利技术所述面向异构集群的任务处理方法的流程图；图3为本专利技术所述面向异构集群的任务处理装置的结构图；图4示出了适于用来实现本专利技术实施方式的示例性计算机系统/服务器012的框图。【具体实施方式】为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。为了方便对本专利技术的理解，首先对本专利技术所涉及的系统架构进行描述。如图1中所示，本专利技术提供的系统主要包括：用户端设备、异构集群调度服务器以及异构集群。在本专利技术实施例中，诸如开发者等类型的用户可以使用用户端设备实现任务开发，该任务最终由异构集群中的计算节点执行。异构集群调度服务器在本专利技术实施例中主要用于实现两方面的作用：其一，基于来自用户端设备的任务请求实现对异构集群的调度；其二，实现用户基于基本执行环境开发的任务转换至基于异构设备执行环境下的任务。其中，异构集群中的计算节点负责执行被分配的任务；计算节点可以是CPU、GPU、FPGA或ARM等异构设备。各计算节点及异构集群调度服务器可以通过诸如RDMA远程直接数据存取或TCP通信相连。用户可以通过Web前端向异构集群调度服务器提交任务请求。在本专利技术实施例中，所述涉及的任务可以是任意的可以基于异构网络实现的任务，在本专利技术实施例中，以深度学习网络训练任务为例进行描述，例如是语音识别、图像识别、自然语言处理、搜索广告CTR预估等深度学习网络训练。图2为本专利技术所述面向异构集群的任务处理方法的流程图，如图2所示，该方法包括：步骤S201、接收任务请求及基本执行环境；步骤S202、根据所述任务请求对异构集群进行调度；步骤S203、将所述基本执行环境编译为所调度的异构设备对应的执行环境，并部署到所调度的异构设备上；步骤S204、使所调度的异构设备执行所述任务请求。图2中所述方法的执行主体为异构集群调度服务器。其中，所述基本执行环境为开发人员基于基本硬件本文档来自技高网...

【技术保护点】
一种面向异构集群的任务处理方法，其特征在于，包括：接收任务请求及基本执行环境；根据所述任务请求调度异构设备；将所述基本执行环境编译为所调度的异构设备对应的执行环境，并部署到所调度的异构设备上；触发所调度的异构设备执行所述任务请求。

【技术特征摘要】
1.一种面向异构集群的任务处理方法，其特征在于，包括：接收任务请求及基本执行环境；根据所述任务请求调度异构设备；将所述基本执行环境编译为所调度的异构设备对应的执行环境，并部署到所调度的异构设备上；触发所调度的异构设备执行所述任务请求。2.根据权利要求1所述的方法，其特征在于，所述基本执行环境基于预设的基本硬件设备类型的异构高性能库构建。3.根据权利要求1所述的方法，其特征在于，所述任务请求包括：所述基本执行环境的标识、任务的配置信息、任务的数据信息。4.根据权利要求1所述的方法，其特征在于，所述根据所述任务请求调度异构设备包括：根据所述任务请求中任务的数据信息及异构集群可用资源额度，为所述任务请求调度异构设备。5.根据权利要求2所述的方法，其特征在于，所述将所述基本执行环境编译为所调度的异构设备对应的执行环境包括：根据为所述任务请求调度的异构设备的类型，将预设的基本硬件设备类型的异构高性能库切换为所调度的异构设备类型对应的异构高性能库，生成所调度的异构设备对应的执行环境。6.根据权利要求3所述的方法，其特征在于，所述触发所调度的异构设备执行所述任务请求包括：向所调度的异构设备发送包括所述任务的数据信息的任务指令，以使所调度的异构设备根据任务指令进行分布式计算。7.一种面向异构集群的任务处理装置，其特征在于，包括：接收模块，用于接收任务请求及基本执行环境；调度模块，用于根据所述任务请求调度异构设...

【专利技术属性】
技术研发人员：温圣召，周汉清，刘传秀，张家军，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11