用于分布式环境的异步任务管理装置及方法制造方法及图纸

本发明专利技术提出了用于分布式环境的异步任务管理装置及方法。其中，所述方法包括：基于训练样本以及预定的任务类型和对应的规模参数集合建立任务规模评估模型；基于所述任务规模评估模型确定针对异步任务请求的目标计算节点，并将所述异步任务请求传送到所述目标计算节点以执行相关的异步任务。

【技术实现步骤摘要】
【专利摘要】本专利技术提出了。其中，所述方法包括：基于训练样本以及预定的任务类型和对应的规模参数集合建立任务规模评估模型；基于所述任务规模评估模型确定针对异步任务请求的目标计算节点，并将所述异步任务请求传送到所述目标计算节点以执行相关的异步任务。【专利说明】
本专利技术涉及异步任务管理装置及方法，更具体地，涉及用于分布式环境的异步任 务管理装置及方法。
技术介绍
目前，随着计算机和网络应用的日益广泛以及不同领域的业务种类的日益丰富， 基于分布式环境的异步任务管理装置及方法变得越来越重要。 现有的异步任务管理装置及方法的基本工作原理如下：基于每个计算节点的负载 情况进行任务分配以达到各个计算节点的负载均衡。 然而，现有的异步任务管理装置及方法存在如下问题：在计算节点存在差异并且 计算能力不同的情况下，可能存在计算能力过度分配或者分配不足的情况，即计算能力较 弱的计算节点分配到规模较大的任务，从而导致任务的执行时间过长，而计算能力较强的 计算节点可能分配不到任务或者分配到规模较小的任务，从而导致任务分配不足，由此从 整体上而言各个异步任务的完成时间难于达到最优。 因此，存在如下需求：提供能够优化异步任务分配并具有高的异步任务执行效率 的。
技术实现思路
为了解决上述现有技术方案所存在的问题，本专利技术提出了能够优化异步任务分配 并具有高的异步任务执行效率的。 本专利技术的目的是通过以下技术方案实现的： -种用于分布式环境的异步任务管理装置，所述用于分布式环境的异步任务管理 装置包括： 预处理单元，所述预处理单元基于训练样本以及预定的任务类型和对应的规模参 数集合建立任务规模评估模型； 异步任务管理单元，所述异步任务管理单元在所述任务规模评估模型已被建立后 接收来自外部的异步任务请求，并基于所述任务规模评估模型确定目标计算节点以及将所 述异步任务请求传送到所述目标计算节点以执行相关的异步任务。 在上面所公开的方案中，优选地，每一个预定的任务类型具有与其相对应的规模 参数的集合。 在上面所公开的方案中，优选地，以如下公式表示所述任务规模评估模型： FT = f (Type, C, params) (4) 其中，FT是任务的规模，Type是任务类型，C是计算节点的计算能力，params是任 务的规模参数集合，即所述任务规模评估模型的输入为任务类型、计算节点的计算能力以 及任务的规模参数集合，所述任务规模评估模型的输出是所评估的任务规模。 在上面所公开的方案中，优选地，以如下方式评估每个计算节点的计算能力： 假设分布式环境中具有η个计算节点，则根据如下公式评估计算节点的实际计算 能力： 【权利要求】1. 一种用于分布式环境的异步任务管理装置，所述用于分布式环境的异步任务管理装 置包括： 预处理单元，所述预处理单元基于训练样本以及预定的任务类型和对应的规模参数集 合建立任务规模评估模型； 异步任务管理单元，所述异步任务管理单元在所述任务规模评估模型已被建立后接收 来自外部的异步任务请求，并基于所述任务规模评估模型确定目标计算节点以及将所述异 步任务请求传送到所述目标计算节点以执行相关的异步任务。2. 根据权利要求1所述的用于分布式环境的异步任务管理装置，其特征在于，每一个 预定的任务类型具有与其相对应的规模参数的集合。3. 根据权利要求2所述的用于分布式环境的异步任务管理装置，其特征在于，以如下 公式表示所述任务规模评估模型： FT = f (Type, C, params) (4) 其中，FT是任务的规模，Type是任务类型，C是计算节点的计算能力，params是任务的 规模参数集合，即所述任务规模评估模型的输入为任务类型、计算节点的计算能力以及任 务的规模参数集合，所述任务规模评估模型的输出是所评估的任务规模。4. 根据权利要求3所述的用于分布式环境的异步任务管理装置，其特征在于，以如下 方式评估每个计算节点的计算能力： 假设分布式环境中具有n个计算节点，则根据如下公式评估计算节点的实际计算能 力：其中&为计算节点的硬件参数(例如CPU类型、内存大小等等)、\为权重(其可按任 务需求的不同而被设置为不同的值）； 对上面公式得到的节点计算能力按下面的公式进行归一化处理，以得到计算节点的计 算能力Q :其中，C'_是所有节点实际计算能力最大值，C'min是所有节点实际计算能力的最小值。5. 根据权利要求4所述的用于分布式环境的异步任务管理装置，其特征在于，基于训 练样本以如下方式获得任务的运算规模以由此建立任务规模评估模型： 在同一计算机上运行不同任务类型的异步任务样本(其具有不同的规模参数集合）以 获得异步任务样本的运行时间T，并对异步任务样本的运行时间进行线性处理且按照如下 公式进行归一化，以获得异步任务样本的运算规模：其中，FT是任务规模，Tmin是所有运行时间的最小值，Tmax是所有运行时间的最大值。6. 根据权利要求5所述的用于分布式环境的异步任务管理装置，其特征在于，所述预 处理单元能够在空闲时间周期性地基于训练样本训练并修正所述任务规模评估模型。7. 根据权利要求6所述的用于分布式环境的异步任务管理装置，其特征在于，所述异 步任务管理单元以如下方式基于所述任务规模评估模型确定目标计算节点：（1)解析接收 到的异步任务请求以获取与所述异步任务请求相关联的异步任务的任务类型和规模参数 集合；（2)将所获取的任务类型和规模参数集合作为所述任务规模评估模型的输入以获得 与所述异步任务请求相关联的异步任务的任务规模；（3)获取空闲的计算节点列表，并将 所获得任务规模与空闲的计算节点列表中的计算节点的计算能力进行匹配，以及将其计算 能力与任务规模相减的绝对值最小的计算节点确定为目标计算节点；（4)如果未找到匹配 的目标计算节点，则周期性地执行步骤（3 )直至目标计算节点被确定。8. -种用于分布式环境的异步任务管理方法，所述用于分布式环境的异步任务管理方 法包括下列步骤： (A1)基于训练样本以及预定的任务类型和对应的规模参数集合建立任务规模评估模 型； (A2)基于所述任务规模评估模型确定针对异步任务请求的目标计算节点，并将所述异 步任务请求传送到所述目标计算节点以执行相关的异步任务。【文档编号】G06F9/46GK104346214SQ201310325203【公开日】2015年2月11日 申请日期:2013年7月30日 优先权日:2013年7月30日 【专利技术者】赵金涛, 邱雪涛 申请人:中国银联股份有限公司本文档来自技高网...

【技术保护点】
一种用于分布式环境的异步任务管理装置，所述用于分布式环境的异步任务管理装置包括：预处理单元，所述预处理单元基于训练样本以及预定的任务类型和对应的规模参数集合建立任务规模评估模型；异步任务管理单元，所述异步任务管理单元在所述任务规模评估模型已被建立后接收来自外部的异步任务请求，并基于所述任务规模评估模型确定目标计算节点以及将所述异步任务请求传送到所述目标计算节点以执行相关的异步任务。

【技术特征摘要】

【专利技术属性】
技术研发人员：赵金涛，邱雪涛，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：上海;31