【技术实现步骤摘要】
一种基于智能感知的跨域计算任务调度方法及系统
本专利技术属于任务调度领域，具体涉及集群级任务调度场景，特别是一种面向跨域计算环境的计算任务调度技术。
技术介绍
跨域计算环境由多个互相隔离的域组成，每个域包含一个或多个完整的存储和计算集群，可独立执行具体的计算任务。参与计算的主要数据所在的域称为数据域。在跨域计算环境中，总是将计算任务提交到数据域执行并不是最优的调度策略。当数据域剩余资源不足时，任务将进入等待队列，导致任务启动时间不可控。当数据域剩余资源紧张时，任务计算性能将受到影响，导致任务执行时间变长。将计算任务提交至其它低负载域时，过高的数据跨域迁移成本同样会导致任务启动时间大幅推迟。因此，需要一种全局性的任务调度技术，在综合考虑各域资源情况和数据迁移成本等影响因素的基础上，智能判定任务的最优执行域。域能够执行具体的计算任务必须满足两个前提：1)该域必须满足计算任务对CPU和内存等资源的需求；2)该域必须存储参与计算的数据，必要时需要将数据从其他域迁移至本域。迁移数据的大小直接影响跨域迁移时间的长短，文件数据可通过汇总每个分片文件的大小得到其数据量，数据库数据...
【技术保护点】
1.一种基于智能感知的跨域计算任务调度方法，其特征在于，包括：步骤1、基于标签数据训练决策树模型；步骤2、基于相对时间复杂度估算计算任务的执行时间；步骤3、基于资源历史记录和ARIMA算法预测各域的资源变化趋势指标；步骤4、使用资源状态接口获取各个域的资源实时状态指标；步骤5、基于可用带宽估算数据迁移到各个域的迁移时间；步骤6、基于决策树模型和综合指标决策任务最优执行域。
【技术特征摘要】
1.一种基于智能感知的跨域计算任务调度方法，其特征在于，包括：步骤1、基于标签数据训练决策树模型；步骤2、基于相对时间复杂度估算计算任务的执行时间；步骤3、基于资源历史记录和ARIMA算法预测各域的资源变化趋势指标；步骤4、使用资源状态接口获取各个域的资源实时状态指标；步骤5、基于可用带宽估算数据迁移到各个域的迁移时间；步骤6、基于决策树模型和综合指标决策任务最优执行域。2.根据权利要求1所述的一种基于智能感知的跨域计算任务调度方法，其特征在于，步骤1所述决策树模型通过决策树算法训练得出，步骤如下：1.1、构建初始标签数据，并划分为训练集和测试集；1.2、将训练集输入到决策树训练算法中并设置训练参数，得出决策树模型；1.3、将决策树模型和测试集输入到决策树评估算法中，得出决策树模型评估指标；1.4、当决策树模型评估指标不满足要求时：a)调整训练参数，重复步骤1.2和1.3，直到指标满足要求为止；或者，b)调整标签规则，重复步骤1.1、1.2和1.3，直到指标满足要求为止。3.根据权利要求1所述的一种基于智能感知的跨域计算任务调度方法，其特征在于，步骤2所述估算方法包括：2.1、选取一种基准算法，并拟合出该基准算法的时间复杂度曲线；2.2、根据待估算任务相对于基准算法的时间复杂度，计算出任务预计执行时间T。4.根据权利要求1所述的一种基于智能感知的跨域计算任务调度方法，其特征在于，步骤3所述算法具体包括：3.1获取本域过去一段时间的资源历史数据；3.2使用ARIMA算法计算本域未来一段时间的资源预测数据；3.3获取当前时刻t0和当前任务的预计执行时间T；3.4从资源预测数据中截取[t0,t0+T]区间的数据，计算变化趋势指标；3.5每个域重复3.1～3.4步骤，各自计算出本域的变化趋势指标。5.根据权利要求1所述的一种基于智能感知的跨域计算任务调度方法，其特征在于，步骤4所述资源实时状态指标具体包括以下5个指标：4.1集群CPU空闲率，用于描述集群CPU的总体使用情况；4.2集群CPU核心总数，用于描述集群CPU的核心总体数量；4.3集群剩余内存，用于描述集群各节点的内存剩余空间大小的总和；4.4集群磁盘剩余空间，用于描述集群各节点的磁盘剩余空间大小的总和；4.5跨域网络可用带宽，用于描述两个集群之间的网络带宽的使用情况。6.一种基于智能感知的跨域计...
【专利技术属性】
技术研发人员：樊文昌，云亚娇，武新，
申请(专利权)人：天津南大通用数据技术股份有限公司，
类型：发明
国别省市：天津,12
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。