【技术实现步骤摘要】
一种分布式网络任务调度方法及装置
本申请涉及网络资源调度
，尤其涉及一种分布式网络任务调度方法及装置。
技术介绍
近年来，在互联网和电子商务领域，对网络资源的管理更加复杂，对服务的并发能力和响应速度要求也越来越高，传统的单机服务器模式早已无法承载巨大的访问负载，由于访问资源及机器自身资源一直处于紧绷的状态，用户访问受限制。近年来单机存储逐渐向分布式存储过渡，相较于传统的单机存储模式，基于对象存储的分布式系统带来了空间和访问速度上的好处，通过整体空间充足可以有效地解决大数据量带来的存储问题，而通过控制访问速度可以有效地制约高并发带来的处理压力。现有的分布式任务调度方式只是简单地考虑节点的存储量，计算力，网络影响等因素，没有根据不同的情况制定任务与节点分配之间的调和性方案，使得任务扎堆，节点失衡，容易导致节点宕机和资源浪费。
技术实现思路
本申请提供了一种分布式网络任务调度方法及装置，用于解决现有分布式系统没有根据任务的具体情况和节点的状态进行综合考量，导致任务扎堆、节点失衡以及资源浪费的技术问...
【技术保护点】
1.一种分布式网络任务调度方法，其特征在于，包括：/n中心管理节点根据接收的预置任务对各集群进行心跳信息探测，得到集群心跳信息，所述预置任务包括预置优先级，所述集群包括至少一个普通节点；/n所述中心管理节点根据所述预置任务和所述集群心跳信息对集群进行预选，得到预选集群，所述预选以满足各集群的一级预置指标的均值及方差为筛选条件，所述一级预置指标包括集群闲置计算资源和集群闲置存储资源；/n所述中心管理节点通过根据所述预选集群的二级预置指标获取的集群优先级对所述预选集群进行精选，得到目标集群；/n所述中心管理节点将所述预置任务切片，并分配至所述目标集群。/n
【技术特征摘要】
1.一种分布式网络任务调度方法，其特征在于，包括：
中心管理节点根据接收的预置任务对各集群进行心跳信息探测，得到集群心跳信息，所述预置任务包括预置优先级，所述集群包括至少一个普通节点；
所述中心管理节点根据所述预置任务和所述集群心跳信息对集群进行预选，得到预选集群，所述预选以满足各集群的一级预置指标的均值及方差为筛选条件，所述一级预置指标包括集群闲置计算资源和集群闲置存储资源；
所述中心管理节点通过根据所述预选集群的二级预置指标获取的集群优先级对所述预选集群进行精选，得到目标集群；
所述中心管理节点将所述预置任务切片，并分配至所述目标集群。
2.根据权利要求1所述的分布式网络任务调度方法，其特征在于，所述中心管理节点根据所述预置任务和所述集群心跳信息对集群进行预选，得到预选集群，包括：
所述中心管理节点基于所述集群心跳信息，将离线或者掉线的所述普通节点数量超过节点总数的集群丢弃；
所述中心管理节点根据所述预置优先级选择所述一级预置指标；
所述中心管理节点计算各集群的所述一级预置指标的均值及方差；
所述中心管理节点将所述均值相差在第一阈值范围内，且所述方差在第二阈值范围内的集群作为所述预选集群。
3.根据权利要求1所述的分布式网络任务调度方法，其特征在于，所述二级预置指标包括：集群计算能力、集群最小闲置存储资源和集群普通节点数量。
4.根据权利要求1所述的分布式网络任务调度方法，其特征在于，所述中心管理节点通过根据所述预选集群的二级预置指标获取的集群优先级对所述预选集群进行精选，得到目标集群，包括：
所述中心管理节点根据所述预置优先级设置所述二级预置指标的预置权重；
所述中心管理节点根据所述预置权重和所述二级预置指标计算集群优先级；
所述中心管理节点根据所述集群优先级将所述预选集群进行降序排序，得到所述目标集群。
5.根据权利要求4所述的分布式网络任务调度方法，其特征在于，所述中心管理节点将所述预置任务切片，并分配至所述目标集群，包括：
所述中心管理节点基于所述集群优...
【专利技术属性】
技术研发人员：周泽宇，余荣，龙超桃，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。