【技术实现步骤摘要】
容器化分布式计算框架的调度方案获取方法及调度方法
本专利技术属于容器集群任务调度
，更具体地，涉及一种容器化分布式计算框架的调度方案获取方法及调度方法。
技术介绍
当前数据中心通过虚拟化技术来提升物理机的资源利用率，虚拟化技术同时也为不同应用提供运行环境的隔离性。虚拟化技术包括虚拟机技术和容器技术，其中，虚拟机技术需要虚拟出一整套客户机运行的操作系统，容器技术则允许运行在同一物理服务器上面的所有容器共享同一宿主机的操作系统内核，用户只需面向具体应用构造出应用需要的最小运行环境，因此，相比于KVM、Xen等虚拟机技术，容器占用系统外存空间较小，启动时间短，在容器中运行应用的性能接近于直接在物理服务器上运行该应用的性能，典型的容器技术包括Docker、RKT、OpenVZ等。数据中心管理员对容器化应用的管理无需考虑容器内运行应用所依赖的环境，管理应用的流程因而得到简化，越来越多数据中心的应用运行环境由虚拟机迁移到容器。伴随大数据与人工智能的兴起，用户提交到数据中心的大数据处理任务、深度学习训练任务数目变得更多，这些任务都选择在分布式计算框架上运行；当前典型的分布...
【技术保护点】
1.一种容器化分布式计算框架的调度方案获取方法，其特征在于，包括：(1)获得待调度的容器化分布式计算框架中所有未调度的容器化组件，从而得到待调度组件集合；(2)根据所述待调度组件集合中各容器化组件所需消耗的计算资源以及集群中各计算节点的可用计算资源，确定用于运行所述待调度组件集合中各容器化组件的计算节点，使得容器化核心组件能够与尽可能多的容器化计算组件被调度至同一计算节点，由此得到所述待调度的容器化分布式计算框架的调度方案。
【技术特征摘要】
1.一种容器化分布式计算框架的调度方案获取方法，其特征在于，包括：(1)获得待调度的容器化分布式计算框架中所有未调度的容器化组件，从而得到待调度组件集合；(2)根据所述待调度组件集合中各容器化组件所需消耗的计算资源以及集群中各计算节点的可用计算资源，确定用于运行所述待调度组件集合中各容器化组件的计算节点，使得容器化核心组件能够与尽可能多的容器化计算组件被调度至同一计算节点，由此得到所述待调度的容器化分布式计算框架的调度方案。2.如权利要求1所述的容器化分布式计算框架的调度方案获取方法，其特征在于，所述步骤(2)包括：(21)按照所需消耗的计算资源从小到大的顺序对所述待调度组件集合中的容器化计算组件进行排序，得到有序组件集合；(22)若所述待调度组件集合包含容器化核心组件，则将所述容器化核心组件插入为所述有序组件集合的第一个元素，并转入步骤(23)；否则，直接转入步骤(23)；(23)获得所述有序组件集合中所有容器化组件所需消耗的总计算资源R；(24)若所有计算节点的可用计算资源均小于所述总计算资源R，则转入步骤(25)；否则，获得可用计算资源大于或等于所述总计算资源R的所有计算节点，以构成候选节点集合，并转入步骤(27)；(25)获得可用计算资源最大的计算节点I，确定所述有序组件集合中可调度至所述计算节点I的前m个容器化组件，使得Nmax为所述计算节点I的可用计算资源；(26)将所述计算节点I确定为用于运行所述m个容器化组件的计算节点，更新所述计算节点I的可用计算资源为并将所述m个容器化组件从所述有序组件集合中移除后，转入步骤(23)；(27)获得所述候选节点集合中可用计算资源最小的计算节点I′，并将其确定为用于运行所述有序组件集合中各容器化组件的计算节点；其中，i为容器化组件的编号，Fi为所述有序组件集合中第i个容器化组件所需消耗的计算资源。3.一种容器化分布式计算框架的调度方法，其特征在于，包括：对于集群中由用户新建的需要被调度的容器化分布式计算框架Fr，利用权利要求1-2任一项所述的容器化分布式计算框架的调度方案获取方法获得其调度方案S；根据所述调度方案S将所述计算框架Fr的各容器化组件调度至对应的计算节点，从而完成对所述计算框架Fr的调度。4.一种容器化分布式计算框架的调度方法，其特征在于，包括：(1)判断当前集群中是否存在用户新建的需要被调度的容器化分布式计算框架Fr，若是，则转入步骤(6)；若否，则转入步骤(2)；(2)获得集群当前的时间戳tp与集群上一次执行重调度过程的时间戳tl之间的差值Δt，若Δ...
【专利技术属性】
技术研发人员：童薇，冯丹，刘景宁，谢乘胜，邓竣中，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。