一种容器镜像并行分发方法、调度器及存储介质技术

本发明专利技术公开了一种容器镜像并行分发方法、调度器及存储介质，所述方法包括：将节点调度队列中数据块所在节点作为分发节点，向请求节点传输数据块；接收超级节点推送的请求节点数据块写磁盘操作成功的确认信息，并将该请求节点插入到节点调度队列中；在调度窗口内根据数据块信息，对分发节点和请求节点进行调度匹配：若调度匹配成功，则控制请求节点从所述分发节点下载数据块。本发明专利技术能够保证负载均衡性，提高大规模文件分发效率。

A container image parallel distribution method, scheduler and storage medium

【技术实现步骤摘要】
一种容器镜像并行分发方法、调度器及存储介质
本专利技术涉及一种容器镜像并行分发方法、调度器及存储介质，属于

技术介绍
为了获得更高效率的云服务，容器技术自诞生以来便受到了业界的广泛支持。作为一种基于容器的虚拟化技术，Docker在很多公司及数据中心中被广泛部署使用。在实际应用中，随着不同模板数量的增多，容器环境下的镜像分发逐渐成为了一个令云服务管理者头疼的问题。大规模数据中心每天会启动数十万个Docker容器，Docker容器的启动速度对数据中心的高效运行十分重要，如果不能及时启动应用程序的容器以响应请求，镜像并发拉取时分发效率会急剧下降。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提供一种容器镜像并行分发方法、调度器及存储介质，能够保证负载均衡性，提高大规模文件分发效率。为达到上述目的，本专利技术是采用下述技术方案实现的：一方面，本专利技术提供了一种容器镜像并行分发方法，所述方法包括如下步骤：将节点调度队列中数据块所在节点作为分发节点，向请求节点传输数据块；接收超级节点推送的请求节点数据块写磁盘操作成功的确认信息，并将该请求节点插入到节点调度队列中；在调度窗口内根据数据块信息，对分发节点和请求节点进行调度匹配：若调度匹配成功，则控制请求节点从所述分发节点下载数据块。结合第一方面，进一步的，所述方法还包括：接收超级节点推送的请求下载的数据块信息和数据块所在节点信息，将所有数据块信息插入到数据块调度队列，并将数据块所在节点插入到节点调度队列。结合第一方面，进一步的，调度匹配的方法包括如下步骤：获取待下载数量最大的数据块；在节点调度队列中查找满足以下条件的分发节点：下载数量最大的数据块存在于分发节点上，且分发节点网络输出带宽空闲且分发节点与请求节点地理位置最近；控制请求节点从所查找的分发节点下载数据块。结合第一方面，进一步的，所述方法还包括：接收超级节点发出的数据块下载完成确认信息，将数据块下载完成的请求节点加入到节点调度队列中。结合第一方面，进一步的，如果未接收到超级节点发出的数据块下载完成确认信息，且请求节点尝试下载失败或请求节点自带心跳超时，则将所述分发节点移除节点调度队列。结合第一方面，进一步的，数据块调度队列为空时，发出文件下载完成消息，并清除节点调度队列。第二方面，本专利技术提供了一种调度器，包括存储器和处理器，所述存储器用于存储指令，所述处理器用于加载所述指令以执行前述任一项所述的方法步骤。第三方面，本专利技术提供了一种存储介质，用于存储指令，所述指令能够被处理器加载以执行前述任一项所述的方法步骤。与现有技术相比，本专利技术所达到的有益效果包括：对分发节点和请求节点进行动态调度匹配，能够使分发节点根据自身性能分配到相应数量的数据块，保证在时间和空间上的负载均衡性，提高大规模文件分发效率。附图说明图1是根据本专利技术实施例提供的一种容器镜像并行分发方法的原理框图；图2是根据本专利技术实施例提供的数据块调度队列的工作原理示意图；图3是根据本专利技术实施例提供的节点调度队列的工作原理示意图。具体实施方式容器镜像是分层存储，单个镜像层可能被多个镜像共享，根据每层数据大小下载时会划分成不同数据块，超级节点会将请求下载的数据块所在集群中的位置信息和下载请求信息推送到调度器，镜像分发时P2P网络中的数据块流向由调度器动态决定，使得集群内各个节点的网络和磁盘等资源被充分使用；同时考虑到集群中服务器能力差异问题，让性能弱的节点分担较少的分发任务。调度器主要由两个调度队列组成，分别是存放待下载数据块的数据块调度队列和存放可响应数据块下载请求的节点调度队列。在每个调度窗口的开始时刻处理下载请求，根据下载请求的连续性，可以预测出在当前调度窗口内的所有下载请求。从数据块调度队列中每次选取待下载数量最大的数据块进行分发，因为下载请求数量越大，说明该数据块更加需要其他节点在集群中进行分发。随着时间的推移，调度窗口也不断向前平移。节点资源代理负责向调度器实时汇报本节点网络带宽状态和节点所在集群中的网络拓扑情况等等。调度器可独立部署在超级节点或者对等节点上，节点资源代理工作在集群中每个节点上。下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。如图1所示，是根据本专利技术实施例提供的一种容器镜像并行分发方法的原理框图，容器镜像并行分发方法包括如下步骤：步骤1，超级节点会将请求下载的数据块信息和数据块所在节点信息推送到调度器，然后调度器将所有数据块信息插入数据块调度队列，并将数据块所在节点插入到节点调度队列，控制节点调度队列中的节点依次向请求节点传输数据块；步骤2，请求节点接收到数据块后立刻开始写磁盘操作，写入成功后通过节点资源代理向超级节点发出确认信息，汇报本节点增加了一个数据块，可提供此数据块的转发服务，由超级节点推送到调度器，将本节点插入到节点调度队列，同时请求下一个数据块；步骤3，调度器会在调度窗口内根据数据块调度队列中的数据块信息，对分发节点和请求节点进行调度匹配，调度过程的伪代码如下所示：步骤3中分发节点一旦调度成功则从该节点下载数据块，如果超级节点收到数据块下载完成的确认，会将该节点加入到节点调度队列，当数据块请求下载数为零时会被移出数据块调度队列；如果未收到数据块下载完成的确认，且请求节点尝试重试下载失败，或节点自带心跳超时，则判定该分发节点离线，会被移除节点调度队列，尝试从下个分发节点下载数据块；数据块调度队列为空时向全系统发出文件下载完成消息，清除节点调度队列。数据块调度队列中的数据块可以属于多个不同镜像文件。算法一旦从步骤1开始执行则重复执行步骤1以外的其他步骤，直到清除节点调度队列停止。等待下一次提交文件下载请求，再从步骤1开始执行。本专利技术实施例利用两个调度队列和系统节点的资源状态，将分发节点与请求节点动态匹配，使分发节点根据自身性能分配到相应数量的数据块，保证了系统时间和空间上的负载均衡性，提高了大规模文件分发效率。下面以4个对等节点和一个超级节点构成网络集群对本专利技术实施例提供的方法做进一步详细描述。数据块block1简称b1，对等节点peer1简称p1，其他数据块和对等节点名称类推，超级节点supernode简称s。4个待分发的数据块，每个对等节点数据请求情况：p1(b1、b2)，p2(b1、b2，b3)，p3(b1、b2，b3，b4)，p4(b1、b2，b3，b4)，数据块b1-b4的请求数量分别是：4、4、3、2，具体分析本算法数据块的分发过程。算法开始时，集群首次文件分发默认将s放入节点调度队列，数据块调度队列中放入待下载的数据块。图2、图3分别是数据块调度器队列和节点调度器队列工作过程示意图，图中b1[4-0]代表数据块1当前请求下载数为4，已完成下载0本文档来自技高网...

【技术保护点】
1.一种容器镜像并行分发方法，其特征在于，所述方法包括如下步骤：/n将节点调度队列中数据块所在节点作为分发节点，向请求节点传输数据块；/n接收超级节点推送的请求节点数据块写磁盘操作成功的确认信息，并将该请求节点插入到节点调度队列中；/n在调度窗口内根据数据块信息，对分发节点和请求节点进行调度匹配：若调度匹配成功，则控制请求节点从所述分发节点下载数据块。/n

【技术特征摘要】
1.一种容器镜像并行分发方法，其特征在于，所述方法包括如下步骤：
将节点调度队列中数据块所在节点作为分发节点，向请求节点传输数据块；
接收超级节点推送的请求节点数据块写磁盘操作成功的确认信息，并将该请求节点插入到节点调度队列中；
在调度窗口内根据数据块信息，对分发节点和请求节点进行调度匹配：若调度匹配成功，则控制请求节点从所述分发节点下载数据块。


2.根据权利要求1所述的容器镜像并行分发方法，其特征在于，所述方法还包括：
接收超级节点推送的请求下载的数据块信息和数据块所在节点信息，将所有数据块信息插入到数据块调度队列，并将数据块所在节点插入到节点调度队列。


3.根据权利要求2所述的容器镜像并行分发方法，其特征在于，调度匹配的方法包括如下步骤：
获取待下载数量最大的数据块；
在节点调度队列中查找满足以下条件的分发节点：
下载数量最大的数据块存在于分发节点上，且分发节点网络输出带宽空闲且分发节点与请求节点地理位置...

【专利技术属性】
技术研发人员：马德超，高原，顾文杰，顾雯轩，丁雨恒，董子奇，赵京虎，彭晖，陈鹏，陈泊宇，陈旻昱，陈兴亮，汤雨豪，符鹏，
申请(专利权)人：国电南瑞科技股份有限公司，国电南瑞南京控制系统有限公司，
类型：发明
国别省市：江苏;32