基于p2p技术实现镜像加速和预热方法及系统技术方案

本发明专利技术提供了一种基于p2p技术实现镜像加速和预热方法及系统，包括在网关入口处，捕获新建应用的请求，解析请求，得到镜像名称；调用镜像预热接口；admission controller功能结束后，进入到正常的调度流程，集群kubernete完成应用的调度，pod调度被调度到kubernetes的工作节点后，访问容器运行时下载容器镜像；下载镜像的http pull请求被proxy到daemon服务，开始下载镜像；集群Kubernete工作节点的容器运行时完成镜像下载后，kubernetes启动Pod，完成应用的下发流程。本发明专利技术通过镜像预热功能，解决应用镜像下发部署慢或者失败的问题。决应用镜像下发部署慢或者失败的问题。决应用镜像下发部署慢或者失败的问题。

【技术实现步骤摘要】
基于p2p技术实现镜像加速和预热方法及系统


[0001]本专利技术涉及镜像预热的
，具体地，涉及基于p2p技术实现镜像加速和预热方法及系统。

技术介绍

[0002]镜像(Mirroring)是一种文件存储形式，是冗余的一种类型，一个磁盘上的数据在另一个磁盘上存在一个完全相同的副本即为镜像。可以把许多文件做成一个镜像文件，与GHOST等程序放在一个盘里用GHOST等软件打开后，又恢复成许多文件，RAID 1和RAID 10使用的就是镜像。常见的镜像文件格式有ISO、BIN、IMG、TAO、DAO、CIF、FCD。
[0003]在公开号为CN109104451A的专利文献中公开了Docker镜像的下载方法及节点、Docker镜像的预热方法及节点，下载方法应用于端到端P2P分发系统中的P2P客户端，P2P分发系统包括：管控节点、超级节点和P2P客户端；该方法包括：第一P2P客户端向管控节点发送Docker镜像的层文件的下载请求，以便管控节点依据第一P2P客户端的位置和各超级节点的负载，确定可用的、超级节点列表；第一P2P客户端向超级节点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于p2p技术实现镜像加速和预热方法，其特征在于，所述方法包括如下步骤：步骤1：在Kubernete的网关入口处，admission controller服务捕获新建应用的请求，解析请求，得到镜像名称；步骤2：admission controller服务调用manager服务镜像预热接口；步骤3：admission controller功能结束后，集群kubernetes进入到正常的调度流程，集群kubernete完成应用的调度，pod调度被调度到kubernetes的工作节点后，访问容器运行时下载容器镜像；步骤4：下载镜像的http pull请求被proxy到daemon服务，开始下载镜像；步骤5：集群Kubernete工作节点的容器运行时完成镜像下载后，kubernetes启动Pod，完成应用的下发流程。2.根据权利要求1所述的基于p2p技术实现镜像加速和预热方法，其特征在于，所述步骤2包括如下步骤：步骤2.1：manager服务接收到预热请求后，解析参数中的镜像名称，通过grpc的方式调用scheduler预热接口，开启预热功能；步骤2.2：scheduler接收到预热请求后，解析镜像名称，查询scheduler记录，判断是否有当前存在文件，如果不存在，新建下载任务流程，并同时记录文件的ID和文件的名称，同时访问镜像仓库，启动镜像下载流程，文件的ID被后面下载流程使用；步骤2.3：下载完成后，需对镜像每层文件做下面所述的操作，若文件大小超过分片值，则分片文件，并对分片后的文件依次sha，用于客户端下载后文件校验，同时生成seed文件，并标记下载的文件为大文件，反之标记为小文件，小文件无需分片，镜像每层文件，均按层数保存；步骤2.4：文件下载完成，并根据按需分片后，建立文件ID和文件的隐射关系，并更新本次任务状态。3.根据权利要求1所述的基于p2p技术实现镜像加速和预热方法，其特征在于，所述步骤4包括如下步骤：步骤4.1：容器运行时的pull镜像http/https请求，被daemon proxy的模块拦截，重定向本次请求到daemon服务，daemon服务调用manager接口注册为一个peer节点，并开启心跳线程；步骤4.2：daemon服务接受镜像下载http/https请求后，通过grpc方式访问scheduler服务注册一个下载任务，得到文件分片信息，文件隐射ID等信息；步骤4.3：daemon服务用步骤4.2得到的返回结果，grpc再调用scheduler得到一个grpc消息通道，该通道用于后续daemon和scheduler交换消息；步骤4.4：scheduler查询当前保存到文件以及对应的peer节点，如果是首次下载，在步骤2的预热过程中，已经在scheduler中保存了文件内容、状态、ID和seed，如果是首次下载，通过步骤4.3得到的grpc通道，返回scheduler地址，文件大小，已经下载分片，总的分片；步骤4.5：daemon服务在通道接收到信息后，得到peer节点地址，然后访问这些节点的下载端口，建立grpc流传输通道，开始文件分片下载；步骤4.6：daemon下载完文件的分片后，需根据文件的sha值，如匹配seed中sha值，则当前分片下载完成，否则重新下载；
步骤4.7：daemon服务完成了分片的下载后，需同步信息给scheduler，包过下载了哪些分片，自己的开放的下载端口；如其他节点有该文件的下载请求，daemon服务将当前节点作为资源节点提供给其他节点，便于文件的传递；步骤4.8：daemon服务完成所有分片的下载，并根据seed中信息完成文件的组装，响应步骤4.1中的被拦截的http文件下载请求，返回下载的文件数据。4.根据权利要求3所述的基于p2p技术实现镜像加速和预热方法，其特征在于，所述步骤4.4中如果非首次下载，由scheduler和daemon服务构成的p2p网络缓存了文件信息，shecuduler查询哪些peer节点缓存了文件，并将得到的peer节点，文件大小，分片信息通过步骤4.3建立的通道返回给对端。5.根据权利要求3所述的基于p2p技术实现镜像加速和预热方法，其特征在于，所述步骤4.6中需要通过总分片和当前的分片计算当前是否下载完所有的分片，如果还有分片，通过步骤4.3得到的grpc通道请求缺失分片的信息，重复步骤4.4直到下载完该文件的所有分片。6.一种基于p2p技术实现镜像加速...

【专利技术属性】
技术研发人员：郭进，詹赵林，郑文礼，王畅，林鑫，孙佳明，梅金东，黄小，王鑫，刘金华，黄文杰，李贺安，聂子璇，刘清，
申请(专利权)人：兴业数字金融服务上海股份有限公司，
类型：发明
国别省市：