一种镜像数据处理方法及装置制造方法及图纸

本申请涉及数据处理技术领域，特别涉及一种镜像数据处理方法及装置。该方法应用于存储镜像数据的集群各节点，该方法包括：基于部署指令，部署Harbor实例，并部署Registry实例，以及建立所述Harbor实例和所述Registry实例之间的同步机制；接收用户客户端上传的镜像数据，其中，所述镜像数据包括去重处理后的各镜像包的数据和各镜像包的元数据；将所述镜像数据加载至所述Registry实例的文件目录下，并将所述镜像数据从所述Registry实例同步至所述Harbor实例。Harbor实例。Harbor实例。

【技术实现步骤摘要】
一种镜像数据处理方法及装置


[0001]本申请涉及数据处理
，特别涉及一种镜像数据处理方法及装置。

技术介绍

[0002]Harbor是构建企业级私有Docker镜像仓库的开源解决方案，它在Docker Registry的基础上增加了企业用户必需的权限控制、镜像签名、安全漏洞扫描和远程同步等重要功能，还提供了图形管理界面及面向国内用户的中文支持，成为中国云原生用户的主流容器镜像仓库。
[0003]当前Harbor的镜像同步实现方式，在已部署好的Harbor各节点上创建项目、仓库和同步规则，在某个Harbor实例所在节点上先使用Docker load命令加载镜像包到Docker Daemon，再使用Docker push命令推送到Harbor仓库，Harbor利用同步规则完成镜像同到其他Harbor实例的过程。这种方式一方面镜像的传输受到网络和磁盘IO的影响比较大，严重影响Harbor各实例间镜像同步结果的一致性；使用Docker load命令加载镜像对磁盘IO的依赖较大，利用Harbor的同步规则实现镜像同步，需要跨节点通信，对网络的依赖较大。

技术实现思路

[0004]本申请提供了一种镜像数据处理方法及装置。
[0005]第一方面，本申请提供了一种镜像数据处理方法，应用于存储镜像数据的集群各节点，所述方法包括：
[0006]基于部署指令，部署Harbor实例，并部署Registry实例，以及建立所述Harbor实例和所述Registry实例之间的同步机制；
[0007]接收用户客户端上传的镜像数据，其中，所述镜像数据包括去重处理后的各镜像包的数据和各镜像包的元数据；
[0008]将所述镜像数据加载至所述Registry实例的文件目录下，并将所述镜像数据从所述Registry实例同步至所述Harbor实例。
[0009]可选地，所述方法还包括：
[0010]在确定所述述镜像数同步完成后，删除所述Registry实例。
[0011]可选地，所述方法还包括：
[0012]接收客户端发送的目标Pod创建请求，解析得到请求参数中的镜像信息，所述镜像信息包括创建所述目标Pod所需的目标镜像的名称；
[0013]基于所述镜像信息，判断是否存在所述目标镜像对应的目标项目；
[0014]若不存在所述目标项目，则创建所述目标镜像对应的目标项目；若存在所述目标项目，则判断是否存在所述目标项目对应的目标仓库；
[0015]若不存在所述目标仓库，则创建所述目标项目对应的目标仓库；若存在所述目标仓库，则判断是否存在所述目标项目对应的目标同步规则；
[0016]若不存在所述目标同步规则，则创建所述目标项目对应的目标同步规则，若存在
所述目标同步规则，则结束判断流程。
[0017]可选地，所述镜像信息还包括所述目标镜像的拉取策略和拉取所述目标镜像所需的密钥；所述方法还包括：
[0018]基于所述镜像信息和所述目标镜像的元数据信息，从所述镜像数据中拉取所述目标镜像的镜像数据，并基于拉取到的所述目标镜像的镜像数据，创建所述目标Pod。
[0019]可选地，预设有各镜像对应的项目信息，各项目对应的仓库信息，所述方法包括：
[0020]解析所述目标镜像的名称，确定所述目标镜像对应的目标项目名称，执行判断是否存在所述目标镜像对应的目标项目的步骤；
[0021]基于所述目标项目名称，确定所述目标项目对应的目标仓库，执行判断是否存在所述目标项目对应的目标仓库的步骤；
[0022]在判定不存在所述目标同步规则，创建所述目标项目对应的目标同步规则的步骤包括：
[0023]根据所述集群包括的各节点信息，创建用于将本节点更新后的镜像数据同步给其它节点的目标同步规则。
[0024]第二方面，本申请提供了一种镜像数据处理装置，应用于存储镜像数据的集群各节点，所述装置包括：
[0025]部署单元，用于基于部署指令，部署Harbor实例，并部署Registry实例，以及建立所述Harbor实例和所述Registry实例之间的同步机制；
[0026]接收单元，用于接收用户客户端上传的镜像数据，其中，所述镜像数据包括去重处理后的各镜像包的数据和各镜像包的元数据；
[0027]处理单元，用于将所述镜像数据加载至所述Registry实例的文件目录下，并将所述镜像数据从所述Registry实例同步至所述Harbor实例。
[0028]可选地，所述装置还包括：
[0029]删除单元，用于在确定所述述镜像数同步完成后，删除所述Registry实例。
[0030]可选地，所述装置还包括解析单元，判断单元和创建单元：
[0031]所述接收单元还用于，接收客户端发送的目标Pod创建请求；
[0032]所述解析单元用于，解析得到请求参数中的镜像信息，所述镜像信息包括创建所述目标Pod所需的目标镜像的名称；
[0033]所述判断单元用于，基于所述镜像信息，判断是否存在所述目标镜像对应的目标项目；
[0034]若不存在所述目标项目，则所述创建单元用于，创建所述目标镜像对应的目标项目；若存在所述目标项目，则所述判断单元还用于，判断是否存在所述目标项目对应的目标仓库；
[0035]若不存在所述目标仓库，则所述创建单元用于，创建所述目标项目对应的目标仓库；若存在所述目标仓库，则所述判断单元还用于，判断是否存在所述目标项目对应的目标同步规则；
[0036]若不存在所述目标同步规则，则所述创建单元用于，创建所述目标项目对应的目标同步规则，若存在所述目标同步规则，则结束判断流程。
[0037]可选地，所述镜像信息还包括所述目标镜像的拉取策略和拉取所述目标镜像所需
的密钥；所述创建单元还用于：
[0038]基于所述镜像信息和所述目标镜像的元数据信息，从所述镜像数据中拉取所述目标镜像的镜像数据，并基于拉取到的所述目标镜像的镜像数据，创建所述目标Pod。
[0039]可选地，预设有各镜像对应的项目信息，各项目对应的仓库信息，所述装置包括确定单元：
[0040]所述确定单元在解析所述目标镜像的名称，确定所述目标镜像对应的目标项目名称后，所述判断单元执行判断是否存在所述目标镜像对应的目标项目的步骤；
[0041]所述确定单元在基于所述目标项目名称，确定所述目标项目对应的目标仓库后，所述判断单元执行判断是否存在所述目标项目对应的目标仓库的步骤；
[0042]所述判断单元在判定不存在所述目标同步规则，创建所述目标项目对应的目标同步规则时，所述创建单元具体用于：
[0043]根据所述集群包括的各节点信息，创建用于将本节点更新后的镜像数据同步给其它节点的目标同步规则。
[0044]第三方面，本申请实施例提供一种镜像数据处理装置，该镜像数据处理装置包括：
[0045]存储器，用于存储程序指令；...

【技术保护点】

【技术特征摘要】
1.一种镜像数据处理方法，其特征在于，应用于存储镜像数据的集群各节点，所述方法包括：基于部署指令，部署Harbor实例，并部署Registry实例，以及建立所述Harbor实例和所述Registry实例之间的同步机制；接收用户客户端上传的镜像数据，其中，所述镜像数据包括去重处理后的各镜像包的数据和各镜像包的元数据；将所述镜像数据加载至所述Registry实例的文件目录下，并将所述镜像数据从所述Registry实例同步至所述Harbor实例。2.如权利要求1所述的方法，其特征在于，所述方法还包括：在确定所述述镜像数同步完成后，删除所述Registry实例。3.如权利要求1所述的方法，其特征在于，所述方法还包括：接收客户端发送的目标Pod创建请求，解析得到请求参数中的镜像信息，所述镜像信息包括创建所述目标Pod所需的目标镜像的名称；基于所述镜像信息，判断是否存在所述目标镜像对应的目标项目；若不存在所述目标项目，则创建所述目标镜像对应的目标项目；若存在所述目标项目，则判断是否存在所述目标项目对应的目标仓库；若不存在所述目标仓库，则创建所述目标项目对应的目标仓库；若存在所述目标仓库，则判断是否存在所述目标项目对应的目标同步规则；若不存在所述目标同步规则，则创建所述目标项目对应的目标同步规则，若存在所述目标同步规则，则结束判断流程。4.如权利要求3所述的方法，其特征在于，所述镜像信息还包括所述目标镜像的拉取策略和拉取所述目标镜像所需的密钥；所述方法还包括：基于所述镜像信息和所述目标镜像的元数据信息，从所述镜像数据中拉取所述目标镜像的镜像数据，并基于拉取到的所述目标镜像的镜像数据，创建所述目标Pod。5.如权利要求4所述的方法，其特征在于，预设有各镜像对应的项目信息，各项目对应的仓库信息，所述方法包括：解析所述目标镜像的名称，确定所述目标镜像对应的目标项目名称，执行判断是否存在所述目标镜像对应的目标项目的步骤；基于所述目标项目名称，确定所述目标项目对应的目标仓库，执行判断是否存在所述目标项目对应的目标仓库的步骤；在判定不存在所述目标同步规则，创建所述目标项目对应的目标同步规则的步骤包括：根据所述集群包括的各节点信息，创建用于将本节点更新后的镜像数据同步给其它节点的目标同步规则。6.一种镜像数据处理装置，其特征在于，应用于存储镜像数据的集群各节点，所述装置包括：部署单元，用于基于部署指令，部署Harbor实例，并部署Registry实例，以及建立所述Harbor实例和所述Registry实例之间的同步机制；接收单元，用于接收用户客户端上传的镜像数据，其中，所述镜像数据包括去重处理后
的...

【专利技术属性】
技术研发人员：刘垚，郎高一，禹龙，
申请(专利权)人：新华三技术有限公司，
类型：发明
国别省市：