一种基于定制化LINUX架构的云存储系统中用户数据容器存储方法技术方案

本发明专利技术公开了一种基于定制化LINUX架构的云存储系统中用户数据容器存储方法，包括以下步骤：S1.建立用户数据容器云存储系统，实现对容器云本地存储资源的有效管理，使容器云用户快速实现微服务；S2.建立用户数据实时存储系统，实现容器运行时，对数据进行实时存储；S3.对用户实时数据进行检测，针对云存储系统中重复冗余数据进行去重。本发明专利技术通过建立用户数据容器云存储系统，不仅能够管理多个本地文件或块存储设备，自动化生成本地持久化卷，还能保证使用本地存储卷容器的数据有效性，从而实现对容器云本地存储资源的有效管理，方便容器云用户快速实现微服务。用户快速实现微服务。用户快速实现微服务。

【技术实现步骤摘要】
一种基于定制化LINUX架构的云存储系统中用户数据容器存储方法


[0001]本专利技术属于数据存储
，具体涉及一种基于定制化LINUX架构的云存储系统中用户数据容器存储方法。

技术介绍

[0002]阿里云云存储网关是一个让用户通过SMB/NFS协议访问阿里云对象存储的产品，用户通过部署云存储网关，并在客户端挂载云存储网关提供的挂载点，就可以轻松的访问自己在OSS对象存储桶中的数据，非常的方便。
[0003]LXC就是Linux容器工具，容器可以提供轻量级的虚拟化，以便隔离进程和资源，使用LXC的优点就是不需要安装太多的软件包，使用过程也不会占用太多的资源。LXC是在Linux平台上基于容器的虚拟化技术的未来标准，最初的LXC技术是由IBM研发的，目前已经进入Linux内核，这意味着LXC技术将是目前最有竞争力的轻量级虚拟容器技术。
[0004]目前现有的基于定制化LINUX架构的云存储系统中用户数据容器存储方法还存在一些的问题：不能保证使用本地存储卷容器的数据有效性，不方便容器云用户快速实现微服务，同时，器运行时数据存储的效率较低，另外数据存储重复较多时，降低了磁盘使用率，提高数据管理成本，为此我们提出一种基于定制化LINUX架构的云存储系统中用户数据容器存储方法。

技术实现思路

[0005]本专利技术的目的在于提供一种基于定制化LINUX架构的云存储系统中用户数据容器存储方法，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于定制化LINUX架构的云存储系统中用户数据容器存储方法，包括以下步骤：
[0007]S1.建立用户数据容器云存储系统，实现对容器云本地存储资源的有效管理，使容器云用户快速实现微服务；
[0008]S2.建立用户数据实时存储系统，实现容器运行时，对数据进行实时存储；
[0009]S3.对用户实时数据进行检测，针对云存储系统中重复冗余数据进行去重；
[0010]S4.在S3数据去重后，对云存储系统的数据进行多账号备份，实现将多个云存储账号的内容智能化自动备份到同一个存储设备，保证数据的安全性；
[0011]S5.对数据存储环境进行检测，实现数据的安全存储。
[0012]优选的，所述S1中建立的用户数据容器云存储系统包括包括存储管理器和hyperkube模块，所述本地存储管理器用于管理本地存储资源，所述Hyperkube模块用于实现Kubernetes的功能；所述存储管理器中设有存储控制器、存储发现者、存储对象操作事件监听器、存储清理者、存储清理任务控制器、存储删除进程管理表、API工具和卷缓存；所述Hyperkube模块中设有存储插件管理器、存储插件、存储挂载者、存储卸载者、存储映射器、
存储解除映射器、设备挂载器、存储器和挂载工具类。
[0013]优选的，所述S2中建立的用户数据实时存储系统包括获取模块、申请模块和挂载模块；所述获取模块用于获取用户端定义的目标数据卷的属性信息，所述目标数据卷的属性信息包括存储空间大小以及存储性能；所述申请模块用于从多种存储资源池中查找到满足所述存储性能的存储资源池，并申请一块在该存储资源池中的、与所述存储空间大小对应的存储空间，其中，不同存储资源池对应的存储性能不同；所述挂载模块用于将与申请的所述存储空间对应的目标数据卷挂载到待运行容器上。
[0014]优选的，所述S3中对重复冗余数据进行去重的方法包括以下步骤：
[0015]S101.客户端接收用户的上传数据，将数据组织成数据超块以作为数据路由单位，并提取其中的数据路由特征指纹，用于数据路由选择；
[0016]S102.元数据服务器与数据服务器集群根据路由策略来处理客户端的数据路由选择请求，其中，数据服务器集群对数据路由特征指纹进行相似指纹匹配以确定相似路由节点，元数据服务器根据负载均衡策略确定最终的数据路由地址；
[0017]S103.确定数据路由地址后，客户端与相应的数据服务器进行交互，以将相似冗余数据发送至选择的数据服务器，选择的数据服务器在接收到相似冗余数据后，在线对冗余数据进行快速去重。
[0018]优选的，所述S4中对云存储系统的数据进行多账号备份需要建立数据备份系统，所述数据备份系统对数据进行备份的方法包括以下步骤：
[0019]S201.将个人私有云存储系统的账户与多个公有云存储账户及某个带有wifi功能的存储设备进行绑定，多个公有云存储账户包括：同一个公有云存储系统的多个不同的账户或者多个不同的公有云存储系统的一个或多个不同的账户；
[0020]S202.个人私有云存储系统对各个公有云存储账户下的目录及文件名进行首次遍历，遍历完成后，将目录及文件名数据导出并保存至数据库中；
[0021]S203.个人私有云存储系统将数据库中的目录及文件名数据生成多个任务组并等待带有wifi功能的存储设备主动获取；
[0022]S204.带有wifi功能的存储设备联网后，根据当前任务组中的目录及文件名自动从各个公有云存储账户中开始下载任务数据。
[0023]优选的，所述S5中对数据存储环境进行检测，实现数据的安全存储的方法具体包括以下步骤：面向环境监测数据安全存储方法每个用户对应一个con_ckb，是该用户创建的所有containers的conkeys；对于conckb的索引需要用户提供一个用户口令User_key，口令作为二叉树结构的根节点，由根节点依次向下派生孩子节点，派生过程中使用哈希算法SHA
‑
256来分别计算左、右子节点，得到第p层的哈希值作为con_key_box_slices的索引。
[0024]优选的，所述哈希值K(0,1)＝User_key，K(i,j)的第一个参数i表示二叉树的层级号，第二个参数j表示第i层中的索引号，当i＝x时，1≤j≤2x；
[0025]接着得到：
[0026]LeftCof ki,j＝hash(k(i,j)||(2*j)||k(i,j))＝k((i+1),(2*j))；
[0027]RightCof ki,j＝hash(k(i,j)||(2*j)||k(i,j))＝k((i+1),(2*j))；
[0028]其中||||表示连接，然后经过N＝4次计算，得到16个索引值，作con_key_box_slice的名字。
[0029]优选的，所述S3中数据进行去重的方法还包括以下步骤：
[0030]S301.数据分块；
[0031]S302.生成校验信息存储子集；
[0032]S303.生成重复数据集合；
[0033]S304.重复数据流分数Fourier构造变换简化；
[0034]S305.重复数据检测；
[0035]S306.数据删重。
[0036]优选的，所述S302中的具体计算过程如下：
[0037]S302：生成校验信息存储子集根据云存储中的Qos本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于定制化LINUX架构的云存储系统中用户数据容器存储方法，其特征在于，包括以下步骤：S1.建立用户数据容器云存储系统，实现对容器云本地存储资源的有效管理，使容器云用户快速实现微服务；S2.建立用户数据实时存储系统，实现容器运行时，对数据进行实时存储；S3.对用户实时数据进行检测，针对云存储系统中重复冗余数据进行去重；S4.在S3数据去重后，对云存储系统的数据进行多账号备份，实现将多个云存储账号的内容智能化自动备份到同一个存储设备，保证数据的安全性；S5.对数据存储环境进行检测，实现数据的安全存储。2.根据权利要求1所述的一种基于定制化LINUX架构的云存储系统中用户数据容器存储方法，其特征在于：所述S1中建立的用户数据容器云存储系统包括包括存储管理器和hyperkube模块，所述本地存储管理器用于管理本地存储资源，所述Hyperkube模块用于实现Kubernetes的功能；所述存储管理器中设有存储控制器、存储发现者、存储对象操作事件监听器、存储清理者、存储清理任务控制器、存储删除进程管理表、API工具和卷缓存；所述Hyperkube模块中设有存储插件管理器、存储插件、存储挂载者、存储卸载者、存储映射器、存储解除映射器、设备挂载器、存储器和挂载工具类。3.根据权利要求1所述的一种基于定制化LINUX架构的云存储系统中用户数据容器存储方法，其特征在于：所述S2中建立的用户数据实时存储系统包括获取模块、申请模块和挂载模块；所述获取模块用于获取用户端定义的目标数据卷的属性信息，所述目标数据卷的属性信息包括存储空间大小以及存储性能；所述申请模块用于从多种存储资源池中查找到满足所述存储性能的存储资源池，并申请一块在该存储资源池中的、与所述存储空间大小对应的存储空间，其中，不同存储资源池对应的存储性能不同；所述挂载模块用于将与申请的所述存储空间对应的目标数据卷挂载到待运行容器上。4.根据权利要求1所述的一种基于定制化LINUX架构的云存储系统中用户数据容器存储方法，其特征在于：所述S3中对重复冗余数据进行去重的方法包括以下步骤：S101.客户端接收用户的上传数据，将数据组织成数据超块以作为数据路由单位，并提取其中的数据路由特征指纹，用于数据路由选择；S102.元数据服务器与数据服务器集群根据路由策略来处理客户端的数据路由选择请求，其中，数据服务器集群对数据路由特征指纹进行相似指纹匹配以确定相似路由节点，元数据服务器根据负载均衡策略确定最终的数据路由地址；S103.确定数据路由地址后，客户端与相应的数据服务器进行交互，以将相似冗余数据发送至选择的数据服务器，选择的数据服务器在接收到相似冗余数据后，在线对冗余数据进行快速去重。5.根据权利要求1所述的一种基于定制化LINUX架构的云存储系统中用户数据容器存储方法，其特征在于：所述S4中对云存储系统的数据进行多账号备份需要建立数据备份系统，所述数据备份系统对数据进行备份的方法包括以下步骤：S201.将个人私有云存储系统的账户与多个公有云存储账户及某个带有wifi功能的存储设备进行绑定，多个公有云存储账户包括：同一个公有云存储系统的多个不同的账户或者多个不同的公有云存储系统的一个或多个不同的账户；
S202.个人私有云存储系统对各个公有云存储账户下的目录及文件名进行首次遍历，遍历完成后，将目录及文件名数据导出并保存至数据库中；S203.个人私有云存储系统将数据库中的目录及文件名数据生成多个任务组并等待带有wifi功能的存储设备主动获取；S204.带有wifi功能的存储设备联网后，根据当前任务组中的目录及文件名自动从各个公有云存储账户中开始下载任务数据。6.根据权利要求1所述的一种基于定制化LINUX架构的云存储系统中用户数据容器存储方法，其特征在于：所述S5中对数据存储环境进行检测，实现数据的安全存储的方法具体包括以下步骤：面向环境监测数据安全存储方法每个用户对应一个con_ckb，是该用户创建的所有containers的conkeys；对于conckb的索引需要用户提供一个用户口令User_key，口...

【专利技术属性】
技术研发人员：周会群，王玲，
申请(专利权)人：南京信易达计算技术有限公司，
类型：发明
国别省市：