采用容器分类模式进行分布式数据存储的实现方法技术

本发明专利技术公开了采用容器分类模式进行分布式数据存储的实现方法，所述方法采用Docker容器构建一个虚拟的存储管理中间层，在该层中进行存储数据的存储前的处理，首先对储存数据进行数据特征的提取，生成数据存储的MD5值，将该值保存在数据存储特征表中；然后根据数据特征进行分类，同一类的数据进行相同的处理操作；再根据一致性哈希数据分布算法，计算出每个存储服务器的节点的满负荷容量，形成节点容量哈希表；最后，根据特征表和哈希表对数据进行不同方式的存储。本发明专利技术方法属于计算机云计算领域，通过采用容器中分类管理的模式进行分布式数据存储的实现，采用容器技术来进行云计算相关的计算，能够应用于云计算软件产品中，提高存储的规模和速度。

Method for implementing distributed data storage by adopting container classification mode

The invention discloses a method for realizing the classification model of distributed data storage container, the method uses Docker container to build a virtual storage management layer, processing data stored in the memory before the first data extraction layer, characteristics of data storage, generate data stored MD5 value, the the value stored in the table to store the feature data; and then classified according to the data characteristics, the same type of data for processing the same; then according to the consistency of the hash data distribution algorithm, calculate the full load capacity of each storage server node, node capacity hash table; finally, according to the characteristics of table and hash table different ways of data storage. The method of the invention belongs to the computer field of cloud computing, realize distributed data storage through the use of classified management in the container model, to carry out cloud related calculation using the container technology, can be applied to cloud computing software products, improve the storage speed and scale.

【技术实现步骤摘要】
采用容器分类模式进行分布式数据存储的实现方法
本专利技术涉及计算机分布式存储
，具体涉及一种采用容器分类模式进行分布式数据存储的实现方法。
技术介绍
分布式数据存储方式是将数据分散存储在多台独立的设备上，分布式存储设备要满足高速的数据加载、高速的数据查询和高利用率的存储空间等特性。分布式存储技术并不是将数据存储在某个或多个特定的节点上，而是通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。在当前基于冗余的分布式存储系统设计中,主要设计思路可以分为两类:一类是基于复制的方法,另一类是基于秘密共享的方法。分布式数据存储过程，如图1所示。一致性哈希数据分布算法的基本原理是用一个首尾相接的圆环，在该圆环上按顺时针方向分布整个哈希值。使用哈希函数H将各个存储节点服务器的IP或主机名进行哈希运算，根据哈希运算的值就能确顶每个存储节点在哈希环上的位置。Docker容器和文件夹很类似，一个Docker容器包含了所有的某个应用运行所需要的环境。每一个Docker容器都是从Docker镜像创建的。Docker容器可以运行、开始、停止、移动和删除。每一个Docker容器都是独立和安全的应用平台，Docker容器是Docker的运行部分。
技术实现思路
本专利技术要解决的技术问题是：本专利技术针对以上问题，提供一种采用容器分类模式进行分布式数据存储的实现方法。本专利技术所采用的技术方案为：采用容器分类模式进行分布式数据存储的实现方法，所述方法采用Docker容器构建一个虚拟的存储管理中间层，在该层中进行存储数据的存储前的处理，首先对储存数据进行数据特征的提取，生成数据存储的MD5值，将该值保存在数据存储特征表中；然后根据数据特征进行分类，同一类的数据进行相同的处理操作；再根据一致性哈希数据分布算法，计算出每个存储服务器的节点的满负荷容量，形成节点容量哈希表；最后，根据特征表和哈希表对数据进行不同方式的存储。所述特征数据的分类包括结构化数据、半结构化数据和非结构化数据三类。所述方法对于需要进行备份保存的数据，采用复制的方法形成数据副本进行额外的存储。所述数据存储的方式包括行存储模式、列存储模式、行列结合模式、哈希存储模式。所述哈希存储模式采用信息分散算法进行不同类型的分散存储。本专利技术的有益效果为：本专利技术方法属于计算机云计算领域，通过采用容器中分类管理的模式进行分布式数据存储的实现，采用容器技术来进行云计算相关的计算，能够应用于云计算软件产品中，提高存储的规模和速度。附图说明图1为分布式数据存储过程示意图；图2为采用容器中分类管理的模式进行分布式数据存储过程示意图。具体实施方式下面根据说明书附图，结合具体实施方式对本专利技术进一步说明：实施例1如图2所示，采用容器分类模式进行分布式数据存储的实现方法，所述方法采用Docker容器构建一个虚拟的存储管理中间层，在该层中进行存储数据的存储前的处理，首先对储存数据进行数据特征的提取，生成数据存储的MD5值，将该值保存在数据存储特征表中；然后根据数据特征进行分类，同一类的数据进行相同的处理操作；再根据一致性哈希数据分布算法，计算出每个存储服务器的节点的满负荷容量，形成节点容量哈希表；最后，根据特征表和哈希表对数据进行不同方式的存储。实施例2在实施例1的基础上，本实施例所述特征数据的分类包括结构化数据、半结构化数据和非结构化数据三类。实施例3在实施例1或2的基础上，本实施例所述方法对于需要进行备份保存的数据，采用复制的方法形成数据副本进行额外的存储。实施例4在实施例3的基础上，本实施例所述数据存储的方式包括行存储模式、列存储模式、行列结合模式、哈希存储模式。实施例5在实施例4的基础上，本实施例所述哈希存储模式采用信息分散算法进行不同类型的分散存储。实施方式仅用于说明本专利技术，而并非对本专利技术的限制，有关
的普通技术人员，在不脱离本专利技术的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本专利技术的范畴，本专利技术的专利保护范围应由权利要求限定。本文档来自技高网...

【技术保护点】
采用容器分类模式进行分布式数据存储的实现方法，其特征在于，所述方法采用Docker容器构建一个虚拟的存储管理中间层，在该层中进行存储数据的存储前的处理，首先对储存数据进行数据特征的提取，生成数据存储的MD5值，将该值保存在数据存储特征表中；然后根据数据特征进行分类，同一类的数据进行相同的处理操作；再根据一致性哈希数据分布算法，计算出每个存储服务器的节点的满负荷容量，形成节点容量哈希表；最后，根据特征表和哈希表对数据进行不同方式的存储。

【技术特征摘要】
1.采用容器分类模式进行分布式数据存储的实现方法，其特征在于，所述方法采用Docker容器构建一个虚拟的存储管理中间层，在该层中进行存储数据的存储前的处理，首先对储存数据进行数据特征的提取，生成数据存储的MD5值，将该值保存在数据存储特征表中；然后根据数据特征进行分类，同一类的数据进行相同的处理操作；再根据一致性哈希数据分布算法，计算出每个存储服务器的节点的满负荷容量，形成节点容量哈希表；最后，根据特征表和哈希表对数据进行不同方式的存储。2.根据权利要求1所述的采用容器分类模式进行分布式数据存储的实现方法，其特征在于，...

【专利技术属性】
技术研发人员：宋健健，戴鸿君，于治楼，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东,37