【技术实现步骤摘要】
本专利技术涉及分布式存储，更具体地说，涉及一种大规模数据分布式存储方法及中分融合系统。
技术介绍
1、分布式存储是一种将数据分散存储在多个节点上的存储方式，与传统的集中式存储相比，分布式存储将数据分布在多个节点上，每个节点都可以独立地存储和访问数据；常规的分布式存储方式，通常对应的是有限规模的用户数据，但是对于大规模数据却无法进行很好的处理，需要一种能够适用于大规模数据高效处理的大规模数据分布式存储方法及中分融合系统。
技术实现思路
1、本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种大规模数据分布式存储方法，还提供了一种中分融合系统。
2、本专利技术解决其技术问题所采用的技术方案是：
3、构造一种大规模数据分布式存储方法，其中，方法包括以下步骤：
4、构建数据转存服务器，数据转存服务器内配置有第一数据层、数据流处理层和第二数据层；
5、第一数据层中包含有数据存储区和数据暂存区；第二数据层中包含多个用于存储不同类型数据的数据分区；
6、数据暂存区实时接收来自不同来源的大规模数据流，对大规模数据流进行排序并暂存，按照设定策略将大规模数据流采用多个通道移送至数据存储区；数据存储区上设置有多个可自定义数据类型的数据接口；
7、数据流处理层包含有多个数据处理单元，数据处理单元从数据接口拉取大规模数据流，按照数据类型进行数据分片，对数据分片大小进行处理使其达到设定大小，并对数据分片添加标识，将添加好标识的
8、分布式存储服务器采用多进程方式拉取第二数据层的数据分片，并对数据分片进行加密处理后，分布式存储到存储系统中。
9、所述存储系统包含有多层环形存储链、数据存储通道和数据读取通道；所述环形存储链由多个数据库呈环形分布并连接构成；所述数据存储通道与多层所述环形存储链均相连接，用于对环形存储链的数据库存储数据；所述数据读取通道与多层所述环形存储链均相连接，用于从环形存储链的数据库读取数据。
10、本专利技术所述的大规模数据分布式存储方法，其中，所述数据存储通道和所述数据读取通道均有多个存储节点串联构成；每一所述存储节点对应连接一所述环形存储链，且每一存储节点与其连接的所述环形存储链中的任一数据库均存在连接关系。
11、本专利技术所述的大规模数据分布式存储方法，其中，所述存储系统还包括多个备份数据库，所述备份数据库与所述环形存储链一一对应，用于进行数据冗余备份。
12、本专利技术所述的大规模数据分布式存储方法，其中，所述环形存储链包含的多个数据库对应的存储类型不完全相同。
13、本专利技术所述的大规模数据分布式存储方法，其中，所述存储节点内存储有的索引列表；所述索引列表内存储有相应的环形存储链内存储的全部数据分片的标识的信息。
14、本专利技术所述的大规模数据分布式存储方法，其中，所述对数据分片大小进行处理使其达到设定大小采用：
15、判断数据分片大小，若大小超出设定大小则对其进行压缩处理使其大小小于设定大小，进行下一步处理，若大小不超出设定大小则直接进行下一步处理；
16、对数据分片进行设定字符填充处理，使其大小达到设定大小。
17、一种中分融合系统，应用于如上述的大规模数据分布式存储方法，其中，所述中分融合系统包括数据转存服务器、分布式存储服务器和存储系统；
18、所述数据转存服务器，包括第一数据层、数据流处理层和第二数据层；
19、第一数据层中包含有数据存储区和数据暂存区；
20、第二数据层中包含多个用于存储不同类型数据的数据分区；数据暂存区实时接收来自不同来源的大规模数据流，对大规模数据流进行排序并暂存，按照设定策略将大规模数据流采用多个通道移送至数据存储区；数据存储区上设置有多个可自定义数据类型的数据接口；
21、数据流处理层包含有多个数据处理单元，数据处理单元从数据接口拉取大规模数据流，按照数据类型进行数据分片，对数据分片大小进行处理使其达到设定大小，并对数据分片添加标识，将添加好标识的数据分片送入第二数据层；
22、所述分布式存储服务器，采用多进程方式拉取第二数据层的数据分片，并对数据分片进行加密处理后，分布式存储到所述存储系统中；
23、所述存储系统包含有多层环形存储链、数据存储通道和数据读取通道；所述环形存储链由多个数据库呈环形分布并连接构成；所述数据存储通道与多层所述环形存储链均相连接，用于对环形存储链的数据库存储数据；所述数据读取通道与多层所述环形存储链均相连接，用于从环形存储链的数据库读取数据。
24、本专利技术的有益效果在于：应用本申请的方式方法，在前期采用多通道、多进程方式进行接收大规模数据流，中期进行数据的识别以及大小的一致化处理，后期分布式存储在集合有多种数据类型的特殊存储系统中，应该该种方式可以较好的适用于对大规模数据流的快速分布式存储，同时在存储时可以很好的针对大规模数据流中包含的多种不同数据类型的数据进行对应存储，且数据读取时依旧可以读取不同数据类型组合形成的混合型数据，实现大规模数据流的数据还原，解决目前的常规数据分布式存储方式无法处理大规模数据流的行业性难题。
本文档来自技高网...【技术保护点】
1.一种大规模数据分布式存储方法，其特征在于，方法包括以下步骤：
2.根据权利要求1所述的大规模数据分布式存储方法，其特征在于，所述数据存储通道和所述数据读取通道均有多个存储节点串联构成；每一所述存储节点对应连接一所述环形存储链，且每一存储节点与其连接的所述环形存储链中的任一数据库均存在连接关系。
3.根据权利要求1所述的大规模数据分布式存储方法，其特征在于，所述存储系统还包括多个备份数据库，所述备份数据库与所述环形存储链一一对应，用于进行数据冗余备份。
4.根据权利要求1所述的大规模数据分布式存储方法，其特征在于，所述环形存储链包含的多个数据库对应的存储类型不完全相同。
5.根据权利要求2所述的大规模数据分布式存储方法，其特征在于，所述存储节点内存储有的索引列表；所述索引列表内存储有相应的环形存储链内存储的全部数据分片的标识的信息。
6.根据权利要求1所述的大规模数据分布式存储方法，其特征在于，所述对数据分片大小进行处理使其达到设定大小采用：
7.一种中分融合系统，应用于如权利要求1-6任一所述的大规模数据
...【技术特征摘要】
1.一种大规模数据分布式存储方法，其特征在于，方法包括以下步骤：
2.根据权利要求1所述的大规模数据分布式存储方法，其特征在于，所述数据存储通道和所述数据读取通道均有多个存储节点串联构成；每一所述存储节点对应连接一所述环形存储链，且每一存储节点与其连接的所述环形存储链中的任一数据库均存在连接关系。
3.根据权利要求1所述的大规模数据分布式存储方法，其特征在于，所述存储系统还包括多个备份数据库，所述备份数据库与所述环形存储链一一对应，用于进行数据冗余备份。
4.根据权利要求1所述的大规模数据分布式存储方法...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。