一种大规模数据分布式存储方法及中分融合系统技术方案

技术编号:43112007 阅读:27 留言:0更新日期:2024-10-26 09:52
本发明专利技术涉及大规模数据分布式存储方法及中分融合系统,方法在前期采用多通道、多进程方式进行接收大规模数据流,中期进行数据的识别以及大小的一致化处理,后期分布式存储在集合有多种数据类型的特殊存储系统中,应该该种方式可以较好的适用于对大规模数据流的快速分布式存储,同时在存储时可以很好的针对大规模数据流中包含的多种不同数据类型的数据进行对应存储,且数据读取时依旧可以读取不同数据类型组合形成的混合型数据,实现大规模数据流的数据还原,解决目前的常规数据分布式存储方式无法处理大规模数据流的行业性难题。

【技术实现步骤摘要】

本专利技术涉及分布式存储,更具体地说,涉及一种大规模数据分布式存储方法及中分融合系统


技术介绍

1、分布式存储是一种将数据分散存储在多个节点上的存储方式,与传统的集中式存储相比,分布式存储将数据分布在多个节点上,每个节点都可以独立地存储和访问数据;常规的分布式存储方式,通常对应的是有限规模的用户数据,但是对于大规模数据却无法进行很好的处理,需要一种能够适用于大规模数据高效处理的大规模数据分布式存储方法及中分融合系统。


技术实现思路

1、本专利技术要解决的技术问题在于,针对现有技术的上述缺陷,提供一种大规模数据分布式存储方法,还提供了一种中分融合系统。

2、本专利技术解决其技术问题所采用的技术方案是:

3、构造一种大规模数据分布式存储方法,其中,方法包括以下步骤:

4、构建数据转存服务器,数据转存服务器内配置有第一数据层、数据流处理层和第二数据层;

5、第一数据层中包含有数据存储区和数据暂存区;第二数据层中包含多个用于存储不同类型数据的数据分区;

6本文档来自技高网...

【技术保护点】

1.一种大规模数据分布式存储方法,其特征在于,方法包括以下步骤:

2.根据权利要求1所述的大规模数据分布式存储方法,其特征在于,所述数据存储通道和所述数据读取通道均有多个存储节点串联构成;每一所述存储节点对应连接一所述环形存储链,且每一存储节点与其连接的所述环形存储链中的任一数据库均存在连接关系。

3.根据权利要求1所述的大规模数据分布式存储方法,其特征在于,所述存储系统还包括多个备份数据库,所述备份数据库与所述环形存储链一一对应,用于进行数据冗余备份。

4.根据权利要求1所述的大规模数据分布式存储方法,其特征在于,所述环形存储链包含的多个数据库对应的...

【技术特征摘要】

1.一种大规模数据分布式存储方法,其特征在于,方法包括以下步骤:

2.根据权利要求1所述的大规模数据分布式存储方法,其特征在于,所述数据存储通道和所述数据读取通道均有多个存储节点串联构成;每一所述存储节点对应连接一所述环形存储链,且每一存储节点与其连接的所述环形存储链中的任一数据库均存在连接关系。

3.根据权利要求1所述的大规模数据分布式存储方法,其特征在于,所述存储系统还包括多个备份数据库,所述备份数据库与所述环形存储链一一对应,用于进行数据冗余备份。

4.根据权利要求1所述的大规模数据分布式存储方法...

【专利技术属性】
技术研发人员:张立旭
申请(专利权)人:优网云计算有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1