一种大数据分析处理技术平台的分布式存储系统技术方案

本申请公开了一种大数据分析处理技术平台的分布式存储系统，包括元数据服务器、区域控制模块一、区域控制模块二、区域控制模块三、冷数据迁移模块、数据储存模块、数据节点接收模块、定时模块、分布式储存服务器一、分布式储存服务器二、数据备份模块、数据更新单元和数据整合单元。该种大数据分析处理技术平台的分布式存储系统通过多个区域控制模块进行相应的分布式储存服务器进行集中管理，并通过数据节点接收模块进行单一分布式储存服务器数据节点传输，可实时监控相应分布式储存服务器的故障情况，通过数据备份模块进行数据备份，能够在出现故障时进行备份数据的传输，并通过冷数据迁移模块进行访问频率低的数据进行集中储存。储存。储存。

【技术实现步骤摘要】
一种大数据分析处理技术平台的分布式存储系统


[0001]本申请涉及一种分布式储存系统，具体是一种大数据分析处理技术平台的分布式存储系统。

技术介绍

[0002]分布式存储是一种数据存储技术，通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
[0003]分布式元数据管理架构将元数据分散在多个结点上，进而解决了元数据服务器的性能瓶颈等问题，并提高了元数据管理架构的可扩展性，但实现较为复杂，由于故障和并行存储等情况的存在，同一个数据的多个副本之间可能存在不一致的情况，导致相应节点数据无法正常传输，需要等到分布式储存数据可以正常运行时才能不影响元数据服务器，导致分布式数据服务器无法及时维修，甚至容易造成数据丢失问题，进而元数据服务器无法整合相应的数据，影响大数据分析处理技术平台的效率。因此，针对上述问题提出一种大数据分析处理技术平台的分布式存储系统。

技术实现思路

[0004]一种大数据分析处理技术平台的分布式存储系统，包括元数据服务器、冷数据迁移模块、数据节点接收模块和数据备份模块；所述元数据服务器分别与区域控制模块一、区域控制模块二和区域控制模块三连接，所述区域控制模块一、区域控制模块二和区域控制模块三连接都与数据节点接收模块连接，每个所述数据节点接收模块分别与分布式储存服务器一和分布式储存服务器二连接，且所述分布式储存服务器一和分布式储存服务器二都与数据备份模块连接，所述分布式储存服务器一和分布式储存服务器内部都设置有数据更新单元和数据整合单元。
[0005]进一步地，所述元数据服务器分别与多个区域控制模块一、区域控制模块二和区域控制模块三连接，每个所述区域控制模块一、区域控制模块二和区域控制模块三都与冷数据迁移模块连接。
[0006]进一步地，所述冷数据迁移模块与数据储存模块，且所述冷数据迁移模块分别与多个分布式储存服务器一和分布式储存服务器二连接。
[0007]进一步地，所述数据节点接收模块与其内部的定时模块连接。
[0008]进一步地，所述分布式储存服务器一和分布式储存服务器二都分别与数据更新单元和数据整合单元连接，且所述数据更新单元和数据整合单元都通过数据备份模块与数据
节点接收模块连接。
[0009]本申请的有益效果是：本申请提供了一种带有数据节点检测以及数据整合功能的大数据分析处理技术平台的分布式存储系统。
附图说明
[0010]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0011]图1为本申请一种实施例的系统流程示意图。
[0012]图中：1、元数据服务器，2、区域控制模块一，3、区域控制模块二，4、区域控制模块三，5、冷数据迁移模块，501、数据储存模块，6、数据节点接收模块，601、定时模块，7、分布式储存服务器一，8、分布式储存服务器二，9、数据备份模块，10、数据更新单元，11、数据整合单元。
具体实施方式
[0013]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0014]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0015]在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
[0016]并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
[0017]此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
[0018]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相
互组合。下面将参考附图并结合实施例来详细说明本申请。
[0019]请参阅图1所示，一种大数据分析处理技术平台的分布式存储系统，包括元数据服务器1、冷数据迁移模块5、数据节点接收模块6和数据备份模块9；所述元数据服务器1分别与区域控制模块一2、区域控制模块二3和区域控制模块三4连接，所述区域控制模块一2、区域控制模块二3和区域控制模块三4连接都与数据节点接收模块6连接，每个所述数据节点接收模块6分别与分布式储存服务器一7和分布式储存服务器二8连接，且所述分布式储存服务器一7和分布式储存服务器二8都与数据备份模块9连接，所述分布式储存服务器一7和分布式储存服务器内部都设置有数据更新单元10和数据整合单元11。
[0020]所述元数据服务器1分别与多个区域控制模块一2、区域控制模块二3和区域控制模块三4连接，每个所述区域控制模块一2、区域控制模块二3和区域控制模块三4都与冷数据迁移模块5连接，区域控制模块一2、区域控制模块二3和区域控制模块三4可对相应的分布式储存服务器一7和分布式储存服务器二8进行区域管理，在相应区域内服务器出现故障时能够进行及时监控，提高管理功能；所述冷数据迁移本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据分析处理技术平台的分布式存储系统，其特征在于：包括元数据服务器（1）、冷数据迁移模块（5）、数据节点接收模块（6）和数据备份模块（9）；所述元数据服务器（1）分别与区域控制模块一（2）、区域控制模块二（3）和区域控制模块三（4）连接，所述区域控制模块一（2）、区域控制模块二（3）和区域控制模块三（4）连接都与数据节点接收模块（6）连接，每个所述数据节点接收模块（6）分别与分布式储存服务器一（7）和分布式储存服务器二（8）连接，且所述分布式储存服务器一（7）和分布式储存服务器二（8）都与数据备份模块（9）连接，所述分布式储存服务器一（7）和分布式储存服务器内部都设置有数据更新单元（10）和数据整合单元（11）。2.根据权利要求1所述的一种大数据分析处理技术平台的分布式存储系统，其特征在于：所述元数据服务器（1）分别与多个区域控制模块一（2）、区域控制模块二（3）和区域...

【专利技术属性】
技术研发人员：李庆，杜宏，任鼎，王凤美，徐群浩，
申请(专利权)人：太极计算机股份有限公司，
类型：发明
国别省市：