一种基于Hadoop的云存储平台制造技术

本实用新型专利技术提供了一种基于Hadoop的云存储平台，包括：对象访问接口层、对象元数据存储层、对象实体数据存储层和数据归档管理层和大规模并行处理查询引擎Impala；对象访问接口层与对象元数据存储层连接，对象元数据存储层与对象实体数据存储层连接，数据归档管理层分别与对象元数据存储层和对象实体数据存储层连接，对象访问接口层还与大规模并行处理查询引擎Impala连接，大规模并行处理查询引擎Impala分别与对象元数据存储层和对象实体数据存储层连接。本实用新型专利技术提供的平台，有很强的扩展能力和较高的可靠性，而且扩展方便，能够降低成本，且能够解决联机分析处理的效率问题，从而能够实现多维立方体的生成和切换等操作。

A cloud storage platform based on Hadoop

The utility model provides a cloud storage platform based on Hadoop, including: object access interface layer, object layer, metadata storage object data storage layer and data archiving management and large-scale parallel query processing engine Impala; object access interface layer and data storage layer connection object element, metadata layer object and object entity the data storage layer connection, data file management layer respectively and storage layer and data storage layer entity object metadata connection object access interface layer with massively parallel processing query engine Impala connection, large scale parallel query processing engine Impala are respectively connected with the object metadata storage layer and data storage layer objects. The platform provided by the utility has strong expansibility and high reliability, and the expansion is convenient, which can reduce the cost and solve the efficiency problem of online analytical processing, so as to realize the operation of generating and switching multidimensional cubes.

【技术实现步骤摘要】
一种基于Hadoop的云存储平台
本技术涉及存储
，特别涉及一种基于Hadoop的云存储平台。
技术介绍
随着互联网的高速发展和大数据的兴起，对于提供网络服务的互联网公司和提供数据分析的咨询公司来说，有大量的数据需要处理，用来分析潜在用户的需求、产品的市场表现等等，还需要经常对数据的一部分进行统计和调整，以满足对局部数据的分析要求。传统的存储方案扩展能力差，难以满足企业快速增长的业务需求。传统的NAS方案扩展能力有限，并且面向企业级的NAS设备价格往往非常昂贵，购买以及安装独立的NAS设备，需要承担较大的购买支出和维护成本。
技术实现思路
为解决以上问题，本技术提供了一种基于Hadoop的云存储平台。本技术提供的一种基于Hadoop的云存储平台，包括：对象访问接口层、对象元数据存储层、对象实体数据存储层和数据归档管理层和大规模并行处理查询引擎Impala；对象访问接口层与对象元数据存储层连接，对象元数据存储层与对象实体数据存储层连接，数据归档管理层分别与对象元数据存储层和对象实体数据存储层连接，对象访问接口层还与大规模并行处理查询引擎Impala连接，大规模并行处理查询引擎Impala分别与对象元数据存储层和对象实体数据存储层连接；对象访问接口层包括交换机、千兆光纤、服务器，服务器上设置有API接口，用于给上层云应用业务调用；对象元数据存储层包括HRegion服务器和HBaseMaster服务器，用于创建、查询和删除对象数据；对象实体数据存储层为多个硬盘组成的分布式文件系统，用于存储对象实体数据；数据归档管理层包括多个处理器，用以对零散小对象文件进行归档和对归档文件的存储进行管理和对失效对象的磁盘空间进行回收；大规模并行处理查询引擎Impala包括多个处理器，用于对Hadoop集群数据的SQL查询。优选的，所述对象访问接口层的服务器还设置有数据库访问处理器。优选的，所述对象元数据存储层中的HRegion服务器，包括多台存储服务器，每台存储服务器存储有：索引容器表，用于存储对象元数据索引信息；对象元数据表，用于描述对象元数据信息；已删除数据表，用于描述用户删除的失效数据。优选的，平台还包括：历史服务器，与数据归档管理层连接，用于记录和查看已经运行完的归档管理作业记录。本技术提供的一种基于Hadoop的云存储平台，有很强的扩展能力和较高的可靠性，而且扩展方便，能够降低成本，且能够解决联机分析处理的效率问题，从而能够实现多维立方体的生成和切换等操作。本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。下面通过附图和实施例，对本技术的技术方案做进一步的详细描述。附图说明附图用来提供对本技术的进一步理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本技术，并不构成对本技术的限制。在附图中：图1为本技术实施例中一种基于Hadoop的云存储平台的结构示意图。具体实施方式以下结合附图对本技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本技术，并不用于限定本技术。本技术实施例提供了一种基于Hadoop的云存储平台，如图1所示，包括：对象访问接口层、对象元数据存储层、对象实体数据存储层和数据归档管理层和大规模并行处理查询引擎Impala；对象访问接口层与对象元数据存储层连接，对象元数据存储层与对象实体数据存储层连接，数据归档管理层分别与对象元数据存储层和对象实体数据存储层连接，对象访问接口层还与大规模并行处理查询引擎Impala连接，大规模并行处理查询引擎Impala分别与对象元数据存储层和对象实体数据存储层连接；对象访问接口层包括交换机、千兆光纤、服务器，服务器上设置有API接口，用于给上层云应用业务调用；对象元数据存储层包括HRegion服务器和HBaseMaster服务器，为基于HBase的实现，用于创建、查询和删除对象数据；对象实体数据存储层为多个硬盘组成的分布式文件系统，用于存储对象实体数据；数据归档管理层包括多个处理器，用以对零散小对象文件进行归档和对归档文件的存储进行管理和对失效对象的磁盘空间进行回收；大规模并行处理查询引擎Impala包括多个处理器，使用Hadoop分布式文件系统作为底层存储，用于对Hadoop集群数据进行高性能、低延迟的SQL查询。用户通过手机、笔记本、台式机等上连接云端应用向云存储平台发出修改或删除的操作请求，修改或删除的操作请求到达对象访问接口层的服务器后，对象访问接口层通过交换机和千兆光纤向对象元数据存储层发送修改或删除的操作请求，对象元数据存储层的HBaseMaster服务器响应所述修改或删除的操作请求并由HRegion服务器根据其所记录的对象实体数据的存储位置(当操作请求为创建时，HRegion服务器向对象实体数据存储层发出创建存储空间的请求，并记录该存储位置)对对象实体数据存储层的对象实体数据进行修改或删除的操作，操作完成后将操作结果反馈给对象访问接口层，并由对象访问接口层将操作结果反馈给云端应用。数据归档管理层定时对对象元数据存储层和对象实体数据存储层的数据进行归档管理。当用户通过云端应用进行创建操作时，云端应用通过对象访问接口层将创建操作发送给对象元数据存储层，对象元数据存储层的HBaseMaster服务器响应所述创建操作请求并由HRegion服务器向对象实体数据存储层发出创建存储空间的请求，并记录该存储位置，对象实体数据存储层创建完成存储空间后，将操作结果反馈给对象元数据存储层，再由对象元数据存储层通过对象访问接口层将创建结果反馈给云端应用，再由云端应用通过对象访问接口层读取对象元数据存储层中所创建的存储位置，并在对象实体数据存储层的该存储位置创建对象实体数据，创建完成后将创建结果反馈给对象元数据存储层，并由对象访问接口层将创建结果反馈给云端应用。当用户通过云端应用进行查询操作时，云端应用通过对象访问接口层将查询操作发送给大规模并行处理查询引擎Impala，大规模并行处理查询引擎Impala根据收到的查询操作对对象元数据存储层和对象实体数据存储层的数据进行查询，并将查询结果反馈给对象访问接口层，由对象访问接口层将查询结果反馈给云端应用。本技术提供的一种基于Hadoop的云存储平台，利用HBase可以满足平台的扩展性和高可靠性。对象实体数据存储基于Hadoop分布式文件系统，能够实现对象数据和归档文件的可靠存储，同时支持数据冗余。对象访问接口层在Hadoop开源框架下为云端应用提供可供应用层调用的API接口，外部应用可以通过接口调用实现对对象元数据的创建、查询和删除等功能，通过使用大规模并行处理查询引擎Impala，能够解决联机分析处理的效率问题，从而能够实现多维立方体的生成和切换等操作。在本技术一优选实施例中，对象访问接口层包括数据库访问处理器。对于海量数据的存取，不会只局限对一种数据库的操作，通过使用数据库访问处理器对各种数据库提供的不同数据源进行屏蔽，提供数据库访问服务，这样平台才具有较好本文档来自技高网...

【技术保护点】
一种基于Hadoop的云存储平台，其特征在于，包括：对象访问接口层、对象元数据存储层、对象实体数据存储层和数据归档管理层和大规模并行处理查询引擎Impala；对象访问接口层与对象元数据存储层连接，对象元数据存储层与对象实体数据存储层连接，数据归档管理层分别与对象元数据存储层和对象实体数据存储层连接，对象访问接口层还与大规模并行处理查询引擎Impala连接，大规模并行处理查询引擎Impala分别与对象元数据存储层和对象实体数据存储层连接；对象访问接口层包括交换机、千兆光纤、服务器，服务器上设置有API接口，用于给上层云应用业务调用；对象元数据存储层包括HRegion服务器和HBase Master服务器，用于创建、查询和删除对象数据；对象实体数据存储层为多个硬盘组成的分布式文件系统，用于存储对象实体数据；数据归档管理层包括多个处理器，用以对零散小对象文件进行归档和对归档文件的存储进行管理和对失效对象的磁盘空间进行回收；大规模并行处理查询引擎Impala包括多个处理器，用于对Hadoop集群数据的SQL查询。

【技术特征摘要】
1.一种基于Hadoop的云存储平台，其特征在于，包括：对象访问接口层、对象元数据存储层、对象实体数据存储层和数据归档管理层和大规模并行处理查询引擎Impala；对象访问接口层与对象元数据存储层连接，对象元数据存储层与对象实体数据存储层连接，数据归档管理层分别与对象元数据存储层和对象实体数据存储层连接，对象访问接口层还与大规模并行处理查询引擎Impala连接，大规模并行处理查询引擎Impala分别与对象元数据存储层和对象实体数据存储层连接；对象访问接口层包括交换机、千兆光纤、服务器，服务器上设置有API接口，用于给上层云应用业务调用；对象元数据存储层包括HRegion服务器和HBaseMaster服务器，用于创建、查询和删除对象数据；对象实体数据存储层为多个硬盘组成的分布式文件系统，用于...

【专利技术属性】
技术研发人员：潘怡，
申请(专利权)人：长沙学院，
类型：新型
国别省市：湖南,43