一种数据分层融合存储系统、存储方法及相关装置制造方法及图纸

本申请属于一种存储系统，针对目前海量数据存储、处理、分析采用的大数据仓库，存在工作繁琐，数据加工效率低的技术问题，提供一种数据分层融合存储系统、存储方法及相关装置，包括逐层设置的原始数据层、数据初始加工层、数据深度加工层和数据应用层，各层间进行数据同步，先在原始数据层分层分级存储，在数据初始加工层中进行熟数据处理，在数据深度加工层中对数据进行汇总和聚合，最后通过数据应用层与外部业务应用接口相连。本申请通过分层分级的混合存储方式实现了多源异构数据的统一存储与灵活处理，通过流式计算的方式实现业务数据的近实时汇入，通过批式计算的方式实现海量离线数据的批量处理。

【技术实现步骤摘要】

本申请属于一种存储系统，具体涉及一种数据分层融合存储系统、存储方法及相关装置。

技术介绍

1、随着电力系统规模不断扩大，以及智能化程度的不断提高，电网调控面临着越来越多的挑战，电网调控业务的高效开展对海量数据的高效汇集、存储、分析等能力均提出了更高要求。

2、目前，海量数据存储、处理、分析主要是基于hadoop平台的大数据仓库，依托于hadoop、spark、hive、hbase等组件。hbase主要用于大规模结构化数据的存储。hive作为大规模结构化数据的查询分析引擎，提供类似sql的查询语言hiveql，用于在hadoop集群上进行数据分析和查询。最后，在分析计算时采用spark基于内存的分布式流式计算框架来支持多种数据处理模式。但是，以hbase作为nosql数据库，对数据的一致性和质量要求较高，需要更多额外的工作来保证数据的质量和准确性。另外，依托hive作为hbase的数据查询引擎来对海量数据进行检索查询，在扫描大量数据时查询性能受结构设计的影响较大，特别是在需要进行复杂查询和聚合操作时，性能可能会受到影响，严重影响了spark等流式本文档来自技高网...

【技术保护点】

1.一种数据分层融合存储系统，其特征在于，包括层级从低至高设置的：

2.根据权利要求1所述数据分层融合存储系统，其特征在于，所述原始数据层采用存储组件Hudi和存储组件HDFS对接入的原生数据进行分层分级存储。

3.根据权利要求2所述数据分层融合存储系统，其特征在于，所述进行分层分级存储，包括：所述结构化数据分表接入存储于存储组件Hudi中，所述半结构化数据和非结构化数据以文件的形式接入存储于存储组件HDFS中。

4.根据权利要求3所述数据分层融合存储系统，其特征在于，所述结构化数据分表接入存储于存储组件Hudi中，包括：

<p>5.根据权利要求...

【技术特征摘要】

1.一种数据分层融合存储系统，其特征在于，包括层级从低至高设置的：

2.根据权利要求1所述数据分层融合存储系统，其特征在于，所述原始数据层采用存储组件hudi和存储组件hdfs对接入的原生数据进行分层分级存储。

3.根据权利要求2所述数据分层融合存储系统，其特征在于，所述进行分层分级存储，包括：所述结构化数据分表接入存储于存储组件hudi中，所述半结构化数据和非结构化数据以文件的形式接入存储于存储组件hdfs中。

4.根据权利要求3所述数据分层融合存储系统，其特征在于，所述结构化数据分表接入存储于存储组件hudi中，包括：

5.根据权利要求4所述数据分层融合存储系统，其特征在于，所述半结构化数据以文件的形式存储于存储组件hdfs中，包括：

6.根据权利要求1所述数据分层融合存储系统，其特征在于，所述将原始数据层中结构化数据中的多源数据初加工为熟数据，包括：

7.根据权利要求1所述数据分层融合存储系统，其特征在于，所述数据初始加工层中的存储采用存储组件hudi；

8.根据权利要求1所述数据分层融合存储系统，其特征在于，还包括：

9.根据权利要求8所述数据分层融合存储系统，其特征在于，所述采用内存计算组件flink实现数据流批...

【专利技术属性】
技术研发人员：张周杰，李立新，陶蕾，叶瑞丽，罗雅迪，谢琳，黄运豪，李大鹏，武书舟，冯琼，杨清波，孙博，封超涵，王佳琪，马欣欣，刘东，
申请(专利权)人：中国电力科学研究院有限公司，
类型：发明
国别省市：