一种物联网时效数据分层存储方法技术

本发明专利技术公开了一种物联网时效数据分层存储方法，包括数据分层、数据备份、数据恢复和数据访问，本发明专利技术能够对数据进行热温冷冰数据分治，不同的数据采用不同的存储介质，能够按照数据的时间进行分层；本发明专利技术能够在较低存储成本存储物联网大量的时序数据，满足数据的不断增长，数据查询的时效性。

A hierarchical storage method for aging data in Internet of things

The invention discloses a layered storage method for time-sensitive data of the Internet of Things, which includes data layering, data backup, data recovery and data access. The method can divide and divide data into hot, warm and cold data, and different data can be stored in different media to lay data according to the time of the data. Low storage cost storage of the Internet of Things a large number of time series data to meet the growing data, data query timeliness.

【技术实现步骤摘要】
一种物联网时效数据分层存储方法
本专利技术涉及数据分层
，具体为一种物联网时效数据分层存储方法。
技术介绍
数据分层法是指性质相同的，在同一条件下收集的数据归纳在一起，以便进行比较分析。因为在实际生产中，影响质量变动的因素很多如果不把这些因素区别开来，难以得出变化的规律。数据分层可根据实际情况按多种方式进行。例如，按不同时间，不同班次进行分层，按使用设备的种类进行分层，按原材料的进料时间，原材料成分进行分层，按检查手段，使用条件进行分层，按不同缺陷项目进行分层，等等。数据分层法经常与统计分析表结合使用。目前物联网行业中，还没有专门针对时效数据分层的存储方案，现在已有的方案只有普通的存储方案没有分层方案，在数据的存储效率，利用效率，存储密度方面都有有所不足，存储成本较高；已有的数据存储没有分层处理，造成存储介质的成本较高。
技术实现思路
本专利技术的目的在于提供一种物联网时效数据分层存储方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种物联网时效数据分层存储方法,包括数据分层、数据备份、数据恢复和数据访问；所述数据分层分为热数据、温数据、冷数据、冰数据；所述热数据使用实时数据库进行存储；所述温数据使用存储量大、可扩展；所述冷数据使用可扩展的分布式文件系统存储和访问；所述冰数据使用廉价，存储量大的分布式硬盘系统存储。优选的，所述数据备份包括两方面的策略：一是数据库、分布式文件系统自有的备份冗余机制；二是通过数据分层，上层数据会通过定时作业的方式写入到下层存储中，实现每层数据有各自的备份，下层数据由上层数据的备份。优选的，所述数据恢复的流程是由底层恢复到上层：从冰数据恢复到冷数据，冷数据恢复到温数据，温数据恢复到热数据。优选的，所述数据访问具体包括：通过提供sdk工具，访问热数据和温数据；通过spark、MR，访问冷数据和冰数据。与现有技术相比，本专利技术的有益效果是：本专利技术能够对数据进行热温冷冰数据分治，不同的数据采用不同的存储介质，能够按照数据的时间进行分层；本专利技术能够在较低存储成本存储物联网大量的时序数据，满足数据的不断增长，数据查询的时效性。附图说明图1为本专利技术流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术提供一种技术方案：一种物联网时效数据分层存储方法,包括数据分层、数据备份、数据恢复和数据访问；所述数据分层分为热数据、温数据、冷数据、冰数据；所述热数据使用实时数据库进行存储，包括hbase、mysql等；所述温数据使用存储量大、可扩展，包括hbase；所述冷数据使用可扩展的分布式文件系统存储和访问，包括hdfs，以及spark、hive；所述冰数据使用廉价，存储量大的分布式硬盘系统存储；数据同步：数据每层之间可以通过工具进行同步、恢复、清理等；数据访问：通过sdk，spark，mr，hive进行实时、离线访问。本专利技术中，数据备份包括两方面的策略：一是数据库、分布式文件系统自有的备份冗余机制；二是通过数据分层，上层数据会通过定时作业的方式写入到下层存储中，实现每层数据有各自的备份，下层数据由上层数据的备份，通过数据多次冗余，最大程度保证数据只要落库，绝不丢失的目的。本专利技术中，数据库的备份机制：hbase的数据只有三份副本，也就是同样的数据会冗余存储三份。最多可以允许数据丢失两份的情况下，数据仍然不会丢失；mysql主要通过master、slave的方式进行数据备份，数据冗余存储两份；分布式文件系统的备份机制：在hdfs的分布式文件系统中，数据有三份副本，也就是同样的数据会冗余存储三份，最多可以允许数据丢失两份的情况下，数据仍然不会丢失；数据分层的数据备份机制：数据通过不断备份的机制，由上往下进行备份：从热数据备份到温数据，温数据备份到冷数据，冷数据备份到冰数据的策略，不断的保证数据冗余。例如：每天在凌晨，会通过定时作业的方式把数据从热数同步到温数据、冷数据、冰数据中，通常情况下数据会存在热数据或温数据中，冷数据，冰数据中，也就是说一份数据会同时存在这三层存储层中。本专利技术中，数据恢复的流程是由底层恢复到上层：从冰数据恢复到冷数据，冷数据恢复到温数据，温数据恢复到热数据。另外，本专利技术中，数据访问具体包括：通过提供sdk工具，访问热数据和温数据；通过spark、MR，访问冷数据和冰数据。综上所述，本专利技术能够对数据进行热温冷冰数据分治，不同的数据采用不同的存储介质，能够按照数据的时间进行分层；本专利技术能够在较低存储成本存储物联网大量的时序数据，满足数据的不断增长，数据查询的时效性。尽管已经示出和描述了本专利技术的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本专利技术的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本专利技术的范围由所附权利要求及其等同物限定。本文档来自技高网...

【技术保护点】
1.一种物联网时效数据分层存储方法,其特征在于：包括数据分层、数据备份、数据恢复和数据访问；所述数据分层分为热数据、温数据、冷数据、冰数据；所述热数据使用实时数据库进行存储；所述温数据使用存储量大、可扩展；所述冷数据使用可扩展的分布式文件系统存储和访问；所述冰数据使用廉价，存储量大的分布式硬盘系统存储。

【技术特征摘要】
1.一种物联网时效数据分层存储方法,其特征在于：包括数据分层、数据备份、数据恢复和数据访问；所述数据分层分为热数据、温数据、冷数据、冰数据；所述热数据使用实时数据库进行存储；所述温数据使用存储量大、可扩展；所述冷数据使用可扩展的分布式文件系统存储和访问；所述冰数据使用廉价，存储量大的分布式硬盘系统存储。2.根据权利要求1所述的一种物联网时效数据分层存储方法，其特征在于：所述数据备份包括两方面的策略：一是数据库、分布式文件系统自有的备份冗余机制；二是...

【专利技术属性】
技术研发人员：张皓，罗洪，张震，张明波，钟伟，黄川，李金红，秦伟，廖剑锋，巨鹏，
申请(专利权)人：吉旗成都科技有限公司，
类型：发明
国别省市：四川,51