一种低成本数据存储方法技术

本发明专利技术公开了数据存储技术领域的一种低成本数据存储方法，S1：存储硬件的选择，S2：数据的存储，S3：数据的备份，S4：数据的查询，本发明专利技术使用基于Hdfs的Hive来保存所有数据，使用Hive能够允许通过api和交互式客户端进行查询历史数据，数据按照日期进行分组，提升查询某一个时间段内的数据的性能，使用价格低，使用价格低与存储比高的HDD盘作为硬件。

A low cost data storage method

【技术实现步骤摘要】
一种低成本数据存储方法
本专利技术涉及数据存储
，具体为一种低成本数据存储方法。
技术介绍
随着业务和时间的不断发展，用户以及产品相关的数据量的持续扩大，TB级甚至PB级的数据已经十分常见了。原先的传统关系型数据库在面对如此巨大的数据量时，会极大的降低性能甚至无法使用。但如果使用现代的分布式列式存储，如Hbase，虽然确实能够将如此巨大的数据存储下来，但是由于Hbase是用于提供线上服务的高性能随机读写，所以如果将全部数据存在价格昂贵的SSD硬盘中，会导致硬件成本的巨大上涨。基于此，本专利技术设计了一种低成本数据存储方法，以解决上述问题。
技术实现思路
本专利技术的目的在于提供一种低成本数据存储方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种低成本数据存储方法，S1：存储硬件的选择选择性能稳定的HDD硬盘采用分布式排列的方式来保存所有的用户和产品数据；S2：数据的存储使用分布式文件系统Hdfs和建于其上的数据仓库Hive进行用户和产品数据存储输入，Hdfs为设计成适合运行在步骤S1中HHD硬盘运行的分布式文件系统，能提供高吞吐量的数据访问，放宽了POSIX的要求这样可以实现流的形式访问文件系统中的数据，Hdfs中存储数据的方式按照日期进行分组，所述Hive包括数据源、数据存储和管理、数据服务和数据应用；S3：数据的备份利用步骤S2中Hdfs对存储的用户和产品数据进行备份，能够提供很好的数据备份；r>S4：数据的查询通过利用步骤S2中的Hive系统提供查询历史数据的能力提取查询步骤S2中Hdfs存储的用户和产品数据以及步骤S3中Hdfs对存储的用户和产品备份的数据，Hive能够允许通过api和交互式客户端进行查询历史数据。优选的，所述步骤S1中为ST6000NM0034NWCCGDell6TB3.5寸12GbHDDV4SAS硬盘。优选的，所述POSIX为可移植操作系统接口。优选的，所述数据源为数据仓库的数据来源，含外部数据、现有业务系统和文档资料，所述数据存储和管理为对数据的存储和管理，含数据仓库、数据集市、数据仓库检测、运行与维护工具和元数据管理，所述数据服务为前端和应用提供数据服务，可直接从数据仓库中获取数据供前端应用使用，也可通过OLAP服务器为前端应用提供负责的数据服务，所述数据应用为直接面向用户，含数据查询工具、自由报表工具、数据分析工具、数据挖掘工具和各类应用系统。优选的，所述OLAP为联机分析处理，能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。与现有技术相比，本专利技术的有益效果是：1)本专利技术使用基于Hdfs的Hive来保存所有数据；2)本专利技术使用Hive能够允许通过api和交互式客户端进行查询历史数据；3)本专利技术数据按照日期进行分组，提升查询某一个时间段内的数据的性能；4)本专利技术使用价格低，使用价格低与存储比高的HDD盘作为硬件。当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术方法流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围请参阅图1，本专利技术提供一种技术方案：一种低成本数据存储方法，S1：存储硬件的选择选择性能稳定的HDD硬盘采用分布式排列的方式来保存所有的用户和产品数据；S2：数据的存储使用分布式文件系统Hdfs和建于其上的数据仓库Hive进行用户和产品数据存储输入，Hdfs为设计成适合运行在步骤S1中HHD硬盘运行的分布式文件系统，能提供高吞吐量的数据访问，放宽了POSIX的要求这样可以实现流的形式访问文件系统中的数据，Hdfs中存储数据的方式按照日期进行分组，Hive包括数据源、数据存储和管理、数据服务和数据应用；S3：数据的备份利用步骤S2中Hdfs对存储的用户和产品数据进行备份，能够提供很好的数据备份；S4：数据的查询通过利用步骤S2中的Hive系统提供查询历史数据的能力提取查询步骤S2中Hdfs存储的用户和产品数据以及步骤S3中Hdfs对存储的用户和产品备份的数据，Hive能够允许通过api和交互式客户端进行查询历史数据。其中，步骤S1中为ST6000NM0034NWCCGDell6TB3.5寸12GbHDDV4SAS硬盘。其中，POSIX为可移植操作系统接口。其中，数据源为数据仓库的数据来源，含外部数据、现有业务系统和文档资料，数据存储和管理为对数据的存储和管理，含数据仓库、数据集市、数据仓库检测、运行与维护工具和元数据管理，数据服务为前端和应用提供数据服务，可直接从数据仓库中获取数据供前端应用使用，也可通过OLAP服务器为前端应用提供负责的数据服务，数据应用为直接面向用户，含数据查询工具、自由报表工具、数据分析工具、数据挖掘工具和各类应用系统。其中，OLAP为联机分析处理，能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本专利技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。以上公开的本专利技术优选实施例只是用于帮助阐述本专利技术。优选实施例并没有详尽叙述所有的细节，也不限制该专利技术仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本专利技术的原理和实际应用，从而使所属
技术人员能很好地理解和利用本专利技术。本专利技术仅受权利要求书及其全部范围和等效物的限制。本文档来自技高网...

【技术保护点】
1.一种低成本数据存储方法，其特征在于：/nS1：存储硬件的选择/n选择性能稳定的HDD硬盘采用分布式排列的方式来保存所有的用户和产品数据；/nS2：数据的存储/n使用分布式文件系统Hdfs和建于其上的数据仓库Hive进行用户和产品数据存储输入；/nS3：数据的备份/n利用步骤S2中Hdfs对存储的用户和产品数据进行备份，能够提供很好的数据备份；/nS4：数据的查询/n通过利用步骤S2中的Hive系统提供查询历史数据的能力提取查询步骤S2中Hdfs存储的用户和产品数据以及步骤S3中Hdfs对存储的用户和产品备份的数据。/n

【技术特征摘要】
1.一种低成本数据存储方法，其特征在于：
S1：存储硬件的选择
选择性能稳定的HDD硬盘采用分布式排列的方式来保存所有的用户和产品数据；
S2：数据的存储
使用分布式文件系统Hdfs和建于其上的数据仓库Hive进行用户和产品数据存储输入；
S3：数据的备份
利用步骤S2中Hdfs对存储的用户和产品数据进行备份，能够提供很好的数据备份；
S4：数据的查询
通过利用步骤S2中的Hive系统提供查询历史数据的能力提取查询步骤S2中Hdfs存储的用户和产品数据以及步骤S3中Hdfs对存储的用户和产品备份的数据。


2.根据权利要求1所述的一种低成本数据存储方法，其特征在于：所述步骤S1中为ST6000NM0034NWCCGDell6TB3.5寸12GbHDDV4SAS硬盘。


3.根据权利要求1所述的一种低成本数据存储方法，其特征在于：所述步骤S2中Hdfs为设计成适合运行在步骤S1中HHD硬盘运行的分布式文件系统，能提供高吞吐量的数据访问，放宽了POSIX的要求这样可以实现流的形式访问文件系统中的数据。


4.根据权利要求3所述的一种低成本数据存储方法，其特征...

【专利技术属性】
技术研发人员：冯报安，杨晶生，
申请(专利权)人：上海麦克风文化传媒有限公司，
类型：发明
国别省市：上海;31