数据存储的方法和装置制造方法及图纸

本发明专利技术公开了一种数据存储的方法和装置。其中，该方法包括：获取待存储的数据；通过哈希运算在存储空间内确定数据对应的机架；获取数据对应的数据副本，并通过哈希运算确定数据副本在机架上的数据节点对应的存储区域；其中，存储空间为环形存储空间，数据节点对应多个虚拟数据节点，多个虚拟数据节点负责的存储空间由多个均分的存储区域组成；将数据副本存储在存储区域内。本发明专利技术能够在保证数据均衡分布的同时，快速完成数据存储，提升系统处理性能的技术问题。

Method and apparatus for data storage

The invention discloses a method and a device for data storage. Among them, the method includes: acquiring the data to be stored; determining a data corresponding to the storage space in the hash operation; a copy of the data acquisition data corresponding to the storage area, and the corresponding data copy on the frame of data nodes determined by the hash operation; the storage space for the annular storage space, data corresponding to a plurality of nodes the virtual data storage node, multiple virtual nodes are responsible for the data storage area by multiple sharing; data copies are stored in storage area. The invention can solve the technical problems of fast data storage and the improvement of the processing performance of the system while ensuring the balanced distribution of the data.

【技术实现步骤摘要】

本专利技术涉及数据存储领域，具体而言，涉及一种数据存储的方法和装置。
技术介绍
分布式集群存储是一种大数据存储管理的关键技术，其中HDFS(HadoopDistributedFileSystem，Hadoop分布式文件系统)因其高传输率和高容错性成为解决大数据高效存储应用的有效方法。现有的一种实现方式是将最优缓存容量设计问题描述为整数规划问题，但是现有的HDFS数据放置策略在选择数据可靠性提升的同时，没有兼顾到数据均衡问题和系统执行性能，造成数据存储缓慢且系统处理性能低。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种数据存储的方法和装置，能够在保证数据均衡分布的同时，快速完成数据存储，提升系统处理性能。根据本专利技术实施例的一个方面，提供了一种数据存储的方法，包括：获取待存储的数据；通过哈希运算在存储空间内确定所述数据对应的机架；获取所述数据对应的数据副本，并通过哈希运算确定所述数据副本在所述机架上的数据节点对应的存储区域；其中，所述存储空间为环形存储空间，所述数据节点对应多个虚拟数据节点，所述多个虚拟数据节点负责的存储空间由多个均分的存储区域组成；将所述数据副本存储在所述存储区域内。可选地，在荻取待存储的数据前，所述方法还包括：将所述存储空间进行均分操作得到多个均分的存储区域。可选地，在所述获取所述数据对应的数据副本前，所述方法还包括：确定所述机>架是否异常；所述获取所述数据对应的数据副本包括：在确定所述机架正常时，获取所述数据对应的数据副本；在确定所述机架异常时，按照顺时针顺序在所述存储空间内搜索下一机架。可选地，在所述将所述数据副本存储在所述存储区域内之前，所述方法还包括：在通过哈希运算确定所述数据副本在所述机架上的数据节点对应的存储区域后，确定所述机架上的数据节点是否异常；在确定所述数据节点异常时，按照顺时针顺序在所述存储空间内搜索下一机架；在确定所述数据节点正常时，确定所述数据节点对应的存储区域是否充足；所述将所述数据副本存储在所述存储区域内包括：在确定所述存储区域充足时，将所述数据副本存储在所述存储区域内；在确定所述存储区域不充足时，按照顺时针顺序在所述存储空间内搜索所述机架上的下一数据节点。可选地，在将所述数据副本存储在所述存储区域内之后，所述方法还包括：确定全部数据副本是否存储完成；在确定全部数据副本未存储完成时，按照顺时针顺序在所述存储空间内搜索下一机架。根据本专利技术实施例的另一方面，还提供了一种数据存储的装置，包括：获取单元，用于获取待存储的数据；处理单元，用于通过哈希运算在存储空间内确定所述数据对应的机架，并获取所述数据对应的数据副本，并通过哈希运算确定所述数据副本在所述机架上的数据节点对应的存储区域；其中，所述存储空间为环形存储空间，所述数据节点对应多个虚拟数据节点，所述多个虚拟数据节点负责的存储空间由多个均分的存储区域组成；存储单元，用于将所述数据副本存储在所述存储区域内。可选地，所述处理单元，还用于在获取待存储的数据前，将所述存储空间进行均分操作得到多个均分的存储区域。可选地，所述装置还包括：第一判断单元，用于在所述获取所述数据对应的数据副本前，确定所述机架是否异常：所述处理单元，用于在所述第一判断单元确定所述机架正常时，获取所述数据对应的数据副本；在所述第一判断单元确定所述机架异常时，按照顺时针顺序在所述存储空间内搜索下一机架。可选地，所述装置还包括：第二判断单元，用于在所述将所述数据副本存储在所述存储区域内之前，在通过哈希运算确定所述数据副本在所述机架上的数据节点对应的存储区域之后，确定所述机架上的数据节点是否异常；所述处理单元，用于在所述第二判断单元确定所述数据节点异常时，按照顺时针顺序在所述存储空间内搜索下一机架；第二判断单元，还用于在确定所述数据节点正常时，确定所述数据节点对应的存储区域是否充足；所述存储单元，用于在所述第二判断单元确定所述存储区域充足时，将所述数据副本存储在所述存储区域内；所述处理单元，用于在所述第二判断单元确定所述存储区域不充足时，按照顺时针顺序在所述存储空间内搜索所述机架上的下一数据节点。可选地，所述装置还包括：第三判断单元，在将所述数据副本存储在所述存储区域内之后，确定全部数据副本是否存储完成；所述处理单元，用于在确定全部数据副本未存储完成后，按照顺时针顺序在所述存储空间内搜索下一机架。在本专利技术实施例中，获取待存储的数据；通过哈希运算在存储空间内确定数据对应的机架；获取数据对应的数据副本，并通过哈希运算确定内数据副本在机架上的数据节点对应的存储区域；其中，存储空间为环形存储空间，数据节点对应多个虚拟节点，多个虚拟节点负责的存储空间由多个均分的存储区域组成；将数据副本存储在存储区域内，这样，本专利技术通过哈希算法并引入虚拟数据节点与等分存储区域完成数据存储，从而能够在保证数据均衡分布的同时，快速完成数据存储，提升系统处理性能的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种可选的数据存储方法的流程示意图；图2是根据本专利技术实施例的一种可选的机架迁移的示意图；图3是根据本专利技术实施例的一种可选的机架备份分布示意图；图4是根据本专利技术实施例的一种可选的数据连接查询运行时间对比图；图5是根据本专利技术实施例的一种可选的实际备份分布情况及运行时间对比图；图6是根据本专利技术实施例的一种可选的数据节点调整后备份分布情况图；图7是根据本专利技术实施例的另一种可选的数据存储方法的流程示意图；图8是根据本专利技术实施例的一种可选的数据存储方法的流程示意图；图9是根据本专利技术实施例的一种可选的数据存储装置的结构示意图；图10是根据本专利技术实施例的另一种可选的数据存储装置的结构示意图；图11是根据本专利技术实施例的第三种可选的数据存储装置的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“本文档来自技高网...

【技术保护点】
一种数据存储的方法，其特征在于，包括：获取待存储的数据；通过哈希运算在存储空间内确定所述数据对应的机架；获取所述数据对应的数据副本，并通过哈希运算确定所述数据副本在所述机架上的数据节点对应的存储区域；其中，所述存储空间为环形存储空间，所述数据节点对应多个虚拟数据节点，所述多个虚拟数据节点负责的存储空间由多个均分的存储区域组成；将所述数据副本存储在所述存储区域内。

【技术特征摘要】
1.一种数据存储的方法，其特征在于，包括：
获取待存储的数据；
通过哈希运算在存储空间内确定所述数据对应的机架；
获取所述数据对应的数据副本，并通过哈希运算确定所述数据副本在所述机
架上的数据节点对应的存储区域；其中，所述存储空间为环形存储空间，所述数
据节点对应多个虚拟数据节点，所述多个虚拟数据节点负责的存储空间由多个均
分的存储区域组成；
将所述数据副本存储在所述存储区域内。
2.根据权利要求1所述的方法，其特征在于，在获取待存储的数据前，所述方法还
包括：将所述存储空间进行均分操作得到多个均分的存储区域。
3.根据权利要求1所述的方法，其特征在于，在所述获取所述数据对应的数据副本
前，所述方法还包括：
确定所述机架是否异常；
所述获取所述数据对应的数据副本包括：在确定所述机架正常时，获取所述
数据对应的数据副本；
在确定所述机架异常时，按照顺时针顺序在所述存储空间内搜索下一机架。
4.根据权利要求1所述的方法，其特征在于，在所述将所述数据副本存储在所述存
储区域内之前，所述方法还包括：
在通过哈希运算确定所述数据副本在所述机架上的数据节点对应的存储区域
后，确定所述机架上的数据节点是否异常；
在确定所述数据节点异常时，按照顺时针顺序在所述存储空间内搜索下一机
架；
在确定所述数据节点正常时，确定所述数据节点对应的存储区域是否充足；
所述将所述数据副本存储在所述存储区域内包括：在确定所述存储区域充足
时，将所述数据副本存储在所述存储区域内；
在确定所述存储区域不充足时，按照顺时针顺序在所述存储空间内搜索所述

\t机架上的下一数据节点。
5.根据权利要求1所述的方法，其特征在于，在将所述数据副本存储在所述存储区
域内之后，所述方法还包括：
确定全部数据副本是否存储完成；
在确定全部数据副本未存储完成时，按照顺时针顺序在所述存储空间内搜索
下一机架。
6.一种数据存储的装置，其特征在于，包括：
获取单元，用于获取待存储的数据；
处理单元，用于...

【专利技术属性】
技术研发人员：邱宁佳，杨华民，李松江，王鹏，杨迪，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：吉林;22