一种基于云存储系统的数据存储方法和装置制造方法及图纸

本申请公开了一种基于云存储系统的数据存储方法和装置，该方法包括：利用增强型哈希函数分别计算存储节点地址与数据对象地址；通过圆环形的哈希寻址空间，将所述存储节点地址与所述数据对象地址进行对应；当接收到数据时，利用增强型哈希函数计算存储节点地址，然后将数据存储到与所述存储节点地址对应的存储节点中。上述基于云存储系统的数据存储方法和装置，能够解决超大规模存储的扩展问题，且能够保证物理节点地址空间在系统中均匀分布，提升系统负载均衡，实现数据组织的高效定位。

Data storage method and device based on cloud storage system

The invention discloses a data storage method and device based on cloud storage system, the method comprises: a storage node calculates the address and data object address enhanced by using hash function; Hash addressing space ring, the storage node address and the address of the corresponding data objects; when receiving data when calculating the storage node address using enhanced hash function, then the data is stored into the storage node corresponding to the storage node address in. The data storage method and device for cloud storage system based on extended to solve large scale storage, and can guarantee the physical node address space distribution in the system, improve the system load balancing, achieving high positioning data organization.

【技术实现步骤摘要】
一种基于云存储系统的数据存储方法和装置
本专利技术属于云存储
，特别是涉及一种基于云存储系统的数据存储方法和装置。
技术介绍
在现代存储系统中，由于数据信息总量不断增加，存储容量从PB到EB,数据的处理器也是越来越快，各种链路速度也是越来越快，但是数据分布机制变成了短板，动态扩大存储规模并不能及时跟上处理速度，这就容易造成系统的宕机，系统假死未响应等相关状态。而很多应用数据都是需要数据库的支持，数据处理的性能深受影响。传统数据分布策略都是基于高吞吐率网络技术，稳定且成本较低，但是速度跟不上，在进行海量数据特别是查找定位目标时，缺陷就表现出来了。现在有一些数据分布策略，并且提出了很多算法构造，比如副本策略、纠删码策略等。而分布式存储系统以对象存储技术为基础，将对象集合用具有唯一标示的OID(ObjectID)的对象标识符表示，使文件系统变成了一种提升系统性能的有效办法。文件系统采用存储的对象的方式来访问数据，较块存储的无关联块阵列的数据组织方式的读写速率高很多，性能更好。然而，在进行在线扩展存储节点的时候，数据在各个节点的分布仍然存在不均衡和可扩展性差的情况，并且无法高对目标数据进行效的查找定位，所以存储系统的性能也就受到限制。
技术实现思路
为解决上述问题，本专利技术提供了一种基于云存储系统的数据存储方法和装置，能够解决超大规模存储的扩展问题，且能够保证物理节点地址空间在系统中均匀分布，提升系统负载均衡，实现数据组织的高效定位。本专利技术提供的一种基于云存储系统的数据存储方法，包括：利用增强型哈希函数分别计算存储节点地址与数据对象地址；通过圆环形的哈希寻址空间，将所述存储节点地址与所述数据对象地址进行对应；当接收到数据时，利用增强型哈希函数计算存储节点地址，然后将数据存储到与所述存储节点地址对应的存储节点中。优选的，在上述基于云存储系统的数据存储方法中，所述通过圆环形的哈希寻址空间，将所述存储节点地址与所述数据对象地址进行对应之后，还包括：将每个所述存储节点地址对应的虚拟节点地址设置为一个虚拟IP地址组，当发生故障时，通过虚拟IP地址进行连接；将云存储系统的存储空间均分为预设份数，将每份存储空间按顺时针方向分配给每个存储节点；将利用增强型哈希函数计算出的数据对象地址均匀分布在所述云存储系统的存储空间中。优选的，在上述基于云存储系统的数据存储方法中，所述将利用增强型哈希函数计算出的数据对象地址均匀分布在所述云存储系统的存储空间中之后，还包括：通过域名访问系统进行数据读取，从IP地址池中获取IP信息；采集存储节点的连接信息，并存入内存中；将接收到的信息域名、策略、位置和IP地址池信息放入共享内容；根据客户端的需求对目标数据进行查找和定位，并将查找到的数据返回客户端。本专利技术提供的一种基于云存储系统的数据存储装置，包括：计算单元，用于利用增强型哈希函数分别计算存储节点地址与数据对象地址；对应单元，用于通过圆环形的哈希寻址空间，将所述存储节点地址与所述数据对象地址进行对应；存储单元，用于当接收到数据时，利用增强型哈希函数计算存储节点地址，然后将数据存储到与所述存储节点地址对应的存储节点中。优选的，在上述基于云存储系统的数据存储装置中，还包括：设置单元，用于将每个所述存储节点地址对应的虚拟节点地址设置为一个虚拟IP地址组，当发生故障时，通过虚拟IP地址进行连接；分配单元，用于将云存储系统的存储空间均分为预设份数，将每份存储空间按顺时针方向分配给每个存储节点；分布单元，用于将利用增强型哈希函数计算出的数据对象地址均匀分布在所述云存储系统的存储空间中。优选的，在上述基于云存储系统的数据存储装置中，还包括：获取单元，用于通过域名访问系统进行数据读取，从IP地址池中获取IP信息；采集单元，用于采集存储节点的连接信息，并存入内存中；放入单元，用于将接收到的信息域名、策略、位置和IP地址池信息放入共享内容；查找和定位单元，用于根据客户端的需求对目标数据进行查找和定位，并将查找到的数据返回客户端。通过上述描述可知，本专利技术提供的上述基于云存储系统的数据存储方法和装置，由于该方法包括利用增强型哈希函数分别计算存储节点地址与数据对象地址；通过圆环形的哈希寻址空间，将所述存储节点地址与所述数据对象地址进行对应；当接收到数据时，利用增强型哈希函数计算存储节点地址，然后将数据存储到与所述存储节点地址对应的存储节点中，因此能够解决超大规模存储的扩展问题，且能够保证物理节点地址空间在系统中均匀分布，提升系统负载均衡，实现数据组织的高效定位。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例提供的第一种基于云存储系统的数据存储方法的示意图；图2为数据分配策略算法的示意图；图3为节点与虚拟IP地址的对应示意图；图4为本申请实施例提供的第一种基于云存储系统的数据存储装置的示意图。具体实施方式本专利技术的核心思想在于提供一种基于云存储系统的数据存储方法和装置，能够解决超大规模存储的扩展问题，且能够保证物理节点地址空间在系统中均匀分布，提升系统负载均衡，实现数据组织的高效定位。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本申请实施例提供的第一种基于云存储系统的数据存储方法如图1所示，图1为本申请实施例提供的第一种基于云存储系统的数据存储方法的示意图，该方法包括如下步骤：S1：利用增强型哈希函数分别计算存储节点地址与数据对象地址；需要说明的是，一致性哈希算法具有可伸缩和一次寻出的特点，由于该算法的地址空间接近无限，所以通过分区大小的调整，理论上可实现存储单元的无限制扩展，为PB级的海量存储提供了基础。通过一致性哈希算法，能够将数据均衡分布在所有存储节点空间中，同时在不同存储节点之间，能够进行全对等的点对点数据访问，没有中心节点的干扰，减少了索引查询和延时开销。但是随着系统容量的不断增加，在进行存储节点扩容、缩容、故障更换的同时会对底层存储池的影响增大，在这种情况下数据负载的均衡与寻址的高效性会受到极大的限制，网络方面的压力是系统的性能下降。所以，为了满足技术需求，提高数据在存储节点中的合理分配的程度与寻址过程的简化，云存储系统需要更加高效的数据分布策略来确保系统的性能，利用增强型哈希算法，能够保证云存储系统的高扩展性与灵活性。增强型哈希算法能够实现大规模存储数据分布机制，基于增强型哈希算法的大规模存储数据分布机制，实现了存储对象、数据布局组、存储节点的两级映射，攻克了云存储系统的超大规模扩展、EB级数据组织和高效定位问题。S2：通过圆环形的哈希寻址空间，将所述存储节点地址与所述数据对象地址进行对应；需要说明的是，云存储系统的统一存储池以对象为基本存储单元进行存储，基于数据访问的局部性，根据存储的成本、性能和访问速率来本文档来自技高网...

【技术保护点】
一种基于云存储系统的数据存储方法，其特征在于，包括：利用增强型哈希函数分别计算存储节点地址与数据对象地址；通过圆环形的哈希寻址空间，将所述存储节点地址与所述数据对象地址进行对应；当接收到数据时，利用增强型哈希函数计算存储节点地址，然后将数据存储到与所述存储节点地址对应的存储节点中。

【技术特征摘要】
1.一种基于云存储系统的数据存储方法，其特征在于，包括：利用增强型哈希函数分别计算存储节点地址与数据对象地址；通过圆环形的哈希寻址空间，将所述存储节点地址与所述数据对象地址进行对应；当接收到数据时，利用增强型哈希函数计算存储节点地址，然后将数据存储到与所述存储节点地址对应的存储节点中。2.根据权利要求1所述的基于云存储系统的数据存储方法，其特征在于，所述通过圆环形的哈希寻址空间，将所述存储节点地址与所述数据对象地址进行对应之后，还包括：将每个所述存储节点地址对应的虚拟节点地址设置为一个虚拟IP地址组，当发生故障时，通过虚拟IP地址进行连接；将云存储系统的存储空间均分为预设份数，将每份存储空间按顺时针方向分配给每个存储节点；将利用增强型哈希函数计算出的数据对象地址均匀分布在所述云存储系统的存储空间中。3.根据权利要求2所述的基于云存储系统的数据存储方法，其特征在于，所述将利用增强型哈希函数计算出的数据对象地址均匀分布在所述云存储系统的存储空间中之后，还包括：通过域名访问系统进行数据读取，从IP地址池中获取IP信息；采集存储节点的连接信息，并存入内存中；将接收到的信息域名、策略、位置和IP地址池信息放入共享内容；根据客户端的需求对目标数据进行查找和定位，并将查找到的数据返...

【专利技术属性】
技术研发人员：徐晓阳，赵万里，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41