The invention discloses a data storage method and device based on cloud storage system, the method comprises: a storage node calculates the address and data object address enhanced by using hash function; Hash addressing space ring, the storage node address and the address of the corresponding data objects; when receiving data when calculating the storage node address using enhanced hash function, then the data is stored into the storage node corresponding to the storage node address in. The data storage method and device for cloud storage system based on extended to solve large scale storage, and can guarantee the physical node address space distribution in the system, improve the system load balancing, achieving high positioning data organization.
【技术实现步骤摘要】
一种基于云存储系统的数据存储方法和装置
本专利技术属于云存储
,特别是涉及一种基于云存储系统的数据存储方法和装置。
技术介绍
在现代存储系统中,由于数据信息总量不断增加,存储容量从PB到EB,数据的处理器也是越来越快,各种链路速度也是越来越快,但是数据分布机制变成了短板,动态扩大存储规模并不能及时跟上处理速度,这就容易造成系统的宕机,系统假死未响应等相关状态。而很多应用数据都是需要数据库的支持,数据处理的性能深受影响。传统数据分布策略都是基于高吞吐率网络技术,稳定且成本较低,但是速度跟不上,在进行海量数据特别是查找定位目标时,缺陷就表现出来了。现在有一些数据分布策略,并且提出了很多算法构造,比如副本策略、纠删码策略等。而分布式存储系统以对象存储技术为基础,将对象集合用具有唯一标示的OID(ObjectID)的对象标识符表示,使文件系统变成了一种提升系统性能的有效办法。文件系统采用存储的对象的方式来访问数据,较块存储的无关联块阵列的数据组织方式的读写速率高很多,性能更好。然而,在进行在线扩展存储节点的时候,数据在各个节点的分布仍然存在不均衡和可扩展性差的情况,并且无法高对目标数据进行效的查找定位,所以存储系统的性能也就受到限制。
技术实现思路
为解决上述问题,本专利技术提供了一种基于云存储系统的数据存储方法和装置,能够解决超大规模存储的扩展问题,且能够保证物理节点地址空间在系统中均匀分布,提升系统负载均衡,实现数据组织的高效定位。本专利技术提供的一种基于云存储系统的数据存储方法,包括:利用增强型哈希函数分别计算存储节点地址与数据对象地址;通过圆环形的哈希寻 ...
【技术保护点】
一种基于云存储系统的数据存储方法,其特征在于,包括:利用增强型哈希函数分别计算存储节点地址与数据对象地址;通过圆环形的哈希寻址空间,将所述存储节点地址与所述数据对象地址进行对应;当接收到数据时,利用增强型哈希函数计算存储节点地址,然后将数据存储到与所述存储节点地址对应的存储节点中。
【技术特征摘要】
1.一种基于云存储系统的数据存储方法,其特征在于,包括:利用增强型哈希函数分别计算存储节点地址与数据对象地址;通过圆环形的哈希寻址空间,将所述存储节点地址与所述数据对象地址进行对应;当接收到数据时,利用增强型哈希函数计算存储节点地址,然后将数据存储到与所述存储节点地址对应的存储节点中。2.根据权利要求1所述的基于云存储系统的数据存储方法,其特征在于,所述通过圆环形的哈希寻址空间,将所述存储节点地址与所述数据对象地址进行对应之后,还包括:将每个所述存储节点地址对应的虚拟节点地址设置为一个虚拟IP地址组,当发生故障时,通过虚拟IP地址进行连接;将云存储系统的存储空间均分为预设份数,将每份存储空间按顺时针方向分配给每个存储节点;将利用增强型哈希函数计算出的数据对象地址均匀分布在所述云存储系统的存储空间中。3.根据权利要求2所述的基于云存储系统的数据存储方法,其特征在于,所述将利用增强型哈希函数计算出的数据对象地址均匀分布在所述云存储系统的存储空间中之后,还包括:通过域名访问系统进行数据读取,从IP地址池中获取IP信息;采集存储节点的连接信息,并存入内存中;将接收到的信息域名、策略、位置和IP地址池信息放入共享内容;根据客户端的需求对目标数据进行查找和定位,并将查找到的数据返...
【专利技术属性】
技术研发人员:徐晓阳,赵万里,
申请(专利权)人:郑州云海信息技术有限公司,
类型:发明
国别省市:河南,41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。