一种存储数据的方法及装置制造方法及图纸

技术编号:13338157 阅读:123 留言:0更新日期:2016-07-13 10:24
本发明专利技术实施例公开了一种存储数据的方法及装置,涉及通信技术领域,能够解决因备份节点占用空间较大而造成磁盘空间不足的问题。本发明专利技术实施例的方法包括:至少两个备份节点接收主节点发送的原始数据,原始数据为主节点写入的数据;当至少两个备份节点写入原始数据之后,至少两个备份节点按照每个备份节点对应的数据压缩模式压缩原始数据,得到目标数据,目标数据占用的存储空间小于原始数据占用的存储空间;至少两个备份节点删除原始数据。本发明专利技术适用于数据的存储过程。

【技术实现步骤摘要】

本专利技术涉及通信
,尤其涉及一种存储数据的方法及装置
技术介绍
在分布式存储系统中,通常包括若干个计算节点和存储节点,并且计算节点和存储节点可以通过网络连接起来。为了避免因存储节点故障而造成数据丢包,在数据存储的过程中,通常将同一份数据的多个副本分别保存在多个存储节点上。比如:将数据备份3份,并保存在不同的存储节点上,从而确保当其中1份或2份损坏时,仍能够保证数据的完整性。在数据读取过程中,读取数据的请求可以通过网络向主节点发送,并从主节点读取已保存的数据,而备份节点上存储的数据在主节点不存在故障时,仅用于保存数据副本,也就是保存在备份节点上的数据与保存在主节点上的数据相同,且存储形式相同。因此,采用上述方式进行数据的存储,往往造成过多的冗余。当主节点不存在故障时,备份节点仅用于数据的备份,而当存储的数据量较大时,由于备份的数据与保存在主节点上的数据需要占用相同的存储空间,因此,导致因备份节点占用空间较大而造成磁盘空间不足的问题。
技术实现思路
本专利技术实施例提供一种存储数据的方法及装置,能够解决因备份节点占用空间较大而造成磁盘空间不足的问题。为达到上述目的,本专利技术实施例采用如下技术方案:第一方面,本专利技术实施例提供一种存储数据的方法,所述方法用于一种存储系统,所述存储系统包括至少两个备份节点和主节点,所述方法包括:所述至少两个备份节点接收所述主节点发送的原始数据,所述原始数据为所述主节点写入的数据;当所述至少两个备份节点写入所述原始数据之后,所述至少两个备份节点按照每个备份节点对应的数据压缩模式压缩所述原始数据,得到目标数据,所述目标数据占用的存储空间小于所述原始数据占用的存储空间;所述至少两个备份节点删除所述原始数据。结合第一方面,在第一方面第一种可能的实现方式中,所述至少两个备份节点包括第一备份节点和第二备份节点,所述数据压缩模式包括第一模式或第二模式,所述目标数据包括第一目标数据或第二目标数据,将所述第一目标数据恢复成所述原始数据的时间小于将所述第二目标数据恢复成所述原始数据的时间,所述至少两个备份节点按照每个备份节点对应的数据压缩模式压缩所述原始数据,得到目标数据,包括:所述第一备份节点按照所述第一模式,压缩所述原始数据,得到所述第一目标数据,以便于当所述主节点接收到读取所述原始数据的请求消息,且所述主节点写入的所述原始数据无法被读取时,所述第一备份节点优先将所述第一目标数据恢复成所述原始数据;所述第二备份节点按照所述第二模式,压缩所述原始数据,得到所述第二目标数据。结合第一方面第一种可能的实现方式,在第一方面第二种可能的实现方式中,所述第一模式包括快速压缩算法,所述第二模式包括高压缩率算法,将所述原始数据压缩成所述第一目标数据的时间小于将所述原始数据压缩成所述第二目标数据的时间,所述第一目标数据占用的存储空间大于所述第二目标数据。结合第一方面,或第一方面第一至第二种可能中的任一项实现方式,在第一方面第三种可能的实现方式中,所述存储系统还包括终端,所述至少两个备份节点接收所述主节点发送的原始数据,包括:当所述主节点接收所述终端发送的所述原始数据,并写入所述原始数据,且所述主节点将所述原始数据向所述至少两个备份节点发送之后,所述至少两个备份节点接收所述主节点发送的所述原始数据;在所述至少两个备份节点按照每个备份节点对应的数据压缩模式压缩所述原始数据,得到目标数据之前,包括:所述至少两个备份节点向所述主节点发送所述原始数据写入成功的反馈消息,以便于所述主节点将所述反馈消息向所述终端发送。第二方面,本专利技术实施例提供一种存储数据的装置,所述装置用于一种存储系统,所述存储系统包括至少两个备份节点和主节点,所述装置包括:接收模块,用于接收所述主节点发送的原始数据,所述原始数据为所述主节点写入的数据;生成模块,用于当所述至少两个备份节点写入所述原始数据之后,按照每个备份节点对应的数据压缩模式压缩所述原始数据,得到目标数据,所述目标数据占用的存储空间小于所述原始数据占用的存储空间;删除模块,用于删除所述原始数据。结合第二方面,在第二方面第一种可能的实现方式中,所述至少两个备份节点包括第一备份节点和第二备份节点,所述数据压缩模式包括第一模式或第二模式,所述目标数据包括第一目标数据或第二目标数据,将所述第一目标数据恢复成所述原始数据的时间小于将所述第二目标数据恢复成所述原始数据的时间,所述生成模块包括第一生成模块和第二生成模块,所述第一生成模块设置在所述第一备份节点,用于按照所述第一模式,压缩所述原始数据,得到所述第一目标数据,以便于当所述主节点接收到读取所述原始数据的请求消息,且所述主节点写入的所述原始数据无法被读取时,所述第一备份节点优先将所述第一目标数据恢复成所述原始数据;所述第二生成模块设置在所述第二备份节点,用于按照所述第二模式,压缩所述原始数据,得到所述第二目标数据。结合第二方面第一种可能的实现方式,在第二方面第二种可能的实现方式中,所述第一模式包括快速压缩算法,所述第二模式包括高压缩率算法,将所述原始数据压缩成所述第一目标数据的时间小于将所述原始数据压缩成所述第二目标数据的时间,所述第一目标数据占用的存储空间大于所述第二目标数据。结合第二方面,或第二方面第一至第二种可能中的任一项实现方式,在第二方面第三种可能的实现方式中,所述存储系统还包括终端,所述接收模块,具体用于当所述主节点接收所述终端发送的所述原始数据,并写入所述原始数据,且所述主节点将所述原始数据向所述至少两个备份节点发送之后,接收所述主节点发送的所述原始数据;所述装置还包括:发送模块,用于向所述主节点发送所述原始数据写入成功的反馈消息,以便于所述主节点将所述反馈消息向所述终端发送。本专利技术实施例提供的一种存储数据的方法及装置,当至少两个备份节点根据主节点发送的原始数据完成数据写入之后,每个备份节点可以按照各自对应的数据压缩模式进行原始数据的压缩,以得到目标数据,并在生成目标数据之后将至少两个备份节点的原始数据删除。其中,目标数据占用的存储空间小于原始数据占用的存储空间。相比较于现有技术中采用相同的存储形式,将主节点上保存的数据保存在备份节点上,本专利技术可以采用不同的存储形式来实现备份节点上原始数据的保存,也就是将原始数据按照每个备份节点对应的数据压缩模式进行压缩,之后将经不同数据压缩模式得本文档来自技高网...

【技术保护点】
一种存储数据的方法,其特征在于,所述方法用于一种存储系统,所述存储系统包括至少两个备份节点和主节点,所述方法包括:所述至少两个备份节点接收所述主节点发送的原始数据,所述原始数据为所述主节点写入的数据;当所述至少两个备份节点写入所述原始数据之后,所述至少两个备份节点按照每个备份节点对应的数据压缩模式压缩所述原始数据,得到目标数据,所述目标数据占用的存储空间小于所述原始数据占用的存储空间;所述至少两个备份节点删除所述原始数据。

【技术特征摘要】
1.一种存储数据的方法,其特征在于,所述方法用于一种存储系统,所述
存储系统包括至少两个备份节点和主节点,所述方法包括:
所述至少两个备份节点接收所述主节点发送的原始数据,所述原始数据为
所述主节点写入的数据;
当所述至少两个备份节点写入所述原始数据之后,所述至少两个备份节点
按照每个备份节点对应的数据压缩模式压缩所述原始数据,得到目标数据,所
述目标数据占用的存储空间小于所述原始数据占用的存储空间;
所述至少两个备份节点删除所述原始数据。
2.根据权利要求1所述的方法,其特征在于,所述至少两个备份节点包括
第一备份节点和第二备份节点,所述数据压缩模式包括第一模式或第二模式,
所述目标数据包括第一目标数据或第二目标数据,将所述第一目标数据恢复成
所述原始数据的时间小于将所述第二目标数据恢复成所述原始数据的时间,所
述至少两个备份节点按照每个备份节点对应的数据压缩模式压缩所述原始数
据,得到目标数据,包括:
所述第一备份节点按照所述第一模式,压缩所述原始数据,得到所述第一
目标数据,以便于当所述主节点接收到读取所述原始数据的请求消息,且所述
主节点写入的所述原始数据无法被读取时,所述第一备份节点优先将所述第一
目标数据恢复成所述原始数据;
所述第二备份节点按照所述第二模式,压缩所述原始数据,得到所述第二
目标数据。
3.根据权利要求2所述的方法,其特征在于,所述第一模式包括快速压缩
算法,所述第二模式包括高压缩率算法,将所述原始数据压缩成所述第一目标
数据的时间小于将所述原始数据压缩成所述第二目标数据的时间,所述第一目
标数据占用的存储空间大于所述第二目标数据。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述存储系统还
包括终端,所述至少两个备份节点接收所述主节点发送的原始数据,包括:
当所述主节点接收所述终端发送的所述原始数据,并写入所述原始数据,
且所述主节点将所述原始数据向所述至少两个备份节点发送之后,所述至少两
个备份节点接收所述主节点发送的所述原始数据;
在所述至少两个备份节点按照每个备份节点对应的数据压缩模式压缩所述
原始数据,得到目标数据之前,包括:
所述至少两个备份节点向所述主节点发送所述原始数据...

【专利技术属性】
技术研发人员:宋飞刘强罗治文
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1