基于低位哈希标签的存储方法、系统、终端及存储介质技术方案

技术编号:29526314 阅读:24 留言:0更新日期:2021-08-03 15:12
本发明专利技术提供一种基于低位哈希标签的存储方法、系统、终端及存储介质,包括:计算待存储数据的全息哈希值;将所述全息哈希值的低位信息作为所述待存储数据的标签保存至数据表;将所述全息哈希值的高位信息作为所述标签的存储索引值。本发明专利技术利用数据标签来标识数据原文,算法原理简单、高效,标签的位宽比原文少,可以节省缓存内存,用硬件实现截取数据的低位信息的功能,电路设计简单,容易实现。

【技术实现步骤摘要】
基于低位哈希标签的存储方法、系统、终端及存储介质
本专利技术涉及大数据存储
,具体涉及一种基于低位哈希标签的存储方法、系统、终端及存储介质。
技术介绍
随着大数据、AI、区块链等前沿科学技术的迅速发展,催生了数据爆发式的增长,海量数据将对现有的存储设备带来巨大的压力。随着云计算对传统计算架构的替代,数据存储的结构也在发生变化,计算资源和存储资源将进一步向头部的数据中心聚合,进一步给服务器存储带来压力。面对这些持续增加的海量数据,数据压缩成为减轻服务器存储负担,降低存储成本的有效方法之一。数据压缩主要体现在重复冗余数据的压缩处理,可分为两步实现:1,查找重复数据,判断前文中是否有与当前数据相同的段落,并得到前文的地址。2,表征重复数据,按照一定的规则表示重复数据,通常利用游程编码表征。因此硬件电路实现数据压缩,需要对当前字段之前一定长度的前文缓存。通常将前文划分为若干个字段,将每个字段的信息独立缓存,需要存储的信息:字段的文字内容和字段的偏移地址。目前主流的数据压缩算法(LZ77,LZ4,Deflat本文档来自技高网...

【技术保护点】
1.一种基于低位哈希标签的存储方法,其特征在于,包括:/n计算待存储数据的全息哈希值;/n将所述全息哈希值的低位信息作为所述待存储数据的标签保存至数据表;/n将所述全息哈希值的高位信息作为所述标签的存储索引值。/n

【技术特征摘要】
1.一种基于低位哈希标签的存储方法,其特征在于,包括:
计算待存储数据的全息哈希值;
将所述全息哈希值的低位信息作为所述待存储数据的标签保存至数据表;
将所述全息哈希值的高位信息作为所述标签的存储索引值。


2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
设置所述标签的哈希位宽为理论最小值32。


3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据目标存储索引值查找目标数据的目标标签;
根据目标存储索引值和目标标签还原目标数据的目标全息哈希值;
根据所述目标全息哈希值逆向计算目标数据。


4.一种基于低位哈希标签的存储系统,其特征在于,包括:
哈希计算单元,配置用于计算待存储数据的全息哈希值;
索引确定单元,配置用于将所述全息哈希值的低位信息作为所述待存储数据的标签保存至数据表;
标签保存单元...

【专利技术属性】
技术研发人员:李树青王江张永兴孙华锦
申请(专利权)人:山东英信计算机技术有限公司
类型:发明
国别省市:山东;37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1