数据存储装置与方法制造方法及图纸

技术编号:21477176 阅读:82 留言:0更新日期:2019-06-29 04:43
本发明专利技术公开了一种数据存储方法与装置。该方法包括:领导节点获得数据的存储请求,基于存储请求,将数据依次存储进日志文件和内存表;领导节点向存储集群的至少一部分跟随节点发送存储请求,以获取来自至少一部分跟随节点对于存储请求的操作结果,其中至少一部分跟随节点的数目与指定的共识规则相关联;基于共识规则,领导节点确定操作结果的有效性。

【技术实现步骤摘要】
数据存储装置与方法
本专利技术属于数据存储领域,尤其涉及高可靠低成本的键值(Key-Value,KV)存储装置与方法。
技术介绍
KV数据存储是针对键值类型的数据存储方式。例如数据记录“得分:100”,这里可以将“得分”作为存储过程中的关键字key,与之相对应的值100则作为值value,使用“得分”作为索引关键字,获取相应的value值,即分数值100。目前常用的KV存储系统(譬如,redis)属于内存型数据库,优点是数据读写速度快,适合对速度性能要求极高的应有场景,但同时其缺点是对内存要求高,其一旦存储数据量巨大,仅内存无法满足存储要求,并且内存成本要高很多,不适合数据量存储巨大但对速度要求不高的应用场景。单机kv存储系统如leveldb,不能有效的实现数据的可靠性,一旦单机硬件或数据受损将无法恢复。因此,亟需一种低计算机硬件要求、低成本、数据高可靠、去中心化的存储方法以及装置。
技术实现思路
针对上述问题,本专利技术提出了一种高可靠低成本的kv存储系统的实现方法。本专利技术一方面提出了一种数据存储方法,包括:领导节点获得数据的存储请求,基于所述存储请求,将所述数据依次存储进日志文件本文档来自技高网...

【技术保护点】
1.一种数据存储方法,包括:领导节点获得数据的存储请求,基于所述存储请求,将所述数据依次存储进日志文件和内存表;所述领导节点向存储集群的至少一部分跟随节点发送所述存储请求,以获取来自所述至少一部分跟随节点对于所述存储请求的操作结果,其中,所述领导节点处于所述存储集群中,并且所述至少一部分跟随节点的数目与指定的共识规则相关联;基于所述共识规则,所述领导节点确定所述操作结果的有效性。

【技术特征摘要】
1.一种数据存储方法,包括:领导节点获得数据的存储请求,基于所述存储请求,将所述数据依次存储进日志文件和内存表;所述领导节点向存储集群的至少一部分跟随节点发送所述存储请求,以获取来自所述至少一部分跟随节点对于所述存储请求的操作结果,其中,所述领导节点处于所述存储集群中,并且所述至少一部分跟随节点的数目与指定的共识规则相关联;基于所述共识规则,所述领导节点确定所述操作结果的有效性。2.如权利要求1所述的方法,其中,将所述数据存储进所述日志文件成功后,再将所述数据存储进所述内存表。3.如权利要求2所述的方法,其中,当所述内存表中的数据所占用的存储空间大于指定阈值时,将所述内存表中的数据持久化到数据库中。4.如权利要求3所述的方法,将所述内存表中的数据持久化到数据库中包括:以指定的顺序将所述数据插入到所述数据库中的有序表中,其中,所述有序表包括经持久化的多笔数据。5.权利要求4所述的方法,其中,所述指定的顺序与所述数据的...

【专利技术属性】
技术研发人员:范洪月瞿争
申请(专利权)人:众安信息技术服务有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1