一种数据存储方法、装置和计算机可读存储介质制造方法及图纸

技术编号:24289520 阅读:19 留言:0更新日期:2020-05-26 19:58
本发明专利技术实施例公开了一种数据存储方法、装置和计算机可读存储介质;本发明专利技术实施例在从节点接收终端发送的数据写入请求后,该数据写入请求携带写入数据,从节点根据所述数据写入请求,从主节点中获取写入数据的数据编号,从节点将写入数据和数据编号作为同步数据发送至分布式数据系统的其他节点,并接收其他节点发送的反馈信息,从节点根据所述反馈信息,确定成功接收到同步数据的其他节点的第一节点数量,从节点基于所述第一节点数量,对写入数据进行存储;该方案可以大大提升数据存储的效率。

A data storage method, device and computer readable storage medium

【技术实现步骤摘要】
一种数据存储方法、装置和计算机可读存储介质
本专利技术涉及通信
,具体涉及一种数据存储方法、装置和计算机可读存储介质。
技术介绍
近年来,随着大数据技术的飞速发展,单一的数据库或者服务节点已经无法支撑业务和数据的增长,因而分布式数据系统开始广泛应用,现有的分布式数据系统大部分采用单主类的数据处理方式,其中单主类数据处理方式为在分布式数据系统中存在一个主节点,主节点负责数据的写入并同步给其他节点。在对现有技术的研究和实践过程中,本专利技术的专利技术人发现对于单主类数据处理方式只允许主节点处理数据写入,当需要处理的数据较多时,会造成主节点出现数据积压等情况,因此,会大大降低数据存储的效率。
技术实现思路
本专利技术实施例提供一种数据存储方法、装置和计算机可读存储介质。可以提高数据存储的效率。一种数据存储方法,包括:所述从节点接收终端发送的数据写入请求,所述数据写入请求携带写入数据,所述数据写入请求用于将所述写入数据写入至所述分布式数据系统的节点;所述从节点根据所述数据写入请求,从所述主节点中本文档来自技高网...

【技术保护点】
1.一种数据存储方法,用于分布式数据系统的数据写入操作,其中所述分布式数据系统包括一个主节点和至少两个从节点,其特征在于,包括:/n所述从节点接收终端发送的数据写入请求,所述数据写入请求携带写入数据,所述数据写入请求用于将所述写入数据写入至所述分布式数据系统的节点;/n所述从节点根据所述数据写入请求,从所述主节点中获取所述写入数据的数据编号,所述数据编号为所述写入数据在所述分布式数据系统中的顺序标识;/n所述从节点将所述写入数据和数据编号作为同步数据发送至所述分布式数据系统的其他节点,并接收所述其他节点发送的反馈信息;/n所述从节点根据所述反馈信息,确定成功接收到所述同步数据的其他节点的第一节...

【技术特征摘要】
1.一种数据存储方法,用于分布式数据系统的数据写入操作,其中所述分布式数据系统包括一个主节点和至少两个从节点,其特征在于,包括:
所述从节点接收终端发送的数据写入请求,所述数据写入请求携带写入数据,所述数据写入请求用于将所述写入数据写入至所述分布式数据系统的节点;
所述从节点根据所述数据写入请求,从所述主节点中获取所述写入数据的数据编号,所述数据编号为所述写入数据在所述分布式数据系统中的顺序标识;
所述从节点将所述写入数据和数据编号作为同步数据发送至所述分布式数据系统的其他节点,并接收所述其他节点发送的反馈信息;
所述从节点根据所述反馈信息,确定成功接收到所述同步数据的其他节点的第一节点数量;
所述从节点基于所述第一节点数量,对所述写入数据进行存储。


2.根据权利要求1所述的数据存储方法,其特征在于,所述从节点基于所述第一节点数量,对所述写入数据进行存储,包括:
当所述第一节点数量超过节点总数的一半时,所述从节点将所述同步数据写入所述从节点的本地数据库,并向所述其他节点发送数据保存请求,以将所述同步数据保存至所述其他节点的本地数据库;
当所述第一节点数量未超过节点总数的一半时,所述从节点将所述写入数据丢弃,并向所述其他节点发送数据丢弃请求,以将所述其他节点接收到的所述同步数据丢弃。


3.根据权利要求1所述的数据存储方法,其特征在于,所述从节点根据所述数据写入请求,从所述主节点中获取所述写入数据的数据编号,包括:
根据所述数据写入请求,所述从节点生成数据同步请求;
所述从节点将所述数据同步请求发送至所述主节点;
当所述主节点返回所述数据编号时,所述从节点接收所述数据编号;
当所述主节点未返回所述数据编号时,所述从节点返回数据写入失败的提示信息至所述终端。


4.根据权利要求3所述的数据存储方法,其特征在于,所述从节点将所述数据同步请求发送至所述主节点之前,还包括:
所述从节点向所述主节点发送测试请求,所述测试请求用于测试所述主节点的状态;
所述从节点接收所述测试请求的反馈信息,并根据所述反馈信息确定所述主节点是否处于正常状态;
当所述反馈信息为所述主节点为异常状态时,所述从节点确定所述主节点处于异常状态,所述从节点触发新主节点确定流程;
所述从节点将所述数据同步请求发送至所述主节点,包括:当所述主节点处于正常状态时,所述从节点将所述同步数据请求发送至所述主节点。


5.根据权利要求4所述的数据存储方法,其特征在于,所述新主节点确定流程包括:
所述从节点向其他从节点发送选择新主节点的投票请求;
所述从节点接收所述其他从节点针对所述投票请求答复的投票结果,所述投票结果包括同意发出投票请求的从节点为新主节点和不同意发出投票请求的从节点成为新主节点;
当投票结果为同意发出投票请求的从节点为新主节点的数量超过从节点总数的一半时,所述从节点当选为新主节点。


6.根据权利要求5所的数据存储方法,其特征在于,所述投票请求携带所述从节点的数据编号最大的第一数据编号,所述从节点向其他从节点发送选择新主节点的投票请求之后,还包括:
所述其他从节点接收到所述从节点发送的所述投票请求;
所述其他从节点将所述第一数据编号与所述其他从节点的当前最大的第二数据编号进行对比;
当所述第二数据编号未超过所述第一数据编号时,所述其他从节点向所述从节点发送同意发出投票请求的从节点为新主节点的投票结果;
当所述第二数据编号超过所述第一数据编号时,所述其他从节点向所述从节点发送不同意发出投票请求的从节点为新主节点的投票结果。


7.根据权利要求6所述的数据存储方法,其特征在于,还包括:
当第二数据编号未超所述第一数据编号,且在预设时间间隔内所述其他从节点接收到至少两个投票请求时,所述其他从节点向第一次发送所述投票请求的从节点发送同意发出投票请求的从节点为新主节点的投票结果。


8.根据权利要求1所述的数据存储方法,其特征在于,还包括:
所述从节点向所述主节...

【专利技术属性】
技术研发人员:曹智颖
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1