数据处理方法、系统、电子设备及计算机存储介质技术方案

技术编号:40593928 阅读:30 留言:0更新日期:2024-03-12 21:55
本申请实施例提供了一种数据处理方法、系统、电子设备及计算机存储介质,其中,方法应用至分布式系统的主节点,分布式系统包括主节点、若干个从节点、独立于主节点和从节点的持久化存储区域,方法包括:响应于接收到的日志同步请求,按照编号顺序递增的规则为日志同步请求对应的待同步日志分配日志编号,以将待同步日志及对应的日志编号按照日志编号无序的方式存储至持久化存储区域;在待同步日志及对应的日志编号被存储完成后,确认待同步日志提交完成,并将日志编号以及待同步日志发送至若干个从节点,以使得若干个从节点应用待同步日志。

【技术实现步骤摘要】

本申请实施例涉及计算机,尤其涉及一种数据处理方法、系统、电子设备及计算机存储介质


技术介绍

1、通常,为了保证分布式系统的数据一致性,一般会采用状态复制机,即通过状态复制机同步日志来实现在多个节点上从相同的初始状态开始,执行相同的命令,产生一致的状态。

2、分布式系统的主节点和从节点可以都对应有状态复制机,当需要进行日志同步时,由主节点接收到待同步日志,并将待同步日志发送至多个从节点,从节点对应的状态复制机可以应用日志,并将完成日志应用的结果告知主节点。主节点确定一半以上的从节点应用日志后确定日志不会发生回滚情况,则确认日志提交完成。

3、但是,通过这种方法保证数据一致性时,需要由主节点保证一半以上的从节点都会成功应用日志,且为了保证数据的准确性,仅能由主节点来接收待同步日志,极大地影响了分布式系统的效率以及可扩展性。


技术实现思路

1、有鉴于此,本申请实施例提供一种数据库数据处理方案,以至少部分解决上述问题。

2、根据本申请实施例的第一方面,提供了一种数据处理方法,应用本文档来自技高网...

【技术保护点】

1.一种数据处理方法,应用至分布式系统的主节点,所述分布式系统包括所述主节点、若干个从节点、独立于所述主节点和所述从节点的持久化存储区域,所述方法包括:

2.根据权利要求1所述的方法,其中,所述方法还包括:通过所述主节点或者所述从节点将应用的日志及对应的日志编号备份至日志备份区。

3.根据权利要求2所述的方法,其中,若上一主节点崩溃,且当前主节点被重新选举出,则所述方法还包括:

4.根据权利要求1所述的方法,其中,所述响应于接收到的日志同步请求,按照编号顺序递增的规则为所述日志同步请求对应的待同步日志分配日志编号,以将所述待同步日志及对应的所述日志编号...

【技术特征摘要】

1.一种数据处理方法,应用至分布式系统的主节点,所述分布式系统包括所述主节点、若干个从节点、独立于所述主节点和所述从节点的持久化存储区域,所述方法包括:

2.根据权利要求1所述的方法,其中,所述方法还包括:通过所述主节点或者所述从节点将应用的日志及对应的日志编号备份至日志备份区。

3.根据权利要求2所述的方法,其中,若上一主节点崩溃,且当前主节点被重新选举出,则所述方法还包括:

4.根据权利要求1所述的方法,其中,所述响应于接收到的日志同步请求,按照编号顺序递增的规则为所述日志同步请求对应的待同步日志分配日志编号,以将所述待同步日志及对应的所述日志编号存储至所述持久化存储区域,包括:

5.根据权利要求1所述的方法,其中,所述持久化存储区域包括2n+1个存储节点,n为正整数,所述将所述待同步日志及对应的所述日志编号存储至所...

【专利技术属性】
技术研发人员:樊华周文超李飞飞
申请(专利权)人:阿里云计算有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1