本公开提出了一种基于数据文件的分布式多副本高性能高可用方案，包括：获取用户的写入请求，并通过分布式集群中的领导者共识层执行写入请求；监听存储引擎中生成的数据文件；基于数据文件生成加载事项，并将加载事项异步发送给跟随者进行加载数据文件，领导者继续执行下一写入请求；在跟随者通过直接加载技术完成数据加载后，通过异步回调的方式将加载结果更新至分布式集群的共识数据中。相较于当前主流的共识协议，本公开采取异步复制机制，返回用户写入成功不依赖副本同步的结果，无需额外等待，本公开还利用高压缩比的数据文件进行状态同步，在确保系统资源利用效率的同时，有效降低了副本同步的性能瓶颈，具备性能随副本数线性扩展的优势。
【技术实现步骤摘要】
本公开涉及计算机数据管理，尤其涉及一种基于数据文件的分布式多副本高性能高可用方案。
技术介绍
1、在分布式系统中，设备和节点生成的数据量不断增长，对计算和存储资源的需求也在持续上升。由于单机环境下的计算和存储能力有限，往往会遇到性能瓶颈。因此，开发一种高效的分布式共识算法，能够在大规模数据场景下管理多副本数据的同步，同时支持多副本的副本同步机制，并且包括保证系统高可用尤为关键。
2、当前技术中的分布式系统通常采用数据分区和数据复制的方式来组织和管理数据。在这种架构中，数据被划分成多个独立的分区，并为每个分区创建多个副本，通过共识协议来完成副本之间的数据同步，以保证数据的高可用性和容错性。通过负载均衡机制，系统可以将请求均匀地分配到各个副本上，从而分摊流量压力，避免单点过载。在理想情况下，如果副本间同步的开销较小，数据分区和流量分摊的效果能够使系统的性能随着副本数量横向扩展。这种扩展性使得系统可以随着负载增长而增添节点，以便持续提供高效的服务。因此用于组织副本间数据同步的共识协议成为分布式系统突破单副本性能瓶颈的关键。
...
【技术保护点】
1.一种基于数据文件的分布式多副本高性能高可用方案，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述通过分布式集群中的领导者共识层执行所述写入请求，包括：
4.根据权利要求3所述的方法，其特征在于，所述通过所述状态机基于所述目标排序执行所述写入请求之后，包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述最新数据文件生成加载事项，包括：
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述将所述加载事项异步发送给跟随者进行加载最新数据文...
【技术特征摘要】
1.一种基于数据文件的分布式多副本高性能高可用方案，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述通过分布式集群中的领导者共识层执行所述写入请求，包括：
4.根据权利要求3所述的方法，其特征在于，所述通过所述状态机基于所述目标排序执行所述写入请求之后，包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述最新数据文件生成加载事项，包括：
6.根据权利要求1-5中任一项所述的方法，...
【专利技术属性】
技术研发人员：乔嘉林，王建民，黄向东，谭新宇，田原，彭俊植，谷新豪，
申请(专利权)人：天谋科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。