基于批处理和流水线的分层数据一致性协议优化方法技术

本发明专利技术提供了一种基于批处理和流水线的分层数据一致性协议优化方法，包括以下步骤：S1、客户端判断待发送请求数是否大于0，如果是，则进入下一步骤，如果否，则结束；S2、客户端向随机节点发送请求；S3、当节点接收到请求后，转发给其他所有节点；S4、当其他节点收到转发请求后，保存当前请求和请求ID，并向其他所有节点发送只包含请求ID的确认消息；S5、如果对某一个请求ID接收到超过半数的节点的确认信息，则认为该请求已经被多数节点接收，处于可排序状态。本发明专利技术的有益效果是：能够有效降低Multi‑Paxos协议中领导者节点资源消耗，同时保证较高的系统性能并且易于工程实现。

【技术实现步骤摘要】
基于批处理和流水线的分层数据一致性协议优化方法
本专利技术涉及分布式存储，尤其涉及分布式存储中一种基于批处理和流水线的分层数据一致性协议优化方法。
技术介绍
信息技术的发展推动着时代的变革，新一代通信技术、新型计算模式的演进加深了科学研究、商业应用、日常生活等各个应用领域的信息化程度。大数据时代的到来和数据的爆炸性增长，如何高效、可靠地存储海量数据成为了一项极具挑战性的工作。传统的单一节点的集中式存储系统已经不能满足需求，越来越多的公司采用分布式存储系统。与集中式存储系统相比，分布式存储系统具有可避免单点故障，降低成本和高可扩展性等优点。实现分布式系统的基本操作是数据复制。数据复制是指在可能分布于多个机架、机房、区域范围内甚至全球范围数据中心的不同服务器上对某个对象进行多份相同的拷贝。地域上的复制通过在不同的地理区域中复制冗余数据可以在全球范围内实现数据持久化、容错和容灾等功能。通过复制可以实现数据的高可用性、可扩展性以及实现快速响应。在全球范围服务和应用的时代，复制是解决大数据挑战的必需。伴随着分布式存储系统中的复制产生的一个重要问题是如何保证副本间的数据一致性。分布式系统的数据一本文档来自技高网...

【技术保护点】
1.一种基于批处理和流水线的分层数据一致性协议优化方法，其特征在于，包括以下步骤：S1、客户端判断待发送请求数是否大于0，如果是，则进入下一步骤，如果否，则结束；S2、客户端向随机节点发送请求；S3、当节点接收到请求后，转发给其他所有节点；S4、当其他节点收到转发请求后，保存当前请求和请求ID，并向其他所有节点发送只包含请求ID的确认消息；S5、如果对某一个请求ID接收到超过半数的节点的确认信息，则认为该请求已经被多数节点接收，处于可排序状态；S6、领导者节点将该请求ID加入当前的批处理包内，判断当前批处理包的大小是否超过限制以及判断形成当前批处理包的时间是否超过最大等待时间，如果超过大小或者...

【技术特征摘要】
1.一种基于批处理和流水线的分层数据一致性协议优化方法，其特征在于，包括以下步骤：S1、客户端判断待发送请求数是否大于0，如果是，则进入下一步骤，如果否，则结束；S2、客户端向随机节点发送请求；S3、当节点接收到请求后，转发给其他所有节点；S4、当其他节点收到转发请求后，保存当前请求和请求ID，并向其他所有节点发送只包含请求ID的确认消息；S5、如果对某一个请求ID接收到超过半数的节点的确认信息，则认为该请求已经被多数节点接收，处于可排序状态；S6、领导者节点将该请求ID加入当前的批处理包内，判断当前批处理包的大小是否超过限制以及判断形成当前批处理包的时间是否超过最大等待时间，如果超过大小或者超时或者既超过大小又超时，则进入下一步骤，如果既不超过大小又不超时，则将该请求ID放入当前批处理包中；S7、发送当前的批处理包，并将该请求ID放入新的批处理包内；S8、当领导者节点向其他所有节点发送完毕请求ID的批处理包后，判断当前并行运行窗口数是否小于设定值，如果是，则返回步骤S7，如果否，则进入下一步骤；S9、当其他节点接收到请求ID的批处理包后，向其他所有节点发送确认消息，如果节点接收到超过半数的节点的确认消息，则认为该请求已经排序完毕，相应节点执行请求并回复客户端，返回步骤S1。2.根据权利要求1所述的基于批处理和流水线的分层数据一致性协议优化方法，其特征在于：步骤S8中的并行运行窗口数的设定值的确定过程包括以下步骤：推导分层Multi-Paxos协议在节点带宽饱和的情况下，批处理参数和流水线参数的关系；假设一个分层Multi-Paxos系统有n个节点，每个节点接收到客户端的请求的概率为Pi，假设第k个节点接收到客户端的概...

【专利技术属性】
技术研发人员：王野，何荣祥，刘璐，徐晗，侯庆辉，张钦宇，
申请(专利权)人：哈尔滨工业大学深圳研究生院，
类型：发明
国别省市：广东,44