消息同步方法、装置、节点及可读存储介质制造方法及图纸

本发明专利技术涉及消息处理技术领域，提供了一种消息同步方法、装置、节点及可读存储介质，应用于kafka集群中的第一节点，kafka集群还包括与第一节点通信的第二节点，第二节点包括主分区，第一节点包括备份分区，所述方法包括：获取最近一次消费的消费消息的第一编号；获取本地预先存储的、最近一次从主分区同步的同步消息的第二编号；若第二编号与第一编号的差值小于预设值、且第一存储区域中空闲区域满足预设条件，则将主分区中最近一次写入的写入消息的第三编号与第二编号之间的消息同步至第一存储区域。本发明专利技术能够提高消息同步效率。本发明专利技术能够提高消息同步效率。本发明专利技术能够提高消息同步效率。

【技术实现步骤摘要】
消息同步方法、装置、节点及可读存储介质


[0001]本专利技术涉及消息处理
，具体而言，涉及一种消息同步方法、装置、节点及可读存储介质。

技术介绍

[0002]Kafka是一种高吞吐量的分布式发布订阅消息系统，生产者将生产的消息推送至kafka，kafka负责管理消息并提供接口供消费者从kafka拉取消息。Kafka通常部署在由多个节点组成的集群中，为了保证消息的安全可靠性，Kafka通常会按照分区将消息及其副本存储至集群中的不同节点的磁盘中。负责对外提供服务的分区为主分区，负责备份消息的分区为备份分区，主分区中的消息按照预设规则同步至备份分区，如何提高消息同步效率为本领域技术人员亟待解决的问题。

技术实现思路

[0003]本专利技术提供了一种消息同步方法、装置、节点及可读存储介质，其能够能够提高消息同步效率。
[0004]为了实现上述目的，本专利技术采用的技术方案如下：
[0005]第一方面，本专利技术提供一种消息同步方法，应用于kafka集群中的第一节点，所述kafka集群还包括与所述第一节点通信的第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种消息同步方法，其特征在于，应用于kafka集群中的第一节点，所述kafka集群还包括与所述第一节点通信的第二节点，所述第二节点包括主分区，所述主分区中存在按序递增的消息，所述第一节点包括备份分区，所述备份分区用于存储所述主分区中的消息的副本，所述备份分区包括第一存储区域和第二存储区域，所述第一存储区域的访问性能大于所述第二存储区域，所述方法包括：获取最近一次消费的消费消息的第一编号，其中，所述第一编号用于表征所述消费消息在所述主分区中的偏移位置；获取本地预先存储的、最近一次从所述主分区同步的同步消息的第二编号，其中，所述第二编号用于表征所述同步消息在所述主分区中的偏移位置；若所述第二编号与所述第一编号的差值小于预设值、且所述第一存储区域中空闲区域满足预设条件，则将所述主分区中最近一次写入的写入消息的第三编号与所述第二编号之间的消息同步至所述第一存储区域。2.如权利要求1所述的消息同步方法，其特征在于，所述方法还包括：若所述第二编号与所述第一编号的差值大于或者等于所述预设值、或者所述第一存储区域中空闲区域不满足所述预设条件，则根据所述第二编号、所述第三编号及所述预设值确定待迁移条数；将所述第一存储区域中最早存储的所述迁移条数的消息迁移至所述第二存储区域；将所述第三编号开始的所述迁移条数的目标消息同步至所述第一存储区域；将所述第三编号和所述第二编号之间除所述目标消息之外的消息同步至所述第二存储区域。3.如权利要求2所述的消息同步方法，其特征在于，所述根据所述第二编号、所述第三编号及所述预设值确定待迁移条数的步骤包括：计算所述第二编号和所述第三编号之间的编号差值；将所述编号差值和所述预设值之间的最小值作为所述待迁移条数。4.如权利要求1～3中任一项所述的消息同步方法，其特征在于，所述方法还包括：将所述备份分区中编号小于所述第一编号的消息删除。5.如权利要求1所述的消息同步方法，其特征在于，所述方法还包括：当检测到所述第二节点发生异常时，判断所述备份分区是否满足替换条件；若所述备份分区满足所述替换条件，则根据选举机制将所述备份分区作为新的主...

【专利技术属性】
技术研发人员：谭宗喜，
申请(专利权)人：重庆紫光华山智安科技有限公司，
类型：发明
国别省市：