数据存储架构的设计方法、消息传输方法及装置制造方法及图纸

本发明专利技术实施例涉及一种数据存储架构的设计方法、消息传输方法及装置，方法包括：将全量消息队列划分为多个队列组；当确定多个队列组中存在发生消息积压的第一队列组时，从除第一队列组以外的其他队列组中选择至少一个消息队列移入第一队列组；在进行消息传输时，根据待传输的目标消息的消息优先级等级从多个队列组中确定一个目标队列组；将目标消息发送至目标队列组中的消息队列，以由消费者从目标消息队列组中的消息队列中获取目标消息。由此，可以实现RocketMQ消息中间件支持消息优先级，并实现将具有不同优先级等级的消息进行隔离，以及在某一队列组发生消息积压时，提高消费者对该队列组中消息的消费速度。对该队列组中消息的消费速度。对该队列组中消息的消费速度。

【技术实现步骤摘要】
数据存储架构的设计方法、消息传输方法及装置


[0001]本专利技术实施例涉及数据处理领域，尤其涉及一种数据存储架构的设计方法、消息传输方法及装置。

技术介绍

[0002]RocketMQ是一款分布式、队列模型的消息中间件，由于其具有低延迟、高性能、高可靠性、万亿级容量、灵活的可扩展性等特点，被广泛应用于各种业务项目中。
[0003]在一些业务场景中，往往需要对消息设置消息优先级，以使得重要的消息能够被优先处理。然而，RocketMQ并不支持消息优先级，其在进行消息传输时，并不根据消息优先级的不同而对消息做区分处理，这就导致当消息量激增而导致RocketMQ中消息积压时，无法实现优先对重要的消息进行处理。

技术实现思路

[0004]鉴于此，为解决上述RocketMQ中不支持消息优先级的技术问题，本专利技术实施例提供一种数据存储架构的设计方法、消息传输方法及装置。
[0005]第一方面，本专利技术实施例提供一种数据存储架构的设计方法，包括：
[0006]将全量消息队列划分为多个队列组，每一所述队列组用于存储预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储架构的设计方法，其特征在于，包括：将全量消息队列划分为多个队列组，每一所述队列组用于存储预设优先级等级的消息；当确定多个所述队列组中存在发生消息积压的第一队列组时，从除所述第一队列组以外的其他队列组中选择至少一个消息队列移入所述第一队列组。2.根据权利要求1所述的方法，其特征在于，在所述从除所述第一队列组以外的其他队列组中选择至少一个消息队列移入所述第一队列组之后，所述方法还包括：当确定所述第一队列组当前未发生消息积压时，将移入的所述消息队列移回其原属的所述队列组中。3.根据权利要求1所述的方法，其特征在于，每个所述消息队列配置有消息存储量阈值；所述确定多个所述队列组中存在发生消息积压的第一队列组，包括：针对每一所述队列组，确定所述队列组中各消息队列中的消息数目；若所述队列组中存在任意消息数目超过对应的所述消息存储量阈值的消息队列，则将所述队列组确定为发生消息积压的第一队列组。4.根据权利要求1所述的方法，其特征在于，所述从除所述第一队列组以外的其他队列组中选择至少一个消息队列移入所述第一队列组，包括：从除所述第一队列组以外的其他队列组中确定至少一个第二队列组，所述第二队列组对应的预设优先级等级低于所述第一队列组；从至少一个所述第二队列组中选择至少一个消息队列移入所述第一队列组。5.根据权利要求4所述的方法，其特征在于，所述从至少一个所述第二队列组中选择至少一个消息队列移入所述第一队列组，包括：从至少一个所述第二队列组中选择至少一个第一消息队列，所述第一消息队列中的消息数目低于至少一个所述第二队列组中，除所述第一消息队列以外的任一消息队列；将至少一个所述第一消息队列移入所述第一队列组。6.根据权利要求1～4任一所述的方法，其特征在于，在所述第一队列组的数目为N，且N为大于1的自然数的情况下，所述从除所述第一队列组以外的其他队列组中选择至少一个消息队列移入所述第一队列组，包括：依据对应的优先级等级从高到低的顺序，对N个所述第一队列组进行排序；从排序结果中排在首位的第一队列组开始，依次执行从除所述第一队列组以外的其他队列组中选择至少一个消息队列移入所述第一队列组的步骤。7.根据权利要求1所述的方法，其特征在于，所述将全量消息队列划分为多个队列组，包括：将各所述消息队列的队列号与所述预设优先级等级的数目进行取余运算；将运算结果相同的消息队列归入同一队列组，运算结果不同的消息队列归入不同队列组，其中，根据各所述队列组对应的所述运算结果确定所述队列组对应的所述预设优先级等级。8.一种消息传输方法，其特征在于，包括：将全量消息队列划分为多个...

【专利技术属性】
技术研发人员：曾旭，樊哲，樊京鑫，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：