一种优先消息队列实现方法、装置及计算机可读存储介质制造方法及图纸

技术编号:40194493 阅读:28 留言:0更新日期:2024-01-26 23:57
本申请提供了一种优先消息队列实现方法、装置、系统及计算机可读存储介质,该方法包括:将Kafka消息主题下的分区划分成多个小组,其中,每个小组对应于一个优先级,每个小组中分配的分区数目与优先级成正比;根据每个小组的优先级分配处理资源。利用上述方法,能够以简单方案实现优先处理方案。

【技术实现步骤摘要】

本申请属于数据领域,具体涉及一种优先消息队列实现方法、装置及计算机可读存储介质


技术介绍

1、本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、近年来,随着信息技术的快速发展,全球数据呈现爆发式增长、海量集聚的特点。在大数据场景下,由于数据量巨大,直接传输和处理数据往往会导致系统性能问题。通过引入消息队列(message queue,mq)进行异步通信,可以有效实现应用解耦、消息异步、流量削峰,进而提高系统的可靠性、可扩展性和吞吐量,使得大数据应用更加高效和灵活。因此,在当今的大数据应用中,消息队列中间件已成为必不可少的基础设施之一。由apache基金会开源的分布式流处理平台apache kafka已成为当下最受欢迎的消息队列之一,因其高吞吐、低延迟、可靠性强等特点,目前已广泛应用于互联网、金融、物联网等领域。

3、在实际应用中,经常会遇到需要针对不同等级的用户以不同的响应速率处理他们的请求。比如,优先响应vip用户的请求,而逐步处理普通用户的请求。从系统建模的角本文档来自技高网...

【技术保护点】

1.一种优先消息队列实现方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,将Kafka消息主题下的分区划分成多个小组,包括:

3.根据权利要求1所述的方法,其特征在于,将Kafka消息主题下的分区划分成多个小组,还包括:

4.根据权利要求1所述的方法,其特征在于,利用以下公式按照线性比例向各个小组分配对应的分区数目:

5.根据权利要求1所述的方法,其特征在于,将Kafka消息主题下的分区划分成多个小组,还包括:

6.根据权利要求1所述的方法,其特征在于,利用以下公式按照指数比例向各个小组分配对应的分区数目:...

【技术特征摘要】

1.一种优先消息队列实现方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,将kafka消息主题下的分区划分成多个小组,包括:

3.根据权利要求1所述的方法,其特征在于,将kafka消息主题下的分区划分成多个小组,还包括:

4.根据权利要求1所述的方法,其特征在于,利用以下公式按照线性比例向各个小组分配对应的分区数目:

5.根据权利要求1所述的方法,其特征在于,将kafka消息主题下的分区划分成多个小组,还包括:

6.根据权利要求1所述的方法,其特征在于,利用以下公式按照指数比例向各个小组分配对应的分区数目:

7.根据权利要求1所述的方法,其特征在于,还包括:...

【专利技术属性】
技术研发人员:刘砺志佟志臣蒋海俭闵青
申请(专利权)人:中国银联股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1