【技术实现步骤摘要】
Kafka生产和消费进度监控方法及装置
本专利技术涉及通信
，尤其是涉及一种Kafka生产和消费进度监控方法及装置。
技术介绍
大数据平台架构中，Kafka是非常重要的消息中转组件。在一些场景下，如实时处理的进程异常，消费速度跟不上，Kafka中数据大量积压，或者消费者使用最多一次语义，出现部分数据遗漏，未成功消费。这些场景都可能导致数据处理流程异常，但目前缺乏可以及时监控的方案，往往只能在异常发生一段时间之后，才能从后续的数据处理步骤中查觉出来，并花费额外精力进行排查。
技术实现思路
本专利技术提供了一种Kafka生产和消费进度监控方法及装置，可以实时对Kafka的生产进度和消费进度进行监控。第一方面，本专利技术实施例提供了一种Kafka生产和消费进度监控方法，该方法包括：按照第一预设时长获取Kafka的生产量数据，并记录生产量数据的第一标识；所述第一标识至少包括生产量数据的消费主题信息、消费分区信息和所述第一预设时长的起止时刻信息；获取第二预设时长内Kafka的消费量数据，并记录...
【技术保护点】
1.一种Kafka生产和消费进度监控方法，其特征在于，包括：/n按照第一预设时长获取Kafka的生产量数据，并记录生产量数据的第一标识；所述第一标识至少包括生产量数据的消费主题信息、消费分区信息和所述第一预设时长的起止时刻信息；/n获取第二预设时长内Kafka的消费量数据，并记录消费量数据的第二标识；所述第二标识至少包括消费量数据的消费组信息、消费主题信息、消费分区信息和所述第二预设时长的起止时刻信息；所述第一预设时长是所述第二预设时长的整数倍；/n根据所述第一标识和所述第二标识将所述生产量数据和所述消费量数据进行关联，并根据关联结果生成生产和消费进度的监控信息。/n
【技术特征摘要】
1.一种Kafka生产和消费进度监控方法，其特征在于，包括：
按照第一预设时长获取Kafka的生产量数据，并记录生产量数据的第一标识；所述第一标识至少包括生产量数据的消费主题信息、消费分区信息和所述第一预设时长的起止时刻信息；
获取第二预设时长内Kafka的消费量数据，并记录消费量数据的第二标识；所述第二标识至少包括消费量数据的消费组信息、消费主题信息、消费分区信息和所述第二预设时长的起止时刻信息；所述第一预设时长是所述第二预设时长的整数倍；
根据所述第一标识和所述第二标识将所述生产量数据和所述消费量数据进行关联，并根据关联结果生成生产和消费进度的监控信息。
2.根据权利要求1所述的Kafka生产和消费进度监控方法，其特征在于，按照第一预设时长获取Kafka的生产量数据，包括：
按照第一预设时长获取Kafka中的每个消费分区的偏移量数据；
根据所述第一预设时长起始时刻的偏移量数据和所述第一预设时长终止时刻的偏移量数据计算每个消费分区的生产量数据；
将各消费主题中每个消费分区在不同时段的生产量数据作为Kafka的生产量数据。
3.根据权利要求1所述的Kafka生产和消费进度监控方法，其特征在于，获取第二预设时长内Kafka的消费量数据，包括：
获取第二预设时长内Kafka的每个消费组的偏移量数据；
根据所述第二预设时长起始时刻的偏移量数据和所述第二预设时长终止时刻的偏移量数据计算每个消费组的消费量数据；
将各消费组对各消费主题中每个消费分区在不同时段的消费量数据作为Kafka的消费量数据。
4.根据权利要求1所述的Kafka生产和消费进度监控方法，其特征在于，根据关联结果生成生产和消费进度的监控信息，包括：
将同一时段内同一消费主题的同一消费分区的生产量数据和消费量数据作为一组显示数据；
根据多组所述显示数据生成监控信息；所述监控信息包括图、表和文字其中之一或任意组合。
5.根据权...
【专利技术属性】
技术研发人员：毛恒，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。