An embodiment of the invention provides an information processing method and a device. Among them, the embodiment of the invention, the production of information either partition; in response to the production information acquisition operation, obtain the corresponding consumer information; according to the production information and the consumer information, calculate the amount of consumption without the message of any partition; combined with the number of the plurality of non consumption any partition continuous calculation obtained, determine whether the alarm. The technical scheme provided by the embodiment of the invention improves the monitoring accuracy of the information consumption situation.
【技术实现步骤摘要】
信息处理方法及装置
本专利技术实施例涉及数据处理
,尤其涉及一种信息处理方法及装置。
技术介绍
kafka是一种高吞吐量的分布式发布订阅消息系统,由生产者发布消息至kafka系统,消费者即可以从kafka系统中读取消息。发布至kafka系统中消息都有一个类型,即Topic(主题),每一个Topic至少包括一个Partition(分区),生产者具体将消息发送至Partition中。为了监控每一个分区中消息消费情况,现有技术中,采用异步方式分别定时获取分区中消息的生产信息以及消费信息,并进行缓存,之后再从缓存中读取同一分区的生产信息以及消费信息,生产信息以及消费消息标记生产数量以及消费数量,从而即可以计算获得消息的未消费数量,如果连续计算获得的未消费数量越来越大,说明出现消费延迟,即可以进行报警。由于采用异步方式分别定时获取生产信息以及消费信息,有可能会存在获取时间差,导致计算获得的未消费消息不够准确,造成错误报警,影响监控准确度。
技术实现思路
本专利技术实施例提供一种信息处理方法及装置,用以解决现有技术中监控准确度低的技术问题。第一方面,本专利技术实施例中提供了 ...
【技术保护点】
一种信息处理方法,其特征在于,包括:获取任一分区的生产信息;响应于所述生产信息的获取操作,获取对应的消费信息;根据所述生产信息以及所述消费信息,计算获得所述任一分区中消息的未消费数量;结合针对所述任一分区连续计算获得的多个未消费数量,判断是否报警。
【技术特征摘要】
1.一种信息处理方法,其特征在于,包括:获取任一分区的生产信息;响应于所述生产信息的获取操作,获取对应的消费信息;根据所述生产信息以及所述消费信息,计算获得所述任一分区中消息的未消费数量;结合针对所述任一分区连续计算获得的多个未消费数量,判断是否报警。2.根据权利要求1所述的方法,其特征在于,所述获取任一分区的生产信息包括:第一进程获取任一分区的生产信息,并发送所述生产信息至第二进程;所述响应于所述生产信息的获取操作,获取对应的消费信息包括:所述第二进程接收到所述第一进程发送的所述生产信息时,获取所述任一分区的消费信息。3.根据权利要求1所述的方法,其特征在于,所述响应于所述生产信息的获取操作,获取所述任一分区的消费信息包括:响应于所述生产信息的获取操作,如果所述消费信息存储在zookeeper系统中,从所述zookeeper系统读取所述消费信息;如果所述消费信息存储在kafka系统中,获取由所述kafka系统对应的kafka客户端最新推送的所述消费信息。4.根据权利要求1~3任一项所述的方法,其特征在于,所述结合针对所述任一分区连续计算获得的多个未消费数量,判断是否报警包括:结合针对所述任一分区连续计算获得的多个未消费数量,判断所述多个未消费数量是否超过报警阈值以及所述多个未消费数量是否上涨;如果所述多个未消费数量超过所述报警阈值且上涨,输出第一类报警信息;如果所述多个未消费数量超过所述报警阈值且未上涨,输出第二类报警信息;如果所述多个未消费数量未超过所述报警阈值且上涨,输出第三类报警信息;如果所述多个未消费数量未超过所述报警阈值且未上涨,输出正常提示信息。5.根据权利要求4所述的方法,其特征在于,所述如果所述多个未消费数量超过所述报警阈值且上涨,输出第一类报警信息包括:如果所述多个未消费数量超过所述报警阈值且逐渐递增,输出第一报警信息;如果所述多个未消费数量超过所述报警阈值且增长趋势斜率大于第一斜率阈值,输出第二报...
【专利技术属性】
技术研发人员:谭瑞星,
申请(专利权)人:北京小度信息科技有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。