【技术实现步骤摘要】
一种队列消息记录方法、系统、电子设备及存储介质
本专利技术涉及数据处理
,尤其涉及一种队列消息记录方法、系统、电子设备及存储介质。
技术介绍
数据包括结构化、半结构化和非结构化数据,非结构化数据越来越成为数据的主要部分。据IDC的调查报告显示:企业中80%的数据都是非结构化数据,这些数据每年都按指数增长60%。大数据就是互联网发展到现今阶段的一种表象或特征而已,没有必要神话它或对它保持敬畏之心,在以云计算为代表的技术创新大幕的衬托下,这些原本看起来很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。现在常用的监控系统基本都是对数据接口的监控,对于队列的监控也是集中在队列的运维上,只能依靠运维积压或是消费速度慢等报警监控队列的生产消费状况,再通过日志排查,但一个队列可能有几个生产端,几个消费端同时生产消费,排查时比较难看出消息的来源及走向,甚至写入存储时也不知道是哪个来源的数据,给排查带来不便。
技术实现思路
为了解决现有技术存在的问题,本专利技 ...
【技术保护点】
1.一种队列消息记录方法,其特征在于,所述记录方法包括:/n在消息进入队列前,生产者获取所述消息的来源信息和待缓存所述消息的所述队列的队列信息,将所述来源信息和所述队列信息添加到所述消息中,并对所述消息添加标记;/n所述生产者将所述来源信息、队列信息和标记进行存储;/n在消息从队列发送到消费者时,消费者获取所述消费者对应的消费者信息,并解析得到消息中的所述来源信息、队列信息和标记;/n所述消费者将所述消费者信息、来源信息、队列信息和标记进行存储。/n
【技术特征摘要】
1.一种队列消息记录方法,其特征在于,所述记录方法包括:
在消息进入队列前,生产者获取所述消息的来源信息和待缓存所述消息的所述队列的队列信息,将所述来源信息和所述队列信息添加到所述消息中,并对所述消息添加标记;
所述生产者将所述来源信息、队列信息和标记进行存储;
在消息从队列发送到消费者时,消费者获取所述消费者对应的消费者信息,并解析得到消息中的所述来源信息、队列信息和标记;
所述消费者将所述消费者信息、来源信息、队列信息和标记进行存储。
2.一种队列消息记录方法,应用于生产者,其特征在于,所述记录方法包括:
获取待发送到队列中的消息;
获取所述消息的生产者信息和待缓存所述消息的所述队列的队列信息;
将所述生产者信息和所述队列信息添加到所述消息中,并对所述消息添加标记。
3.根据权利要求2所述的记录方法,其特征在于,所述对所述消息添加标记,包括:
检查所述消息中是否存在标记;
若所述消息中不存在标记,则生成唯一的标记,对所述消息添加所述标记;
或者,若所述消息中存在标记,则不做处理。
4.根据权利要求2所述的记录方法,其特征在于,所述记录方法还包括:
将所述生产者信息、队列信息和所述标记进行持久化存储。
5.一种队列消息记录方法,应用于消费者,其特征在于,所述记录方法包括:
获取从队列发送到所述消费者的消息;
获取所述消费者对应的消费者信息;
解析所述消息得到来源信息、队列信息和标记;
将所述消费者信息、来源信息、队列信息和标记进行存储。
6.根据权利要求5所述的记录方法,其特征在于,所述将所述消费者信息、来源信息、队列信息和标记进行存储包括:
将所述消费者信...
【专利技术属性】
技术研发人员:徐婷,周正,王平,段光磊,王杨,张大虎,柯登科,
申请(专利权)人:北京奇艺世纪科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。