数据监控方法、装置、电子设备及计算机可读取存储介质制造方法及图纸

技术编号:40181245 阅读:18 留言:0更新日期:2024-01-26 23:47
本申请提供一种数据监控方法、装置、电子设备及计算机可读取存储介质,涉及数据安全技术领域。该方法包括:对消息生产端发送的生产消息进行记录,得到记录数据;其中,生产消息包括:初始消息、产生初始消息的消息生产端的身份标识、产生初始消息的时间信息以及队列主题信息;根据记录数据和消息消费端的消费消息进行对比,得到消息分析结果;基于消息分析结果,进行数据操作;其中,数据操作包括数据清理和告警处理中的至少一者。本申请能够对生产消息进行记录,从而根据记录数据与消息消费端消费的消息进行对比,以分析消息在传输过程中实际的处理情况,能够根据传输和消费的实际情况对数据进行相应地管理,有效地缓解了数据的积压情况。

【技术实现步骤摘要】

本申请涉及数据安全,具体而言,涉及一种数据监控方法、装置、电子设备及计算机可读取存储介质


技术介绍

1、在流式计算程序中,数据消息消费端中存储的数据过多,会导致消费数据的积压情况,影响kafka集群的吞吐量,对数据的生产和消费平衡造成不利影响,导致数据的处理效率较低,稳定性较差,需要对积压的数据进行分析处理,以及时给出解决和应对措施。

2、目前的分析处理方式,通常是对消息消费端中的数据情况进行积压判断和处理,或是从队列主题中对数据进行监控等,但是,这些处理方式无法保证消息传输的成功率和准确率,对数据的处理效果较差,无法有效地解决数据的积压情况。


技术实现思路

1、有鉴于此,本申请实施例的目的在于提供一种数据监控方法、装置、电子设备及计算机可读取存储介质,以改善现有技术中存在的数据积压情况处理效果较差的问题。

2、为了解决上述问题,第一方面,本申请实施例提供了一种数据监控方法,所述方法包括:

3、对消息生产端发送的生产消息进行记录,得到记录数据;其中,所述生产消息包括:初始本文档来自技高网...

【技术保护点】

1.一种数据监控方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,其中,所述生产消息通过以下方式生成:

3.根据权利要求1或2所述的方法,其特征在于,其中,所述记录数据包括失败数据和成功数据;所述对消息生产端发送的生产消息进行记录,得到记录数据,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求3所述的方法,其特征在于,所述根据所述记录数据和消息消费端的消费消息进行对比,得到消息分析结果,包括:

6.根据权利要求5所述的方法,其特征在于,所述基于所述消息分析结果进行数据...

【技术特征摘要】

1.一种数据监控方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,其中,所述生产消息通过以下方式生成:

3.根据权利要求1或2所述的方法,其特征在于,其中,所述记录数据包括失败数据和成功数据;所述对消息生产端发送的生产消息进行记录,得到记录数据,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求3所述的方法,其特征在于,所述根据所述记录数据和消息消费端的消费消息进行对比,得到消息分析结果,包括:

6.根据权利要求5所述的方法,其特征在于,所...

【专利技术属性】
技术研发人员:艾海怡黄兵华
申请(专利权)人:湖北天融信网络安全技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1