数据来源状态判断方法、装置、介质及设备制造方法及图纸

技术编号:42428136 阅读:29 留言:0更新日期:2024-08-16 16:41
本申请实施例提供一种数据来源状态判断方法、装置、介质及设备,该方法包括:响应于获取目标流数据的第一触发事件,确定目标流数据的数据获取路径;根据数据获取路径定位至消息队列中的目标数据分区,并对目标数据分区进行数据读取操作,得到读取结果;根据读取结果确定目标数据分区当前对应的流数据来源的状态信息。利用本申请实施例提供的数据来源状态判断方法,通过对目标数据分区执行数据读取操作,根据数据读取操作的读取结果确定目标数据分区当前对应的流数据来源的状态信息,从而能够让消费者在不同场景下区分无法获取目标流数据的原因。

【技术实现步骤摘要】

本申请涉及电子通信,尤其涉及一种数据来源状态判断,特别涉及一种数据来源状态判断方法、装置、介质及设备


技术介绍

1、消息队列广泛应用在消息通讯、异步处理、应用解耦、流量削峰等场景中,参与消息数据传递的双方称为生产者和消费者,生产者负责发送消息数据,消费者负责处理消息数据。消息数据在被消费者获取之前会先由生产者放入消息队列中。以binlog(二进制日志文件)订阅场景为例,生产者是dts(data transmission service),即数据传输服务,用来解析原始binlog文件,生成特定格式的消息体,然后发送到消息队列中,最后由消费者获取。但是消息数据在实际传输过程中可能会出现生产者异常或无新的消息数据产出而使消费者无法从消息队列中获取消息数据的情况,由于在现有技术中消费者无法判断获取不到消息数据的原因是属于哪种情况,无法正确识别生产者状态;另外在流数据转批数据处理的应用场景中,没有新的数据驱动,可能造成长时间等待,无法及时处理批数据的下一步操作。


技术实现思路

1、本申请实施例提供一种数据来源状态判断本文档来自技高网...

【技术保护点】

1.一种数据来源状态判断方法,其特征在于,包括:

2.如权利要求1所述的数据来源状态判断方法,其特征在于,在所述根据所述读取结果确定所述目标数据分区当前对应的流数据来源的状态信息之前,所述方法还包括:

3.如权利要求1所述的数据来源状态判断方法,其特征在于,所述根据所述读取结果确定所述目标数据分区当前对应的流数据来源的状态信息,包括:

4.如权利要求1所述的数据来源状态判断方法,其特征在于,在所述根据所述读取结果确定所述目标数据分区当前对应的流数据来源的状态信息之后,所述方法还包括:

5.如权利要求1所述的数据来源状态判断方法,其特征在于,...

【技术特征摘要】

1.一种数据来源状态判断方法,其特征在于,包括:

2.如权利要求1所述的数据来源状态判断方法,其特征在于,在所述根据所述读取结果确定所述目标数据分区当前对应的流数据来源的状态信息之前,所述方法还包括:

3.如权利要求1所述的数据来源状态判断方法,其特征在于,所述根据所述读取结果确定所述目标数据分区当前对应的流数据来源的状态信息,包括:

4.如权利要求1所述的数据来源状态判断方法,其特征在于,在所述根据所述读取结果确定所述目标数据分区当前对应的流数据来源的状态信息之后,所述方法还包括:

5.如权利要求1所述的数据来源状态判断方法,其特征在于,在所述根据所述读取结果确定所述目标数据分区当前对应的流数据来源的状态信息之后,所述方法还包括:

6.如权利要求5所述的数据来源状态判断方法,其特征在于,在所述根据所述读取结果确定所述目标数据分区当前对应的流数据来源的状态信息之后,所述方法...

【专利技术属性】
技术研发人员:郑云龙
申请(专利权)人:行吟信息科技上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1