一种针对不稳定时序数据的异常时间戳调整方法及装置制造方法及图纸

技术编号:36927207 阅读:11 留言:0更新日期:2023-03-22 18:50
本申请公开了一种针对不稳定时序数据的异常时间戳调整方法及装置,本申请提供的方案基于Poll采集方式生成的数据时间戳和取整后的时间戳,利用这些时间戳进行延迟判断,若判定时间戳存在延迟则,对所述取整时间戳进行修正,得到稳定的时间戳序列,从而实现即使在网络不稳定的情况下,针对指标数据的时间戳取整逻辑,依然能够输出稳定的时间戳序列,从而使得后续的数据二次处理、误差更低,可靠性更高,解决了现有的基于Poll采集方式在线监控系统的时序数据用于二次处理时,容易产生误差的技术问题。术问题。术问题。

【技术实现步骤摘要】
一种针对不稳定时序数据的异常时间戳调整方法及装置


[0001]本申请涉及大数据
,尤其涉及一种针对不稳定时序数据的异常时间戳调整方法及装置。

技术介绍

[0002]随着云原生生态的逐步扩大,以Prometheus为代表的开源在线监控系统被应用到各个行业。这类在线监控系统既负责指标数据的采集,也负责指标数据的存储,并提供了查询与告警的相关组件模块。
[0003]Prometheus采用Poll的方式将指标从Exporter拉回来并打上当前时间戳,即使采集周期固定为n秒,由于网络本身具有的不稳定性,导致实际的时间戳会出现上下浮动m秒的情况,这种浮动的时间戳使得这类采用Poll方式的在线监控系统将采集到的时序数据用于一些需要取整后的二次处理时,会产生较大的误差。

技术实现思路

[0004]本申请提供了一种针对不稳定时序数据的异常时间戳调整方法及装置,用于解决现有的基于Poll采集方式在线监控系统的时序数据用于二次处理时,容易产生误差的技术问题。
[0005]为解决上述技术问题,本申请第一方面提供了一种针对不稳定时序数据的异常时间戳调整方法,包括:
[0006]当服务端接收到前端采集的指标数据时,根据所述指标数据的时间戳信息进行向下取整,得到取整时间戳;
[0007]计算所述取整时间戳与上一组取整时间戳的差值,将所述差值与预设的采集周期进行比较,若比较结果为不一致,则根据所述时间戳信息与上一组时间戳信息的差值,结合所述采集周期,计算时间偏移度;
[0008]根据所述时间偏移度,对所述指标数据进行时间戳延迟判定,若判定结果为延迟,则根据预设的修正逻辑,对所述取整时间戳进行修正,若判定结果为非延迟,则继续接收下一组指标数据。
[0009]优选地,所述时间偏移度的计算式为:
[0010]R=abs(delta

step)/step
[0011]式中,R为所述时间偏移度,delta为所述时间戳信息与上一组时间戳信息的差值,step为所述采集周期。
[0012]优选地,所述根据所述时间偏移度,对所述指标数据进行时间戳延迟判定具体包括:
[0013]根据所述时间偏移度,当所述时间偏移度小于预设的偏移度阈值时,则判定结果为延迟,否则,判定结果为非延迟。
[0014]优选地,所述时间戳信息包括:指标时间戳和/或到达时间戳,其中,所述指标时间
戳对应的是前端采集到所述指标数据的时间,所述到达时间戳对应的是所述服务端接收到所述指标数据的时间。
[0015]优选地,所述根据所述时间偏移度,对所述指标数据进行时间戳延迟判定具体包括:
[0016]根据计算得到的第一时间偏移度和第二时间偏移度,当任意一个时间偏移度小于预设的偏移度阈值时,则判定结果为延迟,否则,判定结果为非延迟,其中,所述第一时间偏移度为当指标时间戳作为所述时间戳信息时计算得到的时间偏移度,所述第一时间偏移度为当到达时间戳作为所述时间戳信息时计算得到的时间偏移度。
[0017]本申请第二方面提供了一种针对不稳定时序数据的异常时间戳调整装置,包括:
[0018]时间戳取整单元,用于当服务端接收到前端采集的指标数据时,根据所述指标数据的时间戳信息进行向下取整,得到取整时间戳;
[0019]时间偏移度计算单元,用于计算所述取整时间戳与上一组取整时间戳的差值,将所述差值与预设的采集周期进行比较,若比较结果为不一致,则根据所述时间戳信息与上一组时间戳信息的差值,结合所述采集周期,计算时间偏移度;
[0020]时间戳延迟判定单元,用于根据所述时间偏移度,对所述指标数据进行时间戳延迟判定,若判定结果为延迟,则根据预设的修正逻辑,对所述取整时间戳进行修正,若判定结果为非延迟,则继续接收下一组指标数据。
[0021]优选地,所述时间偏移度的计算式为:
[0022]R=abs(delta

step)/step
[0023]式中,R为所述时间偏移度,delta为所述时间戳信息与上一组时间戳信息的差值,step为所述采集周期。
[0024]优选地,所述时间戳延迟判定单元具体用于:
[0025]根据所述时间偏移度,当所述时间偏移度小于预设的偏移度阈值时,则判定结果为延迟,否则,判定结果为非延迟。
[0026]优选地,所述时间戳信息包括:指标时间戳和/或到达时间戳,其中,所述指标时间戳对应的是前端采集到所述指标数据的时间,所述到达时间戳对应的是所述服务端接收到所述指标数据的时间。
[0027]优选地,所述时间戳延迟判定单元具体用于:
[0028]根据计算得到的第一时间偏移度和第二时间偏移度,当任意一个时间偏移度小于预设的偏移度阈值时,则判定结果为延迟,否则,判定结果为非延迟,其中,所述第一时间偏移度为当指标时间戳作为所述时间戳信息时计算得到的时间偏移度,所述第一时间偏移度为当到达时间戳作为所述时间戳信息时计算得到的时间偏移度。
[0029]从以上技术方案可以看出,本申请具有以下优点:
[0030]本申请提供的方案基于Poll采集方式生成的数据时间戳和取整后的时间戳,利用这些时间戳进行延迟判断,若判定时间戳存在延迟则,对所述取整时间戳进行修正,得到稳定的时间戳序列,从而实现即使在网络不稳定的情况下,针对指标数据的时间戳取整逻辑,依然能够输出稳定的时间戳序列,从而使得后续的数据二次处理、误差更低,可靠性更高,解决了现有的基于Poll采集方式在线监控系统的时序数据用于二次处理时,容易产生误差的技术问题。
附图说明
[0031]为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
[0032]图1为本申请提供的一种针对不稳定时序数据的异常时间戳调整方法的一个实施例的流程示意图。
[0033]图2为本申请提供的一种针对不稳定时序数据的异常时间戳调整装置的一个实施例的结构示意图。
具体实施方式
[0034]本申请实施例提供了一种针对不稳定时序数据的异常时间戳调整方法及装置,用于解决现有的基于Poll采集方式在线监控系统的时序数据用于二次处理时,容易产生误差的技术问题。
[0035]为使得本申请的专利技术目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本申请一部分实施例,而非全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
[0036]请参阅图1,本申请第一个实施例提供了一种针对不稳定时序数据的异常时间戳调整方法,包括:
[0037本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种针对不稳定时序数据的异常时间戳调整方法,其特征在于,包括:当服务端接收到前端采集的指标数据时,根据所述指标数据的时间戳信息进行向下取整,得到取整时间戳;计算所述取整时间戳与上一组取整时间戳的差值,将所述差值与预设的采集周期进行比较,若比较结果为不一致,则根据所述时间戳信息与上一组时间戳信息的差值,结合所述采集周期,计算时间偏移度;根据所述时间偏移度,对所述指标数据进行时间戳延迟判定,若判定结果为延迟,则根据预设的修正逻辑,对所述取整时间戳进行修正,若判定结果为非延迟,则继续接收下一组指标数据。2.根据权利要求1所述的一种针对不稳定时序数据的异常时间戳调整方法,其特征在于,所述时间偏移度的计算式为:R=abs(delta

step)/step式中,R为所述时间偏移度,delta为所述时间戳信息与上一组时间戳信息的差值,step为所述采集周期。3.根据权利要求1所述的一种针对不稳定时序数据的异常时间戳调整方法,其特征在于,所述根据所述时间偏移度,对所述指标数据进行时间戳延迟判定具体包括:根据所述时间偏移度,当所述时间偏移度小于预设的偏移度阈值时,则判定结果为延迟,否则,判定结果为非延迟。4.根据权利要求1所述的一种针对不稳定时序数据的异常时间戳调整方法,其特征在于,所述时间戳信息包括:指标时间戳和/或到达时间戳,其中,所述指标时间戳对应的是前端采集到所述指标数据的时间,所述到达时间戳对应的是所述服务端接收到所述指标数据的时间。5.根据权利要求4所述的一种针对不稳定时序数据的异常时间戳调整方法,其特征在于,所述根据所述时间偏移度,对所述指标数据进行时间戳延迟判定具体包括:根据计算得到的第一时间偏移度和第二时间偏移度,当任意一个时间偏移度小于预设的偏移度阈值时,则判定结果为延迟,否则,判定结果为非延迟,其中,所述第一时间偏移度为当指标时间戳作为所述时间戳信息时计算得到的时间偏移度,所述第一时间偏移度为当到达时间戳作为所述时间戳信息时计算得到的时间偏移度。6.一种针对不...

【专利技术属性】
技术研发人员:庄嘉欣陈成禧钟煜熙
申请(专利权)人:广州趣研网络科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1