【技术实现步骤摘要】
超时数据的检测方法、装置、服务器和计算机存储介质
本专利技术涉及数据处理
,特别涉及一种超时数据的检测方法、装置、服务器和计算机存储介质。
技术介绍
大数据平台是目前银行常用的一种数据处理系统,大数据平台可以通过网络和银行的多个业务系统连接,每个业务系统均可以作为数据生产者,将运行时产生的数据文件发送至大数据平台,由大数据平台对数据文件进行分析和处理,得到相应的处理结果。为了保障处理结果的时效性,大数据平台一般需要按一定的超时阈值对收到的数据文件进行检测,若收到的数据文件的传输时长(指代从数据文件产生的时刻到收到数据文件的时刻这段时长)大于超时阈值,则将其确定为超时数据文件并删除该数据文件。目前,超时阈值一般是由相关人员人为指定,超时阈值并不能和业务数据的实际传输情况相匹配,检测结果的准确度较低,容易出现超时阈值过小,以至于保留的可处理的数据文件过少的,或者超时阈值过大,以至于处理结果时效性较差等问题。
技术实现思路
基于上述现有技术的缺点,本申请提供一种超时数据的检测方法、装置、服 ...
【技术保护点】
1.一种超时数据的检测方法,其特征在于,包括:/n获取当前时刻之前的连续N个检测周期内目标业务系统发送的每一个数据文件的传输时长;其中,所述N个检测周期中最晚的检测周期的结束时刻为所述当前时刻;所述N为预设的正整数;/n针对所述N个检测周期中的每一个检测周期,计算所述检测周期内的所有传输时长的平均值,得到所述检测周期对应的检测周期均值;/n根据每一个所述检测周期的检测周期均值和对应的加权系数,计算得到所述N个检测周期对应的考核周期均值;其中,所述检测周期对应的加权系数与所述检测周期的结束时刻距离所述当前时刻的时长负相关;/n根据所述考核周期均值和所述N个检测周期中最晚的检测 ...
【技术特征摘要】
1.一种超时数据的检测方法,其特征在于,包括:
获取当前时刻之前的连续N个检测周期内目标业务系统发送的每一个数据文件的传输时长;其中,所述N个检测周期中最晚的检测周期的结束时刻为所述当前时刻;所述N为预设的正整数;
针对所述N个检测周期中的每一个检测周期,计算所述检测周期内的所有传输时长的平均值,得到所述检测周期对应的检测周期均值;
根据每一个所述检测周期的检测周期均值和对应的加权系数,计算得到所述N个检测周期对应的考核周期均值;其中,所述检测周期对应的加权系数与所述检测周期的结束时刻距离所述当前时刻的时长负相关;
根据所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值确定所述目标业务系统对应的超时阈值;其中,所述超时阈值作为检测所述目标业务系统发送的数据文件是否超时的依据。
2.根据权利要求1所述的检测方法,其特征在于,所述针对所述N个检测周期中的每一个检测周期,计算所述检测周期内的所有传输时长的平均值,得到所述检测周期对应的检测周期均值之前,还包括:
针对所述N个检测周期中的每一个检测周期,在所述检测周期内的所有传输时长中检测出每一个异常传输时长;
所述针对所述N个检测周期中的每一个检测周期,计算所述检测周期内的所有传输时长的平均值,得到所述检测周期对应的检测周期均值,包括:
针对所述N个检测周期中的每一个检测周期,计算所述检测周期内除检测得到的异常传输时长以外的所有传输时长的平均值,得到所述检测周期对应的检测周期均值。
3.根据权利要求1所述的检测方法,其特征在于,所述根据所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值确定所述目标业务系统对应的超时阈值,包括:
若预设的参考超时阈值位于所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值所确定区间内,根据预设的权重计算所述考核周期均值、所述N个检测周期中最晚的检测周期的检测周期均值和所述参考超时阈值的加权平均值,得到所述目标业务系统对应的超时阈值。
4.根据权利要求1所述的检测方法,其特征在于,所述根据所述考核周期均值和所述N个检测周期中最晚的检测周期的检测周期均值确定所述目标业务系统对应的超时阈值之后,还包括:
针对所述目标业务系统发送的每一个数据文件,计算接收所述数据文件的时间和所述目标业务系统产生所述数据文件的时间的差值,得到所述数据文件的传输时长;
若所述数据文件的传输时长大于所述目标业务系统对应的超时阈值,确定所述数据文件为超时数据文件。
5.一种超时数据的检测装置,其特征在于,包括:
获取单元,用于获取当前时刻之前的连续N个检测周期内目标业务系统发送的每一个数据文件的传...
【专利技术属性】
技术研发人员:徐龙,刘念,耿鹏,徐加江,王灿,
申请(专利权)人:中国农业银行股份有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。