一种核对差异数据的检测方法、装置及系统制造方法及图纸

技术编号:20819630 阅读:46 留言:0更新日期:2019-04-10 05:51
本说明书提供一种核对差异数据的检测方法、装置及系统,在数据核对出现核对差异数据时,对核对差异数据进行噪音检测,即通过获取不同应用系统对应的事务日志数据,判断不同系统的事务日志数据是否匹配,确定当前的核对差异数据是否是真实的差异数据,还是核对噪音。若确定核对差异数据是误报即核对噪音,则可以不进行异常排查,实现了核对噪音的识别和检测,降低了数据核对时异常数据的排查的时间和精力。

【技术实现步骤摘要】
一种核对差异数据的检测方法、装置及系统
本说明书属于计算机领域,尤其涉及一种核对差异数据的检测方法、装置及系统。
技术介绍
随着计算机技术的发展,计算机系统运行过程中会产生大量的数据,有些业务需要对不同的系统产生的数据进行核对,确认业务数据是否准确。核对的数据量级每天上亿笔,由于基于大数据任务存在的数据分区偏移、安全拦截、CTU(collectTransferunit,采集传输单元)等原因,导致核对噪音的情况出现。核对噪音可以表示由于核对手段等原因的限制导致核对结果为存在差异数据,但数据本身并没有差异的情况即误报。核对噪音的出现,给线上问题的排查与定位带来了疲劳感,也带来了不必要的日常开发人员的噪音差异排查、处置人力消耗,同时也会给线上正常的差异处置带来重大干扰。
技术实现思路
本说明书目的在于提供一种核对差异数据的检测方法、装置及系统,实现了核对噪音的识别和检测,降低了数据核对时异常数据的排查的时间和精力。第一方面本说明书实施例提供了一种核对差异数据的检测方法,包括:接收核对差异数据;根据所述核对差异数据的核对时间,获取指定时间范围内所述核对差异数据对应的应用系统的事务日志数据;判断所本文档来自技高网...

【技术保护点】
1.一种核对差异数据的检测方法,包括:接收核对差异数据;根据所述核对差异数据的核对时间,获取指定时间范围内所述核对差异数据对应的应用系统的事务日志数据;判断所述事务日志数据中信息内容的逻辑关系是否匹配,若是,则确定所述核对差异数据为核对噪音数据。

【技术特征摘要】
1.一种核对差异数据的检测方法,包括:接收核对差异数据;根据所述核对差异数据的核对时间,获取指定时间范围内所述核对差异数据对应的应用系统的事务日志数据;判断所述事务日志数据中信息内容的逻辑关系是否匹配,若是,则确定所述核对差异数据为核对噪音数据。2.如权利要求1所述的方法,所述确定所述核对差异数据为核对噪音数据,包括:判断所述应用系统的事务日志数据中的日志内容、日志状态码、日志关联单号对应的业务日志中的至少一项是否匹配,若至少一项匹配,则确定所述核对差异数据为核对噪音数据。3.如权利要求1所述的方法,所述方法还包括:若判断所述应用系统的事务日志数据不匹配,则确定所述核对差异数据为异常数据,对所述核对异常数据进行异常排查。4.如权利要求1所述的方法,所述方法还包括:若判断所述应用系统的事务日志数据不匹配,则从数据库中获取不匹配的事务日志数据对应的业务数据,进行数据差异检测。5.如权利要求1所述的方法,所述应用系统的事务日志数据采用下述方式获得:根据所述应用系统的执行参数和结果,将所述应用系统的日志输出到预设的缓存区域;监测所述应用系统对应的事务是否提交;若所述应用系统对应的事务提交,则将所述预设的缓存区域中所述应用系统的日志输出到磁盘,获得所述应用系统的事务日志数据;若所述应用系统对应的事务回滚,则删除所述预设的缓存区域中所述应用系统的日志。6.一种数据核对方法,包括:获取业务数据,对所述业务数据进行数据核对;若数据核对确定存在核对差异数据,则根据所述核对差异数据的核对时间,获取指定时间范围内所述核对差异数据对应的应用系统的事务日志数据;判断所述事务日志数据中信息内容的逻辑关系是否匹配,若是,则确定所述核对差异数据为核对噪音数据。7.一种核对差异数据的检测装置,包括:数据接收模块,用于接收核对差异数据;事务日志获取模块,用于根据所述核对差异数据的核对时间,获取指定时间范围内所述核对差异数据对应的应用系统的事务日志数据;数据匹配模块,用于判断所述事务日志数据中信息内容的逻辑关系是否匹配,若是,则确定所述核对差异数据为核对噪音...

【专利技术属性】
技术研发人员:湛滨瑜
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:开曼群岛,KY

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1