【技术实现步骤摘要】
一种基于7
×
24小时的实时数据校准方法及系统
[0001]本专利技术涉及银行金融行业大数据以及计算机
,尤其涉及一种基于7
×
24小时的实时数据校准方法及系统。
技术介绍
[0002]目前,银行掌握的实时统计数据是在T
‑
1日的数据基础上合并计算T日实时新增数据。业务方面,为了统计银行实时的存贷款余额,以核心业务系统T
‑
1日总账余额作为基准,实时合并计算T日新增存贷款业务流水数据;技术方面,通过流数据和批数据两套技术平台实现,流数据技术栈是基于实时数据库采集工具、消息队列以及Flink实现,批数据技术栈是基于大数据平台以及调度工具实现。但是,现有的业务和技术模式存在以下问题:(1)无法提供7
×
24小时服务,0:00
‑
0:40的批量运行时间无法对外提供实时统计数据,原因是0:00点自然日切换会导致T日变化,原T
‑
1总账余额变为T
‑
2总账余额,无法作为新的T日基准,需要 ...
【技术保护点】
【技术特征摘要】
1.一种基于7
×
24小时的实时数据校准方法,在实时数据校准系统内实现,所述实时数据校准系统包括大数据平台,其特征在于,实时数据校准方法包括:S1,基于核心业务系统T
‑
1日总账批量确定所述实时数据校准的时间段,所述时间段的起点为每天0:00,所述时间段的结束时间为核心业务系统T
‑
1日总账批量结束时间;S2,基于所述时间段确定日终批量空隙,所述日终批量空隙为时间段的间隔;S3,在所述大数据平台上部署7
×
24小时校准程序以及实时预警平台,并且在所述日终批量空隙内进行所述数据校准的两次基准更新获得两个基准值,所述两个基准值分别是所述时间段的起点的“T
‑
1日流数据余额”和所述时间段的结束时间的“T
‑
1日总账余额”;S4,异步比对两个基准值,计算出两个基准值的差值,并根据所述差值由所述大数据平台进行进一步的处理获得实时数据校准结果。2.根据权利要求1所述的一种基于7
×
24小时的实时数据校准方法,其特征在于,所述S3包括:S31,所述7
×
24小时校准程序的运行时间根据所述实时数据校准的时间段确定;所述实时预警平台为大数据平台独立的预警模块,通过接收HTTPS协议的JSON报文接口展示预警信息并发送短信,所述实时预警平台的前端设置页面,支持差错处理以回传大数据平台指令重跑调度任务;S32,0:00自然日切换后,启动所述7
×
24小时校准程序,取“T
‑
1日流数据余额”作为新的T日基准,并实时合并计算T日新增存贷款业务流水数据;S33,校准程序实时监控核心业务系统T
‑
1日总账批量完成状态,0:40获得“T
‑
1日总账余额”,替换为新的T日基准后,实时合并计算T日新增存贷款业务流水数据。3.根据权利要求2所述的一种基于7
×
24小时的实时数据校准方法,其特征在于,所述S32包括:S321,校准程序0:00准时启动,大数据平台回流实时计算“T
‑
1日流数据余额”,插入“实时校准表”,作为第一次基准值;S322,实时计算平台从所述“实时校准表”中获取交易时间最大的一笔“预计时点余额”作为新的T日基准,合并T日新增存贷款业务流数据,将结果展示在数据应用平台。4.根据权利要求2所述的一种基于7
×
24小时的实时数据校准方法,其特征在于,所述S33包括:S331,基于所述大数据平台的调度监控机制,通过大数据平台的调度系统配置循环执行的数据库扫描脚本,所述数据库扫描脚本每隔30s查询一次核心系统的日终翻牌表,等待所述日终翻牌表生成一条新的数据,所述新的数据包括字段,分别为数据日期和状态,当所述数据日期为T日且所述状态为已完成,即可认为核心系统完成日终批量;S332,当核心系统完成日终批量后,基于所述大数据平台的数据集成机制抽取数据,将“T
‑
1日总账余额”插入所述“实时校准表”,作为第二次基准值;S333,实时计算平台从所述“实时校准表”获取交易时间最大的一笔“预计时点余额”作为新的T日基准,合并T日新增存贷款业务流数据,将最终结果在报表平台的“大额变动表”进行展示。5.根据权利要求4所述的一种基于7
×
24小时的实时数据校准方法,其特征在于,所述S4所述异步比对两个基准值由7
×
24小时校准程序执...
【专利技术属性】
技术研发人员:陈帆,陈景荣,何良玉,林锋,罗烨敏,曾乔乔,詹军,张嘉辉,
申请(专利权)人:梅州客商银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。