【技术实现步骤摘要】
一种数据处理方法、装置及电子设备
[0001]本申请涉及大数据
、
数据挖掘与分析和数据预处理相结合的
,特别是涉及一种数据处理方法
、
装置及电子设备
。
技术介绍
[0002]离线数据仓库技术
(Extract
‑
Transform
‑
Load
,
ETL)
可以用来描述数据从源端经过对数据的抽取
(Extract)、
转换
(Transform)、
加载
(Load)
到目的端的过程,其目的是将企业中的分散
、
零乱
、
标准不统一的大批量数据整合到一起,为企业的决策提供分析依据
。
其中,源端可以为业务系统数据库
、
分布式文件系统
、
或者其他数据仓,目的端可以为目标系统数据库
、
目标文件系统
、
或者其他目标数据仓
。
[0003]随着通信技术的快速发展,离线
ETL
处理的企业数据也就随之增多,导致数据处理时效性低,且在对整合后的大批量数据进行处理时,数据处理效率低
。
技术实现思路
[0004]本申请提供了一种数据处理方法
、
装置及电子设备,可以解决当前由于离线
ETL
处理的企业数据增多,导致数据处理时效性低,且在对整合后的大批量数据进行处 ...
【技术保护点】
【技术特征摘要】
1.
一种数据处理方法,其特征在于,所述方法包括:获取业务数据的变更日志,根据所述变更日志加工出同构表和同构拉链表,其中,所述同构表中包括业务当前时点的数据信息,所述同构拉链表中包括所述业务当前时点和历史时点的数据信息;根据所述同构表和所述同构拉链表中各个数据的维度和第一指标生成时点指标明细宽表,其中,所述时点指标明细宽表用于表征业务在时点对应的指标明细数据;根据所述各个数据的维度和第二指标生成区间指标明细宽表,其中,所述区间指标明细宽表用于表征业务在时间区间内对应的指标明细数据
。2.
如权利要求1所述的方法,其特征在于,所述获取变更日志,包括:从数据库中采集所述变更日志,并将所述变更日志发送至消息中心;订阅所述消息中心,获取所述变更日志
。3.
如权利要求1所述的方法,其特征在于,所述根据所述变更日志加工出同构表和同构拉链表,包括:根据所述变更日志更新初始同构表,得到所述同构表;将所述变更日志保存至初始同构拉链表,得到所述同构拉链表
。4.
如权利要求1所述的方法,其特征在于,所述各个数据的维度至少包括客户标识
、
产品大类
、
产品小类;所述第一指标至少包括名义余额
、
信用风险敞口;所述第二指标至少包括交易量
、
收入
。5.
如权利要求1所述的方法,其特征在于,在所述生成区间指标明细宽表之后,还包括:响应于用户触发目标选项的操作,在所述时点指标明细宽表和
/
或所述区间指标明细宽表中进行筛选,并在用户界面展示筛选出的目标数据信息
。6.
如权利要求5所述的方法,其特征在于,所述目标选项至少包括目标对象数值选项
、
目标对象标识
、
第一指标选项
、
第二指标选项
、
产品类别选项和时间选项
。7.
一种数据处理装置,其特征在于,所述装置包括:加工模块,用于获取业务数据的变更日志,根据所述变更日志加工出同构表和同构拉链表,其中,所述同构表中包括业务当前时点的数据信息,所述同构拉链表中包括所述业务当前时点和历史时点的数据信息;第一生成模块,用于根据所述同构表和所述同构拉链表中各个数据的维度和第一指...
【专利技术属性】
技术研发人员:曹海傧,
申请(专利权)人:建信金融科技有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。