基于数据仓库抽象数据加载的方法及系统技术方案

技术编号:25439132 阅读:37 留言:0更新日期:2020-08-28 22:27
本发明专利技术提供了一种基于数据仓库抽象数据加载的方法及系统。所述方法包括:对作业脚本进行预处理,得到实际业务脚本;提取实际业务脚本中语句解析使用到的目标表、源表字段及插入内容的关联关系,以及提取实际业务脚本中的谓词信息;利用所述谓词信息及加载算法标准信息,确定加载程序与加载算法的关联关系;根据目标表、源表字段及插入内容的关联关系,以及加载程序与加载算法的关联关系,对输入作业进行数据加载。本发明专利技术克服了对数据仓库在不同技术平台上大量手工加载程序的无序管理,并弥补了数据仓库模型逻辑对应关系依赖人工查找,无法准确获取的缺点,提升加载程序开发时效,降低人力成本,提升定位问题分析时效,提高分析准确性。

【技术实现步骤摘要】
基于数据仓库抽象数据加载的方法及系统
本专利技术涉及数据加载
,尤指一种基于数据仓库抽象数据加载的方法及系统。
技术介绍
由于大数据技术发展快速,数据库软件也在不停地更新换代,数据仓库的数据在SAS平台、Teradata平台、Hadoop平台、GaussDB平台之间频繁进行切换,造成在作业前期的迁移转换过程中,为了适应新技术平台的特性,无可避免地出现了大量手工撰写和修改加载程序的情况,虽然在技术平台成型的后期形成了统一模板加载工具,但前期的大量手工加载程序,造成了程序的可维护性较差,大量依赖人工查找程序进行单一的分析和修改,无法对加载规范标准、技术平台特性等同质问题进行统一规划和管理。
技术实现思路
为了解决上述问题,本专利技术实施例提供一种基于数据仓库抽象数据加载的方法,所述方法包括:对作业脚本进行预处理,得到实际业务脚本;提取所述实际业务脚本中语句解析使用到的目标表、源表字段及插入内容的关联关系,以及提取所述实际业务脚本中的谓词信息;利用所述谓词信息及加载算法标准信息,确定加载程序与加载算法本文档来自技高网...

【技术保护点】
1.一种基于数据仓库抽象数据加载的方法,其特征在于,所述方法包括:/n对作业脚本进行预处理,得到实际业务脚本;/n提取所述实际业务脚本中语句解析使用到的目标表、源表字段及插入内容的关联关系,以及提取所述实际业务脚本中的谓词信息;/n利用所述谓词信息及加载算法标准信息,确定加载程序与加载算法的关联关系;/n根据目标表、源表字段及插入内容的关联关系,以及加载程序与加载算法的关联关系,对输入作业进行数据加载。/n

【技术特征摘要】
1.一种基于数据仓库抽象数据加载的方法,其特征在于,所述方法包括:
对作业脚本进行预处理,得到实际业务脚本;
提取所述实际业务脚本中语句解析使用到的目标表、源表字段及插入内容的关联关系,以及提取所述实际业务脚本中的谓词信息;
利用所述谓词信息及加载算法标准信息,确定加载程序与加载算法的关联关系;
根据目标表、源表字段及插入内容的关联关系,以及加载程序与加载算法的关联关系,对输入作业进行数据加载。


2.根据权利要求1所述的方法,其特征在于,所述对作业脚本进行预处理,得到实际业务脚本包括:
将所述作业脚本的内容读取到变量中,利用正则表达式去除变量中非必要信息,得到仅包含实际业务功能的实际业务脚本。


3.根据权利要求1所述的方法,其特征在于,所述提取所述实际业务脚本中语句解析使用到的目标表、源表字段及插入内容的关联关系,以及提取所述实际业务脚本中的谓词信息包括:
利用正则表达式逐一提取所述实际业务脚本中语句解析使用到的目标表、源表字段及插入内容的关联关系,以及所述实际业务脚本中的SQL语句谓词信息。


4.根据权利要求1所述的方法,其特征在于,所述根据目标表、源表字段及插入内容的关联关系,以及加载程序与加载算法的关联关系,对输入作业进行数据加载包括:
根据目标表与插入内容的字段级关联关系,以及目标表与源表字段的字段级关联关系,利用输入作业的作业名、表名、加载算法及字段级逻辑对照关系得到模板化加载程序;
利用所述模板化加载程序进行数据加载。


5.一种基于数据仓库抽象数据加载的系统,其特征在于,所述系统包括:
脚本处理模块,用于对作业脚本进行预处理,得到实际业务脚本;
脚本解析模块,用于提取所述实际业务脚本中语句解析使用到的目标表、源表字段及插入内容的关联关系,以及提取所述实际业务脚本中的谓词信息;利用所述谓词信息及加载算法标准信息,确定加载程序与加...

【专利技术属性】
技术研发人员:李湘玲聂冬琴唐一帆
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1