一种ETL加载表结构的比对方法及系统技术方案

本发明专利技术提出了一种ETL加载表结构的比对方法及系统，其中，该方法包括：接收源系统的报表数据；根据目标系统的数据库连接信息，测试目标系统的数据库的连接；在连接成功后，获取所述目标系统的目标报表数据；比对所述源系统的报表数据与所述目标报表数据，得到差异比对结果。该方法及系统可以对源系统表结构和目标系统表结构的一致性进行全面检查，快速、准确的找到差异，极大的提高比对效率，并且可以根据与目标系统的差异结果进行分类，并生成DDL语句，以便源系统进行表同步。

A comparison method and system of ETL loading table structure

【技术实现步骤摘要】
一种ETL加载表结构的比对方法及系统
本专利技术涉及数据仓库
，尤指一种ETL加载表结构的比对方法及系统。
技术介绍
目前，外汇报表系统数据来源系统复杂，涉及上游系统繁多。尤其存在多个系统来源时，上游系统不是每次变更表结构，都会及时通知。如果上游系统一个表的字段长度扩大或者增加字段，接收方没有收到通知及时修改，就会导致生产上报表加载报错，影响业务人员使用。特别是一个字段长度的增加，只有到实际数据在某一时间达到临界值时，报表报错了才能发现，并且报表报错需要排查很长时间才能定位到上游表结构问题上。现有的核对ETL加载表结构的方法是通过人工核对，这种方式不仅费时费力，需要先把数据库中的表结构导出存为EXCEL格式，然后和上游系统下发表结构文档比对，一个字段一个字段核对，而且容易出错。特别是对大型的数据仓库系统，涉及的表和系统众多，如何保证ETL加载的准确，如何快速的找出表结构差异，避免生产环境ETL加载错误，是一大难题。如果不进行核对，测试或生产运行时就会报错，产生错误日志和bad文件；如果数据项加载错位，也很难通过bad文件和日志发现本文档来自技高网...

【技术保护点】
1.一种ETL加载表结构的比对方法，其特征在于，该方法包括：/n接收源系统的报表数据；/n根据目标系统的数据库连接信息，测试目标系统的数据库的连接；/n在连接成功后，获取所述目标系统的目标报表数据；/n比对所述源系统的报表数据与所述目标报表数据，得到差异比对结果。/n

【技术特征摘要】
1.一种ETL加载表结构的比对方法，其特征在于，该方法包括：
接收源系统的报表数据；
根据目标系统的数据库连接信息，测试目标系统的数据库的连接；
在连接成功后，获取所述目标系统的目标报表数据；
比对所述源系统的报表数据与所述目标报表数据，得到差异比对结果。


2.根据权利要求1所述的ETL加载表结构的比对方法，其特征在于，所述源系统的报表数据中包括：数据表名称、字段名称、字段类型、数据长度及小数位长度。


3.根据权利要求2所述的ETL加载表结构的比对方法，其特征在于，接收源系统的报表数据，还包括：
接收源系统的系统数据；
将所述源系统的系统数据导入至EXCEL数据字典，导入完成后生成源系统的报表数据，并将该所述源系统的报表数据存储至比对数据库的第一临时表。


4.根据权利要求3所述的ETL加载表结构的比对方法，其特征在于，所述目标系统的数据库连接信息包括：目标系统的数据库的IP、数据库实例信息、数据库用户名及数据库密码。


5.根据权利要求4所述的ETL加载表结构的比对方法，其特征在于，在连接成功后，获取所述目标系统的目标报表数据，还包括：
在连接成功后，获取目标系统数据库利用ORACLE数据库视图信息生成的目标报表数据；
将所述目标报表数据存储至比对数据库的第二比对表。


6.根据权利要求5所述的ETL加载表结构的比对方法，其特征在于，比对所述源系统的报表数据与所述目标报表数据，得到差异比对结果，还包括：
调用所述比对数据库的PL/SQL模块，比对所述第一临时表的报表数据与第二比对表的报表数据，得到差异比对结果。


7.根据权利要求6所述的ETL加载表结构的比对方法，其特征在于，比对所述第一临时表的报表数据与第二比对表的报表数据，得到差异比对结果，还包括：
比对所述第一临时表的报表数据与第二比对表的报表数据中的数据表名称、字段名称、字段类型、数据长度及小数位长度，得到...

【专利技术属性】
技术研发人员：张宁宁，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京;11