【技术实现步骤摘要】
基于Kettle对多个数据库进行自动校验的方法、装置及应用
[0001]本申请涉及数据库领域，特别是涉及一种基于Kettle对多个数据库进行自动校验的方法、装置及应用。
技术介绍
[0002]在软件系统开发项目中，因数据表模型不一致而导致数据归集失败或产生的数据存在质量缺陷时，会影响后续软件开发工作的正常开展，目前经常会发生开发人员不遵守开发规范，随意变更业务数据库中先前已定稿的表模型的情况，并且开发人员在变更表模型后也未及时向项目的相关方面做补充说明，以至于业务数据库中的表模型在进行统一归集到数仓的时候，因为业务数据表模型和数仓中的归集表模型不统一从而影响后续软件开发工作的正常发展。
[0003]尤其是在政府信息化项目中，这种情况尤为常见，各地政府目前都有公共数据统一归集、共享的需求，而政府信息化项目中的数据源头来自于政府各个部门信息化建设项目的业务数据库，且大部分都是交给不同的厂商进行开发，所以导致业务数据库的开发水平参差不齐，项目管理水平存在差异，在数据归集时时常会发生因开发人员随意变更业务数据库模型导致归集失...
【技术保护点】
【技术特征摘要】
1.一种基于Kettle对多个数据库进行自动校验的方法，其特征在于，包括以下步骤：在工作终端上部署安装Kettle，为所述Kettle设定具有访问权限的工作数据库，且在所述工作数据库中创建连接参数清单表、待检查数据表清单以及检查结果存储表，所述连接参数清单表内填写连接基准数据库和/或业务数据库的连接参数，所述待检查数据表清单内填写待检查业务数据表名称、待检查业务数据表所属的待检查业务数据库名称以及适用所述待检查业务数据库的基准数据库名称，所述检查结果表用来存储基准数据库和/或业务数据库中所有的字段属性数据；构建至少一基准数据库，所述Kettle具有所述基准数据库的访问权限，Kettle根据所述连接参数清单表与至少一所述基准数据库进行连接，并读取columns表中基准数据库的所有字段属性保存到所述检查结果存储表中得到基准检查结果；Kettle根据所述连接参数清单表与至少一所述业务数据库进行连接，根据所述待检查数据表清单读取columns表中待检查业务数据表的所有的字段属性，并保存到所述检查结果存储表中得到业务检查结果；基于所述待检查数据表清单调取与所述业务检查结果相对应的基准检查结果，将该基准检查结果左连接对应的业务检查结果得到左连接校验表，利用所述Kettle对所述左连接校验表进行校验。2.根据权利要求1所述的一种基于Kettle对多个数据库进行自动校验的方法，其特征在于，在“所述连接参数清单表内填写连接基准数据库和/或业务数据库的连接参数”步骤中，所述连接参数包括所述基准数据库和/或所述业务数据库的数据库地址、数据库端口、数据库账号密码。3.根据权利要求1所述的一种基于Kettle对多个数据库进行自动校验的方法，其特征在于，在“Kettle根据所述连接参数清单表与至少一所述基准数据库进行连接”步骤中，在Kettle中创建一个Kettle检查脚本，所述Kettle检查脚本顺序读取所述连接参数清单中的基准数据库连接参数，并根据所述基准数据库的连接参数与每一基准数据库进行连接。4.根据权利要求3所述的一种基于Kettle对多个数据库进行自动校验的方法，其特征在于，在“Kettle根据所述连接参数清单表与至少一所述业务数据库进行连接”步骤中，使用Kettle检查脚本顺序读取所述连接参数清单中的业务数据库连接参数，并根据所述业务数据库的连接参数与每一业务数据库进行连接。5.根据权利要求1所述的一种基于Kettle对多个数据库进行自动校验的方法，其特征在于，当所述基准数据库出现变更时，Kettle重新获取该基准数据库的连接参数对该基准数据库进行连接，并对该基准数据库进行重新检查得到新的检查结果，使用新的检...
【专利技术属性】
技术研发人员：李圣权，齐韬，施列松，叶珍芳，梁贤，
申请(专利权)人：城云科技中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。