数据仓库自动化处理的方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及大数据领域，公开了一种数据仓库自动化处理的方法、装置、设备及存储介质，用于提高对数据仓库进行开发的效率。数据仓库自动化处理的方法包括：获取待处理信息，对待处理信息进行分类处理得到调度信息、创建数据表信息和/或开发脚本信息的分类信息；创建对分类信息进行数据处理的处理方案的目标主题，以及调用与目标主题对应的处理接口；通过处理接口对分类信息进行信息预处理得到处理信息；对处理信息的信息类型进行识别得到第一目标信息和第二目标信息；连接与第一目标信息对应的下载接口和修改接口，以及将第二目标信息渲染到预置的显示页面上。此外，本发明专利技术还涉及区块链技术，处理信息可存储于区块链中。

【技术实现步骤摘要】
数据仓库自动化处理的方法、装置、设备及存储介质
本专利技术涉及ETL架构工具领域，尤其涉及一种数据仓库自动化处理的方法、装置、设备及存储介质。
技术介绍
数据仓库作为决策支持系统和联机分析应用数据源的结构化数据环境，常被应用在各种业务领域中。通过数据仓库的中数据抽取、转换和加载(extraction-transformation-loading，ETL)的操作，实现业务项目的开发。在现有技术中，在对数据仓库进行开发时，由于在进行版本部署时需要开发人员手动填写调度文档和对应的表格内容，在建表时需要从数据库管理系统中同步表信息和人工手动编辑建表语句，开发脚本的审核为人工审核导致耗时长，因而，导致对数据仓库进行开发的效率低。
技术实现思路
本专利技术的主要目的在于解决对数据仓库进行开发的效率低的问题。本专利技术第一方面提供了一种数据仓库自动化处理的方法，包括：获取待处理信息，对所述待处理信息进行分类处理得到分类信息，所述分类信息包括调度信息、创建数据表信息和/或开发脚本信息；创建所述分类信息的目标主本文档来自技高网...

【技术保护点】
1.一种数据仓库自动化处理的方法，其特征在于，所述数据仓库自动化处理的方法包括：/n获取待处理信息，对所述待处理信息进行分类处理得到分类信息，所述分类信息包括调度信息、创建数据表信息和/或开发脚本信息；/n创建所述分类信息的目标主题，以及调用与所述目标主题对应的处理接口；/n通过所述处理接口对所述分类信息进行信息预处理，得到处理信息；/n对所述处理信息的信息类型进行识别，得到第一目标信息和第二目标信息，所述第一目标信息包括调度文件信息和建表模板信息，所述第二目标信息包括审核信息和异常信息，所述审核信息为进行脚本性能审核处理所得的信息，所述异常信息为进行异常监控处理所得的信息；/n连接与所述第一...

【技术特征摘要】
1.一种数据仓库自动化处理的方法，其特征在于，所述数据仓库自动化处理的方法包括：
获取待处理信息，对所述待处理信息进行分类处理得到分类信息，所述分类信息包括调度信息、创建数据表信息和/或开发脚本信息；
创建所述分类信息的目标主题，以及调用与所述目标主题对应的处理接口；
通过所述处理接口对所述分类信息进行信息预处理，得到处理信息；
对所述处理信息的信息类型进行识别，得到第一目标信息和第二目标信息，所述第一目标信息包括调度文件信息和建表模板信息，所述第二目标信息包括审核信息和异常信息，所述审核信息为进行脚本性能审核处理所得的信息，所述异常信息为进行异常监控处理所得的信息；
连接与所述第一目标信息对应的下载接口和修改接口，以及将所述第二目标信息渲染到预置的显示页面上。


2.根据权利要求1所述的数据仓库自动化处理的方法，其特征在于，所述通过所述处理接口对所述分类信息进行信息预处理，得到处理信息，包括：
通过所述处理接口对所述分类信息，分别进行调度文件生成处理、建表模板生成处理和脚本性能审核处理，对应得到调度文件、建表模板和审核信息；
获取所述调度文件、所述建表模板和所述审核信息的操作日志信息；
对所述操作日志信息进行异常监控处理得到异常信息；
将所述调度文件、所述建表模板、所述审核信息和所述异常信息确定为处理信息。


3.根据权利要求2所述的数据仓库自动化处理的方法，其特征在于，所述通过所述处理接口对所述分类信息，分别进行调度文件生成处理、建表模板生成处理和脚本性能审核处理，对应得到调度文件、建表模板和审核信息，包括：
当所述分类信息为调度信息时，获取目标调度表结构和所述调度信息对应的第一处理接口；
通过所述第一处理接口将所述调度信息，填充至所述目标调度表结构，得到调度文件；
当所述分类信息为创建数据表信息时，获取目标数据表结构和所述创建数据表信息对应的第二处理接口；
通过所述第二处理接口将所述创建数据表信息，填充至所述目标数据表结构，得到建表模板；
当所述分类信息为开发脚本信息时，从预置的规则库中获取脚本性能审核规则，以及获取所述开发脚本信息对应的第三处理接口；
通过所述第三处理接口和所述脚本性能审核规则，对所述开发脚本信息进行性能审核，得到审核信息。


4.根据权利要求3所述的数据仓库自动化处理的方法，其特征在于，所述通过所述第三处理接口和所述脚本性能审核规则，对所述开发脚本信息进行性能审核，得到审核信息之后，还包括：
从预置的脚本库中获取与所述审核信息对应的历史开发脚本信息；
计算所述历史开发脚本信息和所述开发脚本信息的相似度；
按照所述相似度的值从大到小的顺序对所述历史开发脚本信息进行排序，得到排序为第一的目标历史开发脚本信息；
获取所述目标历史开发脚本信息对应的脚本优化方案，并将所述脚本优化方案添加至所述审核信息，得到最终的审核信息。


5.根据权利要求3所述的数据仓库自动化处理的方法，...

【专利技术属性】
技术研发人员：谢连天，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44