ETL任务数据源切换方法、系统、计算机设备和存储介质技术方案

本发明专利技术公开了一种ETL任务数据源切换方法、系统、计算机设备和存储介质，其中所述方法包括：在ETL任务运行时所在的服务器配置库中预置映射表和数据源配置表，将所述映射表中的生产库连接字符串和COW库连接字符串一一对应；调用SHELL脚本，通过API服务器检测和修改配置库中的连接字符串；在API服务器的数据库中设置数据库表，根据所述数据库表中记录的数据检测数据库是否起库，以及是否将数据同步到凌晨时间0点；在API服务器确认起库信息和同步信息后，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源。上述方法降低了人工操作的风险，提高了切换效率，减少了误操作。

ETL task data source switching method, system, computer equipment and storage medium

The invention discloses an ETL task data source switching method, a system, a computer device and a storage medium, wherein the method comprises: presetting a mapping table and a data source configuration table in the server configuration library where the ETL task is running, and pairing the production library connection string and the COW library connection string in the mapping table one by one SHELL scripts should be invoked to detect and modify connection strings in the configuration library through the API server; database tables are set up in the database of the API server to detect whether the database is up or not and whether the data is synchronized to 0 a.m. based on the data recorded in the database tables; and the starting information is confirmed at the API server. After synchronizing information, the connection string in the data source configuration table is modified to automatically switch to the data source that needs to be operated. The above method reduces the risk of manual operation, improves switching efficiency and reduces misoperation.

【技术实现步骤摘要】
ETL任务数据源切换方法、系统、计算机设备和存储介质
本专利技术涉及计算机
，尤其涉及一种ETL任务数据源切换方法、系统、计算机设备和存储介质。
技术介绍
利用关系型数据库来存储和管理业务数据，并建立相应的应用系统来支持日常的业务运作。这种应用以支持业务处理为主要目的，被称为联机事务处理(OnlineTransactionProcessing，OLTP)应用，它所存储的数据被称为操作数据或者业务数据。BI(BusinessIntelligence)是一种运用了数据仓库，在线分析和数据挖掘等技术来处理和分析数据的崭新技术，目的是为企业决策者提供决策支持。COW(写时复制Copy-On-Write)，是存储快照的一种方式，更新源数据卷中的原始数据时,将原始数据Copy到快照卷中。当我们需要恢复快照时,只需要按照快照指针表逐一进行寻址就能够完成了，而且COW在使用上非常的灵活,可以随时为任意源数据卷建立快照。ETL(Extract-Transform-Load)，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程，ETL常用在本文档来自技高网...

【技术保护点】
1.一种ETL任务数据源切换方法，其特征在于，包括以下步骤：在ETL任务运行时所在的服务器配置库中预置映射表和数据源配置表，所述映射表包括生产库和COW库，将所述映射表中的生产库连接字符串和COW库连接字符串一一对应，所述数据源配置表中的连接数据包括连接字符串；调用SHELL脚本，所述SHELL脚本封装有调用API服务器的CURL命令，利用CURL命名调用API服务器，通过API服务器检测和修改配置库中的连接字符串；在API服务器的数据库中设置数据库表，所述数据库表包含COW库的起库信息和同步数据信息，根据所述数据库表中记录的数据检测数据库是否起库，以及是否将数据同步到凌晨时间0点，所述起库是...

【技术特征摘要】
1.一种ETL任务数据源切换方法，其特征在于，包括以下步骤：在ETL任务运行时所在的服务器配置库中预置映射表和数据源配置表，所述映射表包括生产库和COW库，将所述映射表中的生产库连接字符串和COW库连接字符串一一对应，所述数据源配置表中的连接数据包括连接字符串；调用SHELL脚本，所述SHELL脚本封装有调用API服务器的CURL命令，利用CURL命名调用API服务器，通过API服务器检测和修改配置库中的连接字符串；在API服务器的数据库中设置数据库表，所述数据库表包含COW库的起库信息和同步数据信息，根据所述数据库表中记录的数据检测数据库是否起库，以及是否将数据同步到凌晨时间0点，所述起库是数据库启动实例；在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源。2.根据权利要求1所述的ETL任务数据源切换方法，其特征在于，所述数据源配置表中的连接数据还包括数据源名称、安全标识符、数据库用户名及密码。3.根据权利要求1所述的ETL任务数据源切换方法，其特征在于，所述调用SHELL脚本，所述SHELL脚本封装有调用API服务器的CURL命令，利用CURL命名调用API服务器，通过API服务器检测和修改配置库中的连接字符串具体包括：通过程序在服务器上设置CRONTAB表达式，所述表达式包括时间点和所述时间点需要执行的脚本名称，通过设置CRONTAB表达式的脚本名称来调用需要定时执行的SHELL脚本；所述SHELL脚本封装有调用API服务器的CURL命令，所述CURL命令通过命令行方式发起HTTP请求，进而调用API服务器；通过API服务器检测和修改配置库中的连接字符串。4.根据权利要求1所述的ETL任务数据源切换方法，其特征在于，所述在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，修改数据源配置表中的连接字符串，自动切换到需要操作的数据源具体包括：在API服务器确认起库信息和同步信息后，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，ETL任务运行时所在的服务器读取数据源配置表中的连接数据，通过PYTHON程序中的Oracle包连接服务器配置库，执行UPDATE语句，修改数据源配置表中的连接字符串，改变ETL任务运行时所...

【专利技术属性】
技术研发人员：刘斌，袁贺强，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44