一种数据同步ETL系统技术方案

本发明专利技术属于数据同步技术领域，具体为一种数据同步ETL系统。本发明专利技术系统包括如下功能模块：上下文参数配置模块，同步接口定义模块，同步脚本生成模块，工作流配置模块，数据同步核心模块，日志、预警模块；其中，前三个模块是基础模块，按照模块的次序操作，生成同步脚本；工作流配置模块主要起到调度中心的作用，在工作流中配置同步脚本实现并行或串行执行、并行的进程数量、什么时间或条件下来触发任务；上述执行步骤中发生异常或错误任务时，日志预警模块将捕获错误原因，并通知到系统管理人员。本发明专利技术具有双向同步机制，支持配置多个上下文名称访问多环境下的数据源；同步方法覆盖面广，同时支持复杂的自定义同步方法，扩展性强。

【技术实现步骤摘要】
一种数据同步ETL系统
本专利技术属于数据同步
，具体涉及一种数据同步ETL系统。
技术介绍
现有的数据同步系统，主要是提供生产环境业务数据给研发排查错误和问题重现的模拟等等，以及提供给数据分析员对业务数据进行分析，提供业务运营日、周、月报表供管理者使用或对销售部门的业务提供数据支持等。由于两者环境存在跨网络，两个环境下的服务器之间无法通信，通过VPN拨入访问生产环境并同步数据文件到本地环境下。现有方式一，初始化是通过全量备份生产环境的数据库A，通过拷贝备份文件到服务器B，同时还原备份文件到数据库B中，完成历史数据的还原。增量部分，每日通过脚本同步数据库A产生的日志文件，拷贝到目标服务器B中，停止数据库B做相关的数据文件恢复，出现异常需要人为干预的代价也是比较高的。现有方式二，开发环境下问题重现或运营支撑报表系统等需要生产数据，当然关键信息数据是经过加密和脱密处理的。对于环境使用的数据因每次上线解决的问题不同，需要初始化环境，而且排查某个周期内的问题点需要的数据会有不同要求。比如，上周发现了问题需要解决，就需要在开发环境和测试环境同步上周到某一天的交易数据，基础数据作为初始化的本文档来自技高网...

【技术保护点】
一种数据同步ETL系统，其特征在于包括如下功能模块：上下文参数配置模块，同步接口定义模块，同步脚本生成模块，工作流配置模块，数据同步核心模块，日志、预警模块；模块之间的关系主要在两方面：（一）上下文参数配置模块、同步接口定义模块、同步脚本生成模块，是三个基础模块，按照模块的次序操作，生成同步脚本；生成的同步脚本中参数有来源于上下文参数配置模块中的上下文名称和其他参数、同步接口定义模块中定义的同步方法、需要同步的源和目标对应的表名称以及同步的条件；同步脚本生成模块在收到同步接口定义模块的请求后，根据传入的参数值，自动匹配同步方法名来生成同步脚本；（二）工作流配置模块主要起到调度中心的作用，在工作...

【技术特征摘要】
1.一种数据同步ETL系统，其特征在于包括如下功能模块：上下文参数配置模块，同步接口定义模块，同步脚本生成模块，工作流配置模块，数据同步核心模块，日志、预警模块；模块之间的关系主要在两方面：（一）上下文参数配置模块、同步接口定义模块、同步脚本生成模块，是三个基础模块，按照模块的次序操作，生成同步脚本；生成的同步脚本中参数有来源于上下文参数配置模块中的上下文名称和其他参数、同步接口定义模块中定义的同步方法、需要同步的源和目标对应的表名称以及同步的条件；同步脚本生成模块在收到同步接口定义模块的请求后，根据传入的参数值，自动匹配同步方法名来生成同步脚本；（二）工作流配置模块主要起到调度中心的作用，在工作流中配置同步脚本实现并行或串行执行、并行的进程数量、什么时间或条件下来触发任务；并行任务中的分支配置成串行结构；调度中心中设置好调度时间，任务会在定义好的时间点自动触发执行，当工作流调取同步脚本发送请求到数据同步核心模块，同步核心模块收到请求后调用读取接口，通过上下文名称获取访问源和目标的数据连接，连接成功后读取数据记录，并将返回的结果集写入内存中，同时通知数据同步核心模块执行写入接口，将结果集写入目标数据源；上述执行步骤中发生异常或错误的任务，日志预警模块将捕获错误原因，并通知到系统管理人员；所述的数据同步ETL系统，其特征在于所述上下文参数配置模块，包括：上下文名称定义、源数据库和目标数据库连接的用户名和密码，以及数据库地址和端口；上下文名称的作用是区分多个数据连接源或反向同步数据到另外一个环境下，并用来获取不同的源数据库和目标的数据库连接用户名、密码、服务器地址、端口、实例；对于多数据源或反向模式，需要配置不同的上下文名称；每一个上下文名称包括：源和目标配置参数，参数包括数据库连接用户名、密码、数据库地址、端口、实例；在同步接口中指定上下文参数，参数值为在此定义的上下文名称，同步接口根据上下文名称获取源和目标的数据连接源。2.根据权利要求1所述的数据同步ETL系统，其特征在于所述同步接口定义模块，包括：数据抽取同步元数据、同步方法、调用同步脚本生成接口；所述数据抽取同步元数据的作用是存放从源同步到目标数据库环境的用户名、表名称、同步条件、同步方法、上下文名称的信息；所述同步方法的作用是生成同步脚本每个环节的步骤，同步方法封装了需要执行的每个步骤；可供选择的同步方法有：直接插入、更新、删除后再插入、删除已经存在的再全部插入、全部清空再插入复杂模式，同步方法在一个接口文件中只能选择一种，并存放在同步元数据中；由于每种同步方法生成的同步脚本的处理步骤不同，对同步方式的使用规则如下：全量，选择直接插入、全部清空再插入；增量，选择更新、删除后再插入、删除已经存在的再全部插入、复杂模式；所述调用同步脚本生成接口主要用来衔接同步接口定义模块与同步脚本生成模块，将参数传递给同步脚本生成接口，支持多个接口批量生成处理，即接口文件按照业务模块化来处理每个接口，一个模块可以包含多个接口文件。3.根据权利要求2所述的数据同步...

【专利技术属性】
技术研发人员：王新亮，
申请(专利权)人：上海瀚之友信息技术服务有限公司，
类型：发明
国别省市：上海;31