数据交换方法、电子设备、计算机可读存储介质技术

本公开提供了一种数据交换方法、电子设备、计算机可读存储介质，数据交换方法包括：接收第一任务构建指令，构建第一数据交换任务；其中，第一任务构建指令用于指示构建所述第一数据交换任务，第一数据交换任务用于指示从源数据库到中间数据库的数据交换；通过DataX执行第一数据交换任务；接收第二任务构建指令，构建第二数据交换任务；其中，第二任务构建指令用于指示构建第二数据交换任务，第二数据交换任务用于指示从中间数据库到目的数据库的数据交换；通过DataX执行第二数据交换任务。通过DataX执行第二数据交换任务。通过DataX执行第二数据交换任务。

【技术实现步骤摘要】
数据交换方法、电子设备、计算机可读存储介质


[0001]本公开实施例涉及互联网
，特别涉及数据交换方法、电子设备、计算机可读存储介质。

技术介绍

[0002]随着人类社会进入信息化和数字化的进程，各个行业的企业在生产实践过程中，越来越频繁地涉及到许多属于不同业务领域且相互独立的信息系统，在这些信息系统之间常常会有业务关联的需要，因此产生了数据交换的需求。数据抽取、转换和加载(ETL，Extarct Transform Load)技术正是为了解决这个问题而产生的。
[0003]除了商用软件外，目前主流的ETL技术或框架有DataX、Kettle等，DataX是一种具有代表性的ETL技术或框架，是由国内知名企业开源的一个离线数据同步工具，支持来自不同类型的数据库读写，进行不同信息系统的数据库之间的数据交换，这些数据库包括关系型数据库、非关系型数据库、无结构化数据库与云数据库等，其优点是开源、速度快、可以满足海量数据的交换同步需求。但是，以DataX为代表的ETL技术或框架也有其缺点，主要体现在使用门槛高，没有较为友好的万维网(Web，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据交换方法，应用于终端或第一服务器，该方法包括：接收第一任务构建指令，构建第一数据交换任务；其中，所述第一任务构建指令用于指示构建所述第一数据交换任务，所述第一数据交换任务用于指示从源数据库到中间数据库的数据交换；通过DataX执行所述第一数据交换任务；接收第二任务构建指令，构建第二数据交换任务；其中，所述第二任务构建指令用于指示构建所述第二数据交换任务，所述第二数据交换任务用于指示从所述中间数据库到目的数据库的数据交换；通过DataX执行所述第二数据交换任务。2.根据权利要求1所述的数据交换方法，所述通过DataX执行所述第一数据交换任务后，在所述构建第二数据交换任务之前，该方法还包括：对从所述源数据库交换到所述中间数据库的数据进行清洗、加工处理。3.根据权利要求2所述的数据交换方法，其中，所述清洗、加工处理包括以下至少之一：类型转换、字段赋值、空值处理、字段合并、异常数据处理。4.根据权利要求1所述的数据交换方法，所述通过DataX执行所述第一数据交换任务后，该方法还包括：根据DataX执行所述第一数据交换任务得到的第一日志确定所述第一数据交换任务是否达到预期效果；在所述第一数据交换任务达到预期效果的情况下，继续执行所述构建第二数据交换任务的步骤。5.根据权利要求1
‑
4任意一项所述的数据交换方法，其中，所述构建第一数据交换任务包括：构建第一读取器，所述第一读取器用于实现从所述源数据库读取数据；构建第一写入器，所述第一写入器用于实现将从所述源数据库读取的数据写入所述中间数据库；构建第一字段映射关系，所述第一字段映射关系用于实现所述源数据库和所述中间数据库之间的数据库表中的字段的映射；根据所述第一读取器、所述第一写入器和所述第一字段映射关系生成第一脚本文件；所述通过DataX根据所述第一数据交换任务的执行参数执行所述第一数据交换任务包括：通过DataX执行所述第一脚本文件。6.根据权利要求5所述的数据交换方法，其中，所述根据所述第一读取器、所述第一写入器和所述第一字段映射关系生成第一脚本文件...

【专利技术属性】
技术研发人员：罗静，敦建征，郭静宁，李明知，陈绪福，
申请(专利权)人：通号智慧城市研究设计院有限公司，
类型：发明
国别省市：