多数据源数据同步方法、应用服务器及计算机可读存储介质技术

本发明专利技术公开了一种多数据源数据同步方法，该方法包括步骤：建立一数据平台与至少一个数据源的第一连接，并建立该数据平台与该应用服务器的第二连接；接收用户选择的需要同步的源表和数据源类型，根据预先解析获得的各数据源的源表结构，生成各数据源对应的建表任务和数据同步任务；将所述生成的各数据源对应的建表任务和数据同步任务发布至预设的工作流调度引擎，通过该预设的工作流调度引擎执行各数据源对应的建表任务和数据同步任务。本发明专利技术可以实现整个数据同步流程的全自动作业，省却了开发人员的开发、测试和部署流程。

Multi data source data synchronization method, application server and computer readable storage medium

The invention discloses a method for synchronizing multiple data sources of data, the method comprises the following steps: the first connection establishes a data platform and at least one data source, and establish the data platform and the application server second connection; receiving a user selection need to synchronize the source table and the data source type, according to the source table structure the data source for the pre analysis, generate the corresponding data source table building tasks and data synchronization tasks; the data source of the generation of the corresponding table building tasks and data synchronization tasks to workflow scheduling engine design, implementation of the data source through the workflow scheduling engine the preset corresponding task table the task and data synchronization. The invention can realize the full automatic operation of the whole data synchronization process, and save the development, test and deployment process of the developer.

【技术实现步骤摘要】
多数据源数据同步方法、应用服务器及计算机可读存储介质
本专利技术涉及计算机信息
，尤其涉及一种多数据源数据同步方法、应用服务器及计算机可读存储介质。
技术介绍
现有的多数据源数据同步操作非常复杂，开发人员需要开发大量脚本，而且需要经过开发、测试、部署等流程，开发周期长，任务量大，且容易出错。故，现有技术中多数据源的数据同步操作不够合理，亟需改进。
技术实现思路
有鉴于此，本专利技术提出一种多数据源数据同步方法、应用服务器及计算机可读存储介质，省却了开发人员的开发、测试和部署流程，整个数据同步流程实现了全自动作业，既节省了开发成本，又降低了开发人员的出错风险。首先，为实现上述目的，本专利技术提出一种应用服务器，所述应用服务器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多数据源数据同步系统，所述多数据源数据同步系统被所述处理器执行时实现如下步骤：建立一数据平台与至少一个数据源的第一连接，并建立该数据平台与该应用服务器的第二连接；接收用户选择的需要同步的源表和数据源类型，根据预先解析获得的各数据源的源表结构，生成各数据源对应的建表任务和数据同步任务；及将所述生成的各数据本文档来自技高网...

【技术保护点】
一种应用服务器，其特征在于，所述应用服务器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多数据源数据同步系统，所述多数据源数据同步系统被所述处理器执行时实现如下步骤：建立一数据平台与至少一个数据源的第一连接，并建立该数据平台与该应用服务器的第二连接；接收用户选择的需要同步的源表和数据源类型，根据预先解析获得的各数据源的源表结构，生成各数据源对应的建表任务和数据同步任务；及将所述生成的各数据源对应的建表任务和数据同步任务发布至预设的工作流调度引擎，通过该预设的工作流调度引擎执行各数据源对应的建表任务和数据同步任务。

【技术特征摘要】
1.一种应用服务器，其特征在于，所述应用服务器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多数据源数据同步系统，所述多数据源数据同步系统被所述处理器执行时实现如下步骤：建立一数据平台与至少一个数据源的第一连接，并建立该数据平台与该应用服务器的第二连接；接收用户选择的需要同步的源表和数据源类型，根据预先解析获得的各数据源的源表结构，生成各数据源对应的建表任务和数据同步任务；及将所述生成的各数据源对应的建表任务和数据同步任务发布至预设的工作流调度引擎，通过该预设的工作流调度引擎执行各数据源对应的建表任务和数据同步任务。2.如权利要求1所述的应用服务器，其特征在于，所述生成各数据源对应的建表任务包括：根据用户选择的需要同步的源表和各源表的类型，生成与该选择的源表类型对应的目标表。3.如权利要求2所述的应用服务器，其特征在于，所述生成各数据源对应的建表任务包括：若用户选择的需要同步的源表类型为第一类型维度表，则生成与所述第一类型维度表的源表结构对应的第一类型目标表，所述第一类型目标表的数量根据所述用户选择的需要同步的第一类型源表数量确定；若用户选择的需要同步的源表类型为第二类型任务表，则生成与所述第二类型任务表的源表结构对应的第二类型目标表，所述第二类型目标表的数量根据所述用户选择的需要同步的第二类型源表数量确定；及若用户选择的需要同步的源表类型为第三类型流水表，则生成与所述第三类型流水表的源表结构对应的第三类型目标表，所述第三类型目标表的数量根据所述用户选择的需要同步的第三类型源表数量确定。4.如权利要求2或3所述的应用服务器，其特征在于，所述生成各数据源对应的数据同步任务包括：根据用户选择的需要同步的开始时间和结束时间确定从各源表开始抽取数据的时间和停止抽取数据的时间；根据用户选择的需要同步的源表数量及同步的目标端用户确定数据同步各个任务所需的资源配置和资源管理节点；及建立所述需要同步的源表的相应字段与所述生成的各目标表的相应字段的对应关系，并根据源表与目标表相应字段的对应关系生成各源表对应的数据抽取任务。5.一种多数据源数据同步方法，应用于应用服务器，其特征在于，所述方法包括：建立一数据平台与至少一个数据源的第一连接，并建立该数据平台与该应用服务器的第二连接；接收用户选择的需要同步的源表和数据源类型，根...

【专利技术属性】
技术研发人员：付军，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44