一种数据同步与开发调度系统及方法技术方案

本发明专利技术提供一种数据同步与开发调度系统，所述系统包括：数据源模块，用于获取数据开发任务和

【技术实现步骤摘要】
一种数据同步与开发调度系统及方法


[0001]本专利技术涉及计算机
，尤其涉及一种数据同步与开发调度系统及方法
。

技术介绍

[0002]互联网技术飞速发展的同时，各行各业的用户和系统数据也急速膨胀，海量的数据蕴藏着无限的价值
。
为了对数据进行管理以及挖掘数据的潜在业务价值，一般需要将多种异构的数据同步到适当的存储介质中，进行统一数据管理
,
并在此基础上进行数据开发，从中提取有价值的信息以支持业务决策
。
[0003]现有的主流大数据同步技术如
DATAX、CHUNJUN、Sqoop
等需要用户开发数据同步脚本，并手动接入调度系统
(
例如：海豚调度
Dolphin Scheduler
，具体方法是在调度系统中按照模板配置相应的工作流
)
或者开发自定义调度规则手动进行调度，流程复杂
,
复用性差且开发成本高
。
另外，现有的大数据开发和生产可能涉及到多种异构大数据计算引擎，比如...

【技术保护点】

【技术特征摘要】
1.
一种数据同步与开发调度系统，其特征在于，包括：数据源模块
、
数据开发模块
、
数据同步模块和任务调度模块；数据源模块，用于获取数据开发任务和
/
或数据同步任务的数据源元数据，并根据所述数据源元数据对应的数据库类别，生成相应的数据库配置记录；数据开发模块，用于基于数据开发任务的数据源元数据以及相应的数据库配置记录，生成开发任务配置信息；数据同步模块，用于基于数据同步任务的数据源元数据以及相应的数据库配置记录，生成同步任务配置信息；任务调度模块，用于获取开发任务配置信息和
/
或同步任务配置信息进行解析，为不同任务匹配对应的工作流模板，生成工作流文件，并执行调度
。2.
根据权利要求1所述的数据同步与开发调度系统，其特征在于，所述任务调度模块包括：第一处理子模块
、
第二处理子模块和第三处理子模块；第一处理子模块，用于对所述任务进行类型判定，获得判定结果，所述判定结果为属于数据开发任务和属于数据同步任务；第二处理子模块，响应于所述判定结果为属于数据开发任务，获取开发业务配置信息，基于预设开发任务工作流模板，构造数据开发任务工作流；第三处理子模块，响应于所述判定结果为属于数据同步任务，获取同步业务配置信息，基于预设同步任务工作流模板，构造数据同步任务工作流
。3.
根据权利要求2所述的数据同步与开发调度系统，其特征在于，第二处理子模块包括：第一开发处理单元
、
第二开发处理单元和第三开发处理单元；第一开发处理单元，用于依据所述开发业务配置信息生成数据开发任务表单；其中，所述数据开发任务表单为可视化表单配置形式的开发业务配置信息；第二开发处理单元，用于获取所述数据开发任务对应的数据开发任务脚本；第三开发处理单元，用于基于所述数据开发任务表单进行解析，生成所述数据开发任务对应的工作流文件
。4.
根据权利要求3所述的数据同步与开发调度系统，其特征在于，还包括：第四开发处理单元，用于执行所述数据开发任务脚本的运行调试
。5.
根据权利要求2所述的数据同步与开发调度系统，其特征在于，所述第三处理子模块包括：第一同步处理单元
、
第二同步处理单元和第三同步处理单元；第一同步处理单元，用于依据所述同步业务配置信息生成数据同步任务表单；...

【专利技术属性】
技术研发人员：王聪，
申请(专利权)人：武汉虹信技术服务有限责任公司，
类型：发明
国别省市：