【技术实现步骤摘要】
一种基于离线同步工具的数据采集方法、装置及储存介质
[0001]本申请涉及数据采集
，尤其涉及一种基于离线同步工具的数据采集方法、装置及储存介质。
技术介绍
[0002]数字化转型是指建立在数字化转换、数字化升级基础上，进一步触及公司核心业务，以新建一种商业模式为目标的高层次转型。数字化转型是开发数字化技术及支持能力以新建一个富有活力的数字化商业模式；企业在数字化转型过程中，通常面临着最直接的问题
‑
数据采集难，即数据分散在各业务系统中，短期无法实现集中整合汇聚，数据采集汇聚过程中，通常会面对大量异构数据源，包括存储在关系型数据库、HDFS、FTP、国产数据库、云原生数据库、消息队列Kafka等数据以及通过API提供的数据。
[0003]为实现数据整合汇聚，现有技术通过大量的脚本去适配这些异构数据源达到数据的集成使用，针对每个异构数据源都配置一个或多个对应的脚本，从而通过脚本来实现多个异构数据源的汇聚，这就导致在脚本开发上需要花费大量的工作量，数据采集效率低下。
技术实现思路
...
【技术保护点】
【技术特征摘要】
1.一种基于离线同步工具的数据采集方法，其特征在于，包括：平台通过离线同步工具确定待采集数据的源数据库，并建立与所述源数据库的数据传输通道，所述离线同步工具集成在所述平台内部，所述平台还集成有任务调度器；所述平台根据所述源数据库的类型获取任务调度模板；所述平台根据所述任务调度模板及所述源数据库构建采集任务；所述平台通过所述离线同步工具及所述任务调度器执行所述采集任务；所述平台根据所述采集任务在所述数据传输通道上将所述待采集数据采集到目标数据库中。2.根据权利要求1所述的数据采集方法，其特征在于，所述平台根据所述任务调度模板及所述源数据库构建采集任务包括：所述平台根据所述目标数据库获取数据转化规则；所述平台根据所述任务调度模板、所述源数据库及所述数据转化规则构建采集任务。3.根据权利要求1或2所述的数据采集方法，其特征在于，在所述平台通过所述离线同步工具及所述任务调度器执行所述采集任务之前，在所述建立与所述源数据库的数据传输通道之后，所述数据采集方法还包括：所述平台根据所述源数据库设置格式转化规则，所述格式转化规则用于将所述采集数据的数据格式转化为所述离线同步工具所支持的格式；所述平台根据所述采集任务在所述数据传输通道上将所述待采集数据采集到目标数据库中包括：所述平台根据所述采集任务及所述格式转化规则在所述数据传输通道上将所述待采集数据采集到目标数据库中。4.根据权利要求1或2所述的数据采集方法，其特征在于，所述平台根据所述采集任务在所述数据传输通道上将所述待采集数据采集到目标数据库中包括：所述平台在所述数据传输通道上对所述待采集数据进行数据监控及数据检验，并形成日志记录。5.根据权利要求1或2所述的数据采集方法，其特征在于，所述平台根据所述采集任务在所述数据传输通道...
【专利技术属性】
技术研发人员：周维，汪榕，龚昱鸣，袁公萍，李宁，
申请(专利权)人：中电科大数据研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。