可视化数据同步方法、系统、终端和计算机可读存储介质技术方案

本发明专利技术实施例公开了一种可视化数据同步方法、系统、终端和计算机可读存储介质，该方法包括：根据用户在可视化任务配置界面中配置的配置数据生成对应的数据同步任务并发送给执行器，所述配置数据包括源端信息、目标端信息和数据同步条件，所述数据同步条件包括设定的任务同步类型；若为非实时同步，执行器根据所述源端信息确定及连接源数据库，并按照所述数据同步条件将所述源数据库中的数据发送至由目标端信息确定的目标数据表中以完成所述数据同步任务。本发明专利技术的技术方案通过友好地可视化界面配置，相比原有的需要在后台写入冗长的sqoop脚本操作，该方法变得更加简洁、快速，可大大提升开发人员的效率等。

Visual data synchronization method, system, terminal and computer readable storage medium

【技术实现步骤摘要】
可视化数据同步方法、系统、终端和计算机可读存储介质
本专利技术涉及大数据处理
，尤其涉及一种可视化数据同步方法、系统、终端和计算机可读存储介质。
技术介绍
在传统库中最常用的数据处理工具ETL(ExtractionTransformationLoading)能够对数据进行抽取、转换和加载，但其只能服务于传统的关系型库，而无法满足该传统型库和Hadoop平台直接的数据导入导出需求。为此，现有的方式通过采用sqoop脚本将数据从传统型库导入到Hadoop平台，虽然可以解决上述问题，但采用sqoop脚本同样存在一些问题，例如，脚本命令冗长繁琐且容易出错，命令的执行没有统一规范。此外，历次执行结果也没有办法统计，做不到对数据的实时同步，也没有可视化的交互页面等。
技术实现思路
有鉴于此，本专利技术实施例提出一种可视化数据同步方法、系统、终端和计算机可读存储介质。本专利技术的一实施例提出一种可视化数据同步方法，包括：根据用户在可视化任务配置界面中配置的配置数据生成对应的数据同步任务并发送给执行器，所述配置数据包括本文档来自技高网...

【技术保护点】
1.一种可视化数据同步方法，其特征在于，包括：/n根据用户在可视化任务配置界面中配置的配置数据生成对应的数据同步任务并发送给执行器，所述配置数据包括源端信息、目标端信息和数据同步条件，所述数据同步条件包括设定的任务同步类型；/n若所述任务同步类型为非实时同步，所述执行器根据所述源端信息确定及连接源数据库，并按照所述数据同步条件将所述源数据库中的数据发送至由所述目标端信息确定的目标数据表中，以完成所述数据同步任务。/n

【技术特征摘要】
1.一种可视化数据同步方法，其特征在于，包括：
根据用户在可视化任务配置界面中配置的配置数据生成对应的数据同步任务并发送给执行器，所述配置数据包括源端信息、目标端信息和数据同步条件，所述数据同步条件包括设定的任务同步类型；
若所述任务同步类型为非实时同步，所述执行器根据所述源端信息确定及连接源数据库，并按照所述数据同步条件将所述源数据库中的数据发送至由所述目标端信息确定的目标数据表中，以完成所述数据同步任务。


2.根据权利要求1所述的可视化数据同步方法，其特征在于，还包括：
若所述任务同步类型为实时同步，所述数据同步条件还包括指定的分发器，每一分发器预先关联对应的消息处理器；
在所述执行器初次执行完所述数据同步任务后，对所述源数据库中的数据变化进行实时消息监听；
每当监听到有数据变化的消息时，通知所述指定的分发器将包含更新数据的消息分发给对应的消息处理器，以使所述消息处理器将所述更新数据更新至所述目标数据表中。


3.根据权利要求2所述的可视化数据同步方法，其特征在于，还包括：
在所述消息处理器将所述更新数据更新至所述目标数据表中时，监控所述更新的结果是否为预设异常状态；
若监控到预设异常状态，则触发对所述更新数据的逐条补处理操作。


4.根据权利要求1至3中任一项所述的可视化数据同步方法，其特征在于，所述数据同步条件还包括设定的并发任务数和拆分字段，若所述并发任务数大于1，所述方法还包括：
根据所述拆分字段生成所述并发任务数数量的数据同步任务并分别发送给对应数量的执行器以进行任务并发执行。


5.根据权利要求1至3中任一项所述的可视化数据同步方法，其特征在于，所述数据同步条件还包括设定的分区字段和分区策略，所述方法还包括：
根据所述分区字段和所述分区策略对目标数据表进行划分，得...

【专利技术属性】
技术研发人员：宋丽娟，冷英英，樊士卜，王宇航，
申请(专利权)人：阳光人寿保险股份有限公司，
类型：发明
国别省市：海南;46