【技术实现步骤摘要】
数据同步方法、装置、设备及计算机可读存储介质
本专利技术涉及大数据
，尤其涉及一种数据同步方法、装置、设备及计算机可读存储介质。
技术介绍
目前，随着移动互联网的发展和便利，越来越多的企业都在使用数据化运营，因此源数据源被不断扩充，可以包括ORACLE,MYSQL等结构化数据库，MONGODB,POSTGRED，HIVE等半结构化数据库，如何高效地从数据源的每个数据库库中获取到源数据，又可以将源数据同步到指定的目标数据源显得尤为重要，然而，目前只能通过执行单一脚本来实现数据同步，在大数据场景下，则需要通过人工的方式构建大批量的脚本来实现数据同步，耗时耗力，因此会造成数据同步效率的低下。因此，如何提高数据同步的效率是目前亟待解决的技术问题。
技术实现思路
本专利技术的主要目的在于提供一种数据同步方法、装置、设备及计算机可读存储介质，旨在解决数据同步效率较低的技术问题。为实现上述目的，本专利技术提供一种数据同步方法，所述数据同步方法包括以下步骤：获取数据同步请求，其中，所述数据同步请求包...
【技术保护点】
1.一种数据同步方法，其特征在于，所述数据同步方法包括以下步骤：/n获取数据同步请求，其中，所述数据同步请求包括源数据源中待同步的源数据信息、源数据源的参数信息、目标数据源的参数信息、实现所述源数据源与所述目标数据源之间的数据同步的业务逻辑信息；/n解析所述数据同步请求，得到解析结果；/n基于所述解析结果以及预置的通用脚本模板，生成数据同步脚本，所述通用脚本模板为通过提取实现不同数据源之间的数据同步的脚本代码中的公共参数构建得到；/n基于所述数据同步脚本，将所述源数据源上的源数据同步到所述目标数据源。/n
【技术特征摘要】
1.一种数据同步方法，其特征在于，所述数据同步方法包括以下步骤：
获取数据同步请求，其中，所述数据同步请求包括源数据源中待同步的源数据信息、源数据源的参数信息、目标数据源的参数信息、实现所述源数据源与所述目标数据源之间的数据同步的业务逻辑信息；
解析所述数据同步请求，得到解析结果；
基于所述解析结果以及预置的通用脚本模板，生成数据同步脚本，所述通用脚本模板为通过提取实现不同数据源之间的数据同步的脚本代码中的公共参数构建得到；
基于所述数据同步脚本，将所述源数据源上的源数据同步到所述目标数据源。
2.如权利要求1所述的数据同步方法，其特征在于，在所述基于所述数据同步脚本，将所述源数据源上的源数据同步到所述目标数据源的步骤之前，还包括以下步骤：
将所述数据同步脚本发送至预设的安全存储设备进行存储和备份；
读取所述数据同步脚本在所述安全存储设备中的存储路径，生成执行路径；
所述基于所述数据同步脚本将所述源数据源上的源数据同步到所述目标数据源的步骤包括：
根据所述执行路径，通过镜像映射运行的原理执行存储于所述安全存储中的所述数据同步脚本，将所述源数据源上的源数据同步到所述目标数据源。
3.如权利要求2所述的数据同步方法，其特征在于，若所述预设的安全存储设备为分布式文件系统时，所述将所述数据同步脚本发送至预设的安全存储设备进行存储和备份包括以下步骤：
将所述数据同步脚本发送至所述分布式文件系统，所述分布式文件系统包括一个主节点和多个从节点，所述主节点用于存储所述数据同步脚本的元数据，所述从节点用于存储数据同步脚本；
基于所述元数据，通过所述从节点对所述数据同步脚本进行存储和备份。
4.如权利要求1所述的数据同步方法，其特征在于，所述基于所述解析结果以及预置的通用脚本模板，生成数据同步脚本，所述通用脚本模板为通过提取实现不同数据源之间的数据同步的脚本代码中的公共参数构建得到,包括以下步骤：
基于所述解析结果，获取待生成的数据同步脚本的版本信息；
基于所述版本信息，从预置函数数据库选出函数，调用所述函数生成预置的通用脚本模板；
基于所述解析结果以及预置的通用脚本模板，生成数据同步脚本，所述通用脚本模板为通过提取实现不同数据源之间的数据同步的脚本代码中的公共参数构建得到。
5.如权利要求2所述的数据同步方法，其特征在于，所述根据所述执行路径，通过镜像映射运行的原理执行存储于所述安全存储中的数据同步脚本，将所述源数据源上的源数...
【专利技术属性】
技术研发人员：赵素群，李钊，万书武，李均，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。