业务数据同步方法及装置、非易失性存储介质、处理器制造方法及图纸

技术编号:27410366 阅读:24 留言:0更新日期:2021-02-21 14:25
本发明专利技术公开了一种业务数据同步方法及装置、非易失性存储介质、处理器。其中,该方法包括:在监听到源数据库中的业务数据更新时,将获取到的待推送数据转存至目标消息队列;当同步转化服务程序监听上述目标消息队列中的上述待推送数据时,依据上述推送数据的数据表类型对上述待推送数据进行转化处理,得到转化后待推送数据,其中,所述转化后待推送数据的数据结构与目标第三方平台的数据结构对应;采用推送服务程序将上述转化后待推送数据推送至上述目标第三方平台。本发明专利技术解决了现有技术中的业务数据同步方法,无法同时兼顾对源数据库的监听和对变化数据的同步处理的技术问题。的监听和对变化数据的同步处理的技术问题。的监听和对变化数据的同步处理的技术问题。

【技术实现步骤摘要】
业务数据同步方法及装置、非易失性存储介质、处理器


[0001]本专利技术涉及数据处理领域,具体而言,涉及一种业务数据同步方法及装置、非易失性存储介质、处理器。

技术介绍

[0002]在第三方服务快速发展的背景下,越来越多的情况需要引进第三方厂商提供的服务或为其他厂商提供服务。通常情况下,双方数据的数据结构可能存在较大差异,在数据迁移时会造成大量人力物力的投入,使成本的提高。
[0003]现有技术中的一种数据转化方法及系统中,采用了利用读取工具从源数据库中读取数据的方式获取待转化数据,但是,当源数据库数据更新时,无法同时兼顾对源数据库的监听和对变化数据的转化同步处理。
[0004]针对上述的问题,目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种业务数据同步方法及装置、非易失性存储介质、处理器,以至少解决现有技术中的业务数据同步方法,无法同时兼顾对源数据库的监听和对变化数据的同步处理的技术问题。
[0006]根据本专利技术实施例的一个方面,提供了一种业务数据同步方法,包括:在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务数据同步方法,其特征在于,包括:在监听到源数据库中的业务数据更新时,将获取到的待推送数据转存至目标消息队列;当同步转化服务程序监听所述目标消息队列中的所述待推送数据时,依据所述推送数据的数据表类型对所述待推送数据进行转化处理,得到转化后待推送数据,其中,所述转化后待推送数据的数据结构与目标第三方平台的数据结构对应;采用推送服务程序将所述转化后待推送数据推送至所述目标第三方平台。2.根据权利要求1所述的方法,其特征在于,采用监听组件监听所述源数据库中的源数据日志文件,确定所述业务数据是否发生更新,其中,所述监听组件包括:数据库同步监听Canal组件。3.根据权利要求1所述的方法,其特征在于,将获取到的待推送数据转存至目标消息队列,包括:获取所述源数据库中的更新后业务数据,以及与所述更新后业务数据对应的更新前业务数据;将所述更新前业务数据和所述更新后业务数据转化为所述待推送数据,其中,所述待推送数据的数据结构为目标消息体结构。4.根据权利要求1所述的方法,其特征在于,依据所述推送数据的数据表类型对所述待推送数据进行转化处理,包括:获取所述待推送数据中携带的数据标识信息;基于所述数据标识信息确定所述数据表类型;依据所述数据表类型判断所述待推送数据是否适用本地定制服务,其中,所述本地定制服务基于目标事件监听机制处理待推送数据,并将待推送数据封装成目标事件进行广播;若判断结果为是,则确定与所述数据表类型对应的监听类型,其中,不同的所述监听类型对应不同的事件监听器,所述事件监听器用于在接收到广播后对所述待推送数据进行转化处理。5.根据...

【专利技术属性】
技术研发人员:刘亦轩
申请(专利权)人:中消云北京物联网科技研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1