基于消息路由方式的数据同步方法和系统技术方案

本发明专利技术公开了一种基于消息路由方式的数据同步方法和系统，其中，所述方法包括：将目标数据经过数据路由系统从数据源系统转发到与远程目标系统对应的消息队列中；所述消息队列将所述目标数据推送到对应的远程目标系统；和所述远程目标系统接收所述消息队列推送的所述目标数据，并写入本地数据库中。所述系统包括消息中间件集群、数据路由系统和目标系统。本发明专利技术利用消息中间件自身所具有的消息消费失败重试功能，可以在网络波动后继续从中断点传输运单数据，保证数据不丢失，降低系统部署成本。

【技术实现步骤摘要】
基于消息路由方式的数据同步方法和系统
本专利技术涉及数据处理
，具体地说，涉及一种基于消息路由方式的数据同步方法和系统。
技术介绍
在电商配送订单包裹过程中，需要由中心交易平台将此订单的运单信息下发到包裹经过的分拣中心。这样每个分拣中心才能知道包裹的去向，从而快速分拣。因而，分拣中心的系统及时、快速地获得运单数据成为了准确分拣包裹的关键。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的不足，提供一种基于消息路由方式的数据同步方法和系统，用于解决现有技术中不同系统间的数据同步成本高、可靠性差的问题。为了解决上述技术问题，根据本专利技术的一个方面，本专利技术提供了一种基于消息路由方式的数据同步方法，其中，包括如下步骤：将目标数据经过数据路由系统从数据源系统转发到与远程目标系统对应的消息队列中；所述消息队列将所述目标数据推送到对应的远程目标系统；和所述远程目标系统接收所述消息队列推送的所述目标数据，并写入本地数据库中。优选地，将目标数据经过数据路由系统从数据源系统转发到与远程目标系统对应的消息队列中之前还包括：在消息中间件中建立与目标系统匹配的消息队列，并为每个消息队列设置数据接口。优选地，将目标数据经过数据路由系统从数据源系统转发到与远程目标系统对应的消息队列中，具体包括：将目标数据写入与远程目标系统对应的消息队列中；和根据目标系统和对应的消息队列，配置与其对应的数据接口。优选地，所述消息队列将所述目标数据推送到对应的远程目标系统，具体包括：检测所述消息队列中是否有目标数据，如果有需要推送的目标数据，通过所述消息队列的数据接口向对应的目标系统输出所述的目标数据。优选地，所述目标数据包括运单数据，或所述远程目标系统包括远程分拣中心。优选地，所述运单数据包括运单号和至少一个目标系统的数据。为了解决上述技术问题，根据本专利技术的另一个方面，本专利技术提供了一种基于消息路由方式的数据同步系统，其中，包括：消息中间件集群，用于为不同的目标系统建立相应的消息队列，并将队列中的目标数据推送到相应的目标系统；数据路由系统，与所述消息中间件集群相连接，用于将需要同步到目标系统的目标数据从数据源系统转发到所述消息中间件集群中对应的消息队列中；和目标系统，用于接收所述消息中间件集群推送的、与其对应的消息队列中的目标数据，并将所述目标数据写入相应的数据库。优选地，所述消息中间件集群包括：多个消息队列，分别与对应的目标系统连接，用于存放从数据源系统转发的目标数据；消息中间件接口，与所述数据路由系统相连接，用于将数据路由系统转发来的目标数据写入相应的消息队列；和多个消息队列数据接口，分别与对应的消息队列相连接，用于从对应的消息队列中取出目标数据，并推送给相应的目标系统。优选地，所述目标系统至少为一个，且包括：数据库，用于存储从数据源系统下发的目标数据；和数据接口，与所述数据库相连接，用于接收所述消息中间件集群推送的目标数据，并将其写入到所述数据库中。优选地，基于消息路由方式的数据同步系统还包括：数据源系统，用于产生需要同步到目标系统的目标数据，并将所述目标数据发送给数据路由系统。本专利技术通过消息中间件自身所具有的消息消费失败重试功能，可以在网络波动后继续从中断点传输运单数据，保证数据不丢失。即使出现数据库物理机损坏的情况下，也能在新机数据库启动后从断点续传数据，提高了数据同步的可靠性。通过消息中间件集群上的多个区域的消息队列代替进行数据库复制的机器，有效降低系统部署成本。附图说明通过参照以下附图对本专利技术实施例的描述，本专利技术的上述以及其它目的、特征和优点将更为清楚，在附图中：图1为现有技术中数据同步的原理结构示意图；图2为本专利技术所述基于消息路由方式的数据同步系统的原理结构示意图；图3为本专利技术所述基于消息路由方式的数据同步方法的流程图；图4为本专利技术所述基于消息路由方式的数据同步系统一实施例的原理结构示意图；图5为本专利技术所述基于消息路由方式的数据同步方法的实施例的流程图；和图6为本专利技术一实施例中的数据同步的原理结构示意图。具体实施方式以下基于实施例对本专利技术进行描述，但是本专利技术并不仅仅限于这些实施例。在下文对本专利技术的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本专利技术。为了避免混淆本专利技术的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。附图中的流程图、框图图示了本专利技术实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码，所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对专利技术本身的限制。如图2所示，本专利技术所述基于消息路由方式的数据同步系统的原理结构示意图；所述系统包括数据路由系统1、消息中间件集群2和目标系统3。其中，所述消息中间件集群2用于为不同的目标系统3建立相应的消息队列，并将队列中的目标数据推送到相应的目标系统3；所述数据路由系统1与所述消息中间件集群2相连接，用于将需要同步到目标系统3的目标数据从数据源系统转发到所述消息中间件集群2中对应的消息队列中；所述目标系统3用于接收所述消息中间件集群推送的的目标数据，并将所述目标数据写入相应的数据库。其中，基于图2所示系统的数据同步方法的流程图如图3所示。步骤S1，数据路由系统将目标数据经过数据路由系统从数据源系统转发到与远程目标系统对应的消息队列中；步骤S2，所述消息队列将所述目标数据推送到对应的远程目标系统；和步骤S3，所述远程目标系统接收所述消息队列推送的所述目标数据，并写入本地数据库中。本专利技术引入消息中间件，利用消息中间件自身所具有的消息消费失败重试功能，可以在网络波动后继续从中断点传输数据，保证数据不丢失。即使出现数据库物理损坏的情况下，也能在新数据库启动后从断点续传数据。降低数据库恢复成本、及对支持人员的技术要求。并且，消息中间件集群上的多个区域的消息队列代替了进行数据库复制的机器，通过软件的方式替代了高性能物理机，从而有效降低系统部署成本。在通常使用数据库复制技术的情况时，数据源系统需要将数据写入多个区域主库中，主库需要有备机，如果是10个区域就需要有20台高性能服务器。对于消息队列集群来说只需要10台服务器就够了，物理机器减少一半，减少了成本。以下通过具体实施例对本专利技术上述的技术方案进行详细说明。如图4所示，本专利技术所述基于消息路由方式的数据同步系统一实施例的原理结构示意图，图5为本专利技术所述基于消息路由方式的数据同步方法的实施例的流程图。结合图4和图5，本实施例中的数据同步系统的具体结构如下：所述消息中间件集群2包括消息中间件接口21、多个消息队列22和多个与其相匹配的消息队列数据接口23。其中，消息中间件接口21与所述数据路由系统1相连接，用于将数据路由系统1转发来的目标数据写入相应的消息队列；每一个消息队列对应一个目标系统，用于存放从数据源系统转发的目标数据；每一个消息队列连接一个数据接口23，通过数据接口23从对应的消息队列中取出目标数据，并推送本文档来自技高网...

【技术保护点】
一种基于消息路由方式的数据同步方法，其中，包括如下步骤：将目标数据经过数据路由系统从数据源系统转发到与远程目标系统对应的消息队列中；所述消息队列将所述目标数据推送到对应的远程目标系统；和所述远程目标系统接收所述消息队列推送的所述目标数据，并写入本地数据库中。

【技术特征摘要】
1.一种基于消息路由方式的数据同步方法，其中，包括如下步骤：将目标数据经过数据路由系统从数据源系统转发到与远程目标系统对应的消息队列中；所述消息队列将所述目标数据推送到对应的远程目标系统；和所述远程目标系统接收所述消息队列推送的所述目标数据，并写入本地数据库中。2.如权利要求1所述的基于消息路由方式的数据同步方法，其中，将目标数据经过数据路由系统从数据源系统转发到与远程目标系统对应的消息队列中之前还包括：在消息中间件中建立与目标系统匹配的消息队列，并为每个消息队列设置数据接口。3.如权利要求2所述的基于消息路由方式的数据同步方法，其中，将目标数据经过数据路由系统从数据源系统转发到与远程目标系统对应的消息队列中，具体包括：将目标数据写入与远程目标系统对应的消息队列中；和根据目标系统和对应的消息队列，配置与其对应的数据接口。4.如权利要求3所述的基于消息路由方式的数据同步方法，其中，所述消息队列将所述目标数据推送到对应的远程目标系统，具体包括：检测所述消息队列中是否有目标数据，如果有需要推送的目标数据，通过所述消息队列的数据接口向对应的目标系统输出所述的目标数据。5.如权利要求1所述的基于消息路由方式的数据同步方法，其中，所述目标数据包括运单数据，或所述远程目标系统包括远程分拣中心。6.如权利要求5所述的基于消息路由方式的数据同步方法，其中，所述运单数据包括运单号和至...

【专利技术属性】
技术研发人员：黄亮，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11