一种基于消息队列的多平台大数据同步方法、设备及介质技术

本申请公开了一种基于消息队列的数据同步方法、装置、设备及介质，方法包括：确定预先连接多个数据中枢平台，数据中枢平台中至少包括一个数据库；接收来自源数据中枢平台的共享数据操作请求，基于共享数据操作请求，生成消息队列；根据消息队列，确定多个数据中枢平台中的目标数据中枢平台；将消息队列发送至目标数据中枢平台，以使目标数据中枢平台根据消息队列，处理数据库中的数据。通过消息队列在各平台之间完成消息的传递，有利于数据进行即时性处理。通过接收到的数据，各平台根据业务不同，处理不同的数据类型，并可实现数据的增删改查，实现各平台共享数据的同步机制。实现各平台共享数据的同步机制。实现各平台共享数据的同步机制。

【技术实现步骤摘要】
一种基于消息队列的多平台大数据同步方法、设备及介质


[0001]本申请涉及数据处理领域，具体涉及一种基于消息队列的多平台数据同步方法、设备及介质。

技术介绍

[0002]实时性数据的增加，修改，删除等利用各种关系型数据库存储结构化数据，仍然是当前各类信息系统普遍采用的数据存储方式。随着信息化的飞速发展，对数据库数据的处理需求越来越多样性，对数据处理的要求也越来越高。比如需要进行数据的汇聚、数据的分发、数据的共享交换、数据的灾备等。无论是哪种需求，都面临着如何从数据库中采集数据的问题。
[0003]当前数据库的数据采集面临着诸多难题：数据异构严重、对数据库干扰严重、数据量巨大、数据采集的实时性不高、数据的一致性无法保证、跨网络边界交互、成本过高等。传统的数据采集方式大多采用创建触发器、临时表等数据库对象的机制实现增量数据的捕获。或者直接通过拷贝磁盘、拷贝流量等方式实现增量数据捕获。这些方式大多只能解决以上难题的其中一部分，却很难完整解决所有难题。

技术实现思路

[0004]为了解决上述问题，本申请提出了一种基于消息队列的多平台数据同步方法、设备及介质，其中方法包括：
[0005]确定预先连接多个数据中枢平台，所述数据中枢平台中至少包括一个数据库；接收来自源数据中枢平台的共享数据操作请求，基于所述共享数据操作请求，生成消息队列；根据所述消息队列，确定所述多个数据中枢平台中的目标数据中枢平台；将所述消息队列发送至所述目标数据中枢平台，以使所述目标数据中枢平台根据所述消息队列，处理所述数据库中的数据。
[0006]在一个示例中，所述基于所述共享数据操作请求，生成消息队列，具体包括：根据所述共享数据操作请求，确定原共享数据内容、共享数据变更内容以及目标数据库名称；根据所述原共享数据内容、所述共享数据变更内容以及所述目标数据库名称，生成所述共享数据操作请求对应的RabbitMQ消息队列。
[0007]在一个示例中，将所述消息队列发送至所述目标数据中枢平台，以使所述目标数据中枢平台根据所述消息队列，处理所述数据库中的数据之后，所述方法还包括：接收来自于所述目标数据中枢平台的错误处理提示或成功处理提示，并将所述错误处理提示以及所述成功处理提示发送至所述源数据中枢平台；所述错误处理提示至少包括错误原因，所述错误原因包括未找到目标数据库、目标数据库中未存在目标数据、权限不足中的至少一种。
[0008]在一个示例中，所述将所述错误处理提示发送至所述源数据中枢平台，具体包括：通过消息队列将所述错误处理提示发送至所述源数据中枢平台；或通过邮件及短信的方式将所述错误处理提示发送至所述源数据中枢平台的管理人员。
[0009]在一个示例中，所述将所述错误处理提示以及所述成功处理提示发送至所述源数据中枢平台，具体包括：确定所述消息队列中的消息数量；若所述消息数量高于预设阈值，则停止以消息队列的方式将所述成功处理提示发送至所述源数据中枢平台。
[0010]在一个示例中，所述方法还包括：确定目标消息队列的紧急等级，所述紧急等级由所述共享数据操作请求决定；若所述紧急等级高于预设阈值，则根据所述紧急等级优先发送所述目标消息队列。
[0011]在一个示例中，所述目标数据中枢平台根据所述消息队列，处理所述数据库中的数据，具体包括：确定所述目标数据中枢平台的指令处理模式，所述指令处理模式包括延时处理模式、冷处理模式以及立即处理模式中的至少一种；根据所述指令处理模式，以及所述消息队列，处理所述数据库中的数据。
[0012]本申请还提供了一种基于消息队列的数据同步装置，包括：
[0013]平台模块，确定预先连接多个数据中枢平台，所述数据中枢平台中至少包括一个数据库；队列模块，接收来自源数据中枢平台的共享数据操作请求，基于所述共享数据操作请求，生成消息队列；目标模块，根据所述消息队列，确定所述多个数据中枢平台中的目标数据中枢平台；分发模块，将所述消息队列发送至所述目标数据中枢平台，以使所述目标数据中枢平台根据所述消息队列，处理所述数据库中的数据。
[0014]本申请还提供了一种基于消息队列的数据同步设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：确定预先连接多个数据中枢平台，所述数据中枢平台中至少包括一个数据库；接收来自源数据中枢平台的共享数据操作请求，基于所述共享数据操作请求，生成消息队列；根据所述消息队列，确定所述多个数据中枢平台中的目标数据中枢平台；将所述消息队列发送至所述目标数据中枢平台，以使所述目标数据中枢平台根据所述消息队列，处理所述数据库中的数据。
[0015]本申请还提供了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：确定预先连接多个数据中枢平台，所述数据中枢平台中至少包括一个数据库；接收来自源数据中枢平台的共享数据操作请求，基于所述共享数据操作请求，生成消息队列；根据所述消息队列，确定所述多个数据中枢平台中的目标数据中枢平台；将所述消息队列发送至所述目标数据中枢平台，以使所述目标数据中枢平台根据所述消息队列，处理所述数据库中的数据。
[0016]通过本申请提出的方法能够带来如下有益效果：通过消息队列在各平台之间完成消息的传递，有利于数据进行即时性处理。通过接收到的数据，各平台根据业务不同，处理不同的数据类型，并可实现数据的增删改查，实现各平台共享数据的同步机制。
附图说明
[0017]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0018]图1为本申请实施例中一种基于消息队列的数据同步方法的流程示意图；
[0019]图2为本申请实施例中一种基于消息队列的数据同步装置的结构示意图；
[0020]图3为本申请实施例中一种基于消息队列的数据同步设备的结构示意图。
具体实施方式
[0021]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0022]以下结合附图，详细说明本申请各实施例提供的技术方案。
[0023]图1为本说明书一个或多个实施例提供的一种基于消息队列的数据同步方法的流程示意图。该方法可以应用于不同的业务数据同步，比如，互联网金融业务数据同步、电商业务数据同步、即时通讯业务数据同步、游戏业务数据同步、公务业务数据同步等。该流程可以由相应领域的计算设备(比如，支付业务对应的风控服务器或者智能移动终端等)执行，流程中的某些输入参数或者中间结果允许人工干预调节，以帮助提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于消息队列的数据同步方法，其特征在于，包括：确定预先连接多个数据中枢平台，所述数据中枢平台中至少包括一个数据库；接收来自源数据中枢平台的共享数据操作请求，基于所述共享数据操作请求，生成消息队列；根据所述消息队列，确定所述多个数据中枢平台中的目标数据中枢平台；将所述消息队列发送至所述目标数据中枢平台，以使所述目标数据中枢平台根据所述消息队列，处理所述数据库中的数据。2.根据权利要求1所述的方法，其特征在于，所述基于所述共享数据操作请求，生成消息队列，具体包括：根据所述共享数据操作请求，确定原共享数据内容、共享数据变更内容以及目标数据库名称；根据所述原共享数据内容、所述共享数据变更内容以及所述目标数据库名称，生成所述共享数据操作请求对应的RabbitMQ消息队列。3.根据权利要求1所述的方法，其特征在于，将所述消息队列发送至所述目标数据中枢平台，以使所述目标数据中枢平台根据所述消息队列，处理所述数据库中的数据之后，所述方法还包括：接收来自于所述目标数据中枢平台的错误处理提示或成功处理提示，并将所述错误处理提示以及所述成功处理提示发送至所述源数据中枢平台；所述错误处理提示至少包括错误原因，所述错误原因包括未找到目标数据库、目标数据库中未存在目标数据、权限不足中的至少一种。4.根据权利要求3所述的方法，其特征在于，所述将所述错误处理提示发送至所述源数据中枢平台，具体包括：通过消息队列将所述错误处理提示发送至所述源数据中枢平台；或通过邮件及短信的方式将所述错误处理提示发送至所述源数据中枢平台的管理人员。5.根据权利要求3所述的方法，其特征在于，所述将所述错误处理提示以及所述成功处理提示发送至所述源数据中枢平台，具体包括：确定所述消息队列中的消息数量；若所述消息数量高于预设阈值，则停止以消息队列的方式将所述成功处理提示发送至所述源数据中枢平台。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定目标消息队列的紧急等级，所述紧急等级由所述共享数据操作请求决定；若所述紧急等级高于预设阈值，则根据所述紧急等级...

【专利技术属性】
技术研发人员：张雪，赵海兴，罗超，董晨晨，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：