数据处理方法及装置制造方法及图纸

本申请公开了一种数据处理方法及装置，涉及通信领域；该方法包括：接收来自消息队列服务器的元数据信息，该元数据信息为应用服务器执行业务时新增的第一增量数据对应的数据标识；在元数据信息存在于预设数据转换配置信息中的情况下，从源数据库的服务器获取元数据信息对应的第一增量数据；根据预设数据转换配置信息，将第一增量数据转换为适用于至少一类目标数据库的服务器的第二增量数据，源数据库与目标数据库为异构数据库；向至少一类目标数据库的服务器发送与目标数据库的服务器对应的第二增量数据，能够保障不同种类的数据库之间的数据迁移成功。的数据迁移成功。的数据迁移成功。

【技术实现步骤摘要】
数据处理方法及装置


[0001]本申请涉及通信领域，尤其涉及数据处理方法及装置。

技术介绍

[0002]随着数据库的不断发展，很多企业提供了云服务。云服务指将各类数据库（例如，关系型数据库、非关系型数据库、NewSQL数据库）等基础设施设置在云服务器上进行服务，允许用户以个人或组织形式申请使用这些数据库。相比于用户自己搭建更快捷、安全稳定性更高，且可以随业务规模按需申请，不同用户之间可以共享使用数据库，进而节约了成本。
[0003]在将数据库设置在云服务器上时，数据库中数据的迁移就是其中的重中之重。目前的数据库引擎提供的将数据从源数据库导出再导入到目标数据库的方案中，受限于数据库的种类差异等，容易导致迁移失败。

技术实现思路

[0004]本申请提供一种数据处理方法及装置，能够保障不同种类的数据库之间的数据迁移成功。
[0005]为达到上述目的，本申请采用如下技术方案：第一方面，提供了一种数据处理方法，该方法应用于第一设备，包括：接收来自消息队列服务器的元数据信息，该元数据信息为应用服务器执行业务时新增的第一增量数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于第一设备，包括：接收来自消息队列服务器的元数据信息；所述元数据信息为应用服务器执行业务时新增的第一增量数据对应的数据标识；在所述元数据信息存在于预设数据转换配置信息中的情况下，从源数据库的服务器获取所述元数据信息对应的所述第一增量数据；所述预设数据转换配置信息用于所述源数据库的服务器与至少一类目标数据库的服务器之间的数据转换；根据所述预设数据转换配置信息，将所述第一增量数据转换为适用于所述至少一类目标数据库的服务器的第二增量数据，所述源数据库与所述目标数据库为异构数据库；向所述至少一类目标数据库的服务器发送与所述目标数据库的服务器对应的所述第二增量数据。2.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：向第二设备发送第一请求，所述第一请求用于请求所述预设数据转换配置信息；接收来自第二设备的所述预设数据转换配置信息。3.根据权利要求2所述的数据处理方法，其特征在于，所述方法还包括：从本地缓存中调用所述预设数据转换配置信息。4.根据权利要求1所述的数据处理方法，其特征在于，在接收来自消息队列服务器的元数据信息之前，所述方法还包括：从源数据库的服务器获取源数据库的服务器存储的第一存量数据；根据所述预设数据转换配置信息，将所述第一存量数据转换为适用于所述至少一类目标数据库的服务器的第二存量数据；向所述至少一类目标数据库的服务器发送与所述目标数据库的服务器对应的所述第二存量数据。5.根据权利要求1
‑
4任一项所述的数据处理方法，其特征在于，所述预设数据转换配置信息包括所述源数据库中的数据对应的第一字段与所述目标数据库中的数据对应的第二字段的转换关系；所述第一字段与第二字段表征的信息含义相同，且字段结构不同；所述根据所述预设数据转换配置信息，将所述第一增量数据转换为适用于所述至少一类目标数据库的服务器的第二增量数据，包括：根据所述预设数据转换配置信息中的所述转换关系，将所述第一增量数据中的第一字段转换为第二字段，得到适用于所述至少一类目标数据库的服务器的第二增量数据。6.根据权利要求3所述的数据处理方法，其特征在于，所述第二设备包括一个第二设备或多个第二设备，一个所述第二设备对应一个所述目标数据库；或者，一个所述第二设备对应多个所述目标数据库。7.一种数据处理方法，其特征在于，所述方法应用于应用服务器，包括：在业务执行过程中生成第一增量数据的情况下，向源数据库的服务器发送所述第一增量数据、以及向消息队列服务器发送所述第一增量数据对应的元数据信息；其中，所述元数据信息用于：在所述元数据信息存在于预设数据转换配置信息中的情况下，第一设备从所述消息队列服务器获取到所述元数据信息后，根据所述预设数据转换配置信息，将所述第一增量数据转换为适用于至少一类目标数据库的服务器的第二增量数据，以及向所述至少一类目标
数据库的服务器发送与所述目标数据库的服务器对应的所述第二增量数据。8.根据权利要求7所述的数据处理方法，其特征在于，所述方法还包括：在所述源数据库的服务器故障的情况下，向任意一个所述目标数据库的服务器发送数据获取请求；所述数据获取请求用于请求所述第二增量数据；接收来自于所述目标数据库的服务器的所述第二增量数据。9.一种数据处理方法，其特征在于，所述方法应用于消息队列服务器，包括：接收来自应用服务器的元数据信息；所述元数据信息为应用服务器执行业务时新增的第一增量数据对应的数据标识；向第一设备发送所述元数据信息；其中，所述元数据信息用于：在所述元数据信息存在于预设数据转换配置信息中的情况下，所述第一设备根据所述预设数据转换配置信息，将所述第一增量数据转换为适用于至少一类目标数据库的服务器的第二增量数据，以及向所述至少一类目标数据库的服务器发送与所述目标数据库的服务器对应的所述第二增量数据。10.根据权利要求9所述的数据处理方法，其特征在于，所述第一设备包括一个第一设备或多个第一设备，一个所述第一设备对应一个所述目标数据库；或者，一个所述第一设备对应多个所述目标数据库。11.一种数据处理装置，其特征在于，所述装置应用于第一设备，包括：收发模块，用于接收来自消息队列服务器的元数据信息；所述元数据信息为应用服务器执行业务时新增的第一增量数据对应的数据标识；所述收发模块，还用于在所述元数据信息存在于预设数据转换配置信息中的情况下，从源数据库的服务器获取所述元数据信息对应的所述第一增量数据；所述预设数据转换配置信息用于所述源数据库的服务器与至少一类目标数据库的服务器之间的数据转换；处理模块，用于根据所述预设数据转换配置信息，将所述第一增量数据转换为适用于所述至少一类目标数据库的服务器的第二增量数据，所述源数据库与所述目标数据库为异构数据库；所述收发模块，还用于向所述至少一类目标数据库的服务器发送与所述目标数据库的服务器对应的所述第二增量数据。12.根据权利要求11所述的数据处理装置，其特征在于，所述收发模块，还用于：向第二设...

【专利技术属性】
技术研发人员：高煜东，
申请(专利权)人：花瓣云科技有限公司，
类型：发明
国别省市：