【技术实现步骤摘要】
基于报文解析的数据复制链路优化方法及装置
本专利技术涉及数据复制领域，具体而言，涉及一种基于报文解析的数据复制链路优化方法及装置。
技术介绍
在IT架构转型的背景下，许多主机核心应用也转向了开放平台技术的阵地，从而产生了海量的主机到平台的数据共享需求。然而，当前主机到平台分布式消息引擎(KAFKA)或者MYSQL数据库的数据复制，必须要通过在ORACLE中转库+CDC(IBM的端到端复制工具)的复制链路。如图2所示，优化前主机到平台数据复制链路为：主机MQ(消息队列)将MQ报文从主机端发送到开放平台端，由平台MQ接收，报文需要发送到平台ORACLE数据库中进行中转进而发送到CDC单元，最终报文从CDC单元发送到KAFKA实现被MYSQL数据库获取。该据复制链路存在中间链路多、时效低、环节复杂等问题。这些问题不仅降低了数据复制速度，也影响到了数据复制链路运行的稳定性。CDC产品在压测中最高只能到1.5万笔/每秒左右的性能，该性能远远无法满足我行主机核心业务下平台的海量数据需求。为了提升数据复制的性能和时效、同时避免链路复杂这个问题，企业需要考虑新的简洁的复制链路优化...
【技术保护点】
1.一种基于报文解析的数据复制链路优化方法，其特征在于，包括：获取主机端发送的MQ报文，并将所述MQ报文放入缓存，其中，所述MQ报文包括：消息ID以及报文的字段偏移量信息；根据所述消息ID确定所述MQ报文对应的主机表，并获取所述主机表对应的预设的复制预定参数，其中，所述复制预定参数包括：复制的字段数据类型、复制的字段名称以及复制的字段长度；根据所述复制预定参数以及所述字段偏移量信息从所述MQ报文中提取字段数据，并组合成平台端报文，其中，所述平台端报文包含所述MQ报文对应的主机表的表名信息；将所述平台端报文发送到平台分布式消息引擎，以使平台端的数据库从所述平台分布式消息引擎获取相应的平台端报文。
【技术特征摘要】
1.一种基于报文解析的数据复制链路优化方法，其特征在于，包括：获取主机端发送的MQ报文，并将所述MQ报文放入缓存，其中，所述MQ报文包括：消息ID以及报文的字段偏移量信息；根据所述消息ID确定所述MQ报文对应的主机表，并获取所述主机表对应的预设的复制预定参数，其中，所述复制预定参数包括：复制的字段数据类型、复制的字段名称以及复制的字段长度；根据所述复制预定参数以及所述字段偏移量信息从所述MQ报文中提取字段数据，并组合成平台端报文，其中，所述平台端报文包含所述MQ报文对应的主机表的表名信息；将所述平台端报文发送到平台分布式消息引擎，以使平台端的数据库从所述平台分布式消息引擎获取相应的平台端报文。2.根据权利要求1所述的基于报文解析的数据复制链路优化方法，其特征在于，所述将所述平台端报文发送到平台分布式消息引擎，具体包括：通过生产者线程将平台端报文发送到所述平台分布式消息引擎中的对应的消息引擎集群，其中，所述生产者线程配置有该消息引擎集群的IP、端口信息以及设置的该消息引擎集群对应的表名信息。3.根据权利要求1所述的基于报文解析的数据复制链路优化方法，其特征在于，所述将所述平台端报文发送到平台分布式消息引擎，具体包括：为所述平台端报文配置ID标识信息；在发送成功后，将所述ID标识信息添加到成功处理列表中。4.根据权利要求3所述的基于报文解析的数据复制链路优化方法，其特征在于，还包括：将与所述成功处理列表中的ID标识信息对应的平台端报文相对应的MQ报文从缓存中清除。5.根据权利要求1所述的基于报文解析的数据复制链路优化方法，其特征在于，还包括：通过消费者线程将平台端报文从所述平台分布式消息引擎中的目标消息引擎集群中拉取到平台端的数据库，其中，所述消费者线程配置有该目标消息引擎集群的IP、端口信息以及设置的拉取的平台端报文的表名信息。6.根据权利要求2所述的基于报文解析的数据复制链路优化方法，其特征在于，所述生产者线程还配置有用户设置的报文发送频率、每次发送的报文大小、发送成功确认信息、发送失败重发次数、报文储存时间、报文压缩方式中的至少一种或任意组合。7.根据权利要求2所述的基于报文解析的数据复制链路优化方法，其特征在于，所述通过生产者线程将平台端报文发送到所述平台分布式消息引擎中的对应的消息引擎集群，包括：所述生产者线程生成所述平台端报文的至少一个副本，并将该副本发送到所述平台分布式消息引擎中的对应的消息引擎集群。8.一种基于报文解析的数据复制链路优化装置，其特征在于，包括：MQ报文预读单元，用于获取主机端发送的MQ报文，并将所述MQ报文放入缓存，其中，所述MQ报文包括：消息ID以及报文的字段偏移...
【专利技术属性】
技术研发人员：钟小威，孟江，李奇伟，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。