一种多源数据实时聚合方法和系统技术方案

本申请实施例公开了一种多源数据实时聚合方法和系统，其中方法包括：一种多源数据实时聚合方法，通过获取canal服务端从若干个来源库中批量获取指定数据库的binlog对象；对binlog对象进行批量处理：检查binlog对象的实体类型是否为结构变更类型，若是，则从binlog对象中获取原执行SQL，去掉库名并生成聚合库可执行SQL检查binlog对象的数据变更类型，并根据数据变更类型生成数据变更标准SQL；对binlog对象批量处理完毕后，将可执行SQL和/或标准SQL发送至聚合库，继而实现从N个来源库实时汇聚到聚合库，实现实时高效的多源数据聚合的目的。的目的。的目的。

【技术实现步骤摘要】
一种多源数据实时聚合方法和系统


[0001]本申请涉及数据处理
，尤其涉及一种多源数据实时聚合方法和系统。

技术介绍

[0002]随着我国信息化水平的不断提升，电子商务实现了爆发式的增长，增长的背后必将产生大量的数据。
[0003]跨境电商企业通常存在自己的经分销系统中，系统中汇聚了各系统各渠道的订单数据以及各仓库的库存数据。在经分销系统中，报表的数据生成以及进行大数据分析的数据来源主要通过定时从多个业务库中增量同步过去。经过长时间积累，系统中的数据量已逐渐增大，新增数据的同步尤为困难，特别是在双11等大促节日时，数据需要及时反馈和呈现，然而庞大的数据量使得定时单次同步耗时较长，数据难以及时反馈呈现出来，时效性低用户体验差。
[0004]因此，如何设计一种多源数据实时聚合的方法，将数据从N个来源库实时汇聚到聚合库，实现实时高效的多源数据聚合，提高用户体验，是本领域技术人员需要解决的技术问题。

技术实现思路

[0005]本申请实施例提供了一种多源数据实时聚合方法和系统，实现实时高效的多源数据聚合，提高用户体验本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源数据实时聚合方法，其特征在于，包括：S1，获取canal服务端从若干个来源库中批量获取指定数据库的binlog对象；S2，对所述binlog对象进行批量处理，包括：S23，检查所述binlog对象的实体类型是否为结构变更类型，若是，则从所述binlog对象中获取原执行SQL，去掉库名并生成聚合库可执行SQL；S24，检查所述binlog对象的数据变更类型，并根据所述数据变更类型生成数据变更标准SQL；S3，对所述binlog对象批量处理完毕后，将可执行SQL和/或标准SQL发送至聚合库。2.根据权利要求1所述的多源数据实时聚合方法，其特征在于，在所述步骤S23之前，还包括：S22，检查所述binlog对象的库名、表名是否在配置中心有注册，若否，则跳过处理当前所述binlog对象。3.根据权利要求2所述的多源数据实时聚合方法，其特征在于，在所述步骤S22之前，还包括：S21，检查所述binlog对象的实体类型是否为事务开启/事务关闭的实体类型，若是，则跳过处理当前所述binlog对象。4.根据权利要求3所述的多源数据实时聚合方法，其特征在于，所述对所述binlog对象批量处理完毕后，还包括：批量确认处理完成的所述binlog对象的binlog偏移量。5.根据权利要求4所述的多源数据实时聚合方法，其特征在于，还包括：当任意binlog对象的处理过程中出现故障时，则根据binlog偏移量将所有binlog对象全部回滚，并发送预警信息，直到故障处理完毕，返回步骤S1。6.根据权利要求5所述的多源数据实时聚合方法，其特征在于，所述步骤S1具体包括：连接...

【专利技术属性】
技术研发人员：洪志权，蔡昆颖，于崇刚，余彩福，
申请(专利权)人：粤港澳国际供应链广州有限公司，
类型：发明
国别省市：