一种同步数据的方法、装置、介质和电子设备制造方法及图纸

本公开提供了一种同步数据方法、装置、介质和电子设备，方法包括：将所述关系型数据库里的变更数据通过binlog机制同步到日志订阅工具；通过分布式计算引擎将同步到所述日志订阅工具里的所述变更数据实时同步到Kafka消息中间件；经过所述Kafka消息中间件，将变更数据同步到相应数据库。通过采用本发明专利技术的技术方案，使得MySQL里的数据变更能在秒级同步到Hive以及HBase，为Hive和HBase产生实时的报表提供了底层支撑；并且不再使用JDBC接口，因此数据同步流程不会影响使用JDBC接口的正常业务流程。

A Method, Device, Media and Electronic Equipment for Synchronizing Data

【技术实现步骤摘要】
一种同步数据的方法、装置、介质和电子设备
本公开涉及计算机
，具体而言，涉及一种实现关系型数据库与大数据平台实时同步数据的方法、装置、介质和电子设备。
技术介绍
当前在关系型数据库与大数据平台间同步数据主要是通过上层JDBC(一种数据库连接标准)接口定期批量导入的方式完成的。由于是定期批量的方式，所以时效性得不到保证；又由于使用的是上层JDBC接口，所以存在和正常业务流程争抢接口资源的隐患。公开内容本公开的目的在于提供一种实现关系型数据库与大数据平台实时同步数据的方法、装置、介质和电子设备，能够解决上述提到的至少一个技术问题。具体方案如下：根据本公开的具体实施方式，第一方面，本公开提供一种实现关系型数据库与大数据平台实时同步数据的方法，其特征在于，包括：将所述关系型数据库里的变更数据通过binlog机制同步到日志订阅工具；通过分布式计算引擎将同步到所述日志订阅工具里的所述变更数据实时同步到Kafka消息中间件；经过所述Kafka消息中间件，将变更数据同步到相应数据库。进一步，将变更数据同步到相应数据库具体包括：通过分布式计算引擎将所述变更数据同步到大数据生态系统数据仓库Hive本文档来自技高网...

【技术保护点】
1.一种实现关系型数据库与大数据平台实时同步数据的方法，其特征在于，包括：将所述关系型数据库里的变更数据通过binlog机制同步到日志订阅工具；通过分布式计算引擎将同步到所述日志订阅工具里的所述变更数据实时同步到Kafka消息中间件；经过所述Kafka消息中间件，将变更数据同步到相应数据库。

【技术特征摘要】
1.一种实现关系型数据库与大数据平台实时同步数据的方法，其特征在于，包括：将所述关系型数据库里的变更数据通过binlog机制同步到日志订阅工具；通过分布式计算引擎将同步到所述日志订阅工具里的所述变更数据实时同步到Kafka消息中间件；经过所述Kafka消息中间件，将变更数据同步到相应数据库。2.如权利要求1所述的方法，其特征在于，将变更数据同步到相应数据库具体包括：通过分布式计算引擎将所述变更数据同步到大数据生态系统数据仓库Hive；通过实时计算引擎将所述变更数据同步到分布式数据库Hbase。3.如权利要求2所述的方法，其特征在于，所述将所述关系型数据库里的变更数据通过binlog机制同步到日志订阅工具，包括：在关系型数据库的配置文件中，增加binlog参数；按照时间段或位置截取所述关系型数据库中数据；将所述截取的数据同步到日志订阅工具。4.如权利要求2所述的方法，其特征在于，其中所述通过分布式计算引擎将同步到所述日志订阅工具里的所述变更数据实时同步到Kafka消息中间件，包括：通过分布式计算引擎调用所述日志订阅工具里的所述变更数据的API接口，将所述变更数据实时同步到Kafka消息中间件；以及所述通过实时计算引擎将所述变更数据同步到分布式数据库Hbase包括：所述变更数据分成小的时间片段；按照批量处理的方式将所述变更数据同步到分布式数据库Hbase。5.一种实现关系型数据库与大...

【专利技术属性】
技术研发人员：张晓丰，
申请(专利权)人：重庆天蓬网络有限公司，
类型：发明
国别省市：重庆,50