一种数据同步方法、装置、电子设备和可读存储介质制造方法及图纸

本申请涉及计算机数据处理技术领域，尤其涉及一种数据同步方法、装置、电子设备和可读存储介质，所述方法包括采集并上报MySQL数据库的第一数据信息将所述第一数据信息写入Kafka集群数据库；Storm集群消费所述Kafka集群中的第一数据信息并按照预设规则对消费的第一数据信息进行配置处理，获得第二数据信息；Storm集群将所述第二数据信息写入Hbase数据库。基于本申请的数据同步方案提高了Mysql与Hbase数据实时同步的准确性和可扩展性。

【技术实现步骤摘要】
一种数据同步方法、装置、电子设备和可读存储介质
本申请涉及计算机数据处理
，尤其涉及一种数据同步方法、装置、电子设备和可读存储介质。
技术介绍
随着业务的高速发展，各种各样的数据同步场景应运而生，其中为了使得MySQL数据库里的数据变更能在秒级同步到HBase数据库以为业务实时查询与数据分析提供支撑。目前现有技术主要是将MySQL关系型数据库里的变更数据通过Binlog机制同步到日志订阅工具，并经中间件Kafka消息群将变更数据同步至HBase数据库。但是由于软硬件基础环境故障、DDL更新等，上述现有技术的数据同步方案会导致写入和消费Kafka的数据可能会出现丢失、数据处理组件报错以及因数据传输过程中数据丢失造成MySQL与Hbase数据不一致等问题。
技术实现思路
本申请的目的旨在至少能解决上述的技术缺陷之一。本申请所采用的技术方案如下：第一方面，本申请实施例提供一种数据同步方法，所述方法包括：采集并上报MySQL数据库的第一数据信息；将所述第一数据信息写入Kafka集群数据库；Storm集群消费所述Kafka集群中的第一数据信息并按照预设规则对消费的第一数据信息进行配置处理，获得第二数据信息；Storm集群将所述第二数据信息写入Hbase数据库。可选地，采集MySQL数据库第一数据信息包括：采集MySQL数据库表结构信息和数据变动信息；将所述采集的表结构信息和数据变动信息的DDL信息进行上报；其中所述DDL信息包括：数据库名称、分库IP、数据表名称、DDL语句、SQL语句。可选地，所述方法还包括：根据接收的配置参数，控制所述采集MySQL数据库的第一数据信息的使能状态；其中所述配置参数包括用于控制采集使能的使能参数。可选地，所述Storm集群按照预设规则对消费的第一数据信息进行配置处理包括：按照接收的预设规则，对所述第一数据信息进行配置处理，其中所述配置处理包括：对第一数据信息能够包括的表、元数据和字段进行过滤、映射、转换操作。可选地，在所述Storm集群按照预设规则对消费的第一数据信息进行配置处理之前，所述方法还包括：接收上报的DDL信息；判断所述DDL信息需要处理；判断缓存区不存在所述DDL信息中包括的DDL语句和SQL语句；在所述Storm集群按照预设规则对消费的第一数据信息进行配置处理之后，所述方法还包括：按照预定周期将所述第二数据信息进行缓存。可选地，所述方法还包括：获取预定时段内的MySQL数据库的第三数据信息；获取根据MySQL数据规则提取的Hbase数据库的Hbase数据；对所述第三数据信息和提取的Hbase数据进行比对；如果比对不一致，则对所述Hbase数据库数据进行修正。第二方面，本申请实施例提供了一种数据同步装置，所述装置包括：采集模块、写入模块、消费模块和处理模块；其中，所述采集模块，用于采集并上报MySQL数据库的第一数据信息；所述写入模块，用于将所述第一数据信息写入Kafka集群数据库；所述消费模块，用于Storm集群消费所述Kafka集群中的第一数据信息；所述处理模块，用于Storm集群按照预设规则对消费的第一数据信息进行配置处理，获得第二数据信息；所述写入模块，用于Storm集群将所述第二数据信息写入Hbase数据库。可选地，所述采集模块还用于：采集MySQL数据库表结构信息和数据变动信息；将所述采集的表结构信息和数据变动信息的DDL信息进行上报；其中所述DDL信息包括：数据库名称、分库IP、数据表名称、DDL语句、SQL语句。可选地，所述装置还包括配置模块，其中，所述配置模块，用于根据接收的配置参数，控制所述采集MySQL数据库的第一数据信息的使能状态；其中所述配置参数包括用于控制采集使能的使能参数。可选地，所述装置还包括判断模块和存储模块，其中所述采集模块，用于接收上报的DDL信息；所述判断模块，用于判断所述DDL信息需要处理，还用于判断缓存区不存在所述DDL信息中包括的DDL语句和SQL语句；所述存储模块，还用于按照预定周期将所述第二数据信息进行缓存。可选地，所述装置还包括比对模块，其中所述比对模块用于：获取预定时段内的MySQL数据库的第三数据信息；获取根据MySQL数据规则提取的Hbase数据库的Hbase数据；对所述第三数据信息和提取的Hbase数据进行比对；如果比对不一致，则对所述Hbase数据库数据进行修正。第三方面，本专利技术实施例提供了一种电子设备，包括处理器和存储器；所述存储器，用于存储操作指令；所述处理器，用于通过调用所述操作指令，执行上述数据同步方法。第四方面，一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据同步的方法。本申请实施例公开的数据同步方案，通过采集并上报MySQL数据库的第一数据信息；将所述第一数据信息写入Kafka集群数据库；Storm集群消费所述Kafka集群中的第一数据信息并按照预设规则对消费的第一数据信息进行配置处理，获得第二数据信息；Storm集群将所述第二数据信息写入Hbase数据库。本申请实施例提供的技术方案带来的有益效果是提高Mysql与Hbase数据实时同步的准确性和可扩展性。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。图1为本申请实施例提供的一种数据同步方法的流程示意图；图2为本申请实施例提供的一种数据同步装置的结构示意图；图3为本申请实施例提供的一种电子设备的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本专利技术的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。为更清楚地介绍本申请实施例，下面介绍一些可能用于实施例的定义、概念或装置：MySQL是一种开放源代码的关系型数据库管理系统(RDBMS)，使用最常用的数据库管理语言--结构化查询语言(SQL)进行数据库管理。HBase(HadoopDatab本文档来自技高网...

【技术保护点】
1.一种数据同步方法，其特征在于，所述方法包括：/n采集并上报MySQL数据库的第一数据信息；/n将所述第一数据信息写入Kafka集群数据库；/nStorm集群消费所述Kafka集群中的第一数据信息并按照预设规则对消费的第一数据信息进行配置处理，获得第二数据信息；/nStorm集群将所述第二数据信息写入Hbase数据库。/n

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述方法包括：
采集并上报MySQL数据库的第一数据信息；
将所述第一数据信息写入Kafka集群数据库；
Storm集群消费所述Kafka集群中的第一数据信息并按照预设规则对消费的第一数据信息进行配置处理，获得第二数据信息；
Storm集群将所述第二数据信息写入Hbase数据库。


2.根据权利要求1所述的数据同步方法，其特征在于，采集MySQL数据库第一数据信息包括：
采集MySQL数据库表结构信息和数据变动信息；
将所述采集的表结构信息和数据变动信息的DDL信息进行上报；
其中所述DDL信息包括：数据库名称、分库IP、数据表名称、DDL语句、SQL语句。


3.根据权利要求2所述的数据同步方法，其特征在于，所述方法还包括：
根据接收的配置参数，控制所述采集MySQL数据库的第一数据信息的使能状态；其中所述配置参数包括用于控制采集使能的使能参数。


4.根据权利要求2或3所述的数据同步方法，其特征在于，所述Storm集群按照预设规则对消费的第一数据信息进行配置处理包括：
按照接收的预设规则，对所述第一数据信息进行配置处理，其中所述配置处理包括：
对第一数据信息能够包括的表、元数据和字段进行过滤、映射、转换操作。


5.根据权利要求4所述的数据同步方法，其特征在于，在所述Storm集群按照预设规则对消费的第一数据信息进行配置处理之前，所述方法还包括：
接收上报的DDL信息；
判断所述DDL信息需要处理；
判断缓存区不存在所述DDL信息中包括的DDL语句和SQL语句；
在所述Storm集群按照预设规则对消费的第一数据信息进行配置处理之后，所述方法还包括：
按照预定周期将所述第二数据信息进行缓存。


6.根据权利要求5所述的数据同步方法，其特征在于，所述方法还包括：
获取预定时段内的MySQL数据库的第三数据信息；
获取根据MySQL数据规则提取的Hbase数据库的Hbase数据；
对所述第三数据信息和提取的Hbase数据进行比对；
如果比对不一致，则对所述Hbase数据库数据进行修正。


7.一种数据同步装置，其特征在于，所述装置包括：采集模块、写入模块、消费模块和...

【专利技术属性】
技术研发人员：熊龙，杨全文，马智超，周巍，郭煜，
申请(专利权)人：中信银行股份有限公司，
类型：发明
国别省市：北京;11