【技术实现步骤摘要】
关系型数据库到Hadoop数据库的数据同步方法和装置
本专利技术涉及大数据处理
，特别是涉及一种关系型数据库到Hadoop数据库的数据同步方法、装置、计算机设备和存储介质。
技术介绍
在关系型数据库到Hadoop数据库(即HadoopDatabase，简称Hbase)的同步过程中，无论采用哪种工具，普遍都是针对单表做掺杂业务逻辑的同步设计。针对单表做掺杂业务逻辑的同步设计是指：针对每一张表设计一个同步方案。因为不同的数据表，存储的内容不一样，设计的字段等信息也都不一样，比如，订单表有订单ID、订单名称、订单金额、发货时间等字段，用户表有用户名称、用户ID、用户手机号等字段信息。举例来说，关系型数据库中有100张表，需要做100个同步方案。这种数据同步方式工作量大，而且不具备通用性。
技术实现思路
本申请实施例提供一种关系型数据库到Hadoop数据库的数据同步方法、装置、计算机设备和存储介质，可以提供通用的同步方案，大大减少工作量。本申请实施例提供一种关系型数据库到Hadoop数据库的数据同步方法，所述方法包括：根据针对待同步的业务方预先存储的不变参数及其配置数据...
【技术保护点】
1.一种关系型数据库到Hadoop数据库的数据同步方法，其特征在于，所述方法包括：根据针对待同步的业务方预先存储的不变参数及其配置数据，识别出所述业务方的关系型数据库的每一张表中的不变参数，并对识别出的不变参数进行配置；针对所述关系型数据库的每一张表中的可变参数，提供相应的配置数据修改界面，以供用户对所述可变参数进行配置；并根据对所述配置数据修改界面中所述可变参数的配置操作，确定所述可变参数的配置数据；确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级；根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步...
【技术特征摘要】
1.一种关系型数据库到Hadoop数据库的数据同步方法，其特征在于，所述方法包括：根据针对待同步的业务方预先存储的不变参数及其配置数据，识别出所述业务方的关系型数据库的每一张表中的不变参数，并对识别出的不变参数进行配置；针对所述关系型数据库的每一张表中的可变参数，提供相应的配置数据修改界面，以供用户对所述可变参数进行配置；并根据对所述配置数据修改界面中所述可变参数的配置操作，确定所述可变参数的配置数据；确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级；根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步。2.根据权利要求1所述的方法，其特征在于，还包括：将所述业务方的关系型数据库的所述不变参数的配置数据和所述数据同步等级存储至预设中间库中，以供下一次数据同步过程中获取所述不变参数的配置数据和数据同步等级。3.根据权利要求1所述的方法，其特征在于，所述配置数据修改界面中设置有所述可变参数的默认配置参数；对应的，所述提供相应的配置数据修改界面，以供用户对所述可变参数进行配置，包括：提供相应的配置数据修改界面，以供用户对所述可变参数的默配置数据进行修改。4.根据权利要求1所述的方法，其特征在于，所述确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级，包括：根据所述业务方的类型、所述业务方的业务场景和同步方式中的至少一项，确定所述数据同步等级。5.根据权利要求1所述的方法，其特征在于，所述根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步包括：根据所述业务方的关系型数据库的元数据信息、所述Hadoop数...
【专利技术属性】
技术研发人员：刘浩，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。