一种数据库同步更新的方法和系统技术方案

本发明专利技术公开了一种数据库同步更新的方法和系统，属于电数字数据处理技术领域，所述方法包括监听源数据库的修改操作；根据所述修改操作，获得变更数据；获取源数据库与目标数据库的映射关系；根据所述映射关系，将所述变更数据写入目标数据库。通过监听源数据库的修改操作及其变更数据，并将变更数据写入到目标数据库中，可将行存数据库的变更内容同步更新到列存数据库中，可实现数据同步的实时性和一致性；简化了同步的流程，实现轻量化设计，避免引入复杂的技术组件，减轻技术负担。

【技术实现步骤摘要】

本专利技术涉及电数字数据处理，具体涉及一种数据库同步更新的方法和系统。

技术介绍

1、随着业务的增长，传统的行存数据库在联机事务处理(oltp)场景下的优势，产生了越来越多的数据后，在数据查询和分析领域，则行存数据库越来越力不从心；此时，列存数据库作为天然为查询分析设计而生的联机分析处理(olap)数据库则涌现出来，很好的解决了大数据量下的数据查询、统计和分析。目前行存数据库使用采用mysql和oracle，列存数据库较多采用doris和clickhouse。

2、但此时又出现了一个问题，行存的原始交易数据如何高效方便的向列存数据同步。业界通常会使用大数据领域常用的几个技术组件，组合起来使用，具体流程如下：先使用flinkcdc对mysql和oracle的日志进行监控和解析，获取到变更内容，投递到kafka等消息中间件中；然后编写flink相关作业，获取mq中的变更内容，通过flinksql对变更数据进行操作，解析向列存数据库进行映射同步；最后通过flinksql对映射后的数据进一步处理。

3、flinkcdc要负责解析日志，并发送本文档来自技高网...

【技术保护点】

1.一种数据库同步更新的方法，其特征在于，所述数据库包括源数据库和目标数据库，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述源数据库为行存数据库，所述目标数据库为列存数据库；

3.根据权利要求2所述的方法，其特征在于，所述数据访问层的操作包括：update、delete和insert；

4.根据权利要求3所述的方法，其特征在于，还包括基于消息队列将所述变更数据写入目标数据库的方法：

5.根据权利要求4所述的方法，其特征在于，将同一事务的入参对象拼接后，构建消息体，并将消息体保存到消息表中；

6.根据权利要求1所述...

【技术特征摘要】

1.一种数据库同步更新的方法，其特征在于，所述数据库包括源数据库和目标数据库，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述源数据库为行存数据库，所述目标数据库为列存数据库；

3.根据权利要求2所述的方法，其特征在于，所述数据访问层的操作包括：update、delete和insert；

4.根据权利要求3所述的方法，其特征在于，还包括基于消息队列将所述变更数据写入目标数据库的方法：

5.根据权利要求4所述的方法，其特征在于，将同一事务的入参对象拼接后，构建消息体，并将消息体保存到消息表中；

6.根据权...

【专利技术属性】
技术研发人员：冯世伟，刘海龙，闵刚，
申请(专利权)人：北京锐融天下科技股份有限公司，
类型：发明
国别省市：