数据的同步系统、方法、可读存储介质及计算机程序产品技术方案

技术编号:43115932 阅读:24 留言:0更新日期:2024-10-26 09:54
本公开提供一种数据的同步系统,包括处理器和存储器,存储器存储有计算机程序,当计算机程序被处理器执行时,计算机程序和处理器执行以下过程:调用数据捕获模块抓取目标数据库中的变动信息;对目标数据库的映射配置文件进行解析,确定变动信息的映射参数;以及基于映射参数中的访问接口,将目标数据库中关于变动信息中待同步键的关联值同步至映射参数所指示的目标搜索引擎。本公开还提供了一种数据的同步方法、可读存储介质及计算机程序产品。

【技术实现步骤摘要】

本公开涉及数据处理,尤其涉及一种数据的同步系统、方法、可读存储介质及计算机程序产品


技术介绍

1、mysql(my structured query language,结构化查询语言)是一种开源的关系型数据库管理系统,具有高效管理、关联数据的能力,善于在多个数据表之间建立复杂的关系,实现数据的一致性和完整性。然而,mysql不具备全文搜索、实时分析、分布式处理和处理非结构化数据等能力,因此难以满足全场景的使用。es(elasticsearch,弹性搜索)作为一个开源的、分布式的全文搜索引擎,相较于mysql,其具有高度可扩展的分布式架构和强大的全文搜索引擎能力,具备有填补mysql缺陷的能力。因此,在很多应用程序中,会同时使用es和mysql,在对数据进行管理和存储的同时,能够兼顾全文搜索和复杂查询的需求。

2、显然,保持数据一致性是同时使用es和mysql的重要环节。相关技术提供了同步双写、异步双写、基于mysql定时扫描同步、基于binlog(binary log,二进制日志)实时同步等方式,这些方式具有较高的代码开发成本,尤其需要开发者本文档来自技高网...

【技术保护点】

1.一种数据的同步系统,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,当所述计算机程序被所述处理器执行时,所述计算机程序和所述处理器执行以下过程:

2.根据权利要求1所述的数据的同步系统,其特征在于,所述调用数据捕获模块抓取目标数据库中的变动信息,包括:

3.根据权利要求2所述的数据的同步系统,其特征在于,在所述调用数据捕获模块抓取目标数据库中的变动信息之后,还包括:

4.根据权利要求1所述的数据的同步系统,其特征在于,所述对所述目标数据库的映射配置文件进行解析,确定所述变动信息的映射参数,包括:

5.根据权利要求1所述的数据...

【技术特征摘要】

1.一种数据的同步系统,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,当所述计算机程序被所述处理器执行时,所述计算机程序和所述处理器执行以下过程:

2.根据权利要求1所述的数据的同步系统,其特征在于,所述调用数据捕获模块抓取目标数据库中的变动信息,包括:

3.根据权利要求2所述的数据的同步系统,其特征在于,在所述调用数据捕获模块抓取目标数据库中的变动信息之后,还包括:

4.根据权利要求1所述的数据的同步系统,其特征在于,所述对所述目标数据库的映射配置文件进行解析,确定所述变动信息的映射参数,包括:

5.根据权利要求1所述的数据的同步系统,其特征在于,所述基于所述映射...

【专利技术属性】
技术研发人员:伍雁溪程志军
申请(专利权)人:贝壳找房北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1