一种异构模型数据的同步方法和装置制造方法及图纸

技术编号:43399470 阅读:26 留言:0更新日期:2024-11-19 18:17
本发明专利技术涉及数据同步技术领域,提供了一种异构模型数据的同步方法和装置。本发明专利技术从源数据库读取原始数据,将原始数据的源格式转换为JSON格式,得到第一待转换数据;对第一待转换数据进行数据内容转换,得到JSON格式的第二待转换数据;对第二待转换数据进行数据模型转换,得到目的数据库所使用的目标格式的待装载数据,并将其写入至目的数据库;本发明专利技术将原始数据读取至数据同步系统时,将其统一封装成JSON格式,简化了异构模型数据之间的转换操作,解决了现有技术中数据同步系统针对每种源数据库的数据模型与每种目的数据库的数据模型均设计不同的转换方案,实用性较差的问题。

【技术实现步骤摘要】

本专利技术涉及数据同步,特别是涉及一种异构模型数据的同步方法和装置


技术介绍

1、现有技术中数据模型主要包括:关系数据模型、文档数据模型、图数据模型、宽表模型(例如,hbase模型)和时间序列模型,基于不同的数据模型,数据库领域分别开发了关系型数据库、文档型数据库、图数据库、hbase和时序数据库等不同类型的数据库管理系统。不同数据模型的数据即异构模型数据。

2、为了满足用户在不同使用场景下使用不同数据模型的数据存储需求,往往需要将异构模型数据在不同的数据库之间进行同步。现有技术针对每种源数据库的数据模型和每种目的数据库的数据模型,定义一套二者之间的数据定位方法及数据转换规则;数据对象从源数据库中读取进数据同步系统后,先基于相应的数据定位方法及数据转换规则对其进行数据内容层面上的转换,再对转换后的数据对象进行数据模型层面上的转换,最后写入到目的数据库。

3、然而,这种实现思路要求在支持异构数据同步的数据同步系统中,设计基于不同数据模型的数据定位方法和数据转换规则,增加了实现数据同步系统的复杂程度和工作量;且用户在使用相应的数据同步本文档来自技高网...

【技术保护点】

1.一种异构模型数据的同步方法,其特征在于,包括:

2.根据权利要求1所述的异构模型数据的同步方法,其特征在于,所述从源数据库读取原始数据,将所述原始数据从源格式转换为JSON格式,得到第一待转换数据包括:

3.根据权利要求2所述的异构模型数据的同步方法,其特征在于,所述当所述原始数据为图数据中的点时,根据点构建点数据表,根据所述点数据表构建所述第一待转换数据;或,当所述原始数据为图数据中的边时,根据边构建边数据表,根据所述边数据表构建所述第一待转换数据包括:

4.根据权利要求2所述的异构模型数据的同步方法,其特征在于,所述当所述原始数据为关系数据或时...

【技术特征摘要】

1.一种异构模型数据的同步方法,其特征在于,包括:

2.根据权利要求1所述的异构模型数据的同步方法,其特征在于,所述从源数据库读取原始数据,将所述原始数据从源格式转换为json格式,得到第一待转换数据包括:

3.根据权利要求2所述的异构模型数据的同步方法,其特征在于,所述当所述原始数据为图数据中的点时,根据点构建点数据表,根据所述点数据表构建所述第一待转换数据;或,当所述原始数据为图数据中的边时,根据边构建边数据表,根据所述边数据表构建所述第一待转换数据包括:

4.根据权利要求2所述的异构模型数据的同步方法,其特征在于,所述当所述原始数据为关系数据或时序数据时,根据转换模式选择性地将所述原始数据对应的单个源数据库表转换为单层的json数据;或,将所述原始数据对应的多个源数据库表转换为多层嵌套的json数据,以得到所述第一待转换数据包括:

5.根据权利要求2所述的异构模型数据的同步方法,其特征在于,所述当所述原始数据为宽表数据时,根据所述原始数据构建两层的json数据,以得到所述第一待转换数据包括:

6.根据权利要求1所述的异...

【专利技术属性】
技术研发人员:梅纲袁松彪吕童张驻西
申请(专利权)人:武汉达梦数据库股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1