一种异源数据库间实现元数据同步的方法技术

技术编号:28623132 阅读:20 留言:0更新日期:2021-05-28 16:18
本发明专利技术公开一种异源数据库间实现元数据同步的方法,涉及数据同步技术领域,包括:定义源数据库中元数据的基本类型;针对基本类型的存储格式和数据属性,定义与基本类型相对应的扩展属性及其约束条件;基于基本类型和扩展属性的约束信息,对源数据库的元数据进行映射;使用json作为元数据的负载格式,分别定义源数据库中表元数据和字段元数据的基本属性,并将字段元数据使用数组方式作为表元数据的子属性,进而通过扩展属性实现源数据库与目标数据之间元数据的有效传递,以最大程度的降低隔离源数据库与目标数据库中元数据类型转换的成本,同时,降低后期维护成本。

【技术实现步骤摘要】
一种异源数据库间实现元数据同步的方法
本专利技术涉及数据同步
,具体的说是一种异源数据库间实现元数据同步的方法。
技术介绍
大数据时代数据爆炸式增长的背景下,数据分布呈现出多源性、异构性。为了适应不同场景下数据处理、数据汇聚、数据同步等的个性要求,如何有效的将数据从异源端有效的、完整的进行同步传输就变的极为重要。但是,由于各种数据库数据元信息(包括数据类型、属性、约束)的差异,不同数据库间进行同步适配变得极为艰难。
技术实现思路
本专利技术针对目前技术发展的需求和不足之处,提供一种异源数据库间实现元数据同步的方法。本专利技术的一种异源数据库间实现元数据同步的方法,解决上述技术问题采用的技术方案如下:一种异源数据库间实现元数据同步的方法,包括如下步骤:定义源数据库中元数据的基本类型;针对基本类型的存储格式和数据属性,定义与基本类型相对应的扩展属性及其约束条件;基于基本类型和扩展属性的约束信息,对源数据库的元数据进行映射;使用json作为元数据的负载格式,分别定义源数据库中表本文档来自技高网...

【技术保护点】
1.一种异源数据库间实现元数据同步的方法,其特征在于,包括如下步骤:/n定义源数据库中元数据的基本类型;/n针对基本类型的存储格式和数据属性,定义与基本类型相对应的扩展属性及其约束条件;/n基于基本类型和扩展属性的约束信息,对源数据库的元数据进行映射;/n使用json作为元数据的负载格式,分别定义源数据库中表元数据和字段元数据的基本属性,并将字段元数据使用数组方式作为表元数据的子属性,进而通过扩展属性实现源数据库与目标数据之间元数据的有效传递。/n

【技术特征摘要】
1.一种异源数据库间实现元数据同步的方法,其特征在于,包括如下步骤:
定义源数据库中元数据的基本类型;
针对基本类型的存储格式和数据属性,定义与基本类型相对应的扩展属性及其约束条件;
基于基本类型和扩展属性的约束信息,对源数据库的元数据进行映射;
使用json作为元数据的负载格式,分别定义源数据库中表元数据和字段元数据的基本属性,并将字段元数据使用数组方式作为表元数据的子属性,进而通过扩展属性实现源数据库与目标数据之间元数据的有效传递。


2.根据权利要求1所述的一种异源数据库间实现元数据同步的方法,其特征在于,定义的基本类型包括STRING、BIG_DECIMAL、INT、FLOAT、BINARY、TIME、TIMESTAMP、CLOB、BLOB、ARRAY、BIT、OTHER十二种,其中,
STRING表示字符类型,可以进行属性扩展;
BIG_DECIMAL表示高精度数值,可以进行属性扩展;
INT表示整形,可以进行属性扩展;
FLOAT表示浮点型,可以进行属性扩展;
BINARY表示二进制,可以进行属性扩展;
TIME表示时间,可以进行属性扩展;
TIMESTAMP表示时间戳类型,可以进行属性扩展;
CLOB表示一种保存文件所使用的类型,可以进行属性扩展;
BLOB表示一个可以存储二进制文件的容器,在数据库中常用来存储二进制文件的字段类型,可以进行属性扩展;
ARRAY表示数组类型,由基本类型决定,可以进行属性扩展;
BIT表示位域,可以进行属性扩展;
OTHER表示其他负荷类型,可以进行属性扩展。


3.根据权利要求2所述的一种异源数据库间实现元数据同步的方法,其特征在于,基本类型STRING的扩展属性包括键is_variable、length、is_unicode、max_length,is_variable表示是否可变长,length表示容量,is_unicode表示是否为unicode编码,max_length表示最大长度,其中,length为可选的扩展属性,其余三项为必选的扩展属性;
基本类型BIG_DECIMAL的扩展属性包括键precision、scale,precision表示精度或字段长度,scale表示范围,两个键均为必选的扩展属性;
基本类型INT的扩展属性包括键is_signed、width,is_signed表示是否有符号,width表示位宽,两个键均为必选的扩展属性;
基本类型FLOAT的扩展属性包括键width、M、D,width表示位宽、IEEE754、64双精度、32单精度,M表示数值总位数,D表示小数位位数,其中width为必选的扩展属性,M、D为可选的扩展属性;
基本类型BINARY的扩展属性包括键length、max_length,length表示容量,max_length表示最大长度,其中,length为可选的扩展属性,max_length为必选的扩展属性;
基本类型TIME和TIMESTAMP的扩展属性分别包括键with_timezone,with_timezone表示是否带有时区,with_timezone为必选的扩展属性;
基本类型CLOB的扩展属性包括键max_length,max_length表示最大长度,max_length为必选的扩展属性;
基本类型BLOB的扩展属性包括键max_length,max_length表示最大长度,max_length为必选的扩展属性;
基本类型ARRAY的扩展属性包括键base_type、length,base_type表示基础类型,length表示长度,其中,base_type为必选的扩展属性,length为可选的扩展属性;

【专利技术属性】
技术研发人员:张明李朝铭张晖高传集
申请(专利权)人:浪潮云信息技术股份公司
类型:发明
国别省市:山东;37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1