System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及计算机,具体涉及一种元数据接入方法、装置、电子设备及存储介质。
技术介绍
1、良好的数据资产管理是释放数据要素价值的基础。元数据管理是数据资产管理的重要基础,是为获得高质量的、整合的元数据而进行的规划、实施与控制行为。当前,元数据管理工具通过自动从数据仓库、大数据平台、etl(extract,transform,load)中解析存储和流转过程,追踪和记录元数据。在元数据接入环节,采用全量元数据和增量元数据分而治之的接入方式,导致接入和维护成本较高,尤其是全量元数据普遍存在接入性能偏低、重复接入等问题,进而导致元数据接入效率低下。
技术实现思路
1、本申请实施例提供一种元数据接入方法、装置、电子设备及存储介质,用以解决当前元数据接入效率低下的问题。
2、第一方面,本申请实施例提供一种元数据接入方法,包括:
3、基于待接入元数据进行差异比对,得到差异元数据;所述待接入元数据包括全量元数据与增量元数据中的至少一种;
4、基于预设标准化变更流模式定义,将所述差异元数据转换为标准化变更流模式元数据;
5、将所述标准化变更流模式元数据接入至目标元数据管理工具。
6、在一个实施例中,所述基于待接入元数据进行差异比对,得到差异元数据,包括:
7、获取目标元数据管理工具的最新元数据快照;
8、确定待接入元数据的类型;
9、根据所述类型确定目标比对方式;
10、根据所述目标比对方式,对
11、在一个实施例中,所述目标比对方式为第一比对方式或第二比对方式;所述根据所述目标比对方式,对所述最新元数据快照与所述待接入元数据进行差异比对,得到差异元数据,包括以下任一项:
12、若所述目标比对方式为第一比对方式,则对所述最新元数据快照与所述待接入元数据逐行进行全内容的差异对比,得到差异元数据;
13、若所述目标比对方式为第一比对方式,则对所述最新元数据快照与所述待接入元数据逐行进行主键内容的差异对比,并基于所述最新元数据快照补齐所述待接入元数据中未变化部分的内容,得到差异元数据。
14、在一个实施例中,所述将所述标准化变更流模式元数据接入至目标元数据管理工具,包括:
15、确定目标元数据管理工具的软件开发工具包的类型或应用程序编程接口的类型;
16、根据所述目标元数据管理工具的软件开发工具包的类型或应用程序编程接口的类型,对所述标准化变更流模式元数据进行格式转换,得到转换数据;
17、将所述转换数据接入至所述目标元数据管理工具。
18、在一个实施例中,所述将所述转换数据接入至所述目标元数据管理工具,包括:
19、确定目标映射模式;所述目标映射模式为重写模式或拉链模式;
20、基于所述目标映射模式,将所述转换数据映射至所述目标元数据管理工具。
21、在一个实施例中,所述预设标准化变更流模式定义包括变更流类型和变更流内容。
22、在一个实施例中,所述变更流类型包括新增、删除、更新前镜像与更新后镜像。
23、第二方面,本申请实施例提供一种元数据接入装置,包括:
24、比对模块,用于基于待接入元数据进行差异比对,得到差异元数据;所述待接入元数据包括全量元数据与增量元数据中的至少一种;
25、转换模块,用于基于预设标准化变更流模式定义,将所述差异元数据转换为标准化变更流模式元数据;
26、接入模块,用于将所述标准化变更流模式元数据接入至目标元数据管理工具。
27、第三方面,本申请实施例提供一种电子设备,包括处理器和存储有计算机程序的存储器,所述处理器执行所述程序时实现第一方面所述的元数据接入方法。
28、第四方面,本申请实施例提供一种存储介质,所述存储介质为计算机可读存储介质,包括计算机程序,所述计算机程序被处理器执行时实现第一方面所述的元数据接入方法。
29、本申请实施例提供的元数据接入方法、装置、电子设备及存储介质,通过对包括全量元数据与增量元数据中的至少一种的待接入元数据进行差异比对,可以得到差异元数据,进一步可以将差异元数据转换为标准化变更流模式元数据,进而可以将标准化变更流模式元数据接入至目标元数据管理工具,本申请可以将全量元数据或增量元数据中的差异元数据统一转换为标准化变更流模式,以此屏蔽元数据的全量和增量特征,完成元数据的全增量一体化整合,进而可以基于标准化变更流模式将元数据接入至目标元数据管理工具,不再需要关联元数据的数据源与元数据的全量及增量特征,可以降低接入和维护成本,同时可以避免当前存在的接入性能偏低、重复接入的问题,因此可以提高元数据接入效率。
本文档来自技高网...【技术保护点】
1.一种元数据接入方法,其特征在于,包括:
2.根据权利要求1所述的元数据接入方法,其特征在于,所述基于待接入元数据进行差异比对,得到差异元数据,包括:
3.根据权利要求2所述的元数据接入方法,其特征在于,所述目标比对方式为第一比对方式或第二比对方式;所述根据所述目标比对方式,对所述最新元数据快照与所述待接入元数据进行差异比对,得到差异元数据,包括以下任一项:
4.根据权利要求1所述的元数据接入方法,其特征在于,所述将所述标准化变更流模式元数据接入至目标元数据管理工具,包括:
5.根据权利要求4所述的元数据接入方法,其特征在于,所述将所述转换数据接入至所述目标元数据管理工具,包括:
6.根据权利要求1所述的元数据接入方法,其特征在于,所述预设标准化变更流模式定义包括变更流类型和变更流内容。
7.根据权利要求6所述的元数据接入方法,其特征在于,所述变更流类型包括新增、删除、更新前镜像与更新后镜像。
8.一种元数据接入装置,其特征在于,包括:
9.一种电子设备,包括处理器和存储有计算机程序
10.一种存储介质,所述存储介质为计算机可读存储介质,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述的元数据接入方法。
...【技术特征摘要】
1.一种元数据接入方法,其特征在于,包括:
2.根据权利要求1所述的元数据接入方法,其特征在于,所述基于待接入元数据进行差异比对,得到差异元数据,包括:
3.根据权利要求2所述的元数据接入方法,其特征在于,所述目标比对方式为第一比对方式或第二比对方式;所述根据所述目标比对方式,对所述最新元数据快照与所述待接入元数据进行差异比对,得到差异元数据,包括以下任一项:
4.根据权利要求1所述的元数据接入方法,其特征在于,所述将所述标准化变更流模式元数据接入至目标元数据管理工具,包括:
5.根据权利要求4所述的元数据接入方法,其特征在于,所述将所述转换数据接入至所述目标元数据管理工具,包...
【专利技术属性】
技术研发人员:卢国庆,张鲁豹,刘洪昌,吴波,侯桂星,
申请(专利权)人:浪潮通信信息系统天津有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。