System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据标准映射元数据的方法和相关装置制造方法及图纸_技高网

一种数据标准映射元数据的方法和相关装置制造方法及图纸

技术编号:40021896 阅读:7 留言:0更新日期:2024-01-16 16:53
本申请提供了一种数据标准映射元数据的方法和相关装置,可应用于大数据领域或金融领域。本申请在需要对目标字段进行标准映射时,生成针对目标字段的待映射数据标准,从元数据管理系统拉取校园业务数据库中存储的各字段的元数据信息,并筛选与待映射数据标准相关的元数据信息,得到候选元数据信息,根据待映射数据标准包含的标准中文名称和标准英文名称,以及候选元数据信息包含的元数据中文名称和元数据英文名称,计算待映射数据标准与候选元数据信息的匹配度,根据匹配度,得到待映射数据标准与目标元数据信息之间的映射关系,以便对目标元数据信息进行合规性校验。本申请能自动匹配映射,节省了人力成本,且提高了匹配映射的效率和准确性。

【技术实现步骤摘要】

本申请涉及数据映射,特别是涉及一种数据标准映射元数据的方法和相关装置


技术介绍

1、目前,学校各学院部门产生的各字段下的数据存储于校园业务数据库,而校园业务数据库中各字段的元数据信息存储于元数据管理系统,由于学校各部门学院使用的数据应用系统不统一,各数据应用系统使用的数据服务器、数据存储方式和数据输出表现形式不同,导致学校各学院部门的数据不统一。

2、为了能够统一学校各学院部门的数据,需要对元数据管理系统存储的元数据信息进行合规性校验,合规性校验过程为,当完成数据标准的制定后,人工从元数据管理系统中手动拉取需要关联映射的元数据信息,然后手动将数据标准映射匹配到元数据信息上,得到数据标准与各字段的元数据信息之间的映射关系,最后再对与数据标准分别存在映射关系的各元数据进行合规性校验。

3、然而受到操作人员自身专业知识和工作经验等诸多因素的影响,不同操作人员对数据标准映射元数据信息的结果可能存在偏差,不仅费时费力而且映射误差较大。


技术实现思路

1、有鉴于此,本申请提供了一种数据标准映射元数据的方法和相关装置,用于解决现有技术存在的人工进行数据标准与元数据的映射导致费时费力且映射误差较大的问题,其技术方案如下:

2、一种数据标准映射元数据的方法,包括:

3、在需要对目标字段进行标准映射时,生成针对目标字段的待映射数据标准,其中,待映射数据标准中包括目标字段的标准中文名称和标准英文名称;

4、从元数据管理系统拉取校园业务数据库中存储的各字段的元数据信息;

5、从各字段的元数据信息中筛选与待映射数据标准相关的元数据信息,筛选出的元数据信息作为候选元数据信息,其中,候选元数据信息中包括目标字段的元数据中文名称和元数据英文名称;

6、根据待映射数据标准包含的标准中文名称和标准英文名称,以及候选元数据信息包含的元数据中文名称和元数据英文名称,计算待映射数据标准与候选元数据信息的匹配度;

7、根据待映射数据标准与候选元数据信息的匹配度,得到待映射数据标准与目标元数据信息之间的映射关系,以便对目标元数据信息进行合规性校验,其中,待映射数据标准与目标元数据信息之间的匹配度大于预设匹配度阈值。

8、可选的,根据待映射数据标准包含的标准中文名称和标准英文名称,以及候选元数据信息包含的元数据中文名称和元数据英文名称,计算待映射数据标准与候选元数据信息的匹配度,包括:

9、将待映射数据标准包含的标准中文名称和标准英文名称拼接为第一字符串;

10、将候选元数据信息包含的元数据中文名称和元数据英文名称拼接为第二字符串;

11、将第一字符串和第二字符串输入预先建立的基于长短时记忆神经网络的短文本语义匹配模型中,得到短文本语义匹配模型输出的匹配度,作为待映射数据标准与候选元数据信息的匹配度。

12、可选的,从元数据管理系统拉取校园业务数据库中存储的各字段的元数据信息,包括:

13、周期性地生成第一元数据获取请求,将第一元数据获取请求通过远程调用接口发送至元数据管理系统,以便从元数据管理系统拉取校园业务数据库中存储的各字段的元数据信息;

14、和/或,

15、响应用户的数据拉取操作指令,生成第二元数据获取请求,将第二元数据获取请求通过远程调用接口发送至元数据管理系统,以便从元数据管理系统拉取校园业务数据库中存储的各字段的元数据信息。

16、可选的,还包括:

17、将拉取的各字段的元数据信息以下拉列表的形式展示在第一预设页面上;

18、从各字段的元数据信息中筛选与待映射数据标准相关的元数据信息,包括:

19、响应用户在第一预设页面上的元数据勾选操作指令,从各字段的元数据信息中筛选与待映射数据标准相关的元数据信息。

20、可选的,在生成针对目标字段的待映射数据标准之后,在从各字段的元数据信息中筛选与待映射数据标准相关的元数据信息之前,还包括:

21、对待映射数据标准进行审批,并在审批通过后,将待映射数据标准存储至预设的数据标准集中,其中,数据标准集存储的数据标准为相同类型。

22、可选的,映射关系包括多个子映射关系,子映射关系是指待映射数据标准与一个目标元数据信息之间的映射关系;

23、数据标准映射元数据的方法,还包括:

24、将映射关系存储到预先建立的映射关系表单中,并将映射关系表单展示在第二预设页面上,其中,映射关系表单包括标准中文名称字段、标准英文名称字段、元数据中文名称字段、元数据英文名称字段和匹配度字段;

25、响应用户在第二预设页面上的删除操作指令,将删除操作指令指向的子映射关系从映射关系表单中删除。

26、可选的,待映射数据标准中还包括与目标字段相关的一个或多个信息:标准编号、字段类型和字段长度。

27、一种数据标准映射元数据的装置,包括:

28、标准生成模块,用于在需要对目标字段进行标准映射时,生成针对目标字段的待映射数据标准,其中,待映射数据标准中包括目标字段的标准中文名称和标准英文名称;

29、元数据拉取模块,用于从元数据管理系统拉取校园业务数据库中存储的各字段的元数据信息;

30、元数据筛选模块,用于从各字段的元数据信息中筛选与待映射数据标准相关的元数据信息,筛选出的元数据信息作为候选元数据信息,其中,候选元数据信息中包括目标字段的元数据中文名称和元数据英文名称;

31、匹配模块,用于根据待映射数据标准包含的标准中文名称和标准英文名称,以及候选元数据信息包含的元数据中文名称和元数据英文名称,计算待映射数据标准与候选元数据信息的匹配度;

32、映射模块,用于根据待映射数据标准与候选元数据信息的匹配度,得到待映射数据标准与目标元数据信息之间的映射关系,以便对目标元数据信息进行合规性校验,其中,待映射数据标准与目标元数据信息之间的匹配度大于预设匹配度阈值。

33、一种电子设备,包括存储器和处理器;

34、存储器,用于存储程序;

35、处理器,用于执行程序,实现如上述任一项的数据标准映射元数据的方法的各个步骤。

36、一种可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,实现如上述任一项的数据标准映射元数据的方法的各个步骤。

37、经由上述的技术方案可知,本申请提供的数据标准映射元数据的方法,在需要对目标字段进行标准映射时,生成针对目标字段的待映射数据标准,从元数据管理系统拉取校园业务数据库中存储的各字段的元数据信息,从各字段的元数据信息中筛选与待映射数据标准相关的元数据信息,筛选出的元数据信息作为候选元数据信息,根据待映射数据标准包含的标准中文名称和标准英文名称,以及候选元数据信息包含的元数据中文名称和元数据英文名称,计算待映射数据标准与候选元数据信息的匹配度,根据待映射数据本文档来自技高网...

【技术保护点】

1.一种数据标准映射元数据的方法,其特征在于,包括:

2.根据权利要求1所述的数据标准映射元数据的方法,其特征在于,所述根据所述待映射数据标准包含的标准中文名称和标准英文名称,以及所述候选元数据信息包含的元数据中文名称和元数据英文名称,计算所述待映射数据标准与所述候选元数据信息的匹配度,包括:

3.根据权利要求1所述的数据标准映射元数据的方法,其特征在于,所述从元数据管理系统拉取校园业务数据库中存储的各字段的元数据信息,包括:

4.根据权利要求3所述的数据标准映射元数据的方法,其特征在于,还包括:

5.根据权利要求1所述的数据标准映射元数据的方法,其特征在于,在所述生成针对所述目标字段的待映射数据标准之后,在所述从所述各字段的元数据信息中筛选与所述待映射数据标准相关的元数据信息之前,还包括:

6.根据权利要求1所述的数据标准映射元数据的方法,其特征在于,所述映射关系包括多个子映射关系,所述子映射关系是指所述待映射数据标准与一个所述目标元数据信息之间的映射关系;

7.根据权利要求1~6任一项所述的数据标准映射元数据的方法,其特征在于,所述待映射数据标准中还包括与所述目标字段相关的一个或多个信息:标准编号、字段类型和字段长度。

8.一种数据标准映射元数据的装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括存储器和处理器;

10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1~7任一项所述的数据标准映射元数据的方法的各个步骤。

...

【技术特征摘要】

1.一种数据标准映射元数据的方法,其特征在于,包括:

2.根据权利要求1所述的数据标准映射元数据的方法,其特征在于,所述根据所述待映射数据标准包含的标准中文名称和标准英文名称,以及所述候选元数据信息包含的元数据中文名称和元数据英文名称,计算所述待映射数据标准与所述候选元数据信息的匹配度,包括:

3.根据权利要求1所述的数据标准映射元数据的方法,其特征在于,所述从元数据管理系统拉取校园业务数据库中存储的各字段的元数据信息,包括:

4.根据权利要求3所述的数据标准映射元数据的方法,其特征在于,还包括:

5.根据权利要求1所述的数据标准映射元数据的方法,其特征在于,在所述生成针对所述目标字段的待映射数据标准之后,在所述从所述各字段的元数据信息中筛选与所述待...

【专利技术属性】
技术研发人员:王夏霖祁祥陆俊健张瑞珏翟玉月
申请(专利权)人:中银金融科技苏州有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1