元数据处理方法、装置、电子设备、存储介质及产品制造方法及图纸

本发明专利技术提供一种元数据采集方法、装置、电子设备、存储介质及产品，所述方法包括：采集数据源中的目标元数据，通过接入层中的目标应用代理程序将所述目标元数据传输到与所述目标应用代理程序匹配的目标适配器中，所述目标适配器对所述目标元数据进行数据转换处理，得到转换后的目标元数据，确定所述转换后的目标元数据的类型，将所述转换后的目标元数据存储到对应的存储介质。本发明专利技术提供的元数据处理方法通过对元数据采集、适配与存储的依次处理，能够保证元数据处理的准确性，降低维护成本，提升了用户体验。升了用户体验。升了用户体验。

【技术实现步骤摘要】
元数据处理方法、装置、电子设备、存储介质及产品


[0001]本专利技术涉及数据处理
，尤其涉及一种元数据处理方法、 装置、电子设备、存储介质及产品。

技术介绍

[0002]根据2019年6月中国信通院发布的《数据资产管理实践白皮书 4.0》：数据作为越来越重要的生产要素，将成为比土地、石油、煤矿 等更为核心的生产资源，如何加工利用数据，释放数据价值，实现企 业的数字化转型，是各企业面临的重要课题。
[0003]目前，企业在数据资产管理中面临诸多问题，这些问题阻碍了数 据的互联互通和高效利用，成为了数据价值难以有效释放的瓶颈，主 要包括以下几点：缺乏统一数据视图、数据孤岛普遍存在、数据质量 低下、缺乏安全的数据环境、缺乏数据价值管理体系。
[0004]现有技术中，数据资产管理通过解决释放数据价值过程中面临的 诸多问题，以体系化的方式实现数据的可得、可用、好用，用较小的 数据成本获得较大的数据收益。数据资产管理的切入点是对数据进行 全面盘点，形成数据地图，为业务应用和数据获取夯实基础。而元数 据作为数据资产管理的核心基础，是实现全面掌握数据资产现状的核 心点。但目前已有的元数据采集系统中普遍存在采集和适配紧耦合、 适配器数量多及维护成本高等问题，导致用户的体验较差。

技术实现思路

[0005]本专利技术提供一种元数据处理方法、装置、电子设备、存储介质及 产品用以解决现有技术中采集和适配耦合、适配器数量多且维护成本 较高，导致用户体验较差的技术问题，本专利技术以实现通过采集与适配 分开处理，保证元数据处理的准确性，降低维护成本，提升用户体验 的目的。
[0006]第一方面，本专利技术提供一种元数据处理方法，包括：
[0007]采集数据源中的目标元数据；
[0008]通过接入层中的目标应用代理程序将所述目标元数据传输到与 所述目标应用代理程序匹配的目标适配器中，所述目标适配器对所述 目标元数据进行数据转换处理，得到转换后的目标元数据；
[0009]确定所述转换后的目标元数据的类型，将所述转换后的目标元数 据存储到对应的存储介质。
[0010]进一步，根据本专利技术提供的元数据处理方法，所述采集数据源中 的目标元数据，包括：
[0011]在所述数据源处于与元数据管理产品网络不通或访问受限的情 况下，通过消息队列的方式实时采集所述目标元数据；
[0012]在所述数据源中的目标数据处于实时增量的情况下，通过消息队 列的方式实时采集目标元数据。
[0013]进一步，根据本专利技术提供的元数据处理方法，所述采集数据源中 的目标元数据，还包括：
[0014]在所述目标元数据处于离线批量应用的情况下，通过应用程序编 程接口调度批量采集所述目标元数据。
[0015]进一步，根据本专利技术提供的元数据处理方法，所述通过接入层中 的目标应用代理程序将所述目标元数据传输到与所述目标应用代理 程序匹配的目标适配器中，包括：
[0016]根据Atlas技术预先确定所述接入层中的目标应用代理程序的层 级定义与所述目标适配器的层级定义之间的映射关系；
[0017]根据所述映射关系确定出与所述目标应用代理程序对应的目标 适配器，将所述目标元数据从所述目标应用代理程序传输到所述目标 适配器中。
[0018]进一步，根据本专利技术提供的元数据处理方法，所述目标适配器对 所述目标元数据进行数据转换处理，得到转换后的目标元数据，包括：
[0019]利用所述目标适配器对所述目标元数据进行数据类型的转换处 理，得到转换后的目标元数据。
[0020]第二方面，本专利技术还提供一种元数据处理装置，包括：
[0021]采集模块，用于采集数据源中的目标元数据；
[0022]接入与适配模块，用于通过接入层中的目标应用代理程序将所述 目标元数据传输到与所述目标应用代理程序匹配的目标适配器中，所 述目标适配器对所述目标元数据进行数据转换处理，得到转换后的目 标元数据；
[0023]存储模块，用于确定所述转换后的目标元数据的类型，将所述转 换后的目标元数据存储到对应的存储介质。
[0024]进一步，根据本专利技术提供的元数据处理装置，所述采集模块还用 于：
[0025]在所述数据源处于与元数据管理产品网络不通或访问受限的情 况下，通过消息队列的方式实时采集所述目标元数据；
[0026]在所述数据源中的目标数据处于实时增量的情况下，通过消息队 列的方式实时采集目标元数据。
[0027]第三方面，本专利技术还提供一种电子设备，包括存储器、处理器及 存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行 所述程序时实现如上述任一种所述元数据处理方法的步骤。
[0028]第四方面，本专利技术还提供一种非暂态计算机可读存储介质，其上 存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种 所述元数据处理方法的步骤。
[0029]第五方面，本专利技术还提供一种计算机程序产品，所述计算机程序 产品包括计算机可执行指令，所述指令在被执行时用于实现如上任一 项所述元数据处理方法的步骤。
[0030]本专利技术提供一种元数据采集方法、装置、电子设备、存储介质及 产品，所述方法包括：采集数据源中的目标元数据，通过接入层中的 目标应用代理程序将所述目标元数据传输到与所述目标应用代理程 序匹配的目标适配器中，所述目标适配器对所述目标元数据进行数据 转换处理，得到转换后的目标元数据，确定所述转换后的目标元数据 的类型，将所述转换后的目标元数据存储到对应的存储介质。本专利技术 提供的元数据处理方法通过对元数据采集、适配与存储的依次处理， 能够保证元数据处理的准确性，降低维护成本，提升
了用户体验。
附图说明
[0031]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见 地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术 人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得 其他的附图。
[0032]图1是本专利技术提供的元数据处理方法的流程示意图；
[0033]图2是本专利技术提供的元数据处理方法的整体流程示意图；
[0034]图3是本专利技术提供的元数据处理系统的整体结构示意图；
[0035]图4是本专利技术提供的元数据处理装置的结构示意图；
[0036]图5是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0037]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本发 明中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于 本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提 下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0038]图1为本专利技术提供的元数据处理方法的流程示意图，如图1所示， 本专利技术提供的元数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种元数据处理方法，其特征在于，包括：采集数据源中的目标元数据；通过接入层中的目标应用代理程序将所述目标元数据传输到与所述目标应用代理程序匹配的目标适配器中，所述目标适配器对所述目标元数据进行数据转换处理，得到转换后的目标元数据；确定所述转换后的目标元数据的类型，将所述转换后的目标元数据存储到对应的存储介质。2.根据权利要求1所述的元数据处理方法，其特征在于，所述采集数据源中的目标元数据，包括：在所述数据源处于与元数据管理产品网络不通或访问受限的情况下，通过消息队列的方式实时采集所述目标元数据；在所述数据源中的目标数据处于实时增量的情况下，通过消息队列的方式实时采集目标元数据。3.根据权利要求1所述的元数据处理方法，其特征在于，所述采集数据源中的目标元数据，还包括：在所述目标元数据处于离线批量应用的情况下，通过应用程序接口调度批量采集所述目标元数据。4.根据权利要求1所述的元数据处理方法，其特征在于，所述通过接入层中的目标应用代理程序将所述目标元数据传输到与所述目标应用代理程序匹配的目标适配器中，包括：根据Atlas技术预先确定所述接入层中的目标应用代理程序的层级定义与所述目标适配器的层级定义之间的映射关系；根据所述映射关系确定出与所述目标应用代理程序对应的目标适配器，将所述目标元数据从所述目标应用代理程序传输到所述目标适配器中。5.根据权利要求1所述的元数据处理方法，其特征在于，所述目标适配器对所述目标元数据进行数据转换处理，得到转换后的目标元数据，包括：利用所述...

【专利技术属性】
技术研发人员：卢国庆，黄践焜，
申请(专利权)人：浪潮通信信息系统有限公司，
类型：发明
国别省市：