元数据处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请涉及数据采集技术领域，具体公开了一种元数据处理方法、装置、计算机设备及存储介质。其中方法包括：获取源端系统的元数据信息，并确定为待处理元数据信息；确定所述待处理元数据信息中无效的元数据信息；确定所述待处理元数据信息中已接入的元数据信息；根据所述待处理元数据信息中的目标元数据信息确定待接入元数据信息，其中，所述目标元数据信息包括待处理元数据信息中除无效的元数据信息和已接入的元数据信息之外的元数据信息；将所述待接入元数据信息接入到数据仓库中。本申请实施例可以提高数据仓库的数据完整性，以及提高数据质量和数据管理能力。此外，本申请还涉及区块链技术，所述元数据信息可存储于区块链节点中。

【技术实现步骤摘要】
元数据处理方法、装置、计算机设备及存储介质
本申请涉及数据采集
，尤其涉及一种元数据处理方法、装置、计算机设备及存储介质。
技术介绍
数据仓库作为企业智能化经营分析的数据来源，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合，所以数据仓库需要接入企业的全部应用系统的数据，特别是需要接入企业全部应用系统的有效数据，是否已接入全部的有效数据，即当前数据仓库的数据完整性，是判断数据仓库的数据质量管理重要的一环。传统的数据仓库建设，通常是需要下游数据的使用人员确定需求，然后向数据接入人员提出需求，数据接入人员根据需求来接入对应的数据，但是这样的建设方式有很多缺点，包括管理难度较大、数据响应时效慢以及数据需求零散耗费管理需求的问题，因此很难保证数据仓库的数据完整性。
技术实现思路
本申请提供了一种元数据处理方法、装置、计算机设备及存储介质，可以提高数据仓库的数据完整性，以及提高数据质量和数据管理能力。第一方面，本申请提供了一种元数据处理方法，所述方法包括：获取源端系统的元数据信息，并确定为待处理元数据信息；确定所述待处理元数据信息中无效的元数据信息；确定所述待处理元数据信息中已接入的元数据信息；根据所述待处理元数据信息中的目标元数据信息确定待接入元数据信息，其中，所述目标元数据信息包括待处理元数据信息中除无效的元数据信息和已接入的元数据信息之外的元数据信息；将所述待接入元数据信息接入到数据仓库中。第二方面，本申请提供了一种元数据处理装置，所述装置包括：数据获取模块，用于获取源端系统的元数据信息，并确定为待处理元数据信息；无效确定模块，用于确定所述待处理元数据信息中无效的元数据信息；已接入确定模块，用于确定所述待处理元数据信息中已接入的元数据信息；待接入确定模块，用于根据所述待处理元数据信息中的目标元数据信息确定待接入元数据信息，其中，所述目标元数据信息包括待处理元数据信息中除无效的元数据信息和已接入的元数据信息之外的元数据信息；数据接入模块，用于将所述待接入元数据信息接入到数据仓库中。第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的元数据处理方法。第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的元数据处理方法。本申请公开了一种元数据处理方法、装置、计算机设备及存储介质，该犯法包括：获取源端系统的元数据信息，并确定为待处理元数据信息；确定所述待处理元数据信息中无效的元数据信息；确定所述待处理元数据信息中已接入的元数据信息；根据所述待处理元数据信息中的目标元数据信息确定待接入元数据信息，其中，所述目标元数据信息包括待处理元数据信息中除无效的元数据信息和已接入的元数据信息之外的元数据信息；将所述待接入元数据信息接入到数据仓库中。本申请实施例可以从源端数据获取元数据信息，并将其中的无效的元数据信息和已接入的元数据信息剔除，剔除后的元数据信息可以接入到数据仓库中，可以提高数据仓库的数据完整性，以及提高数据仓库的数据质量。数据仓库由需求驱动型转为数据驱动型，可以提升数据仓库的数据服务能力，以及可以免去繁琐的数据接入需求管理工作，降低人工成本，以及提高沟通时效。附图说明为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种元数据处理方法的示意流程图；图2是本申请实施例提供的另一种元数据处理方法的示意流程图；图3是本申请实施例提供的一种元数据处理装置的示意性框图；图4是本申请的实施例提供的一种计算机设备的结构示意性框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。本申请的实施例提供了一种元数据处理方法、装置、计算机设备及存储介质。下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。请参阅图1，图1是本申请的实施例提供的一种元数据处理方法的示意流程图，如图1所示，该元数据处理方法具体包括步骤S101至步骤S105。S101、获取源端系统的元数据信息，并确定为待处理元数据信息。其中，元数据信息(Metadata)是用来描述数据的数据，元数据信息主要包括描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据信息是一种电子式目录，为了达到编制目录的目的，元数据信息用于描述并收藏数据的内容或特色，进而达成协助数据检索的目的。可选地，元数据信息包括表信息和字段信息等。源端系统可以是企业的应用系统，随着企业的应用系统被使用，源端系统会生成元数据信息，源端系统的元数据信息可以作为数据仓库中需要接入的元数据信息的来源，因此可以从源端系统获取元数据信息。在数据仓库和源端系统的使用过程中，源端系统中的元数据信息会发生变化，同时数据仓库的使用需求可能会发生变化，因此数据仓库所需要的有效数据会发生变化。所以在对数据仓库中的元数据进行管理时，可以从源端系统中获取全部的元数据信息，以便可以从全部的元数据信息中确定新的有效数据接入到数据仓库中。可选地，还可以从源端系统中获取新增的元数据信息，例如，如果是初次从源端系统获取元数据信息，可以获取源端系统中的所有元数据信息，确定为待处理元数据信息。如果不是首次从源端系统获取元数据信息，可以获取源端系统中新增的元数据信息，确定为待处理元数据信息。可选地，获取到的元数据信息可以存储到区块链节点中，以增加安全性。S102、确定所述待处理元数据本文档来自技高网...

【技术保护点】
1.一种元数据处理方法，其特征在于，包括：/n获取源端系统的元数据信息，并确定为待处理元数据信息；/n确定所述待处理元数据信息中无效的元数据信息；/n确定所述待处理元数据信息中已接入的元数据信息；/n根据所述待处理元数据信息中的目标元数据信息确定待接入元数据信息，其中，所述目标元数据信息包括待处理元数据信息中除无效的元数据信息和已接入的元数据信息之外的元数据信息；/n将所述待接入元数据信息接入到数据仓库中。/n

【技术特征摘要】
1.一种元数据处理方法，其特征在于，包括：
获取源端系统的元数据信息，并确定为待处理元数据信息；
确定所述待处理元数据信息中无效的元数据信息；
确定所述待处理元数据信息中已接入的元数据信息；
根据所述待处理元数据信息中的目标元数据信息确定待接入元数据信息，其中，所述目标元数据信息包括待处理元数据信息中除无效的元数据信息和已接入的元数据信息之外的元数据信息；
将所述待接入元数据信息接入到数据仓库中。


2.根据权利要求1所述的元数据处理方法，其特征在于，所述确定所述待处理元数据信息中无效的元数据信息，包括：
获取元数据分析信息；
根据所述元数据分析信息确定所述待处理元数据信息中无效的元数据信息，其中，所述元数据分析信息包括预存的元数据信息及其分析结果，所述分析结果包括每个元数据信息是否无效。


3.根据权利要求2所述的元数据处理方法，其特征在于，所述方法还包括：
获取源端系统的元数据信息，并将所述源端系统的元数据信息输入至预设分析模型，以使所述预设分析模型输出所述元数据信息的分析结果；
将所述源端系统的元数据信息及其对应的分析结果确定为元数据分析信息。


4.根据权利要求1所述的元数据处理方法，其特征在于，所述确定所述待处理元数据信息中已接入的元数据信息，包括：
获取数据仓库中的操作数据存储层中的元数据信息；
将与所述操作数据存储层中的元数据信息对应的待处理元数据信息确定为已接入的元数据信息。


5.根据权利要求4所述的元数据处理方法，其特征在于，所述方法还包括：
将所述操作数据存储层中的元数据信息和所述待接入元数据信息之和确定为第一元数据信息；
将所述操作数据存储层中的元数据信息和所述第一...

【专利技术属性】
技术研发人员：邱荣明，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44