数据处理方法及装置制造方法及图纸

本公开涉及数据处理技术领域，涉及一种数据处理方法及装置

【技术实现步骤摘要】
数据处理方法及装置、计算机可读存储介质和电子设备


[0001]本公开涉及数据处理
，更具体地，涉及一种数据处理方法
、
数据处理装置
、
计算机可读存储介质和电子设备
。

技术介绍

[0002]随着数字化时代的到来，数据已然成为一种具有重要价值的资产，数据资产管理也显现出重要的意义和影响
。
其中，数据资产发现是指能够自动或半自动地发现数据，包括结构化数据
、
非结构化数据
、
半结构化数据等，并对这些数据资产进行分类
、
描述和组织，对于数据资产管理系统而言，既是基础功能，也是实现数据资产管理全流程的关键步骤之一
。
[0003]然而，相关技术中的数据资产发现方法需要各业务系统自主上报，存在效率低和准确性低的缺点，一定程度影响数据资产的有效管理和运用
。
[0004]需要说明的是，在上述
技术介绍
部分专利技术的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息
。

技术实现思路

[0005]本公开的目的在于提供一种数据处理方法及装置
、
计算机可读存储介质和电子设备，进而至少在一定程度上提高发现数据资产的效率和准确性
。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得
。
[0007]根据本公开的一个方面，提供一种数据处理方法，包括：获取任务配置信息，根据所述任务配置信息启动对应的任务流，并确定所述任务流的目标数据源；执行所述任务流时，获取所述目标数据源中的原始元数据，并将所述原始元数据转换为预定格式的目标元数据；将所述目标元数据与所述原始元数据对应的缓存元数据进行匹配，根据匹配结果确定待输出的元数据
。
[0008]在本公开的一种示例性实施例中，所述获取任务配置信息包括：响应于针对预设的任务配置文件的配置操作，根据所述任务配置文件和所述配置操作的配置信息生成所述任务配置信息；其中，所述任务配置信息用于指示从所述目标数据源中提取原始元数据
。
[0009]在本公开的一种示例性实施例中，所述任务配置信息包括多个数据源的数据传输配置，所述确定所述任务流的目标数据源，包括：根据所述配置操作的配置信息中的源数据类型信息，从所述多个数据源中确定所述目标数据源；基于所述配置操作的配置信息中的连接配置信息调用所述目标数据源的数据传输配置，以建立与所述目标数据源的数据传输连接
。
[0010]在本公开的一种示例性实施例中，所述任务配置信息包括定时器配置；所述执行所述任务流时，获取所述目标数据源中的原始元数据，并将所述原始元数据转换为预定格式的目标元数据，包括：执行所述任务流时，基于所述定时器配置定时触发元数据提取任务；根据所述元数据提取任务对应的信息提取方式从所述目标数据源中进行元数据提取，
得到所述原始元数据；将所述原始元数据进行格式化处理，以得到具有所述预定格式的目标元数据
。
[0011]在本公开的一种示例性实施例中，所述将所述原始元数据进行格式化处理，以得到具有所述预定格式的目标元数据，包括：获取数据模板；将所述原始元数据进行解析，并将解析结果填入所述数据模板，以得到具有所述预定格式的目标元数据
。
[0012]在本公开的一种示例性实施例中，在所述将所述原始元数据转换为预定格式的目标元数据之后，将所述目标元数据存储在第一缓存区；所述将所述目标元数据与所述目标元数据对应的缓存元数据进行匹配，根据匹配结果确定待输出的元数据，包括：从所述第一缓存区中获取所述目标元数据，所述目标元数据包括元数据标识；访问第二缓存区，从所述第二缓存区中获取所述元数据标识对应的所述缓存元数据，所述第二缓存区保存有所述目标数据源的历史元数据；将所述目标元数据与所述缓存元数据进行匹配，以根据匹配结果确定所述待输出的元数据
。
[0013]在本公开的一种示例性实施例中，在确定所述待输出的元数据之后，所述方法还包括：基于所述待输出的元数据更新所述第二缓存区的所述历史元数据
。
[0014]在本公开的一种示例性实施例中，所述第二缓存区为检查点缓存，在所述访问第二缓存区之前，所述方法还包括：加载所述检查点缓存至目标线程，所述目标线程为所述目标数据源对应的线程，所述目标线程用于获取所述目标数据源的待输出的元数据
。
[0015]在本公开的一种示例性实施例中，所述将所述目标元数据与所述原始元数据对应的缓存元数据进行匹配，根据匹配结果确定待输出的元数据，包括：将所述目标元数据与所述原始元数据对应的缓存元数据进行匹配，根据匹配结果获取发生变化的元数据；将所述发生变化的元数据确定为所述待输出的元数据
。
[0016]在本公开的一种示例性实施例中，所述目标数据源的数量为多个，所述任务配置信息包括异步线程数；所述方法还包括：创建具有所述异步线程数的多个元数据提取任务；基于所述多个元数据提取任务实时且异步地从各所述目标数据源中进行元数据提取，得到各所述目标数据源各自对应的原始元数据
。
[0017]根据本公开的一个方面，提供一种数据处理装置，包括：配置模块，用于获取任务配置信息，根据所述任务配置信息启动对应的任务流，并确定所述任务流的目标数据源；元数据提取模块，用于执行所述任务流时，获取所述目标数据源中的原始元数据，并将所述原始元数据转换为预定格式的目标元数据；元数据处理模块，用于将所述目标元数据与所述原始元数据对应的缓存元数据进行匹配，根据匹配结果确定待输出的元数据
。
[0018]根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法
。
[0019]根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法
。
[0020]本公开的示例性实施例中的数据处理方法，一方面，通过获取任务配置信息，根据任务配置信息启动任务流，并确定任务流的目标数据源，以在执行任务流时，获取目标数据源的原始元信息，基于任务配置信息就可以读取外部数据源的原始元数据，可以根据需求实现对多种数据源的访问需求并获取原始元数据，并且以流式处理方式提高发现原始元数
据的实时性，提高数据发现效率
。
另一方面，在获得原始元数据后，将原始元数据转换为预定格式的目标元数据，可以实现将来自不同目标源数据的元数据进行格式统一化，进而在下游数据资产管理时仅需将具有统一格式的元数据转换为数据资产即可，无需进行其它额外的格式化处理，方便与下游各种数据资产管理系统对接，提高各数据资产管理系统获得数据资产的效率
。
再一方面，通过结合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，包括：获取任务配置信息，根据所述任务配置信息启动对应的任务流，并确定所述任务流的目标数据源；执行所述任务流时，获取所述目标数据源中的原始元数据，并将所述原始元数据转换为预定格式的目标元数据；将所述目标元数据与所述原始元数据对应的缓存元数据进行匹配，根据匹配结果确定待输出的元数据
。2.
根据权利要求1所述的方法，其特征在于，所述获取任务配置信息，包括：响应于针对预设的任务配置文件的配置操作，根据所述任务配置文件和所述配置操作的配置信息生成所述任务配置信息；其中，所述任务配置信息用于指示从所述目标数据源中提取原始元数据
。3.
根据权利要求2所述的方法，其特征在于，所述任务配置文件包括多个数据源的数据传输配置，所述确定所述任务流的目标数据源，包括：根据所述配置操作的配置信息中的源数据类型信息，从所述多个数据源中确定所述目标数据源；基于所述配置操作的配置信息中的连接配置信息调用所述目标数据源的数据传输配置，以建立与所述目标数据源的数据传输连接
。4.
根据权利要求1所述的方法，其特征在于，所述任务配置信息包括定时器配置；所述执行所述任务流时，获取所述目标数据源中的原始元数据，并将所述原始元数据转换为预定格式的目标元数据，包括：执行所述任务流时，基于所述定时器配置定时触发元数据提取任务；根据所述元数据提取任务对应的信息提取方式从所述目标数据源中进行元数据提取，得到所述原始元数据；将所述原始元数据进行格式化处理，以得到具有所述预定格式的目标元数据
。5.
根据权利要求4所述的方法，其特征在于，所述将所述原始元数据进行格式化处理，以得到具有所述预定格式的目标元数据，包括：获取数据模板；将所述原始元数据进行解析，并将解析结果填入所述数据模板，以得到具有所述预定格式的目标元数据
。6.
根据权利要求1所述的方法，其特征在于，在所述将所述原始元数据转换为预定格式的目标元数据之后，将所述目标元数据存储在第一缓存区；所述将所述目标元数据与所述目标元数据对应的缓存元数据进行匹配，根据匹配结果确定待输出的元数据，包括：从所述第一缓存区中获取所述目标元数据，所述目标元数据包括元数据标识；访问第二缓存区，从所述第二缓存区中获取所述元数据标识对应的所述缓存元数据，所述第...

【专利技术属性】
技术研发人员：周佳文，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：