数据处理方法、装置、设备及存储介质制造方法及图纸

本申请提供一种数据处理方法、装置、设备及存储介质。该方法包括：获取待处理的元数据，所述元数据包括扩展属性元数据和通用属性元数据；获取所述扩展属性元数据对应的数据库存储类型、存储结构版本号、扩展属性名称及扩展属性值；采用预设元模型对所述数据库存储类型、所述存储结构版本号、所述扩展属性名称及所述扩展属性值进行格式转换，获得转换的扩展属性元数据；对所述转换的扩展属性元数据和所述通用属性元数据进行存储。本申请的方法，通过设置通用的元模型，能够将不同数据库的元数据进行格式转换，便于对元数据进行统一管理，不仅有效降低存储空间，而且有利于提供数据传输效率。输效率。输效率。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质


[0001]本申请涉及数据管理
，尤其涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]元数据是关于数据的数据，是对数据进行描述、解释、定位并使其更方便检索、使用或管理的数据。
[0003]数据仓库中各类存储数据库中的模型存在于各自的元模型管理系统中，各类存储数据库都有其自有的元模型体系，如：hive的元模型体系metastore，hbase的元模型体系meta及root表等。
[0004]但在集中存储和管控各种类型存储数据库的数据时，需要不断增加各类数据库的元模型，针对现有的异构存储场景无法有效地对元数据进行统一管理。

技术实现思路

[0005]本申请提供一种数据处理方法、装置、设备及存储介质，用以解决现有的异构存储场景无法有效地对元数据进行统一管理的问题。
[0006]第一方面，本申请提供一种数据处理方法，包括：
[0007]获取待处理的元数据，所述元数据包括扩展属性元数据和通用属性元数据；
[0008]获取所述扩展属性元数据对应的数据库存储类型、存储结构版本号、扩展属性名称及扩展属性值；
[0009]采用预设元模型对所述数据库存储类型、所述存储结构版本号、所述扩展属性名称及所述扩展属性值进行格式转换，获得转换的扩展属性元数据；
[0010]对所述转换的扩展属性元数据和所述通用属性元数据进行存储。
[0011]第二方面，本申请还提供一种数据处理方法，包括：
[0012]发送元数据查询请求至对应的服务器，以供所述服务器反馈与所述请求对应的扩展属性元数据和对应的通用属性元数据，所述扩展属性元数据为采用预设元模型对扩展属性元数据对应的数据库存储类型、存储结构版本号、扩展属性名称及扩展属性值经过格式转换得到的扩展属性元数据；
[0013]接收所述服务器发送的所述对应的扩展属性元数据和对应的通用属性元数据；
[0014]对所述对应的扩展属性元数据进行格式转换，得到原始扩展属性元数据；
[0015]显示所述原始扩展属性元数据和所述对应的通用属性元数据。
[0016]第三方面，本申请提供一种数据处理装置，包括：
[0017]获取单元，用于获取待处理的元数据，所述待处理的元数据包括扩展属性元数据和通用属性元数据；
[0018]获取单元，还用于获取所述扩展属性元数据对应的数据库存储类型、存储结构版本号、扩展属性名称及扩展属性值；
[0019]第一处理单元，用于采用预设元模型对所述数据库存储类型、所述存储结构版本号、所述扩展属性名称及所述扩展属性值进行格式转换，获得转换的扩展属性元数据；
[0020]存储单元，用于对所述转换的扩展属性元数据和所述通用属性元数据进行存储。
[0021]第四方面，本申请还提供一种数据处理装置，包括：
[0022]收发单元，用于发送元数据查询请求至对应的服务器，以供所述服务器反馈与所述请求对应的扩展属性元数据和对应的通用属性元数据，所述扩展属性元数据为采用预设元模型对扩展属性元数据对应的数据库存储类型、存储结构版本号、扩展属性名称及扩展属性值经过格式转换得到的扩展属性元数据；
[0023]收发单元，还用于接收所述服务器发送的所述对应的扩展属性元数据和对应的通用属性元数据；
[0024]第二处理单元，用于对所述对应的扩展属性元数据进行格式转换，得到原始扩展属性元数据；
[0025]显示单元，用于显示所述原始扩展属性元数据和所述对应的通用属性元数据。
[0026]第五方面，本申请提供一种电子设备，包括：处理器，存储器及收发器；
[0027]处理器，存储器及收发器电路互联；
[0028]存储器存储计算机执行指令；
[0029]收发器，用于收发数据；
[0030]处理器执行存储器存储的计算机执行指令，使得处理器执行如第一方面或第二方面所述的方法。
[0031]第六方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面或第二方面所述的方法。
[0032]本申请提供的数据处理方法、装置、设备及存储介质，通过获取待处理的元数据，所述元数据包括扩展属性元数据和通用属性元数据；获取所述扩展属性元数据对应的数据库存储类型、存储结构版本号、扩展属性名称及扩展属性值；采用预设元模型对所述数据库存储类型、所述存储结构版本号、所述扩展属性名称及所述扩展属性值进行格式转换，获得转换的扩展属性元数据；对所述转换的扩展属性元数据和所述通用属性元数据进行存储，通过设置通用的元模型，能够将不同数据库的元数据进行格式转换，便于对元数据进行统一管理，不仅有效降低存储空间，而且有利于提供数据传输效率。
附图说明
[0033]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0034]图1为本申请提供的数据处理方法的网络架构示意图；
[0035]图2为本申请提供的一种数据处理方法的流程示意图；
[0036]图3为本申请提供的另一种数据处理方法的流程示意图；
[0037]图4为本申请提供的另一种数据处理方法的流程示意图；
[0038]图5为本申请提供的一种数据处理装置的结构示意图；
[0039]图6为本申请提供的另一种数据处理装置的结构示意图；
[0040]图7为用来实现本申请实施例的数据处理方法的电子设备的第一框图；
[0041]图8为用来实现本申请实施例的数据处理方法的电子设备的第二框图。
[0042]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0043]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0044]为了清楚理解本申请的技术方案，首先对现有技术的方案进行详细介绍。
[0045]数据仓库中各类存储数据库中的模型存在于各自的元模型管理系统中，各类存储数据库都有其自有的元模型体系，如：hive的元模型体系metastore，hbase的元模型体系meta及root表等。
[0046]但在集中存储和管控各种类型存储数据库的数据时，需要不断增加各类数据库的元模型，针对现有的异构存储场景无法有效地对元数据进行统一管理。
[0047]所以针对现有技术中基于人工对入库数据进行抽样检查的方式效率较低，专利技术人在研本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取待处理的元数据，所述元数据包括扩展属性元数据和通用属性元数据；获取所述扩展属性元数据对应的数据库存储类型、存储结构版本号、扩展属性名称及扩展属性值；采用预设元模型对所述数据库存储类型、所述存储结构版本号、所述扩展属性名称及所述扩展属性值进行格式转换，获得转换的扩展属性元数据；对所述转换的扩展属性元数据和所述通用属性元数据进行存储。2.根据权利要求1所述的方法，其特征在于，所述采用预设元模型对所述数据库存储类型、所述存储结构版本号、所述扩展属性名称及所述扩展属性值进行格式转换，获得转换的扩展属性元数据，包括：获取预设元模型中的预设数据库存储类型和标准代码的第一映射关系、预设存储结构版本号和标准代码的第二映射关系、预设扩展属性名称和标准代码的第三映射关系及预设扩展属性值和标准代码的第四映射关系；基于所述第一映射关系和所述二映射关系分别对所述数据库存储类型和所述存储结构版本号进行格式转换，得到转换的数据库存储类型和转换的存储结构版本号；基于所述第三映射关系对所述扩展属性名称进行格式转换，得到转换的扩展属性名称，并基于所述转换的扩展属性名称确定第一扩展属性元数据；基于基于所述第四映射关系对所述扩展属性值进行格式转换，得到转换的扩展属性值，并基于所述转换的扩展属性值确定第二扩展属性元数据；将所述转换的数据库存储类型、转换的存储结构版本号、所述第一扩展属性元数据和所述第二扩展属性元数据按照预设顺序进行排序，得到所述转换的扩展属性元数据。3.根据权利要求2所述的方法，其特征在于，所述基于所述转换的扩展属性名称确定第一扩展属性元数据，包括：获取所述转换的扩展属性名称对应的长度、所述扩展属性名称归属类型标识；将所述扩展属性名称归属类型标识、所述长度及所述转换的扩展属性名称确定为所述第一扩展属性元数据。4.根据权利要求2所述的方法，其特征在于，所述基于所述转换的扩展属性值确定第二扩展属性元数据，包括：获取所述转换的扩展属性值对应的长度、所述扩展属性值归属类型标识；将所述扩展属性值归属类型标识、所述长度及所述转换的扩展属性值确定为所述第二扩展属性元数据。5.根据权利要求1至4任一项所述的方法，其特征在于，所述对所述转换的扩展属性元数据和所述通用属性元数据进行存储，包括：采用预设对称加密算法对所述转换的扩展属性元数据进行加密，得到加密的扩展属性元数据；将所述加密的扩展属性元数据和所述通用属性元数据存储至预设数据库。6.一种数据处理方法，其特征在于，所述方法包括：发送元数据查询请求至对应的服务器，以供所述服务器反馈与所述请求对应的扩展属性元数据和对应的通用属性元数据，所述扩展属性元数据为采用预设元模型对扩展属性元
数据对应的数据库存储类型、存储结构版本号、扩展属性名称及扩展属性值经过格式转...

【专利技术属性】
技术研发人员：贾玉武，宋雨伦，李大中，谭晟中，秦宏伟，吴毅力其，
申请(专利权)人：联通数字科技有限公司，
类型：发明
国别省市：