数据资产管理方法、控制装置及可读存储介质制造方法及图纸

本发明专利技术涉及信息技术技术领域，具体提供一种数据资产管理方法、控制装置及可读存储介质，旨在解决如何对数据资产进行有效管理，以提升数据管理的一致性、准确性和管理效率的问题。为此目的，本发明专利技术能够将待管理的数据信息解析为三元组的形式，并将三元组存储于知识图谱中，从而生成数据信息的数据资产全景地图，并基于预设规则对数据资产全景地图进行数据评估。通过上述配置方式，本发明专利技术能够基于数据资产全景地图对数据信息进行全面的数据评估，更加有利于发现数据存在的质量问题，实现对数据信息的有效管理，能够有效提升数据管理的一致性、准确性和管理效率。准确性和管理效率。准确性和管理效率。

【技术实现步骤摘要】
数据资产管理方法、控制装置及可读存储介质


[0001]本专利技术涉及信息技术
，具体提供一种数据资产管理方法、控制装置及可读存储介质。

技术介绍

[0002]元数据管理和数据质量管理是数据资产管理的重点和难点，元数据管理包括业务元数据管理、技术元数据管理、操作元数据管理和数据血缘管理。目前的业务数据流、技术元数据、业务元数据管理、操作元数据管理、数据血缘管理都是各自独立的，业务元数据人工维护的比例很高，严重地影响到数据的准确性、一致性以及数据管理效率。同时，也对数据质量问题发现造成了阻碍，很难发现深层次的数据质量问题，如数据一致性的问题。
[0003]相应地，本领域需要一种新的数据资产管理方案来解决上述问题。

技术实现思路

[0004]为了克服上述缺陷，提出了本专利技术，以提供解决或至少部分地解决如何对数据资产进行有效管理，以提升数据管理的一致性、准确性和管理效率的问题。
[0005]在第一方面，本专利技术提供一种数据资产管理方法，所述方法包括：
[0006]获取待管理的数据信息；
[0007]将所述数据信息解析为三元组的形式；
[0008]将所述三元组存入知识图谱中，以生成所述数据信息的数据资产全景地图；
[0009]根据预设规则，对所述数据资产全景地图进行数据评估，以实现对所述数据信息的管理
[0010]在上述数据资产管理方法的一个技术方案中，所述数据信息包括业务数据流和/或数据血缘和/或业务元数据和/或技术元数据和/或操作元数据。r/>[0011]在上述数据资产管理方法的一个技术方案中，所述预设规则包括一致性规则，“根据预设规则，对所述数据资产全景地图进行数据评估”的步骤包括：
[0012]根据所述一致性规则，针对所述数据资产全景地图的每个节点，根据所述数据血缘生成有向无环子图；
[0013]根据所述有向无环子图，获取所述节点的最终编码；
[0014]根据所有节点的最终编码，获取所述数据信息的最终不一致性问题，作为数据评估结果。
[0015]在上述数据资产管理方法的一个技术方案中，“根据所述有向无环子图，获取所述节点的最终编码”的步骤包括：
[0016]应用预设的遍历方式，对所述有向无环子图进行遍历，生成所述节点的预编码；
[0017]应用MD5算法，根据所述预编码，获取所述节点的最终编码。
[0018]在上述数据资产管理方法的一个技术方案中，“根据所有节点的最终编码，获取所述数据信息的最终不一致性问题”的步骤包括：
[0019]将每个节点的节点名称和最终编码分别与其他节点的节点名称和最终编码进行比较；
[0020]当存在两个节点的节点名称不一致但最终编码一致时，判定为疑似不一致问题；
[0021]针对疑似不一致问题对应的节点，应用预设的机器学习分类模型对所述节点进行分类筛选，获得最终不一致问题；
[0022]其中，所述机器学习分类模型为根据所述节点的节点特征构建的；所述节点特征至少包括所述节点对应的链路更新频率和/或使用频率和/或数据来源。
[0023]在上述数据资产管理方法的一个技术方案中，所述预设规则包括准确性规则，“根据预设规则，对所述数据资产全景地图进行数据评估”的步骤包括：
[0024]根据所述准确性规则，判断所述数据资产全景地图中业务数据流拓扑和对应的数据血缘拓扑之间的一致性；
[0025]根据判断结果，获取所述业务数据流拓扑与对应的所述数据血缘拓扑之间不一致的边数，作为数据评估结果。
[0026]在上述数据资产管理方法的一个技术方案中，“将所述三元组存入知识图谱中，以生成所述数据信息的数据资产全景地图”的步骤包括：
[0027]将所述三元组存入知识图谱中，根据所述业务数据流和所述数据血缘，构建所述数据信息的依赖关系树；
[0028]根据所述业务元数据和所述依赖关系树，实现所述依赖关系树的后续节点从前继节点继承所述业务元数据，以生成所述数据信息的数据资产全景地图；
[0029]其中，所述数据资产全景地图的节点属性存储在所述知识图谱中或关系型数据库中；所述节点属性根据所述技术元数据和/或所述操作元数据的三元组获得。
[0030]在上述数据资产管理方法的一个技术方案中，“将所述数据信息解析为三元组的形式”的步骤包括：
[0031]根据预设的解析规则，应用数据仓库技术对所述数据血缘的SQL语法树进行解析，获取所述数据血缘的三元组；和/或，
[0032]将所述业务元数据和/或所述技术元数据和/或所述操作元数据分别以三元组的形式进行保存；和/或，
[0033]将所述业务数据流以三元组的形式进行保存。
[0034]在第二方面，提供一种控制装置，该控制装置包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述数据资产管理方法的技术方案中任一项技术方案所述的数据资产管理方法。
[0035]在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述数据资产管理方法的技术方案中任一项技术方案所述的数据资产管理方法。
[0036]本专利技术上述一个或多个技术方案，至少具有如下一种或多种有益效果：
[0037]在实施本专利技术的技术方案中，本专利技术能够将待管理的数据信息解析为三元组的形式，并将三元组存储于知识图谱中，从而生成数据信息的数据资产全景地图，并基于预设规则对数据资产全景地图进行数据评估。通过上述配置方式，本专利技术能够基于数据资产全景
地图对数据信息进行全面的数据评估，更加有利于发现数据存在的质量问题，实现对数据信息的有效管理，能够有效提升数据管理的一致性、准确性和管理效率。
附图说明
[0038]参照附图，本专利技术的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本专利技术的保护范围组成限制。其中：
[0039]图1是根据本专利技术的一个实施例的数据资产管理方法的主要步骤流程示意图；
[0040]图2是根据本专利技术实施例的一个实施方式的数据资产管理方法的主要步骤流程示意图；
[0041]图3是根据本专利技术实施例的一个示例的数据资产全景地图的示意图。
具体实施方式
[0042]下面参照附图来描述本专利技术的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本专利技术的技术原理，并非旨在限制本专利技术的保护范围。
[0043]在本专利技术的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据资产管理方法，其特征在于，所述方法包括：获取待管理的数据信息；将所述数据信息解析为三元组的形式；将所述三元组存入知识图谱中，以生成所述数据信息的数据资产全景地图；根据预设规则，对所述数据资产全景地图进行数据评估，以实现对所述数据信息的管理。2.根据权利要求1所述的数据资产管理方法，其特征在于，所述数据信息包括业务数据流和/或数据血缘和/或业务元数据和/或技术元数据和/或操作元数据。3.根据权利要求2所述的数据资产管理方法，其特征在于，所述预设规则包括一致性规则，“根据预设规则，对所述数据资产全景地图进行数据评估”的步骤包括：根据所述一致性规则，针对所述数据资产全景地图的每个节点，根据所述数据血缘生成有向无环子图；根据所述有向无环子图，获取所述节点的最终编码；根据所有节点的最终编码，获取所述数据信息的最终不一致性问题，作为数据评估结果。4.根据权利要求3所述的数据资产管理方法，其特征在于，“根据所述有向无环子图，获取所述节点的最终编码”的步骤包括：应用预设的遍历方式，对所述有向无环子图进行遍历，生成所述节点的预编码；应用MD5算法，根据所述预编码，获取所述节点的最终编码。5.根据权利要求3所述的数据资产管理方法，其特征在于，“根据所有节点的最终编码，获取所述数据信息的最终不一致性问题”的步骤包括：将每个节点的节点名称和最终编码分别与其他节点的节点名称和最终编码进行比较；当存在两个节点的节点名称不一致但最终编码一致时，判定为疑似不一致问题；针对疑似不一致问题对应的节点，应用预设的机器学习分类模型对所述节点进行分类筛选，获得最终不一致问题；其中，所述机器学习分类模型为根据所述节点的节点特征构建的；所述节点特征至少包括所述节点对应的链路更新频率和/或使用频率和/或数据来源。6.根据权利要...

【专利技术属性】
技术研发人员：郑志骏，
申请(专利权)人：北京云从科技有限公司，
类型：发明
国别省市：