一种基于标识解析的数据管理方法、系统和存储介质技术方案

本发明专利技术公开了一种基于标识解析的数据管理方法、系统和存储介质，包括：构建每个业务数据表单对应的数据对象，并获取每个数据对象的属性标签；基于每个数据对象及对应的属性标签，构建知识图谱模型；利用标识解析方法，建立所述知识图谱模型中的每个数据对象与对应的业务数据表单之间的关联映射模型。本发明专利技术通过标识解析技术建立实体与原始业务数据的映射关系，减少了原始数据在平台中的存储次数，从而降低了数据治理和应用工作给数据湖存储的要求，实现了数据在平台中单一节点维护，避免了数据从业务系统进入数据湖数据同步和数据一致性的维护工作。一致性的维护工作。一致性的维护工作。

【技术实现步骤摘要】
一种基于标识解析的数据管理方法、系统和存储介质


[0001]本专利技术涉及信息数字化
，尤其涉及一种基于标识解析的数据管理方法、系统和存储介质。

技术介绍

[0002]随着数字化转型的持续推进，各行业和企业均形成了规模不一的数据资产。这些数据经过数据治理形成各式各样的数据产品，为企业或行业内外部提供服务。数据治理的任务就是在资源最小化的情况下实现行业和企业大数据服务的最大化。传统数据治理方法是构建数据湖，并将全量或者核心数据从业务系统中进行抽取，经过数据清洗、建模，加工成数据产品，最后进行数据产品发布形成行业或者企业可应用的资源或者能力。
[0003]然而，这种治理方案需要数据在业务数据库、数据湖和数据建模数据库中同时存储。首先，工业用户一般业务逻辑和业务数据间关联关系复杂，需要较为专业的模型进行支撑。这种情况下数据湖如果保持数据在业务系统中的数据模型，就会影响数据在数据湖中的二次建模，如果舍弃业务系统中的数据模型就会严重影响对原业务的深度分析和应用。其次，将数据从原始业务数据库抽取加工后录入数据湖的方式也给管理带来诸多不便：一是该模式使得数据在发生变更时，需要复杂的业务逻辑对数据的一致性进行维护；二是随着知识图谱的发展，大量半结构化、非结构化数据也成为研究对象，这部分数据消耗的存储空间普遍较大。在同一个平台上的两个甚至多个数据库对同一项数据存储本身也是一种资源的浪费。
[0004]因此，亟需提供一种技术方案解决上述问题。

技术实现思路

[0005]为解决上述技术问题，本专利技术提供了一种基于标识解析的数据管理方法、系统和存储介质。
[0006]本专利技术的一种基于标识解析的数据管理方法的技术方案如下：
[0007]构建每个业务数据表单对应的数据对象，并获取每个数据对象的属性标签；
[0008]基于每个数据对象及对应的属性标签，构建知识图谱模型；
[0009]利用标识解析方法，建立所述知识图谱模型中的每个数据对象与对应的业务数据表单之间的关联映射模型。
[0010]本专利技术的一种基于标识解析的数据管理方法的有益效果如下：
[0011]本专利技术的方法通过标识解析技术建立实体与原始业务数据的映射关系，减少了原始数据在平台中的存储次数，从而降低了数据治理和应用工作给数据湖存储的要求，实现了数据在平台中单一节点维护，避免了数据从业务系统进入数据湖数据同步和数据一致性的维护工作。
[0012]在上述方案的基础上，本专利技术的一种基于标识解析的数据管理方法还可以做如下改进。
[0013]进一步，业务数据表单的类型包括：结构化业务数据表单和非结构化业务数据表单；
[0014]获取任一数据对象的属性标签的步骤，包括：
[0015]当任一数据对象对应的业务数据表单为结构化业务数据表单时，将该结构化业务数据表单的结构化属性项作为该数据对象的属性标签；
[0016]当任一数据对象对应的业务数据表单为非结构化业务数据表单时，将该非结构化业务数据表单的元数据属性项作为该数据对象的属性标签。
[0017]进一步，基于每个数据对象及对应的属性标签，构建知识图谱模型的步骤，包括：
[0018]将每个数据对象作为实体，并将每个属性标签作为属性，并以每个实体与属性为节点，每个实体与实体之间的关系以及每个实体与属性之间的关系为边，构建所述知识图谱模型。
[0019]进一步，还包括：
[0020]对每个数据对象分别进行标识编码，得到每个数据对象的目标编码值；
[0021]利用标识解析方法，建立所述知识图谱模型中的每个数据对象与对应的业务数据表单之间的关联映射模型的步骤，包括：
[0022]利用所述标识解析方法，并根据每个数据对象的目标编码值，建立所述知识图谱模型中的每个数据对象与对应的业务数据表单之间的关联映射模型。
[0023]进一步，还包括：
[0024]从所述关联映射模型中，确定目标属性对应的目标数据对象，并根据所述目标数据对象的目标编码值，确定所述目标属性对应的业务数据表单。
[0025]本专利技术的一种基于标识解析的数据管理系统的技术方案如下：
[0026]包括：处理模块、构建模块和运行模块；
[0027]所述处理模块用于：构建每个业务数据表单对应的数据对象，并获取每个数据对象的属性标签；
[0028]所述构建模块用于：基于每个数据对象及对应的属性标签，构建知识图谱模型；
[0029]所述运行模块用于：利用标识解析方法，建立所述知识图谱模型中的每个数据对象与对应的业务数据表单之间的关联映射模型。
[0030]本专利技术的一种基于标识解析的数据管理系统的有益效果如下：
[0031]本专利技术的系统通过标识解析技术建立实体与原始业务数据的映射关系，减少了原始数据在平台中的存储次数，从而降低了数据治理和应用工作给数据湖存储的要求，实现了数据在平台中单一节点维护，避免了数据从业务系统进入数据湖数据同步和数据一致性的维护工作。
[0032]在上述方案的基础上，本专利技术的一种基于标识解析的数据管理系统还可以做如下改进。
[0033]进一步，业务数据表单的类型包括：结构化业务数据表单和非结构化业务数据表单；所述处理模块具体用于：
[0034]当任一数据对象对应的业务数据表单为结构化业务数据表单时，将该结构化业务数据表单的结构化属性项作为该数据对象的属性标签；
[0035]当任一数据对象对应的业务数据表单为非结构化业务数据表单时，将该非结构化
业务数据表单的元数据属性项作为该数据对象的属性标签。
[0036]进一步，所述构建模块具体用于：
[0037]将每个数据对象作为实体，并将每个属性标签作为属性，并以每个实体与属性为节点，每个实体与实体之间的关系以及每个实体与属性之间的关系为边，构建所述知识图谱模型。
[0038]进一步，还包括：编码模块；所述编码模块用于：
[0039]对每个数据对象分别进行标识编码，得到每个数据对象的目标编码值；
[0040]所述运行模块具体用于：
[0041]利用所述标识解析方法，并根据每个数据对象的目标编码值，建立所述知识图谱模型中的每个数据对象与对应的业务数据表单之间的关联映射模型。
[0042]本专利技术的一种存储介质的技术方案如下：
[0043]存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如本专利技术的基于标识解析的数据管理方法的步骤。
附图说明
[0044]图1示出了本专利技术提供的一种基于标识解析的数据管理方法的实施例的流程示意图；
[0045]图2示出了本专利技术提供的一种基于标识解析的数据管理方法的实施例的原理示意图；
[0046]图3示出了本专利技术提供的一种基于标识解析的数据管理方法的实施例中的标识编码的原理示意图；
[0047]图4示出了本专利技术提供的一种基于标识解析的数据管理系统的实施例的结构示意图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于标识解析的数据管理方法，其特征在于，包括：构建每个业务数据表单对应的数据对象，并获取每个数据对象的属性标签；基于每个数据对象及对应的属性标签，构建知识图谱模型；利用标识解析方法，建立所述知识图谱模型中的每个数据对象与对应的业务数据表单之间的关联映射模型。2.根据权利要求1所述的基于标识解析的数据管理方法，其特征在于，业务数据表单的类型包括：结构化业务数据表单和非结构化业务数据表单；获取任一数据对象的属性标签的步骤，包括：当任一数据对象对应的业务数据表单为结构化业务数据表单时，将该结构化业务数据表单的结构化属性项作为该数据对象的属性标签；当任一数据对象对应的业务数据表单为非结构化业务数据表单时，将该非结构化业务数据表单的元数据属性项作为该数据对象的属性标签。3.根据权利要求1所述的基于标识解析的数据管理方法，其特征在于，基于每个数据对象及对应的属性标签，构建知识图谱模型的步骤，包括：将每个数据对象作为实体，并将每个属性标签作为属性，并以每个实体与属性为节点，每个实体与实体之间的关系以及每个实体与属性之间的关系为边，构建所述知识图谱模型。4.根据权利要求1所述的基于标识解析的数据管理方法，其特征在于，还包括：对每个数据对象分别进行标识编码，得到每个数据对象的目标编码值；利用标识解析方法，建立所述知识图谱模型中的每个数据对象与对应的业务数据表单之间的关联映射模型的步骤，包括：利用所述标识解析方法，并根据每个数据对象的目标编码值，建立所述知识图谱模型中的每个数据对象与对应的业务数据表单之间的关联映射模型。5.根据权利要求4所述的基于标识解析的数据管理方法，其特征在于，还包括：从所述关联映射模型中，确定目标属性对应的目标数据对象，并根据所述目标数据对象的目标编码值，确定所述目标...

【专利技术属性】
技术研发人员：李保吉，王学力，魏政，王新，王婷，贾光明，张建军，杨杰，于康，李慧，朱尚杰，刘晨，张良，张悦建，王彦青，汪浩，郝鹏亮，
申请(专利权)人：北京智网数科技术有限公司国家管网集团北方管道有限责任公司，
类型：发明
国别省市：