一种数据资产目录智能构建盘点方法技术

本申请提供了一种数据资产目录智能构建盘点方法，涉及数据资产管理技术领域。本申请通过综合利用盘点目录系统操作日志数据、元数据、盘点目录系统数据库数据日志数据、盘点目录系统业务规范描述文档，通过机器学习、知识表示、知识推理、知识融合等技术手段，构建得到展示盘点目录系统数据库表字段与功能对应关系的盘点目录系统功能目录，以及展示盘点目录系统数据库表字段与业务对应关系的盘点目录系统业务目录。以盘点目录系统数据库表字段为基础，对盘点目录系统功能目录和盘点目录系统业务目录进行进一步的知识融合和知识推理处理，即可在确认功能和业务内容的同时生成表字段的字典和对应的元数据，从而得到完整的数据资产目录。

【技术实现步骤摘要】
一种数据资产目录智能构建盘点方法
本申请涉及数据资产管理
，尤其是涉及一种数据资产目录智能构建盘点方法。
技术介绍
由于历史原因、企业信息化建设长周期性的问题，大量企业的业务系统元数据或数据字典都存在错误和缺失现象，导致后续企业数据治理工作难以推进。传统上采用大量的人工操作，难以准确完成大规模的元数据语义和目录识别和验证。系统固有复杂性或数据采集、处理、分析和表述的过程中出现的误差，都会导致人工处理工作急剧增加。如何通过人工智能和自动化手段实现企业内部各个异构业务系统的各种数据资产、元数据目录和数据字典的自动生成、校验，完成数据资产梳理盘点，掌握数据集与字段内容，从而规划数据资产架构，构建统一数据资产目录，掌握数据资产家底，提供数据共享开放，成为各大企业要解决的一个关键问题。
技术实现思路
本申请的目的在于提供一种数据资产目录智能构建盘点方法，用于解决目前企业系统元数据或数据字典因错误或缺失，从而导致的企业数据治理工作难以快速推进的技术问题。本申请所提供的数据资产目录智能构建盘点方法，用于盘点目录系统，其具体实本文档来自技高网...

【技术保护点】
1.一种数据资产目录智能构建盘点方法，其特征在于，用于盘点目录系统，包括以下步骤：/nS1.对盘点目录系统操作日志数据进行检索和机器学习，获得反映盘点目录系统操作日志的操作与日志分类对应关系的功能目录；对所述功能目录进行知识表示和知识推理，得到完整的系统功能目录图谱；所述系统功能目录图谱用于反映功能与数据库表的对应关系；/n采集盘点目录系统数据库表与表字段结构，并进行知识表示和知识推理，得到完整的数据表图谱；所述数据表图谱用于反映数据库表和表间关系；/n对盘点目录系统业务规范描述文件进行自然语言理解分析，识别业务实体并抽取实体关系，进而通过知识表示和知识推理，得到完整的系统业务数据目录图谱，所...

【技术特征摘要】
1.一种数据资产目录智能构建盘点方法，其特征在于，用于盘点目录系统，包括以下步骤：
S1.对盘点目录系统操作日志数据进行检索和机器学习，获得反映盘点目录系统操作日志的操作与日志分类对应关系的功能目录；对所述功能目录进行知识表示和知识推理，得到完整的系统功能目录图谱；所述系统功能目录图谱用于反映功能与数据库表的对应关系；
采集盘点目录系统数据库表与表字段结构，并进行知识表示和知识推理，得到完整的数据表图谱；所述数据表图谱用于反映数据库表和表间关系；
对盘点目录系统业务规范描述文件进行自然语言理解分析，识别业务实体并抽取实体关系，进而通过知识表示和知识推理，得到完整的系统业务数据目录图谱，所述系统业务数据目录图谱用于反映业务实体和实体关系；
S2.对步骤S1所得的所述系统功能目录图谱和所述数据表图谱进行知识融合，用于使两图谱合并，得到盘点目录系统功能目录；所述盘点目录系统功能目录展示了盘点目录系统数据库表字段与功能的对应关系；
对步骤S1所得的所述系统业务数据目录图谱和所述数据表图谱进行知识融合，使两图谱合并，得到盘点目录系统业务目录；所述盘点目录系统业务目录展示了盘点目录系统数据库表字段与业务的对应关系；
S3.对步骤S2所述盘点目录系统功能目录和所述盘点目录系统业务目录进行知识融合和知识推理，构建得到功能目录与业务目录校验模型；所述功能目录与业务目录校验模型用于识别表字段对应的功能和业务内容，并在确认功能和业务内容的同时生成表字段的字典和对应的元数据，从而得到完整的数据资产目录。


2.根据权利要求1所述的一种数据资产目录智能构建盘点方法，其特征在于，步骤S1具体包括：
A1.使用字符提取方法对已有各种类型的盘点目录系统操作日志文本数据进行切割提取；
A2.利用步骤A1提取到的内容进行全文检索，并采用机器学习方法对所述盘点目录系统操作日志进行分类，将所述盘点目录系统操作日志数据解析为功能列表；
A3.汇总通过步骤A2所得的功能列表为功能目录；
A4.采用知识图谱表示步骤A3所得的所述功能目录中的操作与所述功能目录结构的关系；
A5.采用知识推理补全步骤A4所得的知识图谱。


3.根据权利要求2所述的一种数据资产目录智能构建盘点方法，其特征在于，
步骤A2中采用Elasticsearch进行全文检索；
步骤A2中所述机器学习方法包括；
A21.计算盘点目录系统各操作日志之间的距离；
A22.根据步骤A21的结果，对盘点目录系统各操作日志进行聚类，组成若干日志簇；
A23.由步骤A22得到的各所述日志簇形成对应的功能项；
或
a21.计数盘点目录系统中各操作日志位置的项；
a22.选取步骤a21中频繁出现的项作为功能候选者；
a23.自步骤a22得到的功能候选者中选择功能项；
步骤A4中所述知识图谱采用RDF表示，Neo4J图数据库进行存储；
步骤A5中所述知识推理采用路径相似度指标扩展步骤A4中所述知识图谱的实体关系预测指标，具体包括：
A51.针对各实体关系的交互作用进行多关系网络数据建模，将关系预测转化为张量分解；
A52.使用步骤A51的张量分解构建神经张量网络；
A53.采用步骤A52所得到的所述神经张量网络判断两实体间是否存在某种关系；
或
a51.针对各实体关系的交互作用进行多关系网络数据建模，将关系预测转化为张量分解；
a52.使用步骤a51的张量分解构建神经张量网络；
a53.采用步骤a52所得到的所述神经张量网络判断两实体间是否存在某种关系；
a54.采用PRA算法预测两个实体间的关系；
a55.校核步骤a53与步骤a54，确认两实体间的预测关系。


4.根据权利要求1所述的一种数据资产目录智能构建盘点方法，其特征在于，步骤S1还包括：
B1.采集盘点目录系统数据库元数据并将其分类，形成元数据集；
B2.以每一类中元数据为节点，元数据的关系为节点路径，构建元数据语义网络；
B3.利用操作盘点目录系统时新生成的元数据迭代步骤B2得到的所述元数据语义网络；
B4.采用知识图谱表示步骤B3所得的元数据...

【专利技术属性】
技术研发人员：高菱，田龙，
申请(专利权)人：四川国路安数据技术有限公司，
类型：发明
国别省市：四川;51