一种自动化进行数据资产盘点的方法和系统技术方案

本发明专利技术公开了一种自动化进行数据资产盘点的方法和系统，包括定义元数据标准对应的属性要求，获取数据资产元数据集合；然后定义业务系统元数据自动化抽取方法和模型，获取业务系统中元数据集合；基于深度学习算法，定义和训练元数据标准与元数据自动识别和相似度匹配模型，获取自动化匹配算法；对业务系统元数据集合使用模型进行自动化识别和匹配，实现数据资产自动化盘点，获取数据资产目录和数据资产地图。本发明专利技术通过对业务系统中的元数据集合，自动化抽取和生成待盘点数据，使用深度学习模型实现自动化的数据匹配，以此生成数据资产目录和数据资产地图，从而实现全面掌控数据资产的存储、去向和用户，实现全面掌控数据资产的价值。产的价值。产的价值。

【技术实现步骤摘要】
一种自动化进行数据资产盘点的方法和系统


[0001]本专利技术涉及数据资产盘点管理
，具体来说，涉及一种自动化进行数据资产盘点的方法和系统。

技术介绍

[0002]国内企业经过多年的数字化和信息化建设，已经拥有种类繁多、体量庞大的各类数据，并且随着业务范围、客户规模均不断扩大，所产生的数据规模也在飞速增长，这对数据资产的掌控能力提出了更高要求。数据资产盘点工作是掌控数据资产内容、明确数据资产存量和认知数据资产价值的关键环节，只有对数据进行标准化、规范化和系统化的归并、整理以及分类，才能够达到数据资产价值最大化。目前，大多数企业的数据资产盘点工作还处在探索阶段，缺少完整的数据标准和盘点方法论支持，大多数企业还主要依靠人工盘点，工作繁琐，效率低下。
[0003]目前数据资产盘点的主要存在以下问题：（1）数据资产定义不完善企业在发展的过程中积累了大量的数据，但是如何将数据转化成数据资产，缺少全面的数据标准化定义，无法对数据进行全面的盘点形成高价值的数据资产；（2）资产盘点基于人工，工作效率低下，准确率低企业在信息化建设过程中建设了几十套本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动化进行数据资产盘点的方法，其特征在于，包括以下步骤：S1: 定义元数据标准对应的属性要求，获取数据资产元数据集合；S2: 然后定义业务系统元数据自动化抽取方法和模型，获取业务系统中元数据集合；S3: 基于深度学习算法，定义和训练元数据标准与元数据自动识别和相似度匹配模型，获取自动化匹配算法；S4: 对业务系统元数据集合使用模型进行自动化识别和匹配，实现数据资产自动化盘点，获取数据资产目录和数据资产地图。2.根据权利要求1所述的自动化进行数据资产盘点的方法，其特征在于，步骤S1具体包括以下步骤：S11: 对业务数据元标准主题域进行定义，获取元数据标准的主题域分类集合；S12: 据步骤S11中定义的元数据标准主题域定义业务元数据标准；S13: 依据定义的业务元数据标准集合，定义技术元数据集合。3.根据权利要求1所述的自动化进行数据资产盘点的方法，其特征在于，步骤S2具体包括以下步骤：S21: 根据业务系统的数据库类型，生成业务系统元数据抽取分类集合，并定义数据结构自动化抽取方法和模型；S22: 依据数据结构自动化抽取模型，提取各业务系统元数据定义规则，汇总生成业务系统待匹配字段元数据列表。4.根据权利要求1所述的自动化进行数据资产盘点的方法，其特征在于，步骤S4具体包括以下步骤：S41: 对待识别的业务系统元数据集合进行数据预处理；S42: 依据BiLSTM + CRF模型，对待识别的业务系统元数据集合进行数据识别，获取元数据标准与业务系统元数据的映射关系集合；S43: 利用数据映射关系集合，生成全业务系统的数据资产目录关联关系和数据资产地图。5.一种自动化进行数据资产盘点的系统，其特征在于，包括元数据分类和元数据标准模块、业务系统数据适配和元数据抽取模块、自动化识别模型训练和模型应用模块、数据资产目录和数据资产地图模块，其中，所述元数据分类和元数据标准模块，用于定义业务系统元数据标准包括技术元数据标准和业务元数据标准的数据集合；所述业务系统数据适配和元数据抽取模块，用于对全部业务系统的数据结构定义，定义自动化抽取业务系统中元数据的内容，包括字段英文名称、...

【专利技术属性】
技术研发人员：赵洋，温强，曹贺，历彦铭，朱百佳，
申请(专利权)人：吉林银行股份有限公司，
类型：发明
国别省市：