一种数据影响度分析方法、装置、电子设备及存储介质制造方法及图纸

本申请属于人工智能技术领域，可应用于自然语言处理技术领域中，例如病历分析、医疗报告解读、电子病历自动生成等。本申请提供了一种数据影响度分析方法，包括：建立元数据对象之间的数据关系；获取当前元数据对象；查找与所述当前元数据对象相同的历史元数据对象；将所述数据关系中，所述历史元数据对象对应的数据关系，确定为所述当前元数据对象对应的当前数据关系；根据所述当前数据关系生成元数据影响度分析结果；所述元数据影响度分析结果包括但不限于元数据属性变化的业务影响、数据问题范围警告及业务数据错误源定位。本申请分析方法提高了数据影响度分析的准确性，降低了数据维护的成本，提高了用户使用的满意度。

【技术实现步骤摘要】
一种数据影响度分析方法、装置、电子设备及存储介质
本专利技术涉及人工智能
，特别是涉及一种数据影响度分析方法、装置、电子设备及存储介质。
技术介绍
元数据管理包括业务词汇表的发展、数据元素和实体的定等。最基础的管理是管理业务元数据的收集、组织和维持。目前，元数据管理系统的数据关系为大数据使用者提供可靠的数据识别和追溯，是数据仓库管理的关键的一环。然而，元数据的影响度度分析一般都是通过日志解析，或者数据库脚本等方式进行人工采集。但人工采集一般会涉及到文件梳理，内容格式化。现在元数据影响度分析结果需要从数据源头一步一步的进行日志收集和加工文件收集等工作，完成之后才能进行数据影响度分析，过程繁琐且分析结果不准确，由于数据之间的加工关系繁琐而复杂，依靠人工的方式现在无法适应特定复杂领域数据影响度分析。
技术实现思路
鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据影响度分析方法、装置、电子设备及存储介质。为了解决上述问题，本专利技术实施例公开了一种数据影响本文档来自技高网...

【技术保护点】
1.一种数据影响度分析方法，其特征在于，包括：/n建立元数据对象之间的数据关系；/n获取当前元数据对象；/n查找与所述当前元数据对象相同的历史元数据对象；/n将所述数据关系中，所述历史元数据对象对应的数据关系，确定为所述当前元数据对象对应的当前数据关系；/n根据所述当前数据关系生成元数据影响度分析结果；所述元数据影响度分析结果包括但不限于元数据属性变化的业务影响、数据问题范围警告及业务数据错误源定位。/n

【技术特征摘要】
1.一种数据影响度分析方法，其特征在于，包括：
建立元数据对象之间的数据关系；
获取当前元数据对象；
查找与所述当前元数据对象相同的历史元数据对象；
将所述数据关系中，所述历史元数据对象对应的数据关系，确定为所述当前元数据对象对应的当前数据关系；
根据所述当前数据关系生成元数据影响度分析结果；所述元数据影响度分析结果包括但不限于元数据属性变化的业务影响、数据问题范围警告及业务数据错误源定位。


2.根据权利要求1所述的方法，其特征在于，所述建立元数据对象之间的数据关系包括：
获取用于建立所述元数据对象之间的依赖性关系的样本数据，所述样本数据包括sql文件、加工文件、存储过程日志文件和hive的运行日志文件；
依据所述样本数据确定所述元数据对象之间依赖性的数据关系。


3.根据权利要求2所述的方法，其特征在于，建立元数据对象之间的数据关系包括：
获取用于建立所述元数据对象之间的数据关系的样本数据；
分析所述元数据对象的特性及其规律，根据所述特性及其规律，确定所述人工智能模型的模型结构及其模型参数；
使用所述样本数据，对所述模型结构和所述模型参数进行训练和测试，确定所述元数据对象之间的数据关系模型。


4.根据权利要求3所述的方法，其特征在于，所述获取用于建立所述元数据对象之间的数据关系的样本数据包括：
收集元数据的加工记录和元数据对象之间的原始数据关系；
对所述元数据的加工记录进行分析，选取与所述元数据对象之间的原始数据关系相关的数据作为所述元数据的加工记录数据；
将所述元数据对象之间的原始数据关系和所述元数据的加工记录数据构成数据对，作为样本数据。


5.根据权利要求4所述的方法，其特征在于，对所述模型结构和所述模型参数进行训练包括：
选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述元数据对象输入到所述模型结构，通过所述模型结构的损失函数、激活函数和所述模型参数进行训练，得到训练后的模型结构和模型参数；
确定所述训练后的模型结构和模型参数与所述训练样本中的相应元数据对象之间的数据关系的实际训练误差在预设训练误差范围内；
当所述实际训练误差在所述预设训练误差范围内，确定对所述模型结构和所述模型参数的所述训练完成。

<...

【专利技术属性】
技术研发人员：韩小强，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：广东;44