System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于对抗神经网络实现数据资产健康度评估处理的方法、装置、处理器及其存储介质制造方法及图纸_技高网

基于对抗神经网络实现数据资产健康度评估处理的方法、装置、处理器及其存储介质制造方法及图纸

技术编号:41215123 阅读:2 留言:0更新日期:2024-05-09 23:37
本发明专利技术涉及一种基于对抗神经网络实现数据资产健康度评估处理的方法,包括以下步骤:采集数据并标注;对原始数据进行处理;利用改进的生成对抗网络进行数据扩充;将扩充后的数据输入特征提取模型中进行特征提取;将特征提取后的数据输入到分类器进行分类;进行数据资产健康度评估。本发明专利技术还涉及一种用于实现基于对抗神经网络的数据资产健康度评估处理的装置、处理器及其计算机可读存储介质。采用了本发明专利技术的基于对抗神经网络实现数据资产健康度评估处理的方法、装置、处理器及其计算机可读存储介质,能够提高评估准确性、增强模型鲁棒性、扩展模型应用范围、优化资源利用,通过自动生成符合数据分布的样本,减少了对原始样本的依赖,节省了大量的数据标注和采集成本。

【技术实现步骤摘要】

本专利技术涉及数据资产管理领域,尤其涉及数据资产健康度评估领域,具体是指一种基于对抗神经网络实现数据资产健康度评估处理的方法、装置、处理器及其计算机可读存储介质。


技术介绍

1、在现代企业中,数据被视为一种重要的资产。随着数字化转型的加速,企业产生的数据量呈指数级增长,而如何准确地评估这些数据的健康度变得越来越重要。数据资产的健康度直接影响到企业决策的准确性和业务流程的效率。在传统方法中,评估数据健康度通常依赖于人工分析和固定的规则,这不仅耗时且可能受到人为因素的影响,使得评估结果缺乏一致性和准确性。同时,由于现有技术中缺乏对大规模、复杂数据的深入分析能力,导致企业很难全面了解其数据资产的健康状况。此外,传统方法可能无法充分考虑到数据之间的非线性关系和复杂特性,使得评估结果可能不够准确。

2、cn202310831524.4提出了一种数据资产价值评估方法,涉及数据价值评估
,包括:s1、建立数据资产价值评估框架;s2、获取待评估的数据资产范围;s3、构建评估指标;s4、确定计算方法;s5、计算数据资产价值评估结果。该一种数据资产价值评估方法及终端设备,通过构建统一的数据资产价值评估框架来规范评估,并可结合待评估数据资产的基本信息获取待评估的数据资产范围,计算获得评估结果,汇总结果输出最终的数据资产价值评估结果,改进后的数据资产价值评估方法及终端设备基于数据资产的质量、成本、应用三个基本维度进行价值评估,评估方法最大化考虑数据资产全生命周期的内外部影响因素,价值评估结果更准确全面。

3、cn202310807854.x提出了一种医疗数据价值评估方法、装置、设备及存储介质,涉及数据评估
在待评估医疗数据进行数据应用之前,采用预设的医疗数据初评模型对待评估医疗数据进行初次价值评估,得到待评估医疗数据的初评价值参数;在待评估医疗数据进行数据应用之后,获取待评估医疗数据的实际应用次数;根据待评估医疗数据的初评价值参数、待评估医疗数据的实际应用次数,采用预设的医疗数据复评模型进行再次价值评估,得到待评估医疗数据的目标价值参数。从而,实现对医疗数据进行价值评估,通过对医疗数据进行初评以及复评,形成了动态评价体系,使得价值评价结果精准地体现医疗数据的价值。

4、cn202010066955.2提出了一种基于数据资产智能治理方法及系统,其中,方法具体包括以下步骤:接收上传的不同格式、内容源数据并做基础分类;将分类后不同类别的源数据与对应类别预设的特征库进行特征匹配,并得到匹配成功系数;将所述成功系数与第一预设系数进行比较;若所述成功系数大于或等于预设成功系数,标记为成功匹配,并将所述源数据与对应特征库中的数据关联形成价值链库;反之,标记为不成功匹配,并人工更新所述源数据对应的特征库。通过上述方法,能将不同格式、内容的各系统数据在一个系统上实现数据资产的收集、智能分析和治理,系统可复制性高,可有效降低开发成本及系统负载。

5、现有技术创新性好,但仍然存在以下问题有待进一步提升:

6、1、数据样本不足问题:在此之前的技术中,可能会因为训练样本数量不足而导致模型训练不充分或过拟合问题。

7、2、生成对抗网络训练不稳定:传统的生成对抗网络可能存在收敛困难或模式崩溃的问题。

8、3、噪声与真实数据分布差异大:传统的随机噪声可能没有考虑真实数据的复杂分布,从而导致生成的数据可能与真实数据有所偏差。

9、4、特征提取能力有限:传统的特征提取方法可能无法充分捕捉到数据的深层次信息。

10、5、缺乏动态调整能力:传统的神经网络模型可能缺乏在面对不同输入时动态调整特征提取策略的能力。

11、6、处理非线性约束困难:传统的支持向量机在处理带有约束条件的非线性数据时可能会遇到困难。


技术实现思路

1、本专利技术的目的是克服了上述现有技术的缺点,提供了一种满足准确性高、误差低、适用范围较为广泛的基于对抗神经网络实现数据资产健康度评估处理的方法、装置、处理器及其计算机可读存储介质。

2、为了实现上述目的,本专利技术的基于对抗神经网络实现数据资产健康度评估处理的方法、装置、处理器及其计算机可读存储介质如下:

3、该基于对抗神经网络实现数据资产健康度评估处理的方法,其主要特点是,所述的方法包括以下步骤:

4、(1)采集数据,并对采集到的数据进行标注;

5、(2)对采集到的原始数据进行处理;

6、(3)利用改进的生成对抗网络进行样本生成,进行数据扩充;

7、(4)使用基于经验风险最小化的高阶神经网络算法,将扩充后的数据输入特征提取模型中进行特征提取;

8、(5)使用引入问题约束的支持向量机分类算法,将特征提取后的数据输入到分类器中进行分类;

9、(6)使用训练好的模型进行数据资产健康度评估。

10、较佳地,所述的步骤(2)具体包括以下步骤:

11、(2.1)进行数据缺失值处理;

12、(2.2)进行数据标准化操作;

13、(2.3)进行去除异常值操作;

14、(2.4)对非线性关系的属性,通过函数转化为线性关系。

15、较佳地,所述的步骤(3)具体包括以下步骤:

16、(3.1)通过极大似然估计法对原始数据集进行分布拟合,获得原始数据分布的概率密度函数;

17、(3.2)通过box-muller和mcmc采样算法,根据原始数据分布拟合得到的概率密度函数生成符合原始数据分布的随机噪声;

18、(3.3)通过metropolis-hastings抽样算法得到符合目标分布的随机噪声;

19、(3.4)构建一个随机噪声生成模块,为模型生成符合样本分布的随机噪声;

20、(3.5)进行生成数据质量评价;

21、(3.6)计算得到用于评价生成数据的质量的弗雷歇初始距离;

22、(3.7)根据数据峰值信噪比、结构相似性和弗雷歇初始距离指标评估改进的生成对抗网络生成的数据质量,如果达到预设的指标期望阈值,则添加至原始训练数据集中,形成扩充后的训练数据集;否则,重新调整改进的生成对抗网络的参数进行样本的重新生成。

23、较佳地,所述的步骤(3)还包括以下步骤:

24、通过对目标函数加入梯度惩罚项,间接实现利普希茨连续条件。

25、较佳地,所述的步骤(4)具体包括以下步骤:

26、(4.1)根据输入数据的维度和预期的输出特征维度,确定神经网络的初始结构;

27、(4.2)通过特殊的激活函数和权重共享策略,在网络的每一层中得到特征的高阶组合;

28、(4.3)在每次迭代中,根据输入数据的变化和当前网络的输出,动态调整网络的特征提取策略;

29、(4.4)将输入数据通过网络进行正向传播,得到每一层的特征表示;

30、(4.本文档来自技高网...

【技术保护点】

1.一种基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的方法包括以下步骤:

2.根据权利要求1所述的基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的步骤(2)具体包括以下步骤:

3.根据权利要求1所述的基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的步骤(3)具体包括以下步骤:

4.根据权利要求1所述的基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的步骤(3)还包括以下步骤:

5.根据权利要求1所述的基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的步骤(4)具体包括以下步骤:

6.根据权利要求5所述的基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的步骤(4.5)具体包括以下步骤:

7.根据权利要求5所述的基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的步骤(4.6)具体包括以下步骤:

8.根据权利要求1所述的基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的步骤(5)具体包括以下步骤:

9.根据权利要求8所述的基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的步骤(5.3)具体包括以下步骤:

10.根据权利要求1所述的基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的步骤(6)具体包括以下步骤:

11.一种用于实现基于对抗神经网络的数据资产健康度评估处理的装置,其特征在于,所述的装置包括:

12.一种用于实现基于对抗神经网络的数据资产健康度评估处理的处理器,其特征在于,所述的处理器被配置成执行计算机可执行指令,所述的计算机可执行指令被所述的处理器执行时,实现权利要求1至10中任一项所述的基于对抗神经网络实现数据资产健康度评估处理的方法的各个步骤。

13.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述的计算机程序可被处理器执行以实现权利要求1至10中任一项所述的基于对抗神经网络实现数据资产健康度评估处理的方法的各个步骤。

...

【技术特征摘要】

1.一种基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的方法包括以下步骤:

2.根据权利要求1所述的基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的步骤(2)具体包括以下步骤:

3.根据权利要求1所述的基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的步骤(3)具体包括以下步骤:

4.根据权利要求1所述的基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的步骤(3)还包括以下步骤:

5.根据权利要求1所述的基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的步骤(4)具体包括以下步骤:

6.根据权利要求5所述的基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的步骤(4.5)具体包括以下步骤:

7.根据权利要求5所述的基于对抗神经网络实现数据资产健康度评估处理的方法,其特征在于,所述的步骤(4.6)具体包括以下步骤:

8.根据权利要求1所述的基于对抗...

【专利技术属性】
技术研发人员:周凯魏明
申请(专利权)人:普元信息技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1