数据价值评估方法、终端、装置及可读存储介质制造方法及图纸

技术编号:23085818 阅读:36 留言:0更新日期:2020-01-11 01:24
本发明专利技术公开了一种数据价值评估方法,包括以下步骤:基于所述特征数据集以及预测模型生成所述特征数据集对应的预测目标数据集,而后基于所述原始目标数据集以及所述预测目标数据集,确定所述特征数据集中的异常数据以及所述异常数据对应的数据价值,接下来基于所述异常数据对应的数据价值以及预设价值,确定所述待评估样本集的评估结果。本发明专利技术还公开了一种装置、终端及可读存储介质。通过确定待评估样本集中的异常数据,并计算异常数据对应的数据价值,进而确定待评估样本集对应的平均价值,实现了对待评估样本集的价值评估。

Data value evaluation methods, terminals, devices and readable storage media

【技术实现步骤摘要】
数据价值评估方法、终端、装置及可读存储介质
本专利技术涉及终端
,尤其涉及一种数据价值评估方法、终端、装置及可读存储介质。
技术介绍
当前越来越多的领域开始使用机器学习技术,机器学习模型的准确性和鲁棒性至关重要,这需要大量优质数据集进行训练。机器学习模型依赖数据训练而成,优质的数据是保证模型训练成功最重要的基础。模型生成之后仍需要不断地更新以提升模型性能,这也依赖于大量优质训练数据的输入。尤其是通过第三方提供的训练数据集对模型进行更新训练,如果训练数据集质量不高,会导致模型的准确性降低,鲁棒性减弱。目前,对训练数据集进行价值评估没有统一的标准或方法。
技术实现思路
本专利技术的主要目的在于提供一种数据价值评估方法、终端、装置及可读存储介质,旨在解决现有因训练数据集质量不高,在利用训练数据集训练模型后,导致模型的准确性降低,鲁棒性减弱的技术问题。为实现上述目的,本专利技术提供一种数据价值评估方法,所述的数据价值评估方法包括以下步骤:基于所述特征数据集以及预测模型生成所述特征数据集对应的预测目标数据本文档来自技高网...

【技术保护点】
1.一种数据价值评估方法,其特征在于,待评估样本集包括特征数据集和所述特征数据集对应的原始目标数据集,所述的数据价值评估方法包括以下步骤:/n基于所述特征数据集以及预测模型生成所述特征数据集对应的预测目标数据集;/n基于所述原始目标数据集以及所述预测目标数据集,确定所述特征数据集中的异常数据以及所述异常数据对应的数据价值;/n基于所述异常数据对应的数据价值以及预设价值,确定所述待评估样本集的评估结果。/n

【技术特征摘要】
1.一种数据价值评估方法,其特征在于,待评估样本集包括特征数据集和所述特征数据集对应的原始目标数据集,所述的数据价值评估方法包括以下步骤:
基于所述特征数据集以及预测模型生成所述特征数据集对应的预测目标数据集;
基于所述原始目标数据集以及所述预测目标数据集,确定所述特征数据集中的异常数据以及所述异常数据对应的数据价值;
基于所述异常数据对应的数据价值以及预设价值,确定所述待评估样本集的评估结果。


2.如权利要求1所述的数据价值评估方法,其特征在于,所述特征数据集包括多个子数据,所述基于所述原始目标数据集以及所述预测目标数据集,确定所述特征数据集中的异常数据以及所述异常数据对应的数据价值的步骤包括:
基于所述原始目标数据集获取子数据对应的第一目标值,基于所述预测目标数据集获取所述子数据对应的第一预测值;
在所述第一目标值与所述第一预测值不匹配时,确定所述子数据为异常数据;
基于所述原始目标数据集以及所述预测目标数据集确定所述异常数据对应的数据价值。


3.如权利要求2所述的数据价值评估方法,其特征在于,所述预测模型是分类模型,所述预测目标数据集包括预测值和预测值对应的预测概率,所述基于所述原始目标数据集以及所述预测目标数据集确定所述异常数据对应的数据价值的步骤包括:
基于所述预测目标数据集获取所述异常数据对应的预测概率,并基于所述异常数据对应的预测概率确定所述异常数据对应的数据价值。


4.如权利要求2所述的数据价值评估方法,其特征在于,所述预测模型是回归模型,所述预测目标数据集包括预测值,所述基于所述原始目标数据集以及所述预测目标数据集确定所述异常数据对应的数据价值的步骤包括:
基于所述原始目标数据集获取所述异常数据对应的第二目标值,基于所述预测目标数据集获取所述异常数据对应的第二预测值,将所述第二目标值和所述第二预测值相减并求绝对值,得到所述异常数据对应的预测误差;
基于所述预测误差以及所述第二目标值确定所述异常数据对应的数据价值。

<...

【专利技术属性】
技术研发人员:陈瑞钦黄启军林冰垠李诗琦唐兴兴
申请(专利权)人:深圳前海微众银行股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1