样本评估方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种样本评估方法、装置、设备及计算机可读存储介质，该方法包括：基于预设历史样本集合和预设比例，确定检测样本集合和待检测样本；从所述检测样本集合中随机选取目标样本，基于预设核函数和所述目标样本，计算所述待检测样本的新颖度；基于预设重构度测试函数和所述目标样本，计算所述待检测样本的可重构度；基于所述待检测样本的新颖度和可重构度，确定所述待检测样本是否为高价值样本。本发明专利技术通过检测样本集合预设核函数和预设重构度测试函数，计算得到可以衡量待检测样本是否为高价值样本的新颖度和可重构度，有效筛选出高价值样本，减少低价值的相似性样本的采集。集。集。

【技术实现步骤摘要】
样本评估方法、装置、设备及计算机可读存储介质


[0001]本专利技术涉及数据处理领域，尤其涉及样本评估方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]在模型训练阶段，样本集合对模型训练的效果来说至关重要，若模型集合中存在一定量的相似性样本，则会导致样本的不平衡度增高，从而致使模型训练的效率降低，因此，如何降低相似性样本的采集量便成为了亟待解决的技术问题，而现有的样本采集方法包括随机采样、周期性采样、基于规则采样、主动采样以及移动窗采样等，这些方法都无法有效降低采集到的相似性样本的数量。

技术实现思路

[0003]本专利技术的主要目的在于提供一种样本评估方法、装置、设备及计算机可读存储介质，旨在解决现有技术方案无法通过降低相似性样本的采集数量而提高模型训练效率的技术问题。
[0004]此外，为实现上述目的，本专利技术还提供一种样本评估方法，所述样本评估方法包括以下步骤：基于预设历史样本集合和预设比例，确定检测样本集合和待检测样本；从所述检测样本集合中随机选取目标样本，基于预设核函数和所述目标样本，计算所述待检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种样本评估方法，其特征在于，所述样本评估方法包括以下步骤：基于预设历史样本集合和预设比例，确定检测样本集合和待检测样本；从所述检测样本集合中随机选取目标样本，基于预设核函数和所述目标样本，计算所述待检测样本的新颖度；基于预设重构度测试函数和所述目标样本，计算所述待检测样本的可重构度；基于所述待检测样本的新颖度和可重构度，确定所述待检测样本是否为高价值样本。2.如权利要求1所述的样本评估方法，其特征在于，所述基于预设核函数和所述目标样本，计算所述待检测样本的新颖度的步骤包括：将所述待检测样本和所述目标样本输入预设核函数，得到新颖度；更换所述目标样本，并循环所述将所述待检测样本和所述目标样本输入预设核函数，得到新颖度的步骤，得到多个新颖度；将所述多个新颖度中的极值作为所述待检测样本的新颖度。3.如权利要求1所述的样本评估方法，其特征在于，所述基于预设重构度测试函数和所述目标样本，计算所述待检测样本的可重构度的步骤包括：将所述待检测样本和所述目标样本输入包含预设测试模型的预设重构度测试函数，得到所述待检测样本的可重构度。4.如权利要求1所述的样本评估方法，其特征在于，所述基于预设重构度测试函数和所述目标样本，计算所述待检测样本的可重构度的步骤之后，包括：基于第一预设检验函数、第二预设检验函数和所述检测样本集合，确定新颖度上限值和可重构度上限值；若所述待检测样本的新颖度大于所述新颖度上限值，且所述待检测样本的可重构度大于所述可重构度上限值，则执行所述基于所述待检测样本的新颖度和可重构度，确定所述待检测样本是否为高价值样本的步骤。5.如权利要求4所述的样本评估方法，其特征在于，所述基于所述待检测样本的新颖度和可重构度，确定所述待检测样本是否为高价值样本的步骤包括：基于所述待检测样本的新颖度和可重构度，计算所述待检测样本的样本价值度；若所述样本价值度大于第一预设阈值，则确定所述待检测样本是高价值样本；若所述样本价值度小...

【专利技术属性】
技术研发人员：冯建设，张建宇，花霖，刘桂芬，陈军，王春洲，朱瑜鑫，赵一波，刘小双，成建洪，熊皓，
申请(专利权)人：深圳市信润富联数字科技有限公司，
类型：发明
国别省市：