一种特征可视化方法及装置制造方法及图纸

本申请提供一种特征可视化方法，包括获取样本数据集和预测模型；基于预测模型的特征提取层对样本数据集中的N个样本进行特征提取，得到N个特征向量，N为大于1的正整数；从N个样本中确定M个关键样本，关键样本对应的特征向量为对预测结果有主要贡献的特征向量,M为小于N的正整数；基于M个关键样本，确定N个样本的特征可视化结果，其中每个样本的特征可视化结果至少包括每个样本对应的至少一个关键样本。本申请提供的特征可视化方法通过从样本数据集中提取关键样本来对模型学习到的特征进行可视化，实现更好的特征可视化效果。

【技术实现步骤摘要】

本申请涉及机器学习，尤其涉及一种特征可视化方法及装置。

技术介绍

1、目前，深度学习在图像、语音、语义识别等各个领域都有优秀的前景和应用。但是，由于深度学习的结构所限，人们无法理解和检查深度学习到底学到了什么，是一个“黑盒”。这就导致了许多难以预测的问题。

2、一种典型问题是图像中存在与数据采集机型、采集参数相关信息，由于数据采集缺陷，模型通过推测这些信息，即可直接猜出分类结果，不再学习真正与目标任务相关的图像特征。有前人研究显示，预测口红的模型，实际上并没有学习嘴部相关的特征。在预测中，将嘴部遮去，几乎不影像预测结果。另一项医学影像的ai研究显示模型会关注医生放置的标记物，从而推测采集地点，影响预测结果。

3、这些问题会导致机器学习模型在利用所述的图像数据集训练时，无法按照设计者的预期，客观真实地对训练任务进行学习。学习得到的机器学习模型在实际使用环境中难以按预期完成目标任务，出现严重的性能下降。即便性能没有下降，但出错的原因也可能令人难以接受，甚至惹出伦理官司。比如，亚马逊的一项ai招聘工具自动降低了简历里包含女性字样的简历权重本文档来自技高网...

【技术保护点】

1.一种特征可视化方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述每个样本对应的至少一个关键样本是基于所述每个样本的特征向量和M个关键特征向量确定，其中每个关键特征向量为所述每个关键样本对应的特征向量。

3.根据权利要求1或2所述的方法，其特征在于，所述从所述N个样本中确定M个关键样本，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述每个特征向量的投影结果，从所述N个样本中确定M个关键样本，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述M个关键样本，确定所述N个样本的特征可视化...

【技术特征摘要】

1.一种特征可视化方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述每个样本对应的至少一个关键样本是基于所述每个样本的特征向量和m个关键特征向量确定，其中每个关键特征向量为所述每个关键样本对应的特征向量。

3.根据权利要求1或2所述的方法，其特征在于，所述从所述n个样本中确定m个关键样本，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述每个特征向量的投影结果，从所述n个样本中确定m个关键样本，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述m个关键样本，确定所述n个样本的特征可视化结果，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于所述每个特征向量的投影结果，确定所述每个样本的特征化可视结果，包括：

7.根据权利要求1-5任一项所述的方法，其特征在于，所述每个样本的可视化结果还包括，所述每个样本对应的关键样本的概率分布。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述特征可视化结果用于对所述预测模型进行分析。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述特征可视化结果用于对所述样本数据集进行偏见分析，以确定所述样本数据集中是否存在偏见样本。

10.一种特征可视化装置，其特征在于，包括：

11.根据权利要求10所述的装置，其特征在于，所述每个样本对应的至少一个关键样本...

【专利技术属性】
技术研发人员：张诗杰，王岚君，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：