【技术实现步骤摘要】
【国外来华专利技术】使用潜在邻域图检测对抗性示例
[0001]相关申请的交叉引用
[0002]本国际申请要求于2020年10月6日提交的美国专利申请号63/088,371的优先权，出于所有目，该申请的公开内容全文以引用方式并入本文。
技术介绍
[0003]使用机器和深度学习技术，特别地在图像分类和认证系统中。然而，未经授权的用户(例如，攻击者)可能能够使用一个或多个方法来生成特别制作的输入，使得当输入到模型中时，攻击者可以操纵模型来输出攻击者的期望的输出。由此，需要更好地检测可能另外地导致不正确分类的对抗输入。
[0004]本公开的实施方案单独地以及共同地解决这些问题和其它问题。
技术实现思路
[0005]本公开的实施方案提供了用于在对对象进行分类时使用机器学习来提高准确度的系统、方法和装置。例如，系统可以接收要分类的对象的样本数据(例如，第一人的面部的图像的像素数据)。系统的任务可以是确定特别是所接收的图像是良性的(例如，第一个人的面部的未受扰动的图像)还是对抗性的。在这个示例中，对抗性图像可以对应于以这样的方式扰动原始图像(例...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于将输入样本分类为对抗性或良性的方法，所述方法包括：存储训练样本集，所述训练样本集包括第一良性训练样本集和第二对抗性训练样本集，每个训练样本具有来自多个分类的已知分类，所述第二对抗性训练样本集是使用对抗性样本生成方法生成的；利用经预训练的分类模型获得所述第一训练样本集和所述第二训练样本集中的每个训练样本的特征向量；为输入样本集中的每个输入样本确定图，相应的输入样本对应于所述图的节点集的中心节点，其中确定所述图包括：使用与所述图的所述中心节点相关联的距离度量来选择与所述中心节点相邻并且要被包括在所述图的所述节点集中的邻居节点，每个邻居节点被标记为所述训练样本集中的良性训练样本或对抗性训练样本；以及基于所述图的所述节点集中的第一节点和第二节点的相应特征向量之间的距离来确定所述第一节点和所述第二节点之间的边的边权重；以及使用每个确定的图来训练图鉴别器以在良性样本和对抗性样本之间进行区分，所述训练使用(I)与所述图的节点相关联的所述特征向量和(II)所述图的节点之间的边权重。2.如权利要求1所述的方法，其中所述图包括嵌入矩阵和邻接矩阵，其中所述嵌入矩阵包括针对所述图的所述节点集的多个特征向量，特征向量对应于所述嵌入矩阵中的嵌入，并且其中所述邻接矩阵包括针对连接所述图的所述节点的边的边权重。3.如权利要求1所述的方法，其中选择所述邻居节点以包含在所述图内包括生成k
‑
最近邻图，所述k
‑
最近邻图将所述邻居节点确定为距所述中心节点最近的邻居，所述距离度量与用于生成所述k
‑
最近邻图的参数相关联。4.如权利要求1所述的方法，其中所述图的所述第一节点和所述第二节点之间的所述边权重与所述第一节点和所述第二节点的对应特征向量之间的距离逆相关。5.如权利要求1所述的方法，其中基于将所述第一节点和所述第二节点的所述对应特征向量之间的所述距离从第一空间映射到第二空间的函数来确定所述边权重。6.如权利要求5所述的方法，其中训练所述图鉴别器还包括：确定所述函数的参数，所述参数是使用所述输入样本中的每一者来确定的。7.如权利要求1所述的方法，其中所述输入样本中的特定输入样本与真实标签相关联，并且其中所述图鉴别器包括输出所述特定输入样本是良性还是对抗性的类别预测的神经网络，并且其中通过最小化所述图鉴别器的所述类别预测和所述真实标签之间的损失来训练所述神经网络。8.如权利要求7所述的方法，其中所述图鉴别器接收与所述特定输入样本相关联的邻接矩阵和嵌入矩阵作为针对给定训练迭代的输入。9.一种使用机器学习模型的方法，所述方法包括：接收待分类对象的样本数据；使用所述样本数据执行分类模型以获得特征向量，所述分类模型被训练为将多个分类中的分类分配给所述样本数据，所述多个分类包括第一分类和第二分类；使用所述特征向量和分别从对象参考集获得的其他特征向量来生成图，所述对象参考集分别利用所述第一分类或所述第二分类进行标记，所述对象的特征向量对应于所述图的
节点集的中心节点，其中确定所述图包括：使用与所述图的中心节点相关联的距离度量来选择与所述中心节点相邻并且要被包括在所述图的所述节点集中的邻居节点，每个邻居节点对应于所述对象参考集中的对象并且具有所述第一分类或所述第二分类；以及基于所述图的所述节点...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。