使用潜在邻域图检测对抗性示例制造技术

公开了用于执行对抗性对象检测的技术。在一个示例中，系统在接收到要分类的对象时获得特征向量。然后，该系统使用对象的特征向量和分别从对象参考集获得的其他特征向量来生成图，由此特征向量对应于图的中心节点。该系统使用距离度量来从对象参考集中选择邻居节点以包含到图中，然后基于节点之间的各特征向量之间的距离来确定图的节点之间的边权重。然后，该系统将图鉴别器应用于图，以将对象分类为对抗性的或良性的，使用(I)与图的节点相关联的特征向量和(II)图的节点之间的边权重来训练图鉴别器。训练图鉴别器。训练图鉴别器。

【技术实现步骤摘要】
【国外来华专利技术】使用潜在邻域图检测对抗性示例
[0001]相关申请的交叉引用
[0002]本国际申请要求于2020年10月6日提交的美国专利申请号63/088,371的优先权，出于所有目，该申请的公开内容全文以引用方式并入本文。

技术介绍

[0003]使用机器和深度学习技术，特别地在图像分类和认证系统中。然而，未经授权的用户(例如，攻击者)可能能够使用一个或多个方法来生成特别制作的输入，使得当输入到模型中时，攻击者可以操纵模型来输出攻击者的期望的输出。由此，需要更好地检测可能另外地导致不正确分类的对抗输入。
[0004]本公开的实施方案单独地以及共同地解决这些问题和其它问题。

技术实现思路

[0005]本公开的实施方案提供了用于在对对象进行分类时使用机器学习来提高准确度的系统、方法和装置。例如，系统可以接收要分类的对象的样本数据(例如，第一人的面部的图像的像素数据)。系统的任务可以是确定特别是所接收的图像是良性的(例如，第一个人的面部的未受扰动的图像)还是对抗性的。在这个示例中，对抗性图像可以对应于以这样的方式扰动原始图像(例如，通过添加噪声来改变图像的一些像素)的经修改的图像，即，尽管对抗性图像可能看起来类似于(例如，相同于)原始接收的图像(例如，从人眼的角度来看)，但是对抗性图像可以由预训练的分类器(例如，利用机器学习模型，诸如神经网络)不同地分类。例如，经预训练的分类器可能不正确地将图像分类为显示第二个人的面部而不是第一个人的面部。
[0006]因此，系统可以执行用于减轻由经预训练的分类器对图像进行的错误分类的风险(例如，提高总体分类准确度)的技术。例如，系统可以生成图(例如，其在本文中可以替代性地被称为潜在邻域图)。图可以特别地表示所讨论的对象(例如，要分类的图像)和从对象的参考数据集中选择的其他对象(例如，包括其他经标记的良性和对抗性图像)之间的关系(例如，距离、特征相似性等)，每个对象对应于图的特定节点。在一些实施方案中，图可以包括嵌入矩阵(例如，包括针对图中的相应对象/节点的特征向量)和邻接矩阵(例如，包括图的节点之间的边的边权重)。然后，系统可以将图输入到图鉴别器(例如，其可以包括神经网络)中，该图鉴别器被训练成利用图的特征向量和边权重来输出所接收的图像是良性的还是对抗性的分类。
[0007]根据本公开的一个实施方案，提供了一种用于训练机器学习模型以将对象(例如，训练样本)分类为对抗性或良性的方法。该方法还包括存储训练样本集，该训练样本集可以包括第一良性训练样本集和第二对抗性训练样本集，每个训练样本具有来自多个分类的已知分类。该方法还包括利用经预训练的分类模型获得第一训练样本集和第二训练样本集中的每个训练样本的特征向量。该方法还包括：为该训练样本集中的每个训练样本确定图，相应的训练样本对应于该图的节点集中的中心节点，其中确定图可以包括：使用与图的中心
节点相关联的距离度量来选择该中心节点周围的并且将被包括在图的该节点集中的邻居节点，每个邻居节点被标记为该训练样本集的良性训练样本或对抗性训练样本；以及基于第一节点和第二节点的相应特征向量之间的距离，确定图的该节点集中的第一节点和第二节点之间的边的边权重。该方法还包括使用每个确定的图来训练图鉴别器以在良性样本和对抗性样本之间进行区分，该训练使用(i)与图的节点相关联的特征向量和(ii)图的节点之间的边权重。
[0008]根据本公开的另一实施方案，提供了一种使用机器学习模型将对象分类为具有第一分类(例如，对抗性的)或第二分类(例如，良性的)的方法。该方法还包括接收要分类的对象的样本数据。该方法还包括使用样本数据执行分类模型以获得特征向量，该分类模型被训练为将多个分类中的分类分配给样本数据，该多个分类包括第一分类和第二分类。该方法还包括：使用特征向量和分别从对象参考集获得的其他特征向量来生成图，对象参考集分别利用第一分类或第二分类进行标记，对象的特征向量对应于图的该节点集的中心节点，其中确定图可以包括：使用与图的中心节点相关联的距离度量来选择与中心节点相邻并且将被包括在图的该节点集中的邻居节点，每个邻居节点对应于对象参考集中的对象并且具有第一分类或第二分类；以及基于第一节点和第二节点的相应特征向量之间的距离，确定图的该节点集中的第一节点和第二节点之间的边的边权重。该方法还包括将图鉴别器应用于图，以确定对象的样本数据要被分类为具有第一分类还是第二分类，使用(i)与图的节点相关联的特征向量和(ii)图的节点之间的边权重来训练图鉴别器。
[0009]其他实施方案涉及与本文中描述的方法关联的系统、便携式消费者设备和计算机可读介质。
[0010]参照以下详细描述和附图，可以获得对本专利技术的实施方案的本质和优点的更好理解。
附图说明
[0011]图1示出了根据一些实施方案的用于使用机器学习模型来执行对抗性对象(例如，样本)检测的示例过程；
[0012]图2示出了根据一些实施方案的示出用于执行对抗性样本检测的技术的流程图；
[0013]图3示出了根据一些实施方案的利用机器学习模型的系统的对抗性示例，该机器学习模型可能通过扰动模型的输入特征空间而被不利地影响；
[0014]图4示出了根据一些实施方案的基于扰动模型的输入特征空间的对机器学习模型的输出的对抗性效果的另一示例；
[0015]图5示出了根据一些实施方案的可以用于生成对抗性样本的技术的另一示例；
[0016]图6示出了根据一些实施方案的可以用于训练机器学习模型来执行对抗性图像检测的数据集的示例；
[0017]图7示出了根据一些实施方案的用于执行对抗性对象检测的另一示例过程；
[0018]图8示出了根据一些实施方案的可以用于生成随后用于执行对抗性对象检测的图的示例技术；
[0019]图9示出了根据一些实施方案的可以用于生成随后用于执行对抗性对象检测的图的另一示例技术；
[0020]图10示出了根据一些实施方案的用于优化用于执行对抗性对象检测的图的技术；
[0021]图11示出了根据一些实施方案的可用于执行对抗性对象检测的图鉴别器；
[0022]图12示出了根据一些实施方案的用于训练系统的机器学习模型以执行对抗性对象检测的流程图；
[0023]图13示出了根据一些实施方案的使用系统的机器学习模型来执行对抗性对象检测的流程图；
[0024]图14示出了本文描述的用于执行对抗性对象检测的系统和其他对抗性检测方法之间的性能比较；以及
[0025]图15示出了根据一些实施方案的可以被训练和/或利用来执行对抗性样本检测的计算机系统。
[0026]术语
[0027]在讨论本专利技术的一些实施方案之前，对一些术语的描述可能有助于理解本专利技术的实施方案。
[0028]“用户装置”可包括用户用来获得对资源的访问的装置。用户设备可以是软件对象、硬件对象或物理对象。作为物理对象的示例，用户装置可包括基板(诸如纸卡或塑料卡)，以及在对象的表面处或附近印刷、压花、编码或以其他方式包含的信息。硬本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于将输入样本分类为对抗性或良性的方法，所述方法包括：存储训练样本集，所述训练样本集包括第一良性训练样本集和第二对抗性训练样本集，每个训练样本具有来自多个分类的已知分类，所述第二对抗性训练样本集是使用对抗性样本生成方法生成的；利用经预训练的分类模型获得所述第一训练样本集和所述第二训练样本集中的每个训练样本的特征向量；为输入样本集中的每个输入样本确定图，相应的输入样本对应于所述图的节点集的中心节点，其中确定所述图包括：使用与所述图的所述中心节点相关联的距离度量来选择与所述中心节点相邻并且要被包括在所述图的所述节点集中的邻居节点，每个邻居节点被标记为所述训练样本集中的良性训练样本或对抗性训练样本；以及基于所述图的所述节点集中的第一节点和第二节点的相应特征向量之间的距离来确定所述第一节点和所述第二节点之间的边的边权重；以及使用每个确定的图来训练图鉴别器以在良性样本和对抗性样本之间进行区分，所述训练使用(I)与所述图的节点相关联的所述特征向量和(II)所述图的节点之间的边权重。2.如权利要求1所述的方法，其中所述图包括嵌入矩阵和邻接矩阵，其中所述嵌入矩阵包括针对所述图的所述节点集的多个特征向量，特征向量对应于所述嵌入矩阵中的嵌入，并且其中所述邻接矩阵包括针对连接所述图的所述节点的边的边权重。3.如权利要求1所述的方法，其中选择所述邻居节点以包含在所述图内包括生成k
‑
最近邻图，所述k
‑
最近邻图将所述邻居节点确定为距所述中心节点最近的邻居，所述距离度量与用于生成所述k
‑
最近邻图的参数相关联。4.如权利要求1所述的方法，其中所述图的所述第一节点和所述第二节点之间的所述边权重与所述第一节点和所述第二节点的对应特征向量之间的距离逆相关。5.如权利要求1所述的方法，其中基于将所述第一节点和所述第二节点的所述对应特征向量之间的所述距离从第一空间映射到第二空间的函数来确定所述边权重。6.如权利要求5所述的方法，其中训练所述图鉴别器还包括：确定所述函数的参数，所述参数是使用所述输入样本中的每一者来确定的。7.如权利要求1所述的方法，其中所述输入样本中的特定输入样本与真实标签相关联，并且其中所述图鉴别器包括输出所述特定输入样本是良性还是对抗性的类别预测的神经网络，并且其中通过最小化所述图鉴别器的所述类别预测和所述真实标签之间的损失来训练所述神经网络。8.如权利要求7所述的方法，其中所述图鉴别器接收与所述特定输入样本相关联的邻接矩阵和嵌入矩阵作为针对给定训练迭代的输入。9.一种使用机器学习模型的方法，所述方法包括：接收待分类对象的样本数据；使用所述样本数据执行分类模型以获得特征向量，所述分类模型被训练为将多个分类中的分类分配给所述样本数据，所述多个分类包括第一分类和第二分类；使用所述特征向量和分别从对象参考集获得的其他特征向量来生成图，所述对象参考集分别利用所述第一分类或所述第二分类进行标记，所述对象的特征向量对应于所述图的
节点集的中心节点，其中确定所述图包括：使用与所述图的中心节点相关联的距离度量来选择与所述中心节点相邻并且要被包括在所述图的所述节点集中的邻居节点，每个邻居节点对应于所述对象参考集中的对象并且具有所述第一分类或所述第二分类；以及基于所述图的所述节点...

【专利技术属性】
技术研发人员：吴宇航，S，
申请(专利权)人：维萨国际服务协会，
类型：发明
国别省市：