一种基于强化学习的通过添加虚假节点的图对抗样本生成方法技术

本发明专利技术公开了一种基于强化学习的通过添加虚假节点的图对抗样本生成方法，包括：(1)获取原图数以及图节点分类模型，构造训练集和测试集；向原图数据中添加虚假节点，得到初始的对抗样本；(2)构建攻击模型；(3)在训练集中选择攻击目标；(4)把当前的对抗样本和攻击目标输入攻击模型，选择评估值最大的节点，构造新的对抗样本；(5)将新的对抗样本输入分类模型，若分类结果为目标的结果，得到对抗样本并进行下一步，否则跳转步骤(4)；(6)对攻击模型进行训练，并使用训练好的攻击模型进行测试和应用。本发明专利技术通过添加虚假节点的方法来生成图的对抗样本，能够为设计出更加鲁棒的图深度学习模型提供帮助。

A Graph Countermeasure Sample Generation Method Based on Reinforcement Learning by Adding False Nodes

【技术实现步骤摘要】
一种基于强化学习的通过添加虚假节点的图对抗样本生成方法
本专利技术属于人工智能信息安全
，尤其是涉及一种基于强化学习的通过添加虚假节点的图对抗样本生成方法。
技术介绍
图论中的图是由若干给定的点及连接两点的线所构成的图形，这种图形通常用来描述某些事物之间的某种特定关系，用点代表事物，用连接两点的线表示相应两个事物间具有某种关系。图论中的图G是一个有序二元组(V,E)，其中V称为顶点集，即图中所有顶点组成的集合，E称为边集，即所有顶点之间的边组成的集合。简单的说，顶点表示事物，边表示事物之间的关系。另外对于属性图(AttributedGraph)可以表示为一个有序二元组(A,X)，其中A称为图的邻接矩阵，X表示图中节点特征的特征矩阵。图作为一种重要且广泛使用的数据结构，已经被用于各种各样的实际应用场景中，例如社交网络中的扩散图，电子商务中的用户偏好图以及生物学中国的蛋白质结构图。图挖掘领域的主要研究包括图分类、图聚类、节点分类等。其中节点分类任务是图上最重要的任务之一。节点分类任务针对一个图数据，通过对图中已知类别的节点数据的学习来简历分类预测模型，实现对图中未知类别的节点进行分类。例如，在社交网络中的用户电影偏好预测就是一个典型的节点分类问题，在该问题中，可以用图的节点表示用户，边表示用户之间的关系，用户对电影的兴趣作为标签，通过节点分类方法进行预测可以推测目标人群的兴趣并向他们推荐相关电影。图节点分类问题像大部分分类问题一样，可以通过各种深度神经网络模型来解决，其中图卷积网络(GraphConvolutionalNetworks,GCNs)是目前效果最好的方法，所以在本专利技术中使用图卷积网络(GCN)为例。然而许多深度神经网络模型已经被证明鲁棒性不强：通过对预测目标加上一个微小的扰动，能够使分类器的预测结果被误导，这种攻击方式被称为对抗攻击(AdversarialAttack)，攻击生成的样本被称为对抗样本(AdversarialSamples)。对抗攻击按攻击者对目标模型的了解程度可以分为白盒攻击和黑盒攻击。白盒攻击指攻击者对模型完全了解，包裹模型结构、所有参数等；黑盒攻击则不知道模型结构、参数，但能观察到模型的输出结果。对抗攻击按攻击者的意图又可以分为非指向性攻击(Non-targetedAttack)和指向性攻击(TargetedAttack)。非指向性攻击是指攻击者的目的是改变目标的分类结果，对于分类结果是哪一类没有要求；而指向性攻击的目标是使得目标的分类结果被划分到某个特定的类别中。在本专利技术中，已指向性攻击为例。目前对抗攻击方面的研究大多数几种在图像领域，最主要的方法是通过梯度下降算法计算分类结果损失之于输入图像的梯度，进而计算添加的扰动。而在图数据领域，目前的研究都是通过添加或删除现有的边或节点特征来使得目标节点的分类结果被误导。但是这种方法在实际场景中可能很难实现，例如在社交网络中，想要删除或添加两个用户之间的边就可能需要得到这些用户的登录权限，但是这在实际情况中较难获得。
技术实现思路
针对现有技术的不足，本专利技术提出了一种基于强化学习的通过添加虚假节点的图对抗样本生成方法，通过强化学习方法将添加虚假节点生成对抗样本看作是机器和图节点分类模型环境交互的决策过程，机器通过不断地为虚假节点添加边和特征，收集模型分类结果信息，进而生成对抗样本。本专利技术的技术方案如下：一种基于强化学习的通过添加虚假节点的图对抗样本生成方法，包括：(1)获取原图数据(A，X)以及图节点分类模型，使用分类模型对原图数据进行预测，根据预测结果构造训练集和测试集，其中A是图的邻接矩阵，X是图中节点的特征；向原图数据中添加虚假节点，得到初始的对抗样本(A0，X0)；(2)构建深度学习攻击模型Q，并初始化参数；(3)在训练集中选择攻击目标(v*，y*)，其中v*为目标节点，y*为分类结果；(4)把当前的对抗样本(At，Xt)和攻击目标(v*，y*)输入攻击模型，计算得到所有候选节点的评估值，选择评估值最大的节点，并添加一条连接虚假节点和选择的节点的边，得到新的对抗样本(At+1，Xt+1)，其中t＝0，1，2，3...，T，T为最大修改次数；(5)将新的对抗样本(At+1，Xt+1)输入图节点分类模型，计算攻击目标节点的分类概率，计算图节点分类模型环境反馈的奖励信号rt，累积奖励若分类结果为y*，得到对抗样本(At+1，Xt+1)，跳转至步骤(6)；否则跳转至步骤(4)；(6)收集记录步骤(3)至步骤(5)的数据，通过最小化模型的损失函数对攻击模型进行训练；(7)使用步骤(6)中训练好的攻击模型对测试集中的样本生成对抗样本，进行验证和测试，并进行生成对抗样本的应用。进一步地，步骤(1)中，根据预测结果构造训练集和测试集的具体过程为：选择模型分类正确的节点作为攻击的目标节点，同时为每个目标节点配置所有不正确的类别标签，构成数据集。数据集按照一定比例切分成训练集和测试集。进一步地，步骤(2)中，深度学习攻击模型Q包含以下子模块：节点嵌入(NodeEmbedding)模块：根据输入的图数据(At，Xt)，计算每个节点向量表示；节点评估模块：根据目标节点的向量表示、候选节点的向量表示和目标类别，计算候选节点的优劣程度，得到评估值；输出模块：输出所有候选节点的评估值。进一步地，步骤(5)中，奖励信号rt的计算方式是：若分类结果为y*，则rt＝1；否则rt＝0。进一步优选地，奖励信号rt的计算方式为：其中Zt是指当前所有节点的分类概率，表示Zt中第v*行，第y*列的元素，其物理意义为攻击的目标节点分类为标签y*的概率。进一步地，步骤(6)中，对模型训练的具体过程为：机器的目标是通过训练攻击模型找到最优的模型使得机器与图节点分类模型环境交互时的累积奖励最大化。攻击模型Q，本质上是一个输入当前状态st以及动作at，输出机器对这个动作的评估值的函数。其中所述的状态包含了目标节点的向量表示以及目标类别，动作包含了候选节点的向量表示。将模型参数表示为θ，其损失函数Loss(θ)计算如下：其中，N为样本数量，状态st包含了目标节点的向量表示以及目标类别，动作at包含了候选节点的向量表示。模型通过最小化损失函数进行训练。与现有技术相比，本专利技术具有以下有益效果：1、本专利技术提出通过添加虚假节点的方法来生成图的对抗样本，这在实际应用中更加可行。2、本专利技术所述的方法生成的对抗样本能够有效影响图深度学习模型的分类结果，在人工智能安全领域具有重要的应用价值；与此同时，对其的研究也能够为设计出更加鲁棒的图深度学习模型提供帮助。附图说明图1为本专利技术一种基于强化学习的通过添加虚假节点的图对抗样本生成方法的流程示意图；图2为本专利技术实施例中Cora数据集上不同度的节点的分类间隔图像，其中，(a)是原图数据的分类间隔图像，(b)是添加一个虚假节点的分类间隔图像，(c)是添加与节点度相同数量的虚假节点的分类间隔图像；图3为本专利技术实施例中Cora数据集上不同模型不同攻击方式的分类间隔图像，其中，(a)是GCN的入侵攻击，(b)是GraphSage的入侵攻击，(c)是GCN的投毒攻击，(d)是GraphSage的投毒攻击。具体实施方式下面结合附图和实施例对本专利技术做进一本文档来自技高网...

【技术保护点】
1.一种基于强化学习的通过添加虚假节点的图对抗样本生成方法，其特征在于，包括：(1)获取原图数据(A，X)以及图节点分类模型，使用分类模型对原图数据进行预测，根据预测结果构造训练集和测试集，其中A是图的邻接矩阵，X是图中节点的特征；向原图数据中添加虚假节点，得到初始的对抗样本(A

【技术特征摘要】
1.一种基于强化学习的通过添加虚假节点的图对抗样本生成方法，其特征在于，包括：(1)获取原图数据(A，X)以及图节点分类模型，使用分类模型对原图数据进行预测，根据预测结果构造训练集和测试集，其中A是图的邻接矩阵，X是图中节点的特征；向原图数据中添加虚假节点，得到初始的对抗样本(A0，X0)；(2)构建深度学习攻击模型Q，并初始化参数；(3)在训练集中选择攻击目标(v*，y*)，其中v*为目标节点，y*为分类结果；(4)把当前的对抗样本(At，Xt)和攻击目标(v*，y*)输入攻击模型，计算得到所有候选节点的评估值，选择评估值最大的节点，并添加一条连接虚假节点和选择的节点的边，得到新的对抗样本(At+1，Xt+1)，其中t＝0，1，2，3...，T，T为最大修改次数；(5)将新的对抗样本(At+1，Xt+1)输入图节点分类模型，计算攻击目标节点的分类概率，计算图节点分类模型环境反馈的奖励信号rt，累积奖励若分类结果为y*，得到对抗样本(At+1，Xt+1)，跳转至步骤(6)；否则跳转至步骤(4)；(6)收集记录步骤(3)至步骤(5)的数据，通过最小化模型的损失函数对攻击模型进行训练；(7)使用步骤(6)中训练好的攻击模型对测试集中的样本生成对抗样本，进行验证和测试，并进行生成对抗样本的应用。2.根据权利要求1所述的基于强化学习的通过添加虚假节点的图对抗样本生成方法，其特征在于，步骤(1)中，根据预测结果构造训练集和测试集的具体过程...

【专利技术属性】
技术研发人员：李莹，陈裕，尹建伟，邓水光，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33