本公开提供一种对抗样本的生成方法及装置，所述对抗样本的生成方法包括：获取训练样本集合和机器学习模型，其中，训练样本集合中的每个训练样本具有离散字段属性，离散字段属性指的是字段值为离散变量的字段属性；将每个训练样本在每个离散字段属性上的字段值转换为字段值向量，得到向量样本；对每个向量样本在每个离散字段属性上的字段值向量施加扰动，将施加扰动后的向量样本作为第一扰动样本；基于第一扰动样本，生成对抗样本。根据本公开的对抗样本的生成方法及装置解决了难以针对离散变量数据生成对抗样本的问题，可以通过将离散字段属性上的字段值转换为字段值向量，针对具有离散变量的数据生成用于对抗学习的对抗样本。样本。样本。
【技术实现步骤摘要】
对抗样本的生成方法及装置
[0001]以下描述涉及人工智能
，具体地涉及一种对抗样本的生成方法及装置。
技术介绍
[0002]对抗学习是通过攻击目标机器学习模型，使模型给出错误的预测结果，以此来研究机器学习模型的稳健性的一种手段。具体来说，可以对用于训练机器学习模型的原始训练样本进行一定程度的扰动，得到对抗样本，使得机器学习模型对于扰动前后的输入样本(即，原始训练样本和对抗样本)给出不一致的预测结果，或者使得机器学习模型对于扰动之后的对抗样本给出某个特定的错误预测结果。
[0003]现有的对抗学习的对抗样本生成方法通常局限于原始训练样本为诸如图像数据、文本数据等的连续变量数据的情况，这使得在一些具有离散变量数据的领域中，难以针对离散变量数据生成对抗学习的对抗样本。例如，在金融、医疗、教育等许多领域，常见的数据类型是表数据(或称结构化数据)，这些数据可能具有离散的字段值，现有的对抗样本生成方法不能对这样的离散的字段值施加扰动，导致无法对这些领域的机器学习模型进行对抗学习，进而无法通过对抗学习来提高机器学习模型的稳健性。
技术实现思路
[0004]本公开的示例性实施例可至少解决上述问题，也可不解决上述问题。
[0005]根据本公开的第一方面，提供了一种对抗样本的生成方法，所述对抗样本的生成方法包括：获取训练样本集合和机器学习模型，其中，所述训练样本集合中的每个训练样本具有离散字段属性，所述离散字段属性指的是字段值为离散变量的字段属性，所述机器学习模型是基于所述训练样本集合训练得到的；将每个训练样本在每个离散字段属性上的字段值转换为字段值向量，得到向量样本，其中，字段值与字段值向量一一对应；对每个向量样本在每个离散字段属性上的字段值向量施加扰动，将施加扰动后的向量样本作为第一扰动样本；基于所述第一扰动样本，生成对抗样本。
[0006]可选地，将每个训练样本在每个离散字段属性上的字段值转换为字段值向量的步骤包括：针对每个离散字段属性，确定合法字段值之间的相对关系的编码值，其中，所述合法字段值指的是在字段属性下允许存在的字段值，所述合法字段值之间的相对关系的编码值根据预定的编码规则来确定；基于合法字段值之间的相对关系的编码值，确定与合法字段值对应的合法字段值向量，其中，合法字段值与合法字段值向量一一对应；基于所述合法字段值和所述合法字段值向量，确定与每个训练样本在相应离散字段属性上的字段值对应的字段值向量。
[0007]可选地，对每个向量样本在每个离散字段属性上的字段值向量施加扰动，将施加扰动后的向量样本作为第一扰动样本的步骤包括：针对每个向量样本，确定样本扰动量，其中，所述样本扰动量为所述机器学习模型的损失函数对向量样本的梯度；将所述样本扰动量施加到向量样本，以得到所述第一扰动样本。
[0008]可选地，基于所述第一扰动样本，生成对抗样本的步骤包括：针对每个第一扰动样本，从每个离散字段属性的所有合法字段值向量中，选取至少一个合法字段值向量作为与所述每个离散字段属性对应的合法搜索向量；针对每个第一扰动样本，获取在所有离散字段属性上的合法搜索向量的所有可能的向量组合，并与每个向量组合一一对应地生成第二扰动样本；从与每个第一扰动样本对应的所有第二扰动样本中确定能够成功攻击所述机器学习模型的第二扰动样本，并基于成功攻击的第二扰动样本，生成对抗样本，其中，成功攻击所述机器学习模型指的是：所述机器学习模型的与第二扰动样本对应的输出结果为预设的目标输出结果，并且第二扰动样本与对应的第一扰动样本所对应的训练样本之间的样本距离小于预设阈值，其中，所述样本距离基于第二扰动样本与对应的训练样本的在每个字段属性上的字段值之间的差异量来确定。
[0009]可选地，所述字段属性包括离散字段属性，其中，通过以下方式确定第二扰动样本与对应的训练样本的在离散字段属性上的字段值之间的差异量：基于所述合法字段值和所述合法字段值向量，确定与第二扰动样本在每个离散字段属性上的字段值向量对应的字段值；基于离散字段属性上的所有合法字段值中的每两个合法字段值之间的差异量，确定与第二扰动样本的字段值和对应的训练样本的字段值对应的两个合法字段值之间变换的最小差异量，作为第二扰动样本与对应的训练样本的在离散字段属性上的字段值之间的差异量。
[0010]可选地，离散字段属性上的所有合法字段值中的每两个合法字段值之间的差异量通过所述每两个合法字段值之间的区分难度来确定，其中，合法字段值之间的区分难度与合法字段值之间的差异量成反比关系。
[0011]可选地，所述字段属性还包括连续字段属性，所述连续字段属性指的是合法字段值为连续变量的字段属性，其中，通过以下方式确定第二扰动样本与对应的训练样本之间的在连续字段属性上的字段值之间的差异量：将第二扰动样本的字段值与对应的训练样本的字段值之差的绝对值作为第二扰动样本与对应的训练样本的在连续字段属性上的字段值之间的差异量。
[0012]可选地，通过下式确定所述样本距离：
[0013][0014]其中，d为第二扰动样本与对应的训练样本之间的样本距离，d
k
为第二扰动样本与对应的训练样本在第k个字段属性上的字段值之间的差异量，s为第二扰动样本与对应的训练样本所具有的字段属性的数量，p为预设参数，p＞0。
[0015]可选地，针对每个第一扰动样本，从每个离散字段属性的所有合法字段值向量中，选取至少一个合法字段值向量作为与每个离散字段属性对应的合法搜索向量的步骤包括：确定每个离散字段属性的所有合法字段值向量；针对每个离散字段属性，将满足预设条件的合法字段值向量确定为相应离散字段属性的合法搜索向量，其中，所述预设条件包括：合法字段值向量与第一扰动样本的字段值向量之间的距离小于预设阈值，或者，为在所有合法字段值向量中距第一扰动样本的字段值向量距离最近的预设数量的合法字段值向量。
[0016]可选地，所述预设的目标输出结果为与原始输出结果不同的输出结果，所述原始
输出结果是通过将与第二扰动样本对应的训练样本输入到所述机器学习模型所得到的输出结果。
[0017]可选地，通过以下方式训练所述机器学习模型：确定与所述训练样本集合中的训练样本一一对应的所述向量样本，得到向量样本集合；利用所述向量样本集合训练所述机器学习模型。
[0018]根据本公开的第二方面，提供了一种对抗样本的生成装置，所述对抗样本的生成装置包括：获取单元，被配置为获取训练样本集合和机器学习模型，其中，所述训练样本集合中的每个训练样本具有离散字段属性，所述离散字段属性指的是字段值为离散变量的字段属性，所述机器学习模型是基于所述训练样本集合训练得到的；转换单元，被配置为将每个训练样本在每个离散字段属性上的字段值转换为字段值向量，得到向量样本，其中，字段值与字段值向量一一对应；扰动单元，被配置为对每个向量样本在每个离散字段属性上的字段值向量施加扰动，将施加扰动后的向量样本作为第一扰动样本；生成单元，被配置为基于所述第一扰动样本，生成对抗样本。
[0019]可选地，所述本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种对抗样本的生成方法，其特征在于，包括：获取训练样本集合和机器学习模型，其中，所述训练样本集合中的每个训练样本具有离散字段属性，所述离散字段属性指的是字段值为离散变量的字段属性，所述机器学习模型是基于所述训练样本集合训练得到的；将每个训练样本在每个离散字段属性上的字段值转换为字段值向量，得到向量样本，其中，字段值与字段值向量一一对应；对每个向量样本在每个离散字段属性上的字段值向量施加扰动，将施加扰动后的向量样本作为第一扰动样本；基于所述第一扰动样本，生成对抗样本。2.根据权利要求1所述的生成方法，其特征在于，将每个训练样本在每个离散字段属性上的字段值转换为字段值向量的步骤包括：针对每个离散字段属性，确定合法字段值之间的相对关系的编码值，其中，所述合法字段值指的是在字段属性下允许存在的字段值，所述合法字段值之间的相对关系的编码值根据预定的编码规则来确定；基于合法字段值之间的相对关系的编码值，确定与合法字段值对应的合法字段值向量，其中，合法字段值与合法字段值向量一一对应；基于所述合法字段值和所述合法字段值向量，确定与每个训练样本在相应离散字段属性上的字段值对应的字段值向量。3.根据权利要求1所述的生成方法，其特征在于，对每个向量样本在每个离散字段属性上的字段值向量施加扰动，将施加扰动后的向量样本作为第一扰动样本的步骤包括：针对每个向量样本，确定样本扰动量，其中，所述样本扰动量为所述机器学习模型的损失函数对向量样本的梯度；将所述样本扰动量施加到向量样本，以得到所述第一扰动样本。4.根据权利要求2所述的生成方法，其特征在于，基于所述第一扰动样本，生成对抗样本的步骤包括：针对每个第一扰动样本，从每个离散字段属性的所有合法字段值向量中，选取至少一个合法字段值向量作为与所述每个离散字段属性对应的合法搜索向量；针对每个第一扰动样本，获取在所有离散字段属性上的合法搜索向量的所有可能的向量组合，并与每个向量组合一一对应地生成第二扰动样本；从与每个第一扰动样本对应的所有第二扰动样本中确定能够成功攻击所述机器学习模型的第二扰动样本，并基于成功攻击的第二扰动样本，生成对抗样本，其中，成功攻击所述机器学习模型指的是：所述机器学习模型的与第二扰动样本对应的输出结果为预设的目标输出结果，并且第二扰动样本与对应的第一扰动样本所对应的训练样本之间的样本距离小于预设阈值，...
【专利技术属性】
技术研发人员：何雨橙，王海，赵申宜，涂威威，
申请(专利权)人：第四范式北京技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。