歧视性样本生成方法和电子设备技术

本申请实施例提供一种歧视性样本生成方法和电子设备，涉及人工智能领域，该方法能够基于样本的梯度进行有指导性的扰动处理以生成多个歧视性样本，无需依赖第三方算法，性能高，歧视性样本生成效率高。具体方案为：根据样本的属性集合中的第一属性判断样本是否是歧视性样本；当样本不是歧视性样本，且未达到预设的扰动门限值，根据样本的梯度对样本进行第一扰动处理，得到扰动后的样本；当扰动后的样本不是歧视性样本，则对扰动后的样本重复进行上述第一扰动处理，直至扰动后的样本为歧视性样本或者第一扰动处理的次数达到预设的扰动门限值；当扰动后的样本是歧视性样本，根据扰动后的样本生成多个歧视性样本。本申请实施例用于生成歧视性样本。用于生成歧视性样本。用于生成歧视性样本。

【技术实现步骤摘要】
歧视性样本生成方法和电子设备


[0001]本申请实施例涉及人工智能领域，尤其涉及一种歧视性样本生成方法和电子设备。

技术介绍

[0002]深度神经网络(deep neural network，DNN)作为一种重要的人工智能技术，已被广泛应用于包括欺诈检测、面部识别、自动驾驶和医疗诊断等多种领域。尽管DNN在许多应用中都表现出优异的性能，然而，其可靠性仍然有待提高。其中，与DNN的可靠性相关的一项重要特性是公平性(即，非歧视性)。
[0003]由于用于生成模型的样本数据集中可能存在社会偏见，因此利用该样本数据集得到的DNN模型可能会引入歧视。为了检测DNN模型中可能存在的歧视性问题，并且对DNN模型进行修正以强化公平性，需要生成歧视性样本。
[0004]在相关技术中，生成歧视性样本的方法需要依赖于第三方算法，例如，依赖于模型解释方法和约束求解器，该方法的运算量较大，性能较低，使得歧视性样本生成效率也较低。

技术实现思路

[0005]本申请实施例提供一种歧视性样本生成方法和电子设备，电子设备通过基于样本的梯度的扰动处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种歧视性样本生成方法，其特征在于，包括：根据样本A
i
的属性集合中的第一属性判断所述样本A
i
是否是歧视性样本，其中，所述属性集合包括多个属性，i为大于等于0的整数；当所述样本A
i
不是歧视性样本，且i≤N，根据所述样本A
i
的梯度对所述样本A
i
进行第一扰动处理，得到扰动后的样本A
i+1
；其中，N为预设的扰动门限值，所述样本A
i
为对第一样本A0进行了i次所述第一扰动处理后的样本；当所述样本A
i+1
是歧视性样本，根据所述样本A
i+1
生成多个歧视性样本；其中，所述歧视性样本为：在样本的所述第一属性发生改变且除所述第一属性以外的其他属性不变时，输入模型后得到的模型输出结果发生改变的样本。2.根据权利要求1所述的方法，其特征在于，所述根据所述样本A
i
的梯度对所述样本A
i
进行所述第一扰动处理，得到扰动后的所述样本A
i+1
，包括：根据所述样本A
i
获取至少一个参考样本B
i
；其中，每个所述参考样本B
i
包括所述多个属性，所述多个属性包括所述第一属性；在所述样本A
i
与所述参考样本B
i
的所述多个属性中，所述第一属性的值不同且除所述第一属性以外的其他属性的值相同；从所述至少一个参考样本B
i
中获取目标参考样本B
i
’
，其中，在所述至少一个参考样本B
i
中，所述目标参考样本B
i
’
的第一属性的值与所述样本A
i
的第一属性的值的差异值最大；根据所述样本A
i
的梯度和所述目标参考样本B
i
’
的梯度，从不包括所述第一属性的所述属性集合中确定第一扰动属性和第一扰动方向；根据所述第一扰动属性和所述第一扰动方向，对所述样本A
i
进行所述第一扰动处理，得到扰动后的所述样本A
i+1
。3.根据权利要求2所述的方法，其特征在于，所述目标参考样本B
i
’
的第一属性的值与所述样本A
i
的第一属性的值的差异值最大，包括：在所述至少一个参考样本B
i
中，所述目标参考样本B
i
’
和所述样本A
i
输入所述模型后得到的模型输出结果所对应的置信值的差值的绝对值最大。4.根据权利要求2或3所述的方法，其特征在于，所述根据所述样本A
i
的梯度和所述目标参考样本B
i
’
的梯度，确定第一扰动属性和第一扰动方向，包括：从不包括所述第一属性的所述属性集合中确定所述样本A
i
的梯度和所述目标参考样本B
i
’
的梯度中符号相同的属性为所述第一扰动属性；若所述样本A
i
的梯度和所述目标参考样本B
i
’
的梯度的符号均为正，则确定所述第一扰动属性的第一扰动方向为使得所述第一扰动属性的值增大的方向；若所述样本A
i
的梯度和所述目标参考样本B
i
’
的梯度的符号均为负，则确定所述第一扰动属性的第一扰动方向为使得所述第一扰动属性的值减小的方向。5.根据权利要求2-4任一项所述的方法，其特征在于，在根据所述第一扰动属性和所述第一扰动方向，对所述样本A
i
进行所述第一扰动处理，得到扰动后的所述样本A
i+1
之后，所述方法还包括：若所述样本A
i+1
中的属性的值不在预设输入范围内，则将所述样本A
i+1
中的所述属性的值设置在预设输入范围内。6.根据权利要求1-5任一项所述的方法，其特征在于，所述模型是根据样本数据集训练获得的，所述第一样本A0选自所述样本数据集。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：对所述样本数据集进行聚类，使得所述样本数据集分为多个组；从所述多个组中依次循环获取多个样本；其中，所述第一样本A0为所述多个样本中的一个。8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述样本A
i+1
生成多个歧视性样本，包括：步骤1、根据所述样本A
i+1
的梯度对所述样本A
i+1
进行第二扰动处理，得到扰动后的样本C
i+1
；步骤2、若检测到所述样本C
i+1
为所述歧视性样本，则确定生成一个歧视性样本；步骤3、重复执行步骤1和步骤2直至生成多个所述歧视性样本；其中，在不同的所述第二扰动处理中，所述第二扰动处理的参数不同，所述参数包括第二扰动属性、第二扰动方向或第二扰动幅度中的一个或多个。9.根据权利要求8所述的方法，其特征在于，根据所述样本A
i+1
的梯度对所述样本A
i+1
进行所述第二扰动处理，得到扰动后的所述样本C
i+1
，包括：根据所述样本A
i+1
获取至少一个参考样本B
i+1
；其中，每个所述参考样本B
i+1
包括所述多个属性，所述多个属性包括所述第一属性；在所述样本A
i+1
与所述参考样本B
i+1
的所述多个属性中，所述第一属性的值不同且除所述第一属性以外的其他属性的值相同；从所述至少一个参考样本B
i+1
中获取辅助参考样本B
i+1”；其中，在所述至少一个参考样本B
i+1
中，所述辅助参考样本B
i+1”和所述样本A
i+1
输入所述模型后得到的模型输出结果不同；根据所述样本A
i+1
的梯度和所述辅助参考样本B
i+1”的梯度，从不包括所述第一属性的所述属性集合中确定第二扰动属性；根据所述第二扰动属性，对所述样本A
i+1
进行第二扰动处理，得到扰动后的样本C
i+1
...

【专利技术属性】
技术研发人员：戴挺，李铁岩，张培歆，孙军，
申请(专利权)人：新加坡管理大学，
类型：发明
国别省市：