决策系统的公平性修复方法、系统、设备及存储介质技术方案

本发明专利技术属于机器学习领域，公开了一种决策系统的公平性修复方法、系统、设备及存储介质，包括获取决策系统的机器学习模型以及若干决策样本，根据各决策样本下决策系统的机器学习模型的激活路径统计，将决策样本分为特殊激活样本和正常决策样本，当决策样本为正常决策样本时，基于机器学习模型的原始训练方式训练机器学习模型；当决策样本为特殊激活样本时，基于Dropout训练方式训练机器学习模型；遍历完成后，得到优化机器学习模型；采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。可以检测和修复潜在的评分决策机器学习系统的公平性问题。经过修复的决策系统公平性表现有了明显提高，不再表现出对敏感属性的明显歧视性。性的明显歧视性。性的明显歧视性。

【技术实现步骤摘要】
决策系统的公平性修复方法、系统、设备及存储介质


[0001]本专利技术属于机器学习领域，涉及一种决策系统的公平性修复方法、系统、设备及存储介质。

技术介绍

[0002]随着人力成本的升高，如今越来越多的决策系统依赖于自动化的评分与决策，并大量采用机器学习模型作为其实现手段。由于机器学习模型需要用到历史数据进行训练，可能包括以前的歧视和社会偏见的模式。在这些数据上训练的机器学习模型很可能继承敏感属性的偏见，如年龄、性别、肤色和地区。例如，一项研究发现美国的犯罪预测系统COMPAS存在强烈的不公平性，该系统被用来评估刑事被告成为惯犯的可能性。该系统显示出对有色人种的强烈偏见，即使他们不是惯犯，也倾向于把他们预测为惯犯。因此，基于机器学习模型的决策系统中隐藏的偏见可能会导致严重的公平性问题，这引起了人们对其在现实世界中应用的担忧，特别是在涉及重要决策的情况下。
[0003]针对这一问题，目前提出了通过优化决策系统的机器学习模型来修复其公平性。现有的优化方法集中在机器学习模型的内处理，分为添加公平性约束和使用多端神经网络进行对抗性训练。其中，添加公平性约束能够有效增加公平性，但导致机器学习模型的预测性能下降较为严重，从而很难应用到实际场景中。使用多端神经网络进行对抗性训练能够取得较好公平性改进的同时维持较高的预测性能，但这类方法效率较低，且需要对网络结构进行较大改动，在许多场景下无法实现。因此，现有的决策系统的公平性修复方法无法很好地完成，在不重构其机器学习模型的前提下，高效修复其公平性问题的同时，维持较高的决策性能。

技术实现思路

[0004]本专利技术的目的在于克服上述现有技术中的缺点，提供一种决策系统的公平性修复方法、系统、设备及存储介质。
[0005]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0006]本专利技术第一方面，一种决策系统的公平性修复方法，包括以下步骤：
[0007]获取决策系统的机器学习模型以及若干决策样本，将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值；
[0008]根据机器学习模型中各神经元的平均激活值，遍历各决策样本，获取当前决策样本下的各神经元的相对激活值，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触；连接所有目标突触，得到当前决策样本的激活路径；遍历完成后，得到各决策样本的激活路径；
[0009]根据各决策样本的激活路径，获取同一激活路径包括的决策样本数量，将同一激活路径包括的决策样本数量小于第二预设阈值的激活路径中，包括的所有决策样本为特殊
激活样本，其余激活路径中的决策样本为正常决策样本；
[0010]遍历各决策样本，当决策样本为正常决策样本时，基于机器学习模型的原始训练方式训练机器学习模型；当决策样本为特殊激活样本时，基于Dropout训练方式训练机器学习模型；遍历完成后，得到优化机器学习模型；
[0011]采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。
[0012]本专利技术决策系统的公平性修复方法进一步的改进在于：
[0013]所述将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值的具体方法为：
[0014]将若干决策样本依次输入所述机器学习模型，得到各决策样本对应的机器学习模型中各神经元的激活值，将所有决策样本对应的机器学习模型中各神经元的激活值进行平均，得到机器学习模型中各神经元的平均激活值。
[0015]所述获取当前决策样本下的各神经元的相对激活值的具体方法为：
[0016]获取当前决策样本下的机器学习模型中各神经元的激活值，以当前决策样本下机器学习模型中各神经元的激活值减去机器学习模型中各神经元的平均激活值的差的绝对值，作为当前决策样本下的各神经元的相对激活值。
[0017]所述根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例的具体方法为：
[0018]A1：获取当前决策样本的输出神经元，以输出神经元作为目标神经元；
[0019]A2：获取目标神经元上一层的所有神经元，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值；
[0020]A3：通过下式，得到当前决策样本下目标神经元上一层的各神经元与目标神经元之间的突触的贡献值比例：目标神经元上一层的各神经元与目标神经元之间的突触的贡献值比例＝目标神经元上一层的各神经元对目标神经元的贡献值/目标神经元上一层的各神经元对目标神经元的贡献值之和；
[0021]A4：以当前目标神经元上一层的各神经元中，对当前目标神经元的贡献值不为0的神经元替代当前目标神经元，重复执行A2～A3，至当前目标神经元不存在上一层神经元，得到当前决策样本下的机器学习模型各层突触的贡献值比例。
[0022]所述根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值的具体方法为：
[0023]通过下式，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值：目标神经元上一层的各神经元对目标神经元的贡献值＝(目标神经元上一层的各神经元的相对激活值
×
目标神经元上一层的各神经元与目标神经元之间突触的权重)/目标神经元的相对激活值。
[0024]所述获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触的具体方法为：
[0025]通过下式，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触的集合
[0026][0027]其中，n为神经元，L为神经元层数编号，γ为第一预设阈值，为第i个突触的权重值，i为第L层神经元的编号，p为第L
‑
1层神经元的编号。
[0028]所述第一预设阈值为0.8，所述第二预设阈值为决策样本数量
×
预设比例。
[0029]本专利技术第二方面，一种决策系统的公平性修复系统，包括：
[0030]获取模块，用于获取决策系统的机器学习模型以及若干决策样本，将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值；
[0031]激活路径确定模块，用于根据机器学习模型中各神经元的平均激活值，遍历各决策样本，获取当前决策样本下的各神经元的相对激活值，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触；连接所有目标突触，得到当前决策样本的激活路径；遍历完成后，得到各决策样本的激活路径；
[0032]样本分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种决策系统的公平性修复方法，其特征在于，包括以下步骤：获取决策系统的机器学习模型以及若干决策样本，将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值；根据机器学习模型中各神经元的平均激活值，遍历各决策样本，获取当前决策样本下的各神经元的相对激活值，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例，获取机器学习模型的各层突触的贡献值比例从大至小叠加至大于第一预设阈值的突触，得到目标突触；连接所有目标突触，得到当前决策样本的激活路径；遍历完成后，得到各决策样本的激活路径；根据各决策样本的激活路径，获取同一激活路径包括的决策样本数量，将同一激活路径包括的决策样本数量小于第二预设阈值的激活路径中，包括的所有决策样本为特殊激活样本，其余激活路径中的决策样本为正常决策样本；遍历各决策样本，当决策样本为正常决策样本时，基于机器学习模型的原始训练方式训练机器学习模型；当决策样本为特殊激活样本时，基于Dropout训练方式训练机器学习模型；遍历完成后，得到优化机器学习模型；采用优化机器学习模型替代决策系统的机器学习模型，得到修复的决策系统。2.根据权利要求1所述的决策系统的公平性修复方法，其特征在于，所述将若干决策样本依次输入所述机器学习模型，得到机器学习模型中各神经元的平均激活值的具体方法为：将若干决策样本依次输入所述机器学习模型，得到各决策样本对应的机器学习模型中各神经元的激活值，将所有决策样本对应的机器学习模型中各神经元的激活值进行平均，得到机器学习模型中各神经元的平均激活值。3.根据权利要求2所述的决策系统的公平性修复方法，其特征在于，所述获取当前决策样本下的各神经元的相对激活值的具体方法为：获取当前决策样本下的机器学习模型中各神经元的激活值，以当前决策样本下机器学习模型中各神经元的激活值减去机器学习模型中各神经元的平均激活值的差的绝对值，作为当前决策样本下的各神经元的相对激活值。4.根据权利要求1所述的决策系统的公平性修复方法，其特征在于，所述根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下的机器学习模型各层突触的贡献值比例的具体方法为：A1：获取当前决策样本的输出神经元，以输出神经元作为目标神经元；A2：获取目标神经元上一层的所有神经元，根据当前决策样本下的各神经元的相对激活值，得到当前决策样本下目标神经元上一层的各神经元对目标神经元的贡献值；A3：通过下式，得到当前决策样本下目标神经元上一层的各神经元与目标神经元之间的突触的贡献值比例：目标神经元上一层的各神经元与目标神经元之间的突触的贡献值比例＝目标神经元上一层的各神经元对目标神经元的贡献值/目标神经元上一层的各神经元对目标神经元的贡献值之和；A4：以当前目标神经元上一层的各神经元中，对当前目标神经元的贡献值不为0的神经元替代当前目标神经元，重复执行A2～A3，至当前目标神经元不存在上一层神经元，得到当前决策样本下的机器学习模型各层突触的贡献值比例。
5.根据权...

【专利技术属性】
技术研发人员：沈超，郜炫齐，蔺琛皓，王骞，李琦，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：