基于多目标进化算法的公平机器学习模型的训练方法技术

本发明专利技术公开了一种基于多目标进化算法的公平机器学习模型的训练方法，尤其是在伦理问题的公平性背景中的基于多目标进化算法的公平机器学习模型的训练方法。根据场景确定多个正交性的公平性指标和准确性指标；根据多个正交性的公平性指标和准确性指标建模为多个优化目标；根据基于种群的多目标进化算法的多个算子以及多个优化目标对机器学习模型进行演化。同时考虑多个具有正交性的公平性指标和准确性指标，通过使用多个指标可以多角度的评估模型公平性，使评估更加全面。不会重复从同一角度评估，避免计算资源的浪费或被动增加该指标的重要性。通过提高种群内模型的多样性，生成具有高质量和多样的机器学习模型。成具有高质量和多样的机器学习模型。成具有高质量和多样的机器学习模型。

【技术实现步骤摘要】
基于多目标进化算法的公平机器学习模型的训练方法


[0001]本专利技术实施例涉及机器学习技术，尤其涉及一种在伦理问题的公平性背景 中的基于多目标进化算法的公平机器学习模型的训练方法。

技术介绍

[0002]随着机器学习在不同应用中的广泛使用，机器学习的安全性和公平性的要 求越来越高。大量的研究者尝试解决机器学习中不公平性的问题。
[0003]随着机器学习在不同应用中的广泛使用，安全和公平性约束已经成为研究 人员和工程师面临的一个巨大问题。机器学习在法庭上被用来评估被告重新犯 罪的可能性。它被用于不同的医疗领域，在儿童福利系统和自动驾驶汽车。所 有这些应用程序都对我们的生活有直接影响。因此，在设计这些类型的敏感工 具时，考虑公平性约束是一项至关重要的任务。
[0004]大量的研究者尝试解决机器学习中不公平性的情况。然而，度量不公平性 的定义是难以确定的，需要考虑定义公平的哲学和伦理争论，因此，创建公平 量化的广义概念是具有挑战性的。度量公平性的指标通常要么强调个人(例如每 个人都被平等对待)，要么强调群体公平，而后者则进一步区分于群体内部(如 女性vs男性)和群体之间的公平。目前，使用已确立的定义组合这些理想在数 学上是难以处理的。
[0005]有研究表明，大量的公平性的度量指标是相互冲突的，例如DemographicParity与Equalized Odds、Individual fairness与Group fairness等，同 时也表明：通常增加公平性往往会导致整体准确性或其相关指标降低。因此， 大量的学者尝试在不同的公平性指标间，与公平性指标与准确性之间进行折中 处理。
[0006]如图1所示，目前的一种实现方式为，以预测准确性指标为目标，使用训 练数据训练机器学习模型。根据某个公平性指标对训练后获得的模型进行评估。 该模型被一个或多个公平性指标是否判为公平。如果公平，则输出模型。如果 不公平，则不使用该模型。通过对训练数据进行处理，如去除掉偏见数据，使 用处理后的训练数据再次训练模型。上述实现方式在模型训练过程中未考虑公 平性。
[0007]如图2所示，目前的另一种实现方式为，以预测准确性指标和单个公平性 指标的加权和为目标，使用训练数据训练机器学习模型。根据某个公平性指标 对训练后获得的模型进行评估。判断该模型被一个或多个公平性指标是否判公 平。如果公平，则输出模型。如果不公平，则不使用该模型。通过对训练数据 进行处理，如去掉偏见数据，或者改变预测准确性指标和单个公平性指标的加 权和公式，再次训练模型。上述实现方式在机器学习模型训练过程中只考虑一 个公平性指标，并且需要在训练前决定公平性指标和模型准确性指标的权值， 一次训练只能获得一个相应的模型。因此，当处理不同问题时，需要调整其不 同的权重值，来达到用户可接受的结果。当不同的用户需要在不同公平性指标 与准确性指标之间具有不同的折中要求时，只能重新运行算法才能得到另一个 折中方案的结果。
[0008]可见，目前大多采用对某一种公平性的度量指标进行优化。然而，公平性 的度量
指标有很多，且多个公平性指标之间存在冲突的情况，公平性的增加， 导致准确性的降低。只考虑一个公平性衡量指标训练机器学习模型时，使用另 一个公平性衡量指标评估所获得的模型时，可能因为两种指标的评估角度不同 或矛盾性而获得相反的评估结果。如何获得在多种角度的公平性与准确性之间 达到不同的优选折中方案成为亟待解决的问题。

技术实现思路

[0009]本专利技术提供一种基于多目标进化算法的公平机器学习模型的训练方法，以 实现生成预测率高、更公平、且具有多样性的机器学习模型，得到多个侧重不 同评估指标的、具有多样性的机器学习模型，提高机器学习模型的公平性和准 确性。
[0010]第一方面，本专利技术实施例提供了一种基于多目标进化算法的公平机器学习 模型的训练方法，包括：
[0011]根据场景确定多个正交性的公平性指标和准确性指标；
[0012]根据多个正交性的公平性指标和准确性指标建模为多个优化目标；
[0013]根据基于种群的多目标进化算法的多个算子以及所述多个优化目标对机器 学习模型进行演化。
[0014]在上述实施方式的基础上，基于自然繁衍和适者生存法则和多目标进化算 法的多个算子以及所述多个优化目标对机器学习模型进行演化，包括：
[0015]步骤1、对多个第一机器学习模型进行训练；
[0016]步骤2、在多个第一机器学习模型之间进行演化，得到多个第二机器学习 模型；
[0017]步骤3、根据训练后的第一机器学习模型和训练后的多个第二机器学习模 型的准确性指标和多个公平性指标，确定多个第三机器学习模型。
[0018]第二方面，本专利技术实施例还提供了一种基于多目标进化算法的公平机器学 习模型的训练装置，包括：
[0019]指标确定单元，用于根据场景确定多个正交性的公平性指标和准确性指标；
[0020]建模单元，用于根据多个正交性的公平性指标和准确性指标建模为多个优 化目标；
[0021]演化单元，用于根据基于种群的多目标进化算法的多个算子以及所述多个 优化目标对机器学习模型进行演化。
[0022]在上述实施方式的基础上，演化单元包括：
[0023]第一机器学习模型训练模块，用于对多个第一机器学习模型进行训练；
[0024]演化模块，用于在多个第一机器学习模型之间进行演化，得到多个第二机 器学习模型；
[0025]第三机器学习模型确定模块，用于根据训练后的第一机器学习模型和训练 后的多个第二机器学习模型的准确性指标和多个公平性指标，确定多个第三机 器学习模型。
[0026]第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器 及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现 如本申请实施例所示的基于多目标进化算法的公平机器学习模型的训练方法。
[0027]第四方面，本专利技术实施例还提供了一种包含计算机可执行指令的存储介质， 计算机可执行指令在由计算机处理器执行时用于执行如本申请实施例所示的基 于多目标进化
算法的公平机器学习模型的训练方法。
[0028]本专利技术实施例提供的基于多目标进化算法的公平机器学习模型的训练方法， 根据场景确定多个正交性的公平性指标和准确性指标；根据多个正交性的公平 性指标和准确性指标建模为多个优化目标；根据基于种群的多目标进化算法的 多个算子以及所述多个优化目标对机器学习模型进行演化。本申请实施例提供 的基于多目标进化算法的公平机器学习模型的训练方法，同时考虑多个具有正 交性的公平性指标和准确性指标，通过使用多个指标可以多角度的评估模型公 平性，使评估更加全面。同时，由于其“正交性”，不会重复从同一角度评估， 避免计算资源的浪费或被动增加该指标的重要性。此外，使用多目标进化算法 同时优化模型预测准确率和多个公平性指标，不需要人为设计权重，同时可以 获得一组非互本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多目标进化算法的公平机器学习模型的训练方法，其特征在于，包括：根据场景确定多个正交性的公平性指标和准确性指标；根据多个正交性的公平性指标和准确性指标建模为多个优化目标；根据基于种群的多目标进化算法的多个算子以及所述多个优化目标对机器学习模型进行演化。2.根据权利要求1所述的方法，其特征在于，所述基于自然繁衍和适者生存法则和多目标进化算法的多个算子以及所述多个优化目标对机器学习模型进行演化，包括：步骤1、对多个第一机器学习模型进行训练；步骤2、在所述多个第一机器学习模型之间进行演化，得到多个第二机器学习模型；步骤3、根据多个所述训练后的第一机器学习模型和训练后的多个第二机器学习模型的准确性指标和多个公平性指标，确定多个第三机器学习模型。3.根据权利要求2所述的方法，其特征在于，在所述多个第一机器学习模型之间进行演化，得到多个第二机器学习模型，包括：根据所述多个第一机器学习模型选择多个父代机器学习模型；对所述多个父代机器学习模型进行交叉，得到多个子代机器学习模型；对所述多个子代机器学习模型进行异变，得到多个第二机器学习模型。4.根据权利要求3所述的方法，其特征在于，所述根据所述多个第一机器学习模型选择多个父代机器学习模型，包括：根据多目标进化算法的选择算子，从第一数量的第一机器学习模型中选择第二数量的父代机器学习模型，所述第二数量小于所述第一数量；相应的，所述对所述多个父代机器学习模型进行交叉，得到多个子代机器学习模型，包括：根据所述多目标进化算法的交叉算子对所述第二数量的父代机器学习模型进行交叉，得到第一数量的子代机器学习模型；相应的，所述对所述多个子代机器学习模型进行异变，得到多个第二机器学习模型，包括：根据所述多目标进化算法的变异算子，对第一数量的子代机器学习模型进行异变，将变异后的子代机器学习模型作为第二机器学习模型。5.根据权利要求2所述的方法，其特征在于，所述根据多个所述训练后的第一机器学习模型和训练后...

【专利技术属性】
技术研发人员：刘佳琳，张清泉，姚新，张泽琦，毛碧飞，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：