一种基于因果关系的模型训练及调整方法、设备和介质技术

本发明专利技术实施例公开了一种基于因果关系的模型训练及调整方法、设备和介质。该方法包括：将目标样本输入至待训练的机器学习模型中进行前向计算，并获取与目标样本对应的至少一个原始特征向量；对各原始特征向量进行因果分析，提取与决策结果存在因果关系的因果特征，并得到与各原始特征向量分别对应的因果特征向量；根据各因果特征向量分别对对应的原始特征向量进行因果关系处理，得到目标特征向量；根据各目标特征向量，进行后向计算，对机器学习模型进行参数调整，直至模型训练结束。可以基于因果关系降低选择性偏倚特征对决策结果的影响，提高模型的可解释性、鲁棒性以及精度，具备通用性。具备通用性。具备通用性。

【技术实现步骤摘要】
一种基于因果关系的模型训练及调整方法、设备和介质


[0001]本专利技术实施例涉及人工智能
，尤其涉及一种基于因果关系的模型训练及调整方法、设备和介质。

技术介绍

[0002]随着数据分析技术及人工智能技术的研究及应用的深入，人们越来越关注机器学习模型在不同应用场景中的稳定性问题。
[0003]基于概率统计学习的模型通常能够在特定场景下正常工作。但当场景发生改变时，模型需要重新学习才能够继续工作。其原因是统计模型的学习目标是最大程度地拟合样本与标签，选择性偏倚因子共同参与了决策，数据输入与决策结果之间缺乏严格的逻辑关系，虚假相关的存在导致了当前机器学习模型常常会出现出人意料的行为。
[0004]例如，区分男女性别的模型错误地将衣服的颜色作为性别的区分特征，从而导致穿鲜艳颜色衣服的人都被判断为女性。又如，鲟鱼识别模型学习过程中，因为大部分样本中的鲟鱼是钓鱼者用手捧着，模型错误地把手的特征当作鲟鱼特征的一部分，从而导致对自然状态鲟鱼识别率较低。
[0005]为解决上述问题，现有技术通过特征可视化、反卷积、局部可理解的与模型无关的解释(Local Interpretable Model
‑
Agnostic Explanations，LIME)、类激活映射(class activation mapping，CAM)、相关性逐层传播(Layer
‑
wise Relevance Propagation，LRP)等方法，对机器学习进行可解释性研究。但这些方法的使用依赖于大量的人工分析，且分析结果往往仅具有局部解释性，不具备通用性。

技术实现思路

[0006]本专利技术实施例提供了一种基于因果关系的模型训练及调整方法、设备和介质，可以基于因果关系调整原始特征向量，降低选择性偏倚特征对决策结果的影响，提高模型的可解释性、鲁棒性以及精度，具备通用性。
[0007]第一方面，本专利技术实施例提供了一种基于因果关系的机器学习模型训练方法，该方法包括：
[0008]将模型训练任务对应的目标样本输入至待训练的机器学习模型中进行前向计算，并获取前向计算过程中与所述目标样本对应的至少一个原始特征向量；
[0009]对各所述原始特征向量进行因果分析，提取与决策结果存在因果关系的因果特征，并根据各所述因果特征，得到与各所述原始特征向量分别对应的因果特征向量；
[0010]根据各所述因果特征向量分别对对应的原始特征向量进行因果关系处理，得到目标特征向量；
[0011]根据各所述目标特征向量，进行后向计算，对所述机器学习模型进行参数调整，直至所述机器学习模型的模型训练结束。
[0012]第二方面，本专利技术实施例还提供了一种基于因果关系的机器学习模型调整方法，
其中，机器学习模型的特征提取模块与决策模块之间设置因果计算模块该方法由因果计算模块执行，包括：
[0013]接收所述特征提取模块提取的至少一个原始特征向量，并对各所述原始特征向量进行逐位掩码Mask处理，得到Mask特征向量；其中，Mask特征向量的个数与原始特征向量的长度相同；
[0014]将各所述原始特征向量以及对应的各Mask特征向量分别发送至所述决策模块，并接收所述决策模块分别反馈的原始决策结果和Mask决策结果；
[0015]根据各所述原始决策结果和各所述Mask决策结果，确定与决策结果存在因果关系的因果特征，并根据各所述因果特征，得到与各所述原始特征向量分别对应的因果特征向量；
[0016]根据各所述因果特征向量分别对对应的原始特征向量进行因果关系处理，得到目标特征向量，并将所述目标特征向量发送至所述决策模块，以对所述机器学习模型进行参数调整。
[0017]第三方面，本专利技术实施例还提供了一种计算机设备，包括处理器和存储器，所述存储器用于存储指令，当所述指令执行时使得所述处理器执行以下操作：
[0018]将模型训练任务对应的目标样本输入至待训练的机器学习模型中进行前向计算，并获取前向计算过程中与所述目标样本对应的至少一个原始特征向量；
[0019]对各所述原始特征向量进行因果分析，提取与决策结果存在因果关系的因果特征，并根据各所述因果特征，得到与各所述原始特征向量分别对应的因果特征向量；
[0020]根据各所述因果特征向量分别对对应的原始特征向量进行因果关系处理，得到目标特征向量；
[0021]根据各所述目标特征向量，进行后向计算，对所述机器学习模型进行参数调整，直至所述机器学习模型的模型训练结束。
[0022]第四方面，本专利技术实施例还提供了一种计算机设备，包括处理器和存储器，所述存储器用于存储指令，当所述指令执行时使得所述处理器执行以下操作：
[0023]接收特征提取模块提取的至少一个原始特征向量，并对各所述原始特征向量进行逐位掩码Mask处理，得到Mask特征向量；其中，Mask特征向量的个数与原始特征向量的长度相同；
[0024]将各所述原始特征向量以及对应的各Mask特征向量分别发送至决策模块，并接收所述决策模块分别反馈的原始决策结果和Mask决策结果；
[0025]根据各所述原始决策结果和各所述Mask决策结果，确定与决策结果存在因果关系的因果特征，并根据各所述因果特征，得到与各所述原始特征向量分别对应的因果特征向量；
[0026]根据各所述因果特征向量分别对对应的原始特征向量进行因果关系处理，得到目标特征向量，并将所述目标特征向量发送至所述决策模块，以对机器学习模型进行参数调整。
[0027]第五方面，本专利技术实施例还提供了一种存储介质，存储介质用于存储指令，所述指令用于执行：
[0028]将模型训练任务对应的目标样本输入至待训练的机器学习模型中进行前向计算，
并获取前向计算过程中与所述目标样本对应的至少一个原始特征向量；
[0029]对各所述原始特征向量进行因果分析，提取与决策结果存在因果关系的因果特征，并根据各所述因果特征，得到与各所述原始特征向量分别对应的因果特征向量；
[0030]根据各所述因果特征向量分别对对应的原始特征向量进行因果关系处理，得到目标特征向量；
[0031]根据各所述目标特征向量，进行后向计算，对所述机器学习模型进行参数调整，直至所述机器学习模型的模型训练结束；
[0032]或者，
[0033]接收特征提取模块提取的至少一个原始特征向量，并对各所述原始特征向量进行逐位掩码Mask处理，得到Mask特征向量；其中，Mask特征向量的个数与原始特征向量的长度相同；
[0034]将各所述原始特征向量以及对应的各Mask特征向量分别发送至决策模块，并接收所述决策模块分别反馈的原始决策结果和Mask决策结果；
[0035]根据各所述原始决策结果和各所述Mask决策结果，确定与决策结果存在因果关系的因果特征，并根据各所述因果特征，得到与各所述原始特征向量分别对应的因果特征向量；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于因果关系的机器学习模型训练方法，其特征在于，包括：将模型训练任务对应的目标样本输入至待训练的机器学习模型中进行前向计算，并获取前向计算过程中与所述目标样本对应的至少一个原始特征向量；对各所述原始特征向量进行因果分析，提取与决策结果存在因果关系的因果特征，并根据各所述因果特征，得到与各所述原始特征向量分别对应的因果特征向量；根据各所述因果特征向量分别对对应的原始特征向量进行因果关系处理，得到目标特征向量；根据各所述目标特征向量，进行后向计算，对所述机器学习模型进行参数调整，直至所述机器学习模型的模型训练结束。2.根据权利要求1所述的方法，其特征在于，对各所述原始特征向量进行因果分析，提取与决策结果存在因果关系的因果特征，包括：对各所述原始特征向量进行至少一次掩码Mask处理，得到至少一个Mask特征向量；通过所述机器学习模型对各所述原始特征向量以及各Mask特征向量进行决策计算，得到分别对应的原始决策结果和Mask决策结果；根据各所述原始决策结果和各所述Mask决策结果，确定与决策结果存在因果关系的因果特征。3.根据权利要求2所述的方法，其特征在于，根据各所述原始决策结果和各所述Mask决策结果，确定与决策结果存在因果关系的因果特征，包括：确定各所述Mask决策结果中对对应的原始决策结果存在负向影响的目标Mask决策结果；将与所述目标Mask决策结果对应的Mask特征向量，确定为与决策结果存在因果关系的因果特征。4.根据权利要求3所述的方法，其特征在于，确定各所述Mask决策结果中对对应的原始决策结果存在负向影响的目标Mask决策结果，包括：当所述Mask决策结果中的分类评定模型logit值或结果置信度小于对应的原始决策结果中的logit值或结果置信度时，将Mask决策结果作为目标Mask决策结果；或者，当所述Mask决策结果中的损失函数值大于对应的原始决策结果中的损失函数值时，将Mask决策结果作为目标Mask决策结果。5.根据权利要求1所述的方法，其特征在于，根据各所述因果特征，得到与各所述原始特征向量分别对应的因果特征向量，包括：将与各所述原始特征向量分别对应的因果特征进行按位逻辑运算，得到与各所述原始特征向量分别对应的因果特征向量。6.根据权利要求2所述的方法，其特征在于，根据各所述因果特征向量分别对对应的原始特征向量进行因果关系处理，得到目标特征向量，包括：根据各所述因果特征向量分别对对应的原始特征向量进行Mask处理，得到目标特征向量。7.根据权利要求1所述的方法，其特征在于，在将模型训练任务对应的目标样本输入至所述机器学习模型中进行前向计算之前，还包括：按照各样本标签类别，将样本库中的样本进行微批量划分，并根据模型训练任务所需
的样本标签类别生成对应的目标样本。8.根据权利要求1所述的方法，其特征在于，在机器学习模型的模型训练结束之后，还包括：根据对原始特征向量的因果分析结果，确定选择性偏倚特征，并根据选择性偏倚特征对所述机器学习模型进行剪枝处理。9.一种基于因果关系的机器学习模型调整方法，其特征在于，所述机器学习模型的特征提取模块与决策模块之间设置因果计算模块，所述方法由因果计算模块执行，包括：接收所述特征提取模块提取的至少一个原始特征向量，并对各所述原始特征向量进行逐位掩码Mask处理，得到Mask特征向量；其中，Mask特征向量的个数与原始特征向量的长度相同；将各所述原始特征向量以及对应的各Mask特征向量分别发送至所述决策模块，并接收所述决策模块分别反馈的原始决策结果和Mask决策结果；根据各所述原始决策结果和各所述Mask决策结果，确定与决策结果存在因果关系的因果特征，并根据各所述因果特征，得到与各所述原始特征向量分别对应的因果特征向量；根据各所述因果特征向量分别对对应的原始特征向量进行因果关系处理，得到目标特征向量，并将所述目标特征向量发送至所述决策模块，以对所述机器学习模型进行参数调整。10.一种计算机设备，包括处理器和存储器，所述存储器用于存储指令，当所述指令执行时使得所述处理器执行以下操作：将模型训练任务对应的目标样本输入至待训练的机器学习...

【专利技术属性】
技术研发人员：夏正勋，杨一帆，
申请(专利权)人：南京星环智能科技有限公司，
类型：发明
国别省市：