一种XAI模型一致性训练方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种XAI模型一致性训练方法、装置、设备和存储介质。该方法包括：在Work Model训练完成后，将XAI Model的第一用户数据样本输入Work Model，得到预测决策结果；根据所述预测决策结果确定第一参数；在XAI Model训练完成后，将所述Work Model输出的第二用户数据样本的决策结果输入所述XAI Model，得到预测解释结果；根据所述预测解释结果确定第二参数；根据所述第一参数和所述第二参数确定目标参数；若所述目标参数大于参数阈值，则对所述XAI Model的参数进行延梯度方向的优化。本发明专利技术实施例的技术方案，可以解决XAI模型解释结果不一致性的问题，能够实现对XAI Model的优化，助力XAI技术的实际应用。助力XAI技术的实际应用。助力XAI技术的实际应用。

【技术实现步骤摘要】
一种XAI模型一致性训练方法、装置、设备和存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种XAI模型一致性训练方法、装置、设备和存储介质。

技术介绍

[0002]随着人工智能应用的深入，人们不仅关注人工智能的能力，更关注人工智能的安全可信性。XAI(Explainable AI的简称，即可解释AI)是一种能够为黑盒模型提供解释的技术，可以极大地提升机器学习模型的透明性、可信性、可控性。
[0003]但XAI模型在实际应用中存在不一致的问题亟待解决，比如在金融授信场景中，当金融授信模型结果与用户自己认为的授信结果、对授信结果产生原因进行解释的模型结果与用户自己认为的产生结果的原因二者之间的一致性结果不一致时，模型结果难以让用户信服；当金融授信模型结果与用户自认为的授信结果、对授信结果产生原因进行解释的模型结果与企业的结果参照标准二者之间的一致性结果不一致时，模型结果不符合企业既定标准；而当上述两种最终的一致性结果存在不一致，即用户与企业的一致性结果不一致，则说明该金融授信系统存在“自相矛盾”，通常不符合产品落地标准。上述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种XAI模型一致性训练方法，其特征在于，包括：在Work Model训练完成后，将XAIModel的第一用户数据样本输入Work Model，得到预测决策结果；根据所述预测决策结果确定第一参数；在XAI Model训练完成后，将所述Work Model输出的第二用户数据样本的决策结果输入所述XAI Model，得到预测解释结果；根据所述预测解释结果确定第二参数；根据所述第一参数和所述第二参数确定目标参数；若所述目标参数大于参数阈值，则对所述XAI Model的参数进行延梯度方向的优化。2.根据权利要求1所述的方法，其特征在于，根据所述预测决策结果确定第一参数，包括：根据所述预测决策结果和所述第一用户数据样本携带的标签确定第一参数。3.根据权利要求1所述的方法，其特征在于，根据所述预测决策结果确定第一参数，包括：获取用户输入的决策结果反馈信息；根据所述预测决策结果和所述决策结果反馈信息确定第一参数。4.根据权利要求1所述的方法，其特征在于，根据所述预测解释结果确定第二参数，包括：获取所述第二用户数据样本的决策结果对应的解释结果；根据所述第二用户数据样本的决策结果对应的解释结果和预测解释结果确定第二参数。5.根据权利要求1所述的方法，其特征在于，根据所述预测解释结果确定第二参数，包括：获取所述预测解释结果对应的决策结果；根据所述预测解释结果对应的决策结果和第二用户数据样本的决策结果确定第二参数。6.根据权利要求4或5所述的方法，其特征在于，还包括：获取第二用户数据样本的决策结果对应的原因反馈信息；根据所述预测解释...

【专利技术属性】
技术研发人员：夏正勋，刘士菖，汪科，杨一帆，
申请(专利权)人：南京星环智能科技有限公司，
类型：发明
国别省市：