一种XAI模型评价方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种XAI模型评价方法、装置、设备和存储介质。该方法包括：将工作模型输出的决策结果输入可解释性模型，得到解释结果；获取所述解释结果对应的评估结果，所述评估结果包括：指标集合中的每个指标对应的评估结果；根据所述解释结果对应的评估结果确定目标满意度评价结果。本发明专利技术实施例通过将工作模型输出的决策结果输入可解释性模型，得到解释结果，获取解释结果对应的评估结果，根据解释结果对应的评估结果确定目标满意度评价结果，实现了对XAI解释结果进行评估，并根据评估结果预测用户的满意度，解决了XAI模型的选择性困扰及针对性优化问题，降低XAI应用的试错成本。降低XAI应用的试错成本。降低XAI应用的试错成本。

【技术实现步骤摘要】
一种XAI模型评价方法、装置、设备和存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种XAI模型评价方法、装置、设备和存储介质。

技术介绍

[0002]机器学习领域的评价方法既是评价模型性能好坏的手段也是模型优化的基础。近些年随着可解释性人工智能技术的发展，涌现出了越来越多的XAI(Explainable AI的简称，即可解释AI)的方法，但目前为止对XAI模型的评价方法尚缺乏深入的研究，在一定程度上限制了XAI技术的进一步发展。
[0003]现有的XAI模型评价方法主要是度量模型的性能、鲁棒性等，比如准确度指标、AUC(Area under the Curve of ROC，ROC曲线下方的面积，是判断二分类预测模型优劣的标准，其中，ROC是Receiver Operating Characteristic Curve的缩写)指标等仅能衡量模型的精度，但对于XAI模型而言，除了关心XAI模型的效率指标、性能指标以外，还关心XAI模型解释结果的有效性、可行性、可交互能力等等。但当前的XAI评价方法较为单一且与解释的最终应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种XAI模型评价方法，其特征在于，包括：将工作模型输出的决策结果输入可解释性模型，得到解释结果；获取所述解释结果对应的评估结果，所述评估结果包括：指标集合中的每个指标对应的评估结果；根据所述解释结果对应的评估结果确定目标满意度评价结果。2.根据权利要求1所述的方法，其特征在于，根据所述解释结果对应的评估结果确定目标满意度评价结果，包括：根据所述解释结果对应的评估结果确定有用性量化结果、易用性量化结果以及双属性量化结果；获取用户满意度评价结果；将所述有用性量化结果、易用性量化结果、双属性量化结果以及用户满意度评价结果输入目标满意度模型，得到目标满意度评价结果。3.根据权利要求1所述的方法，其特征在于，所述指标集合包括：效率指标集、质量指标集、交互性指标集、性能指标集以及效能指标集中的至少一种，交互性指标集包括：解释内容的可回溯性评价指标、解释的可比较性评价指标、异常发现能力评价指标以及反事实解释能力评价指标，性能指标集包括：解释准确性维度的评价指标和解释稳定性维度的评价指标。4.根据权利要求3所述的方法，其特征在于，获取所述解释结果对应的评估结果，包括：根据所述解释结果确定效率指标集中每个指标对应的评估结果、解释准确性维度的评价指标对应的评估结果以及解释的可比较性评价指标对应的评估结果；对所述解释结果进行解析，得到所述解释结果的解析结果；根据所述解释结果的解析结果确定质量指标集中每个指标对应的评估结果；获取可解释性模型的训练样本集；根据所述可解释性模型的训练样本集和所述解释结果确定解释内容的可回溯性评价指标对应的评估结果、反事实解释能力评价指标对应的评估结果、异常发现能力评价指标对应的评估结果以及解释稳定性维度的评价指标对应的评估结果。5.根据权利要求3所述的方法，其特征在于，所述质量指标集包括：解释形式直观程度评价指标、解释内容质量程度评价指标以及解释内容完备性评价指标；根据所述解释结果对应的评估结果确定有用性量化结果、易...

【专利技术属性】
技术研发人员：夏正勋，谭顺予，刘士菖，谭锋镭，
申请(专利权)人：星环信息科技上海股份有限公司，
类型：发明
国别省市：