模型预测结果的解释方法和装置制造方法及图纸

说明书披露一种模型预测结果的解释方法和装置。所述方法包括：获取目标模型的输入数据和对应的输入数据预测结果；对所述输入数据进行扰动处理，得到若干扰动数据；将所述若干扰动数据分别输入所述目标模型，得到对应的扰动预测结果；筛选出产生与所述输入数据预测结果不同的扰动预测结果的扰动数据，作为反例扰动数据；根据所述反例扰动数据与所述输入数据的差异，为所述输入数据确定若干解释特征；针对每个解释特征，判断所述输入数据的特征值是否匹配该解释特征的解释条件；将匹配所述解释条件的解释特征及其特征值确定为所述输入数据预测结果的解释。

Interpretation method and device of model prediction results

【技术实现步骤摘要】
模型预测结果的解释方法和装置
本说明书涉及人工智能
，尤其涉及一种模型预测结果的解释方法和装置。
技术介绍
随着人工智能技术的发展，机器学习在零售、医疗、金融、自动驾驶等领域均有着广泛的应用。然而，很多机器学习模型类似于“黑盒”，输入数据后可输出结果，但却不具有解释性，用户无法了解其内部的决策机制，无法满足业务场景的需求。
技术实现思路
有鉴于此，本说明书提供一种模型预测结果的解释方法和装置。具体地，本说明书是通过如下技术方案实现的：一种模型预测结果的解释方法，包括：获取目标模型的输入数据和对应的输入数据预测结果；对所述输入数据进行扰动处理，得到若干扰动数据；将所述若干扰动数据分别输入所述目标模型，得到对应的扰动预测结果；筛选出产生与所述输入数据预测结果不同的扰动预测结果的扰动数据，作为反例扰动数据；根据所述反例扰动数据与所述输入数据的差异，为所述输入数据确定若干解释特征；针对每个解释特征，判断所述输入数据的特征值是否匹配该解释特征的解释条件；将匹本文档来自技高网...

【技术保护点】
1.一种模型预测结果的解释方法，包括：/n获取目标模型的输入数据和对应的输入数据预测结果；/n对所述输入数据进行扰动处理，得到若干扰动数据；/n将所述若干扰动数据分别输入所述目标模型，得到对应的扰动预测结果；/n筛选出产生与所述输入数据预测结果不同的扰动预测结果的扰动数据，作为反例扰动数据；/n根据所述反例扰动数据与所述输入数据的差异，为所述输入数据确定若干解释特征；/n针对每个解释特征，判断所述输入数据的特征值是否匹配该解释特征的解释条件；/n将匹配所述解释条件的解释特征及其特征值确定为所述输入数据预测结果的解释。/n

【技术特征摘要】
1.一种模型预测结果的解释方法，包括：
获取目标模型的输入数据和对应的输入数据预测结果；
对所述输入数据进行扰动处理，得到若干扰动数据；
将所述若干扰动数据分别输入所述目标模型，得到对应的扰动预测结果；
筛选出产生与所述输入数据预测结果不同的扰动预测结果的扰动数据，作为反例扰动数据；
根据所述反例扰动数据与所述输入数据的差异，为所述输入数据确定若干解释特征；
针对每个解释特征，判断所述输入数据的特征值是否匹配该解释特征的解释条件；
将匹配所述解释条件的解释特征及其特征值确定为所述输入数据预测结果的解释。


2.根据权利要求1所述的方法，所述对所述输入数据进行扰动处理，得到若干扰动数据，包括：
获取用于训练所述目标模型的样本；
生成符合样本数据分布的若干伪样本；
为所述输入数据确定若干组扰动特征，每组扰动特征包括一个或多个扰动特征；
针对每组扰动特征，分别用每条伪样本的特征值对应替换所述输入数据的特征值，得到所述输入数据的扰动数据。


3.根据权利要求2所述的方法，所述生成符合样本数据分布的若干伪样本，包括：
采用生成式模型学习所述样本的数据分布，并生成所述若干伪样本。


4.根据权利要求2所述的方法，所述为所述输入数据确定若干组扰动特征，包括：
获取特征的扰动数量；
遍历符合所述扰动数量的每种特征组合，并将每种特征组合确定为一组扰动特征。


5.根据权利要求4所述的方法，
所述扰动数量小于所述输入数据的特征数量。


6.根据权利要求1所述的方法，所述根据所述反例扰动数据与所述输入数据的差异，为所述输入数据确定若干解释特征，包括：
针对每个特征，计算所述反例扰动数据与所述输入数据的特征差异；
将特征差异满足差异条件的特征确定为所述解释特征。


7.根据权利要求6所述的方法，所述计算所述反例扰动数据与所述输入数据的特征差异，包括：
针对每个特征，计算所述反例扰动数据的特征值与所述输入数据的特征值的取值差异；
针对每个特征，统计与所述输入数据的特征值不同的反例扰动数据的数量；
根据所述取值差异和数量确定所述特征差异。


8.根据权利要求7所述的方法，所述将特征差异满足差异条件的特征确定为所述解释特征，包括：
将所述特征按照特征差异从高到低的顺序排列，顺次选取排列在先的预设数量的特征作为所述解释特征。


9.根据权利要求1所述的方法，还包括：
判断所述输入数据预测结果是否为预定的待解释预测结果；
若是，则执行对所述输入数据进行扰动处理的步骤。


10.根据权利要求1所述的方法，
所述输入数据为实体对象的特征数据；
所述输入数据预测结果为与所述实体对象相关的分类结果。


11.一种模型预测结果的解释装置，包括：
数据获取单元，获取目标模型的输入数据和对应的输入数据预测结果；
数据扰动单元，对所述输入数据进行扰动处理，得到若干扰动数据；
扰动预测单元，将所述若干扰动数据分别输入所述目标模型，得到对应的扰动预测结果；
反例筛选单元，筛选出产生与所述输入数据预...

【专利技术属性】
技术研发人员：方军鹏，唐才智，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33