机器学习模型解释方法以及装置制造方法及图纸

本申请提供机器学习模型解释方法以及装置，其中，所述机器学习模型解释方法，包括：确定机器学习模型的模型分类；采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。本申请提供的机器学习模型解释方法，通过理解机器学习模型决策依据，筛选出机器学习模型价值比较高的特征，提高机器学习模型的特征筛选质量。

【技术实现步骤摘要】
机器学习模型解释方法以及装置
本申请涉及机器学习
，特别涉及一种机器学习模型解释方法。本申请同时涉及一种机器学习模型解释装置，一种计算设备，以及一种计算机可读存储介质。
技术介绍
随着大数据和人工智能的发展，机器学习技术得到越来越广泛的应用，但许多机器学习模型还是一个黑盒，几乎无法去感知它的内部工作状态，这就带来了可信度的问题。尤其是在互联网金融、电子商务等领域，对模型可解释程度要求越来越高。现有技术对于模型可解释性无任何处理，在训练完模型之后，先对模型的特征重要性进行分析评估，再给出一个可行的解释方案。当业务方需要对推荐系统的推荐原因进行更深入的了解和认识时，一般需要人工去查看模型的特征的重要性，根据特征的重要性可以直观对模型的特征进行重要性排序，最后基于特征的重要性排序给出一个可能的解释。但是，现有技术对模型进行可解释性分析时，采用人工的方式去确定特征的重要性，耗时耗力，并且最终得到的特征解释的可靠性也无法保证。
技术实现思路
有鉴于此，本申请实施例提供了一种机器学习模型解释方法，以解决现有技术中存在的技术缺陷。本申请实施例同时提供了一种机器学习模型解释装置，一种计算设备，以及一种计算机可读存储介质。本申请实施例公开了一种机器学习模型解释方法，包括：确定机器学习模型的模型分类；采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。可选的，所述确定机器学习模型的模型分类步骤执行之前，包括：接收业务方针对所述机器学习模型的解释请求；并且，所述基准解释信息由所述业务方确定。可选的，所述机器学习模型中的特征设置有特征权重；相应的，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释步骤执行之前，包括：判断所述特征的特征权重是否满足预设阈值区间；若是，执行所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释步骤。可选的，所述机器学习模型的模型分类，包括下述至少一项：决策树模型和深度学习模型。可选的，所述模型解释方法，包括下述至少一项：局部可理解的与模型无关的解释方法和置换检验方法。可选的，若所述模型解释方法为局部可理解的与模型无关的解释方法，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：对所述机器学习模型的至少一个特征进行修改；将修改之前的所述特征输入所述机器学习模型的输出，与修改之后的修改特征输入所述机器学习模型的输出进行分析比对，根据分析比对结果确定所述特征的解释信息。可选的，若所述模型解释方法为置换检验方法，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：对所述机器学习模型的特征进行随机混洗；将随机混洗之前的所述特征输入所述机器学习模型的输出，与随机混洗之后的混洗特征输入所述机器学习模型的输出进行分析比对，根据分析比对结果确定所述特征的解释信息。可选的，所述将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果步骤执行后，包括：判断所述特征的解释效果与目标解释效果是否一致；若不一致，将所述特征的解释信息和/或解释效果反馈至数据库。可选的，所述局部可理解的与模型无关的解释方法和/或所述置换检验方法在所述数据库设置有对应的调用接口，且通过调用所述局部可理解的与模型无关的解释方法和/或所述置换检验方法对应的调用接口，将所述特征的解释信息反馈至所述数据库。可选的，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：获取所述机器学习模型内的特征以及所述特征的特征权重；将所述特征以及所述特征的特征权重输入解释模型进行解释，输出所述特征的解释信息。可选的，所述将所述特征的解释信息和/或解释效果反馈至数据库步骤执行后，包括：根据所述数据库存储的所述特征的解释信息和/或解释效果，对所述解释模型的参数进行调整。可选的，所述根据所述数据库存储的所述特征的解释信息和/或解释效果，对所述解释模型的参数进行调整步骤执行后，包括：判断参数调整之后所述解释模型输出的所述特征的解释信息对应的解释效果与所述目标解释效果是否一致；若是，将参数调整之后所述解释模型输出的所述特征作为可解释性特征加入可解释性特征集。本申请还提供一种机器学习模型解释装置，包括：模型分类确定模块，被配置为确定机器学习模型的模型分类；特征解释模块，被配置为采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；解释效果获取模块，被配置为将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。本申请还提供一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：确定机器学习模型的模型分类；采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。本申请还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述机器学习模型解释方法的步骤。与现有技术相比，本申请具有如下优点：本申请提供一种机器学习模型解释方法，包括：确定机器学习模型的模型分类；采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。本申请提供的机器学习模型解释方法，对机器学习模型进行解释的过程中，通过采用相匹配模型解释方法对所述机器学习模型中的特征进行解释，并在解释获得的机器学习模型中特征的解释信息的基础上确定机器学习模型的解释效果，通过理解机器学习模型决策依据，筛选出机器学习模型价值比较高的特征，提高机器学习模型的特征筛选质量。附图说明图1是本申请实施例提供的一种机器学习模型解释方法处理流程图；图2是本申请实施例提供的一种机器学习模型解释过程的示意图；图3是本申请实施例提供的一种机器学习模型解释装置的示意图；图4是本申请实施例提供的一种计算设备的结构框图。具体实施方式在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应本文档来自技高网...

【技术保护点】
1.一种机器学习模型解释方法，其特征在于，包括：确定机器学习模型的模型分类；采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。

【技术特征摘要】
1.一种机器学习模型解释方法，其特征在于，包括：确定机器学习模型的模型分类；采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。2.根据权利要求1所述的机器学习模型解释方法，其特征在于，所述确定机器学习模型的模型分类步骤执行之前，包括：接收业务方针对所述机器学习模型的解释请求；并且，所述基准解释信息由所述业务方确定。3.根据权利要求1所述的机器学习模型解释方法，其特征在于，所述机器学习模型中的特征设置有特征权重；相应的，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释步骤执行之前，包括：判断所述特征的特征权重是否满足预设阈值区间；若是，执行所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释步骤。4.根据权利要求1所述的机器学习模型解释方法，其特征在于，所述机器学习模型的模型分类，包括下述至少一项：决策树模型和深度学习模型。5.根据权利要求4所述的机器学习模型解释方法，其特征在于，所述模型解释方法，包括下述至少一项：局部可理解的与模型无关的解释方法和置换检验方法。6.根据权利要求5所述的机器学习模型解释方法，其特征在于，若所述模型解释方法为局部可理解的与模型无关的解释方法，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：对所述机器学习模型的至少一个特征进行修改；将修改之前的所述特征输入所述机器学习模型的输出，与修改之后的修改特征输入所述机器学习模型的输出进行分析比对，根据分析比对结果确定所述特征的解释信息。7.根据权利要求5所述的机器学习模型解释方法，其特征在于，若所述模型解释方法为置换检验方法，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：对所述机器学习模型的特征进行随机混洗；将随机混洗之前的所述特征输入所述机器学习模型的输出，与随机混洗之后的混洗特征输入所述机器学习模型的输出进行分析比对，根据分析比对结果确定所述特征的解释信息。8.根据权利要求7所述的机器学习模型解释方法，其特征在于，所述将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果步骤执行后，包括：判断所述...

【专利技术属性】
技术研发人员：韩伟伟，任建伟，周扬，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY