模型行为可解释性方法、系统、介质及设备技术方案

本申请公开了一种模型行为可解释性方法、系统、介质及设备，属于神经网络模型技术领域。该方法包括：根据模型预测结果，确定测试样本中各个测试单元对预测结果的贡献度；对贡献度进行排序，根据贡献度的排序结果选取第一预设数量的测试单元作为解释单元；分别计算训练集中各个训练样本与解释单元的相关度；对相关度进行排序，根据相关度的排序结果选取第二预设数量的训练样本作为解释样本。该方法通过获取与训练结果相关的解释单元和解释样本，对神经网络模型的输出结果进行解释，联合训练和测试阶段解释模型行为的神经网络可解释性方案，形成从训练数据到输入测试样本再到模型预测结果的推理解释链路，更好地解释模型行为。更好地解释模型行为。更好地解释模型行为。

【技术实现步骤摘要】
模型行为可解释性方法、系统、介质及设备


[0001]本申请涉及神经网络模型
，特别是一种模型行为可解释性方法、系统、介质及设备。

技术介绍

[0002]深度学习神经网络模型具有“黑盒”性质，用户难以得知深度学习神经网络模型是怎样处理数据以及怎样得出预测结果，从而导致用户无法控制深度学习神经网络模型的运作过程，也就不可避免地会得到意料之外的结果，从而影响对深度学习神经网络模型的进一步优化，影响用户对神经网络模型的使用体验。因此，对于深度学习网络模型，一个合适的解释方法对模型的使用或者进一步优化显得尤为必要。

技术实现思路

[0003]针对现有技术中，深度学习神经网络模型具有“黑盒”性质，导致用户无法控制深度学习神经网络模型的运作过程，也就不可避免地会得到意料之外的结果，影响用户对神经网络模型的使用体验的问题，本申请提出一种模型行为可解释性方法、系统、介质及设备。
[0004]在本申请的一个技术方案中，提供一种模型行为可解释性方法，包括：根据模型预测结果，确定测试样本中各个测试单元对预测结果的贡献度；对贡献度进行排序，根据贡献度的排序结果选取第一预设数量的测试单元作为解释单元；分别计算训练集中各个训练样本与解释单元的相关度；对相关度进行排序，根据相关度的排序结果选取第二预设数量的训练样本作为解释样本。
[0005]在本申请的另一技术方案中，提供一种模型行为可解释性系统，包括：贡献度计算模块，其根据模型预测结果，确定测试样本中各个测试单元对预测结果的贡献度；解释单元确定模块，其对贡献度进行排序，根据贡献度的排序结果选取第一预设数量的测试单元作为解释单元；相关度计算模块，其分别计算训练集中各个训练样本与解释单元的相关度；解释样本确定模块，其对相关度进行排序，根据相关度的排序结果选取第二预设数量的训练样本作为解释样本。
[0006]在本申请的另一技术方案中，提供一种计算机可读存储介质，其中，存储介质中存储有计算机指令，计算机指令被操作以执行方案一中的模型行为可解释性方法。
[0007]在本申请的另一技术方案中，提供一种计算机设备，其中，计算机设备包括处理器和存储器，存储器存储有计算机指令，其中，处理器操作计算机指令以执行方案一中的模型行为可解释性方法。
[0008]本申请的有益效果是：本申请通过在神经网络模型的训练阶段和测试阶段，通过获取与训练结果相关的解释单元和解释样本，对神经网络模型的输出结果进行解释，联合训练和测试阶段解释模型行为的神经网络可解释性方案，形成从训练数据到输入测试样本再到模型预测结果的推理解释链路，更好地解释模型行为。
附图说明
[0009]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0010]图1示出了本申请模型行为可解释性方法的一个实施方式；
[0011]图2示出了本申请模型行为可解释性方法中确定测试单元对预测结果的贡献度的一个实施例；
[0012]图3示出了本申请模型行为可解释性系统的一个实施方式。
[0013]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0014]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0015]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的产品或设备不必限于清楚地列出的哪些单元，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它单元。
[0016]深度学习神经网络模型具有“黑盒”性质，用户难以得知深度学习神经网络模型是怎样处理数据以及怎样得出预测结果，从而导致用户无法控制深度学习神经网络模型的运作过程，也就不可避免地会得到意料之外的结果，从而影响对深度学习神经网络模型的进一步优化，影响用户对神经网络模型的使用体验。
[0017]神经网络模型的使用分为两个阶段：训练和测试。以文本训练模型为例，训练是指使用标注数据指导模型的学习，而测试就是将一个原始文本输入到训练好的模型中，模型给出它的预测。
[0018]基于训练和测试这两个阶段，本方案提出联合这两个阶段去解释模型的表现，具体来说，是要解决这样一个问题：模型在做出预测的时候，重点“关注”了输入文本的哪些部分，以及这些部分和训练集中的哪些训练样本最“相关”。通过这种方法，本方案能够综合地从训练和测试这两个角度对模型的行为进行解释，而不是单独地从训练或者测试的角度进行解释。
[0019]为此，本申请提出一种模型行为可解释性方法，首先根据模型预测结果，确定测试样本中各个测试单元对预测结果的贡献度；然后对贡献度进行排序，根据贡献度的排序结
果选取第一预设数量的测试单元作为解释单元；接着分别计算训练集中各个训练样本与解释单元的相关度；最后对相关度进行排序，根据相关度的排序结果选取第二预设数量的训练样本作为解释样本。通过获得的解释单元和解释样本，对模型预测结果进行解释，即模型获得该预测结果的原因是因为测试样本中的解释单元和训练集中的解释样本的存在，从而对模型的行为进行解释说明，便于对模型行为的控制。
[0020]通过在神经网络模型的训练阶段和测试阶段，通过获取与训练结果相关的解释单元和解释样本，对神经网络模型的输出结果进行解释，联合训练和测试阶段解释模型行为的神经网络可解释性方案，形成从训练数据到输入测试样本再到模型预测结果的推理解释链路，更好地解释模型行为。本申请可应用于对模型结果的解释，并可直接用于对多个神经网络模型预测的下游任务，包括模型行为分析、错误分析、对抗样本生成、对抗样本防御以及修正模型预测，应用范围较广。另外，本申请的的可解释性方法可应用于任何神经网络模型结构和下游任务，具有极强的可扩展性。
[0021]下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型行为可解释性方法，其特征在于，包括：根据模型预测结果，确定测试样本中各个测试单元对所述预测结果的贡献度；对所述贡献度进行排序，根据所述贡献度的排序结果选取第一预设数量的所述测试单元作为解释单元；分别计算训练集中各个训练样本与所述解释单元的相关度；对所述相关度进行排序，根据所述相关度的排序结果选取第二预设数量的所述训练样本作为解释样本。2.根据权利要求1所述的模型行为可解释性方法，其特征在于，所述根据模型预测结果，确定测试样本中各个测试单元对所述预测结果的贡献度，包括：确定所述预测结果对应的得分；根据所述得分确定各个所述测试单元对应的梯度，进而确定各个所述测试单元对应的所述贡献度，其中，所述梯度与所述贡献度正相关。3.根据权利要求1所述的模型行为可解释性方法，其特征在于，所述别计算训练集中各个训练样本与所述解释单元的相关度，包括：计算各个所述训练样本对所述解释单元的相关度得分；根据所述相关度得分确定所述相关度，其中所述相关度与所述相关度得分正相关。4.一种模型行为可解释性系统，其特征在于，包括：贡献度计算模块，其根据模型预测结果，确定测试样本中各个测试单元对所述预测结果的贡献度；解释单元确定模块，其对所述贡献度进行排序，根据所述贡献度的排序结果选取第一预设数量...

【专利技术属性】
技术研发人员：王思宽，李晓雅，卢辰鑫，何豪杰，王铎，卜贺纯，
申请(专利权)人：北京香侬慧语科技有限责任公司，
类型：发明
国别省市：