图像解释方法、图像解释装置、电子设备和存储介质制造方法及图纸

本公开提供了一种图像解释方法，包括：获取待处理图像以及与待处理图像对应的预测结果，其中，待处理图像包括待处理图数据，待处理图数据为基于待处理图像的图结构的数据，待处理图数据包括节点和边，节点表征实体，节点与节点之间的边表征实体之间的关系；将待处理图像和预测结果输入预先训练完成的图像解释模型，得到第一解释结果，其中，第一解释结果包括多个解释类别，第一解释结果中节点和边的数量均小于待处理图数据中节点和边的数量；以及基于第一解释结果，利用预先训练完成的图像调整模型，输出目标解释结果，其中，目标解释结果中节点和边的数量均小于第一解释结果中节点和边的数量。边的数量。边的数量。

【技术实现步骤摘要】
图像解释方法、图像解释装置、电子设备和存储介质


[0001]本公开涉及深度学习领域，更具体地，涉及一种图像解释方法、图像解释装置、设备、介质和程序产品。

技术介绍

[0002]图神经网络(GNN)在诸多应用场景如推荐系统、化学分子特性分类、社交网络建模等表现出了优异的性能。图神经网络利用结点作为信息的发生源、边作为信息的传递路径、邻接结点作为信息的接收对象，在不断的迭代中进行端到端的表示学习。然而，作为神经网络在特定图数据结构下的变体，图神经网络未能逃脱黑盒诅咒。图神经网络预测结果的不可解释性局限了它在智能理疗、化学分析方面的应用，越来越多的焦点集中在图神经网络预测结果的可解释性上。
[0003]在实现本公开构思的过程中，专利技术人发现相关技术中至少存在如下问题：现有局部可解释性难以挖掘一组实例中共享的模式，缺乏对模型工作原理的全局性理解；现有全局可解释性难以适用于具体的实例。

技术实现思路

[0004]有鉴于此，本公开提供了一种图像解释方法、一种图像解释装置、一种电子设备、一种可读存储介质和一种计算机程序产品。
[0005]根据本公开的第一个方面，提供了一种图像解释方法，包括：
[0006]获取待处理图像以及与上述待处理图像对应的预测结果，其中，上述待处理图像包括待处理图数据，上述待处理图数据为基于上述待处理图像的图结构的数据，上述待处理图数据包括节点和边，上述节点表征实体，上述节点与节点之间的边表征上述实体之间的关系；
[0007]将上述待处理图像和上述预测结果输入预先训练完成的图像解释模型，得到第一解释结果，其中，上述第一解释结果包括多个解释类别，上述第一解释结果中节点和边的数量均小于上述待处理图数据中节点和边的数量；以及
[0008]基于上述第一解释结果，利用预先训练完成的图像调整模型，输出目标解释结果，其中，上述目标解释结果中节点和边的数量均小于上述第一解释结果中节点和边的数量。
[0009]根据本公开的实施例，其中，在将上述待处理图像和上述预测结果输入预先训练完成的图像解释模型，得到第一解释结果之前，上述方法还包括：
[0010]基于第一互信息损失和对比性损失构建解释函数，其中，上述第一互信息损失表征上述第一解释结果与上述预测结果之间的互信息，上述对比性损失表征上述预测类别之间的区别信息；
[0011]利用上述解释函数训练待训练的图像解释模型，得到训练完成的图像解释模型。
[0012]根据本公开的实施例，其中，上述待训练的图像解释模型包括多个子解释模型，上述多个子解释模型与上述多个解释类别一一对应。
[0013]根据本公开的实施例，其中，在基于上述第一解释结果，利用预先训练完成的图像调整模型，输出目标解释结果之前，上述方法还包括：
[0014]确定上述第一解释结果中每个节点的选择概率和每条边的选择概率，其中，上述图像解释模型包括多个概率生成模型，上述选择概率通过上述概率生成模型生成；
[0015]根据上述每个节点的选择概率和每条边的选择概率生成第二解释结果，其中，上述第二解释结果中节点和边的数量均小于上述第一解释结果中节点和边的数量。
[0016]根据本公开的实施例，其中，在上述根据上述每个节点的选择概率和每条边的选择概率生成第二解释结果之后，上述方法还包括：
[0017]基于第二互信息损失构建调整函数，其中，上述第二互信息损失表征上述目标解释结果与上述第二解释结果之间的互信息；
[0018]利用上述调整函数训练待训练的图像调整模型，得到训练完成的图像调整模型。
[0019]根据本公开的实施例，其中，在获取待处理图像以及与上述待处理图像对应的预测结果之前，上述方法还包括：
[0020]获取图神经网络的图数据，其中，上述图数据包括节点的表征向量和边的表征向量，上述边表示节点之间的关联关系；
[0021]利用上述图神经网络基于上述边的表征向量生成传递矩阵，其中，上述传递矩阵表示相连节点之间的信息传递方式；
[0022]确定上述边的表征向量与上述传递矩阵之间的互信息；
[0023]利用上述互信息训练上述图神经网络，得到已训练的图神经网络；
[0024]将上述待处理图像输入上述已训练的图神经网络，输出上述预测结果。
[0025]根据本公开的第二个方面，提供了一种图像解释装置，包括：
[0026]获取模块，用于获取待处理图像以及与上述待处理图像对应的预测结果，其中，上述待处理图像包括待处理图数据，上述待处理图数据为基于上述待处理图像的图结构的数据，上述待处理图数据包括节点和边，上述节点表征实体，上述节点与节点之间的边表征上述实体之间的关系；
[0027]解释模块，用于将上述待处理图像和上述预测结果输入预先训练完成的图像解释模型，得到第一解释结果，其中，上述第一解释结果包括多个解释类别，上述第一解释结果中节点和边的数量均小于上述待处理图数据中节点和边的数量；以及
[0028]调整模块，用于基于上述第一解释结果，利用预先训练完成的图像调整模型，输出目标解释结果，其中，上述目标解释结果中节点和边的数量均小于上述第一解释结果中节点和边的数量。
[0029]根据本公开的第三个方面，提供了一种电子设备，包括：
[0030]一个或多个处理器；
[0031]存储器，用于存储一个或多个指令，
[0032]其中，当上述一个或多个指令被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上所述的方法。
[0033]根据本公开的第四个方面，提供了一种计算机可读存储介质，其上存储有可执行指令，上述可执行指令被处理器执行时使处理器实现如上所述的方法。
[0034]根据本公开的第五个方面，提供了一种计算机程序产品，上述计算机程序产品包
括计算机可执行指令，上述计算机可执行指令在被执行时用于实现如上所述的方法。
[0035]根据本公开的实施例，因为采用了获取待处理图像以及与待处理图像对应的预测结果；并将待处理图像和预测结果输入预先训练完成的图像解释模型，得到第一解释结果；再基于第一解释结果，利用预先训练完成的图像调整模型，输出目标解释结果的技术手段，所以至少部分地克服了相关技术中单独使用局部解释难以挖掘一组实例中共有的模式，缺乏对模型工作原理的全局性理解；单独使用全局解释难以适用于具体实例的技术问题。进而达到了在面向全局理解的第一解释结果的基础上，得到了面向局部理解的目标解释结果，实现了针对待处理图像的全局理解和局部理解结合解释的技术效果。
附图说明
[0036]通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
[0037]图1示意性示出了根据本公开实施例的图像解释方法的流程图；
[0038]图2示意性示出了根据本公开实施例的得到预测结果方法的流程图；
[0039]图3示意性示出了根据本公开实施例的得到图像解释模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像解释方法，包括：获取待处理图像以及与所述待处理图像对应的预测结果，其中，所述待处理图像包括待处理图数据，所述待处理图数据为基于所述待处理图像的图结构的数据，所述待处理图数据包括节点和边，所述节点表征实体，所述节点与节点之间的边表征所述实体之间的关系；将所述待处理图像和所述预测结果输入预先训练完成的图像解释模型，得到第一解释结果，其中，所述第一解释结果包括多个解释类别，所述第一解释结果中节点和边的数量均小于所述待处理图数据中节点和边的数量；以及基于所述第一解释结果，利用预先训练完成的图像调整模型，输出目标解释结果，其中，所述目标解释结果中节点和边的数量均小于所述第一解释结果中节点和边的数量。2.根据权利要求1所述的方法，其中，在将所述待处理图像和所述预测结果输入预先训练完成的图像解释模型，得到第一解释结果之前，所述方法还包括：基于第一互信息损失和对比性损失构建解释函数，其中，所述第一互信息损失表征所述第一解释结果与所述预测结果之间的互信息，所述对比性损失表征所述预测类别之间的区别信息；利用所述解释函数训练待训练的图像解释模型，得到训练完成的图像解释模型。3.根据权利要求2所述的方法，其中，所述待训练的图像解释模型包括多个子解释模型，所述多个子解释模型与所述多个解释类别一一对应。4.根据权利要求1所述的方法，其中，在基于所述第一解释结果，利用预先训练完成的图像调整模型，输出目标解释结果之前，所述方法还包括：确定所述第一解释结果中每个节点的选择概率和每条边的选择概率，其中，所述图像解释模型包括多个概率生成模型，所述选择概率通过所述概率生成模型生成；根据所述每个节点的选择概率和每条边的选择概率生成第二解释结果，其中，所述第二解释结果中节点和边的数量均小于所述第一解释结果中节点和边的数量。5.根据权利要求4所述的方法，其中，在所述根据所述每个节点的选择概率和每条边的选择概率生成第二解释结果之后，所述方法还包括：基于第二互信息损失构建调整函数，其中，所述第二互信息损失表征所述目标解...

【专利技术属性】
技术研发人员：何向南，吴颖馨，王翔，张岸，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：