一种基于充分展开的材料图神经网络的分层解释方法技术

本发明专利技术实现了一种基于充分展开的材料图神经网络的分层解释方法

【技术实现步骤摘要】
一种基于充分展开的材料图神经网络的分层解释方法


[0001]本专利技术涉及深度学习领域，具体涉及一种基于充分展开的材料图神经网络的分层解释方法
。

技术介绍

[0002]深度学习技术正在改观大数据研究领域的预测分析，并且已经在图像和语音识别
、
知识问答
、
机器翻译以及其他很多应用领域取得了重大突破
。
通常，深度学习方法是将输入数据经由多层神经网络结构，如前馈神经网络
、
卷积神经网络
(CNN)、
循环神经网络
(RNN)
等，通过多次的迭代训练，最终得到学习模型
。
[0003]近年来，随着机器学习领域的不断发展，图神经网络
(Graph Neural Networks
，
GNNs)
已成为一种非常有前景的技术
。
它们在各种领域的成功应用，如化学
、
材料科学和金融等，使得
GNNs
成为了机器学习工具箱中的热门工具
。
然而，正如很多深度学习模型一样，
GNNs
也面临一个严重的问题，即“黑匣子问题”。
[0004]“黑匣子问题”指的是机器学习模型的内部工作方式很难解释和理解
。
尽管这些模型在许多任务中表现出色，但用户和研究者往往难以了解它们如何作出特定的预测或决策
。
这一不透明性可能会带来信任问题，特别是在关键领域如化学
、
材料科学和金融中，我们需要确保模型的预测是可靠的
、
可信任的，并且不带有潜在的偏见
。
因此，解释
GNNs
的方法已经成为了可解释人工智能
(Explainable AI)
领域的一个重要议题
。
[0005]幸运的是，近年来，关于
GNN
解释的文献数量急剧增加，为解决“黑匣子问题”提供了新的思路和方法
。
这些方法在不同层面上提供了对
GNNs
的解释，有助于建立对模型的信任，同时确保在各种应用中的公平性
。
[0006]其中，一些方法致力于解释单个实例的预测，即针对特定数据点的解释
。
其中最著名的方法之一是
GNNExplainer
，它通过分析模型的内部结构，揭示了模型在做出预测时依赖于哪些特征和连接
。
这种实例级的解释对于理解模型在特定情况下的决策非常有帮助
。
[0007]另一方面，还有一些方法专注于解释整个模型的行为，即模型级别的解释
。
例如，
XGNN
是一种模型级别解释方法，它能够揭示
GNNs
的整体特性，包括它们在图数据中学到的规律和模式
。
这有助于我们更好地理解模型的整体性能和潜在限制
。
[0008]尽管这些方法在解释
GNNs
方面取得了巨大进展，但目前仍然存在一个问题，即它们大多忽略了输入图数据中的分层聚类结构
。
在实际应用中，许多图数据都具有分层结构，这种结构在科学或社会背景下往往是自然产生的，并且对于图的特性和应用级别的属性至关重要
。
[0009]举例来说，材料科学中有一类常见的化合物，称为金属有机框架
(Metal
‑
Organic Frameworks
，
MOFs)。
这些化合物是由各种二级构建单元
(Secondary Building Units
，
SBUs)
递归构建而成的复杂分子图
。MOFs
的催化性能受到底层
SBU
的局部原子结构和高级
SBUs
之间的连接性的影响
。
因此，要全面理解
MOFs
的性能，需要考虑多个层次上的信息，包括局部结构和高级结构之间的相互影响
。
[0010]为了解决这一问题，本研究致力于在与输入图的分层结构一致的多个级别上解释
GNN
模型
。
这意味着我们需要不仅理解
GNNs
如何在底层结构上进行决策，还需要理解它们如何在高级结构之间传播信息和影响预测
。
这对于更深入地理解模型的工作原理至关重要
。
尽管已经有一些方法致力于从图数据中提取有影响力的高级别聚类，如
MotifExplainer
，但忽略了高层聚类之间结构关系的解释
。
此外，传统的
GNN
解释方法通常可以根据对图的先验知识进行子图解释，并实现多级解释
。
然而，这种方法并未充分捕捉多个图层次上基于组的特征的重要性，这会限制候选子图的生成和优化过程
。
[0011]一般地，我们将
GNN
的输入图表示为
G
＝
(v
，
ε
)
，其中
v
是节点集合，
ε
是边集合，其邻接矩阵表示为
A∈0,1
|v|
×
|v|
，其中
Aij
＝1表示从节点
v
i
到节点
v
j
存在边，否则
Aij
＝
0。
节点特征矩阵用表示
。
不失一般性，我们考虑
GNN
模型
f
用作图分类任务
。
该分类器通过条件分布来学习每个输入图的输出分布，其中
Y
表示类别集合1，
...
，
C
中的输出变量
。
在
GNN
模型内部，关键是通过卷积层学习最终的节点嵌入，综合表示为
Z
＝
f
emb
(G
，
X)
，其中
Zi
是每个节点
v
i
的嵌入
。
对于下游的分类任务，这些节点嵌入被读取，然后通过多层感知器
(MLP)
进行分类
。
读取和
MLP
层一起被定义为请注意，
f(
·
)
＝
f
cls
(f
emb
(
·
))。
[0012]主流的
GNN
解释方法从每个输入图中提取子图
G
s
∈G
，以及一组节点特征
Xs∈X。
为确保子图包含
GNN
模型依赖的关键特征，一项名为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于充分展开的材料图神经网络的分层解释方法，其特征在于：包括五个步骤：步骤1，准备具有分层可解释性质的分子性能预测复杂学习任务，把层次领域知识编码为层次知识树，用来表示输入图数据的分层解释约束，复现主流的图神经网络模型，使用训练集和验证集对该模型进行训练，再使用训练好的模型在测试集上进行预测，得到预测结果；步骤2，对每层结构初始化一个粗化结构的特征提取器，提取每层结构的粗化表示，所述粗化模块是一个深度神经网络，汇聚待解释
GNN
对其组成结构的编码表示，学到代表整个聚类的特征；步骤3，对每层图结构初始化一个计算聚类单元重要性的权重分配模块，并通过子图采样来生成候选的分层可解释子图，子图采样涉及重参数化技巧，通过放松，把子图搜索的
NP
问题变为采样分布估计问题，并引入温度参数来控制对离散采样的近似程度；步骤4，基于表示学习的相关概念，设计充分展开方法，把粗化结构的可解释子图，映射到输入子图中的完整组成特征输入到待解释
GNN
中来计算预测的变化，进而通过梯度下降来优化每层结构的粗化模块与权重分配模块，通过对所有数据进行循环迭代训练，直到结果收敛；步骤5，结合步骤2和步骤3中训练好的粗化模块与权重分配模块，生成输入图结构的层次重要性排序，根据领域知识对重要成分依次进行可视化分析，进行技术验证
GNN
的预测过程能否重建领域知识
。2.
如权利要求1所述的一种基于充分展开的材料图神经网络的分层解释方法，其特征在于：步骤1中的所述层次知识树表示为聚类树，由一系列聚类分配矩阵定义，其中表示图的第
l
层聚类图数据
G
(l)
的节点集合，表示原始图节点
v
i
属于第
l
层图的集群节点否则为
0。3.
如权利要求2所述的一种基于充分展开的材料图神经网络的分层解释方法，其特征在于：步骤2在由
GNN
模型生成的节点嵌入
Z
＝
f
emb
(G
，
X)
的基础上，首先学习一个粗化模块该模块汇聚了每个高级别聚类的表示，并获得其特征嵌入其中是第
l
层次图中聚类的数量，
h
*
表示粗化模块的输出嵌入大小，具体表示为：其中是一个由

【专利技术属性】
技术研发人员：季煜文，时磊，刘志盟，王戈，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：