一种基于测地线度量的流形网络建模可解释性方法技术

本发明专利技术公开了一种基于测地线度量的流形网络建模可解释性方法，本发明专利技术首先利用黎曼流形对原始图像进行流形特征建模，从而将提取的特征子空间作为深度学习网络的输入；之后，基于特征子空间的测地线距离与反向传播模型，对流形上的深度学习网络进行梯度模型推导，对流形弯曲程度指标进行定义，通过计算深度网络特征层间的测地线距离，最终输出各层特征空间的流形弯曲程度指标。本发明专利技术有效利用数据的几何结构，对深度特征的特征空间进行流形建模，从流形空间的几何角度对深度学习的有效性原理进行分析，通过计算深度学习网络特征空间的测地线距离，提供了一种深度学习网络的可解释性方法。方法。方法。

【技术实现步骤摘要】
一种基于测地线度量的流形网络建模可解释性方法


[0001]本专利技术涉及深度学习与人工智能
，特别提供了一种基于测地线度量的流形网络建模可解释性方法。

技术介绍

[0002]近年来，以深度学习为代表的人工智能算法在目标识别、目标跟踪等研究方向所取得的突破进展掀起了人工智能新一轮的发展热潮，深度学习在自动驾驶、医疗、无人机救援等领域得到了广泛应用。深度学习在很多人工智能应用领域中取得成功的关键原因在于,深度网络模型所具有的强大学习能力以及端到端的学习方式。然而,深度学习方法由于其模型内部高度的复杂性常导致人们难以理解模型的决策结果,造成深度学习模型的不易解释性。多年以来，深度学习方法这种通过标注大量数据来进行误差后向传播而优化参数的学习方法被视为黑箱模型，大多数结论确认依赖于大量的工程经验而非理论来确定，当网络模型决策错误时研究人员难以追溯原因以及时对模型作出调整。这一问题同时也意味着在实际工程应用中难以根据任务需求对算法进行改进，阻碍着人工智能领域的发展。因此,研究者们一直致力于更透彻地去理解深度学习模型内部复杂的网络结构及学习过程,从而达到进一步优化模型的目的。

技术实现思路

[0003]鉴于此，本专利技术的目的在于提供一种基于测地线度量的流形网络建模可解释性方法，以解决深度网络可解释性问题。
[0004]本专利技术提供的技术方案是：一种基于测地线度量的流形网络建模可解释性方法，包括以下步骤：
[0005]1)将样本图像进行预处理，获得对应样本的图像特征，建立图像的黎曼流形特征空间；
[0006]2)将黎曼流形特征空间矩阵作为深度学习网络的输入，经过卷积层进行训练，并得到每个卷积层对应的特征空间；
[0007]3)在正向传播阶段，构建黎曼流形特征空间的梯度模型并传递深度学习网络的参数；
[0008]4)在反向传播阶段，使用基于矩阵链式法则的反向传播算法更新深度学习网络参数；
[0009]5)基于黎曼流形特征空间的测地线距离，定义每层特征空间的流形空间弯曲程度，通过流形弯曲程度指标的计算结果，对深度学习网络模型的有效性原理做出可解释性分析。
[0010]所述建立图像的黎曼流形特征空间，包括以下步骤：
[0011]对于深度学习网络，每次训练阶段的图像组中包含n张训练样本，即该次的训练图像集可表示为I
set
＝{I1,I2,
…
,I
n
}，提取图像集中每幅图像I
i
对应的特征，构成特征向量
v
i
代表每幅图像的d维图像特征向量；
[0012]每个图像集I
set
的图像集特征矩阵X可表示为X＝[v1,v2,
…
,v
n
]，特征空间可表示为d
×
r维数的Grassmann流形矩阵：其中f
QR
(X)为X的QR正交分解函数，输出Q0为X分解后得到的正交矩阵。
[0013]将具有Grassmann流形结构的特征空间矩阵输入至深度学习网络进行训练，包括以下步骤：
[0014]Grassmann流形矩阵Q0作为输入，即Q0为输入的高维流形，Y为学习到的新流形作为输出，则对于流形学习层，有：Y＝f(Q0)＝W
T
Q0，其中待学习的W为变换矩阵；
[0015]将流形学习层的输出Y作为流形转换层的输入，经过流形转换层输出为Q，即有f
QR
(Y)＝YR
‑1＝Q，其中f
QR
(Y)为Y的QR正交分解函数，输出Q为Y分解后得到的正交矩阵；
[0016]Q输入至欧氏映射层得到M，则有M＝f
pro
(Q)＝QQ
T
，其中f
pro
(Q)为映射函数；
[0017]将M作为全连接层的输入，再经过softmax层传递至代价函数。
[0018]所述在正向传播阶段，构建黎曼特征空间的梯度模型并传递深度学习网络的参数，包括以下步骤：
[0019][0020]W
t+1
＝Γ(W
t
‑
λgrad
R
L(W))
[0021]其中，W
t+1
表示下一次更新的权值参数，W
t
为当前第t次迭代的权值参数，Γ(
·
)表示拉回映射算子，λ表示学习速率，grad
R
L(W)表示黎曼梯度，是流形学习层的代价函数L(W)关于W的欧氏梯度的正则成分；
[0022]根据矩阵链式法则求得相应的欧氏梯度的表达式为：
[0023][0024]其中L(Y)表示流形转换层的代价函数；
[0025]将W
t+1
带入步骤2)中的学习变换矩阵W，实现学习变换矩阵的更新。
[0026]所述在反向传播阶段，使用基于矩阵链式法则的反向传播算法更新深度学习网络的参数，包括以下步骤：
[0027]对于流形学习层，参数更新的公式为：
[0028][0029]上式中Q0为流形学习层的输入，Y为流形学习层的输出；L(W)表示流形学习层的代价函数，L(Y)表示流形转换层的代价函数；
[0030]将与步骤2)中的变换矩阵W叠加后作为新的W，用于替换上次迭代的W，实现学习变换矩阵的更新；
[0031]对于流形转换层，参数更新的公式为：
[0032][0033]上式中A
btril
＝A
tril
‑
(A)
Ttril
，A
tril
表示将矩阵A的所有上三角阵元素设为0；L
pro
为流形映射层的代价函数；E为单位矩阵；
[0034]将与步骤2)中的流形学习层的输出Y叠加后作为新的Y，用于替换上次迭代的Y，实现流形学习层的输出更新。
[0035]获取深度网络中每层特征空间矩阵的测地线距离，包括以下步骤：
[0036]Grassmann流形的测地线度量计算方式为：
[0037]深度网络中每层特征空间表示为线性子空间，每个Grassmann流形上的点都是一个线性子空间，表示为span(X)；该线性子空间是由d
×
r维矩阵X的正交基所构成的；在Grassmann流形上即流形学习层输出新的Y中，任意两点间的测地线距离由下列公式计算：
[0038]d
g
(p,q)＝||Θ||2[0039]式中，d
g
表示测地线距离，p,q表示Grassmann流形上的任意两点，Θ＝(θ1,θ2,
…
,θ
k
)表示该两点间的主角度向量，k表示两点构成一组的组数。
[0040]所述定义特征空间的流形弯曲程度指标，计算深度网络在训练过程中每层的流形弯曲程度指标，包括以下步骤：
[0041]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于测地线度量的流形网络建模可解释性方法，其特征在于包括以下步骤：1)将样本图像进行预处理，获得对应样本的图像特征，建立图像的黎曼流形特征空间；2)将黎曼流形特征空间矩阵作为深度学习网络的输入，经过卷积层进行训练，并得到每个卷积层对应的特征空间；3)在正向传播阶段，构建黎曼流形特征空间的梯度模型并传递深度学习网络的参数；4)在反向传播阶段，使用基于矩阵链式法则的反向传播算法更新深度学习网络参数；5)基于黎曼流形特征空间的测地线距离，定义每层特征空间的流形空间弯曲程度，通过流形弯曲程度指标的计算结果，对深度学习网络模型的有效性原理做出可解释性分析。2.根据权利要求1所述的一种基于测地线度量的流形网络建模可解释性方法，其特征在于，所述建立图像的黎曼流形特征空间，包括以下步骤：对于深度学习网络，每次训练阶段的图像组中包含n张训练样本，即该次的训练图像集可表示为I
set
＝{I1,I2,
…
,I
n
}，提取图像集中每幅图像I
i
对应的特征，构成特征向量i＝1,2,
…
,n，v
i
代表每幅图像的d维图像特征向量；每个图像集I
set
的图像集特征矩阵X可表示为X＝[v1,v2,
…
,v
n
]，特征空间可表示为d
×
r维数的Grassmann流形矩阵：其中f
QR
(X)为X的QR正交分解函数，输出Q0为X分解后得到的正交矩阵。3.根据权利要求1所述的一种基于测地线度量的流形网络建模可解释性方法，其特征在于：将具有Grassmann流形结构的特征空间矩阵输入至深度学习网络进行训练，包括以下步骤：Grassmann流形矩阵Q0作为输入，即Q0为输入的高维流形，Y为学习到的新流形作为输出，则对于流形学习层，有：Y＝f(Q0)＝W
T
Q0，其中待学习的W为变换矩阵；将流形学习层的输出Y作为流形转换层的输入，经过流形转换层输出为Q，即有f
QR
(Y)＝YR
‑1＝Q，其中f
QR
(Y)为Y的QR正交分解函数，输出Q为Y分解后得到的正交矩阵；Q输入至欧氏映射层得到M，则有M＝f
pro
(Q)＝QQ
T
，其中f
pro
(Q)为映射函数；将M作为全连接层的输入，再经过softmax层传递至代价函数。4.根据权利要求1所述的一种基于测地线度量的流形网络建模可解释性方法，其特征在于，所述在正向传播阶段，构建黎曼特征空间的梯度模型并传递深度学习网络的参数，包括以下步骤：W
t+1
＝Γ(W
t
‑
λgrad
R
L(W))其中，W
t+1
表示下一次更新的权值参数，W
t
为当前第t次迭代的权值参数，Γ(
·
)表示拉回映射算子，λ表示学习速率，grad
R
L(W)表示黎曼梯度，是流形学习层的代价函数L(W)关于W的欧氏梯度的正则成分；根据矩阵链式法则求得相应的欧氏梯度的表达式为：
其中L(Y)表示流形转换层的代价函数；将W
t+1
...

【专利技术属性】
技术研发人员：史泽林，向伟，刘天赐，刘云鹏，蓝德岩，刘鑫，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：