一种对神经网络中层特征表达能力的可视化及定量分析方法和系统技术方案

本申请涉及机器学习技术领域，公开了一种对神经网络中层特征表达能力的可视化及定量分析方法和系统，可实现在无监督的条件下，自动可视化以及定量分析神经网络中层特征的表达能力。该方法包括：提供一待分析的神经网络，该神经网络为在某一数据集上预训练好的深度神经网络；提供一组输入样本，将这些样本输入上述神经网络，提取这些样本对应的样本级别特征，以及区域级别特征；分别对样本级别特征与区域级别特征进行降维，以得到在低维空间中的可视化结果；基于区域级别特征的可视化结果，定量分析特征中知识点的数量与质量。定量分析特征中知识点的数量与质量。定量分析特征中知识点的数量与质量。

【技术实现步骤摘要】
一种对神经网络中层特征表达能力的可视化及定量分析方法和系统


[0001]本申请涉及机器学习
，特别涉及一种对神经网络中层特征表达能力的可视化及定量分析方法和系统。

技术介绍

[0002]目前，深度神经网络已经在各个领域展现出强大性能，但神经网络的黑盒本质让人们很难理解其内部的行为。在现有的技术中，可视化方法是人工智能可解释性领域最为广泛应用的方法，但无法利用现有的可视化方法去定量分析神经网络中层特征的表达能力。
[0003]因此，将神经网络的可视化解释与中层特征表达能力的定量分析相结合，是人工智能可解释性领域亟待解决的问题。

技术实现思路

[0004]本专利技术的目的在于提供一种对神经网络中层特征表达能力的可视化及定量分析方法和系统，可实现在无监督的条件下，自动可视化以及定量分析神经网络中层特征的表达能力。
[0005]本申请公开了一种对神经网络中层特征表达能力的可视化及定量分析方法，包括以下步骤
[0006](1)选取特征解释对象：
[0007]选取待分析的模型，其中，所述模型包括有中层表达，包括：神经网络，层次化图模型；
[0008](2)提取神经网络特征：
[0009]提供一组输入样本，将这些样本输入上述神经网络，提取这些样本的特征，其中，所述特征包括：样本级别特征(sample
‑
wise feature)和区域级别特征(regional feature)；
[0010](3)特征降维，得到可视化结果：
[0011]首先对样本级别特征进行降维，得到样本级别特征在低维空间中的可视化结果；其次，基于样本级别特征的低维表征和区域级别特征，将区域级别特征进行降维，以得到区域级别特征在低维空间中的可视化结果；
[0012](4)根据可视化结果对特征进行定量分析：
[0013]基于所述可视化结果，定量分析特征中知识点(knowledge point)的数量与质量。
[0014]在一个优选例中，所述步骤(1)进一步包括以下步骤：
[0015]基于某一数据集，训练一神经网络，作为待分析的神经网络。可选地，该神经网络为一个分类神经网络。
[0016]在一个优选例中，所述步骤(2)进一步包括以下子步骤：
[0017](a)对样本级别特征的提取：将给定的一组样本输入待分析的神经网络，对于每个样本，都提取该神经网络某一中间层的输出特征，从而得到每个输入样本对应的样本级别特征，即可得到该组输入样本对应的样本级别特征。
[0018](b)对区域级别特征的提取：将给定的一组输入样本输入待分析的神经网络，对于每个样本，都提取该神经网络某一卷积层的输出特征，从而得到每个输入样本对应的特征图(feature map)，其中，特征图的每一个位置对应的高维向量即为该样本在这一区域的区域级别特征。当这一特征图的高与宽分别为H和W，且共有K个通道时，那么，这一特征图包含HW个区域级别特征，其中，每个区域级别特征为一个K维向量。
[0019]在一个优选例中，所述步骤(3)进一步包括以下子步骤：
[0020](a)对样本级别特征进行降维，并在低维空间中进行可视化；
[0021](b)对区域级别特征进行降维，并在低维空间中进行可视化。
[0022]上述子步骤(a)中，对于每个样本x对应的样本级别特征通过一个投影矩阵将其映射到一个低维空间中，得到样本级别特征的低维表征并且，优化M使得该低维表征应当满足，低维表征g和各个类别的接近程度应当与该样本x和各个类别的接近程度尽可能地保持一致。
[0023]可选地，在“低维表征和各个类别的接近程度”的计算中，先利用径向分布(radial distribution)建模样本级别特征的低维表征g在低维空间中的分布，再基于此计算低维表征与各个类别的接近程度。
[0024]基于径向分布，g在低维空间的概率密度函数可由如下公式计算得到。
[0025][0026]其中，y∈{1，2，...，C}表示分类任务中的不同类别；π
y
表示第y类的先验概率；l
g
＝||g||表示g的L2范数，称为g的强度(strength)；o
g
＝g/l
g
表示g的方向(orientation)；μ
y
表示第y类的平均方向(mean direction)；κ(
·
)是一个单调递增的函数。p(l
g
|y)表示在类别y上l
g
的先验概率，p
vMF
(o
g
|μ
y
，κ(l
g
))表示平均方向为μ
y
，聚集参数(concentration parameter)为κ(l
g
)的vMF分布(von Mises
‑
Fisher distribution)。
[0027]可选地，κ(
·
)可以是任意一个单调递增的函数，更佳地，κ(
·
)函数可以通过如下方法生成：给定一个非负的常数κ
m
，以及维数d，从平均方向为聚集参数为κ＝κ
m
的vMF分布中采样得到N个样本将这些样本都缩放到长度为l，而不改变方向，此处的l是一个任意非负数，将缩放得到的样本记作从标准正态分布中采样得到N个高斯噪声样本将前述缩放得到的样本与高斯噪声样本对应相加，得到将κ(l)定义为其中
N的范围为1000
‑
100000，在一个实施例中，N取为10000。
[0028]基于上述径向分布，并假设l
g
的先验概率与类别y是独立的，那么，低维表征g和第y类的接近程度Q
M
(y|x)可以由如下公式计算得到。
[0029][0030]可选地，在“样本和各个类别的接近程度”计算为样本的输出概率，即样本x和第y类的接近程度P(y|x)为神经网络网络输出中对应第y类的输出概率值。
[0031]可选地，对于投影矩阵M的优化，进一步包括，低维表征g和各个类别的接近程度Q
M
(y|x)，以及样本x和各个类别的接近程度P(y|x)的计算结果，优化投影矩阵M，使得P(y|x)与Q
M
(y|x)间的KL散度(Kullback
‑
Leibler divergence)最小化。
[0032][0033]可选地，在得到样本级别特征的低维表征的过程中，交替优化投影矩阵M与径向分布中的参数{π，μ}＝{π
y
，μ
y
}
y∈Y
。其中，优化投影矩阵M时，固定径向分布中的参数{π，μ}，并且更新M，使得KL[P(Y|X)||Q
M
(Y|X)]的值最小化；优化径向分布中的参数{π，μ}时，固定投影矩阵M，并且更本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对神经网络中层特征表达能力的可视化及定量分析方法，其特征在于，包括以下步骤(1)选取特征解释对象：选取待分析的模型，其中，所述模型包括有中层表达，包括：神经网络，层次化图模型；(2)提取神经网络特征：提供一组输入样本，将这些样本输入上述神经网络，提取这些样本的特征，其中，所述特征包括：样本级别特征(sample
‑
wise feature)和区域级别特征(regional feature)；(3)特征降维，得到可视化结果：首先对样本级别特征进行降维，得到样本级别特征在低维空间中的可视化结果；其次，基于样本级别特征的低维表征和区域级别特征，将区域级别特征进行降维，以得到区域级别特征在低维空间中的可视化结果；(4)根据可视化结果对特征进行定量分析：基于所述可视化结果，定量分析特征中知识点(knowledge point)的数量与质量。2.根据权利要求1所述的方法，其特征在于，所述步骤(2)中对样本级别特征的提取，进一步包括以下步骤：将给定的一组样本输入待分析的神经网络，对于每个样本，都提取该神经网络某一中间层的输出特征，从而得到每个输入样本对应的样本级别特征，即可得到该组输入样本对应的样本级别特征。3.根据权利要求1中所述的方法，其特征在于，所述步骤(2)中对区域级别特征的提取，进一步包括以下步骤：将给定的一组输入样本输入待分析的神经网络，对于每个样本，都提取该神经网络某一卷积层的输出特征，从而得到每个输入样本对应的特征图(feature map)，其中，特征图的每一个位置对应的高维向量即为该样本在这一区域的区域级别特征；当这一特征图的高与宽分别为H和W，且共有K个通道时，那么，这一特征图包含HW个区域级别特征，其中，每个区域级别特征为一个K维向量。4.根据权利要求1中所述的方法，其特征在于，所述步骤(3)中对样本级别特征的降维过程，包括以下步骤：对于每个样本x对应的样本级别特征通过一个投影矩阵将其映射到一个低维空间中，得到样本级别特征的低维表征并且，优化M使得该低维表征应当满足，低维表征g和各个类。5.根据权利要求4中所述的方法，其特征在于，所述低维表征和各个类别的接近程度的计算，包括：(a)利用径向分布(radial distribution)建模样本级别特征的低维表征g在低维空间中的分布；(b)计算低维表征与各个类别的接近程度。6.根据权利要求5所述的方法，其特征在于，所述步骤(a)包括：基于径向分布，g在低维空间的概率密度函数可写为如下形式：
其中，y∈{1，2，...，C}表示分类任务中的不同类别；π
y
表示第y类的先验概率；l
g
＝||g||表示g的L2范数，称为g的强度(strength)；o
g
＝g/l
g
表示g的方向(orientation)；μ
y
...

【专利技术属性】
技术研发人员：张拳石，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：