一种对神经网络中层特征表达能力的可视化及定量分析方法和系统技术方案

本申请涉及机器学习技术领域，公开了一种对神经网络中层特征表达能力的可视化及定量分析方法和系统，可实现在无监督的条件下，自动可视化以及定量分析神经网络中层特征的表达能力。该方法包括：提供一待分析的神经网络，该神经网络为在某一数据集上预训练好的深度神经网络；提供一组输入样本，将这些样本输入上述神经网络，提取这些样本对应的样本级别特征，以及区域级别特征；分别对样本级别特征与区域级别特征进行降维，以得到在低维空间中的可视化结果；基于区域级别特征的可视化结果，定量分析特征中知识点的数量与质量。定量分析特征中知识点的数量与质量。定量分析特征中知识点的数量与质量。

【技术实现步骤摘要】
一种对神经网络中层特征表达能力的可视化及定量分析方法和系统


[0001]本申请涉及机器学习
，特别涉及一种对神经网络中层特征表达能力的可视化及定量分析方法和系统。

技术介绍

[0002]目前，深度神经网络已经在各个领域展现出强大性能，但神经网络的黑盒本质让人们很难理解其内部的行为。在现有的技术中，可视化方法是人工智能可解释性领域最为广泛应用的方法，但无法利用现有的可视化方法去定量分析神经网络中层特征的表达能力。
[0003]因此，将神经网络的可视化解释与中层特征表达能力的定量分析相结合，是人工智能可解释性领域亟待解决的问题。

技术实现思路

[0004]本专利技术的目的在于提供一种对神经网络中层特征表达能力的可视化及定量分析方法和系统，可实现在无监督的条件下，自动可视化以及定量分析神经网络中层特征的表达能力。
[0005]本申请公开了一种对神经网络中层特征表达能力的可视化及定量分析方法，包括以下步骤
[0006](1)选取特征解释对象：
[0007]选取待分析的模型，其中，所述模型包括有中层表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对神经网络中层特征表达能力的可视化及定量分析方法，其特征在于，包括以下步骤(1)选取特征解释对象：选取待分析的模型，其中，所述模型包括有中层表达，包括：神经网络，层次化图模型；(2)提取神经网络特征：提供一组输入样本，将这些样本输入上述神经网络，提取这些样本的特征，其中，所述特征包括：样本级别特征(sample
‑
wise feature)和区域级别特征(regional feature)；(3)特征降维，得到可视化结果：首先对样本级别特征进行降维，得到样本级别特征在低维空间中的可视化结果；其次，基于样本级别特征的低维表征和区域级别特征，将区域级别特征进行降维，以得到区域级别特征在低维空间中的可视化结果；(4)根据可视化结果对特征进行定量分析：基于所述可视化结果，定量分析特征中知识点(knowledge point)的数量与质量。2.根据权利要求1所述的方法，其特征在于，所述步骤(2)中对样本级别特征的提取，进一步包括以下步骤：将给定的一组样本输入待分析的神经网络，对于每个样本，都提取该神经网络某一中间层的输出特征，从而得到每个输入样本对应的样本级别特征，即可得到该组输入样本对应的样本级别特征。3.根据权利要求1中所述的方法，其特征在于，所述步骤(2)中对区域级别特征的提取，进一步包括以下步骤：将给定的一组输入样本输入待分析的神经网络，对于每个样本，都提取该神经网络某一卷积层的输出特征，从而得到每个输入样本对应的特征图(feature map)，其中，特征图的每一个位置对应的高维向量即为该样本在这一区域的区域级别特征；当这一特征图的高与宽分别为H和W，且共有K个通道时，那么，这一特征图包含HW个区域级别特征，其中，每个区域级别特征为一个K维向量。4.根据权利要求1中所述的方法，其特征在于，所述步骤(3)中对样本级别特征的降维过程，包括以下步骤：对于每个样本x对应的样本级别特征通过一个投影矩阵将其映射到一个低维空间中，得到样本级别特征的低维表征并且，优化M使得该低维表征应当满足，低维表征g和各个类。5.根据权利要求4中所述的方法，其特征在于，所述低维表征和各个类别的接近程度的计算，包括：(a)利用径向分布(radial distribution)建模样本级别特征的低维表征g在低维空间中的分布；(b)计算低维表征与各个类别的接近程度。6.根据权利要求5所述的方法，其特征在于，所述步骤(a)包括：基于径向分布，g在低维空间的概率密度函数可写为如下形式：
其中，y∈{1，2，...，C}表示分类任务中的不同类别；π
y
表示第y类的先验概率；l
g
＝||g||表示g的L2范数，称为g的强度(strength)；o
g
＝g/l
g
表示g的方向(orientation)；μ
y
...

【专利技术属性】
技术研发人员：张拳石，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：