一种基于非局部邻关系学习的深度神经网络层次分析方法技术

本发明专利技术公开了一种基于非局部邻关系学习的深度神经网络层次分析方法，包括以下步骤：构建待分析的深度神经网络；输入数据集样本,获取深度网络相邻两层的特征图样本对；利用空间金字塔池化网络对相邻层特征图样本对进行变换组合；将变换后的相邻层特征图样本对输入孪生变分自编码器，训练非局部邻关系学习模型；利用训练好的非局部邻关系学习模型获得相邻层特征图样本对的隐空间向量对；利用同一样本的所有隐空间向量对计算深度网络在该样本识别时的各层级贡献度，进而计算所有样本的平均层级贡献度。本发明专利技术提出的非局部邻关系学习方法，可以在不影响深度网络本身决策的前提下进行层次化分析，并且可以应用于不同的深度神经网络模型。

【技术实现步骤摘要】
一种基于非局部邻关系学习的深度神经网络层次分析方法
本专利技术属于深度神经网络可解释性研究领域，具体涉及一种基于非局部邻关系学习的深度神经网络层次分析方法。
技术介绍
由于训练数据规模的增大、硬件计算能力的提升以及相关算法的不断创新等原因，以深度学习为主的人工智能技术取得了突破性的进展。深度学习已经成功运用在自然语言、多媒体、计算机视觉等领域。然而，深度学习网络具有黑盒特性，其透明性、可解释性、可信性不足。而在医疗诊断、智能决策、无人驾驶等安全攸关领域，利用深度学习进行决策时，往往需要知晓算法所给出结果的依据。因此，透明化深度学习的“黑盒子”，使其具有可解释性，具有重要意义。目前研究人员在关于深度学习透明性、可理解性以及可解释性问题上已经取得了一些进展，不同的学者解决问题的角度不同，对可解释性赋予的含义也不同，所提出的解释方法也各有侧重。但是该领域依然有许多科学问题尚待解决，其中之一便是深度神经网络层次规模庞大导致网络难以分析的问题。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术的不足，提供一种基于非局部邻关系学习的深度神经网络层次分析方法，解决深度神经网络层次规模庞大导致网络难以分析的问题，增强深度神经网络的可解释性，帮助理解深度神经网络模型，提高深度学习算法的可信性。为解决上述技术问题，本专利技术采用的技术方案是：一种基于非局部邻关系学习的深度神经网络层次分析方法，其特征在于，包括以下步骤：步骤一、构建待分析的深度神经网络：步骤101、构建待分析的某一深度神经网络的模型架构；步骤102、利用某一数据集对构建的深度神经网络模型进行训练，获得训练好的网络权重；步骤二、输入数据集样本,获取深度网络相邻两层的特征图样本对：步骤201、将数据集样本依次输入到待分析的深度神经网络,获得样本在待分析网络各中间隐藏层所对应的特征图；步骤202、同一输入样本在待分析网络相邻两层输出的特征图组成一个相邻层特征图样本对，若输入样本为n个，待分析网络共选定l个中间层，则最终获取共n×(l-1)个相邻层特征图样本对；步骤三、利用空间金字塔池化网络对相邻层特征图样本对进行变换组合：步骤301、将相邻层特征图样本对(Xi-1,Xi)依次输入k个不同尺度的自适应池化层进行特征变换，得到k个不同尺度池化后输出的样本对(Xi-1,Xi)1,(Xi-1,Xi)2,…,(Xi-1,Xi)k，同一输出样本对中的两个样本的数据尺寸相同。这k个输出样本对的样本，在数据的通道维度上尺寸相同，尺寸记为c，在数据的高、宽两个维度上尺寸不同，尺寸分别记为h1,h2,…,hk、w1,w2,…,wk；步骤302、将(Xi-1,Xi)1,(Xi-1,Xi)2,…,(Xi-1,Xi)k数据在各自的高、宽两个维度上展平为一维，即将c×h1×w1,c×h2×w2,…,c×hk×wk尺寸的三维数据展平为c×(h1w1),c×(h2w2),…,c×(hkwk)尺寸的二维数据；步骤303、将k个展平为二维数据的样本对在高、宽合并后的维度上进行拼接，再将拼接后的数据展平为一维向量对(Xi-1′,Xi′)，Xi-1′、Xi′为同尺寸的向量，两者的长度均为步骤四、将变换后的相邻层特征图样本对输入孪生变分自编码器，训练非局部邻关系学习模型：步骤401、将样本对(Xi-1′,Xi′)输入孪生变分自编码器网络，计算孪生变分自编码器网络的总损失函数LT；步骤402、利用孪生变分自编码器网络的总损失函数LT进行反向传递，调整优化孪生变分自编码器网络的参数，从而对由空间金字塔池化网络和孪生变分自编码器网络共同组成的非局部邻关系学习模型进行训练；步骤五、利用训练好的非局部邻关系学习模型获得相邻层特征图样本对的隐空间向量对：步骤501、将相邻层特征图样本对(Xi-1,Xi)输入已训练的非局部邻关系学习模型，通过其中的空间金字塔池化网络得到特征变化并展平后的一维向量对(Xi-1′,Xi′)；步骤502、将一维向量对(Xi-1′,Xi′)输入已训练的孪生变分自编码网络，得到编码后对应的隐空间向量对(Vi1,Vi2)；步骤六、利用同一样本的所有隐空间向量对计算深度网络在该样本识别时的各层级贡献度，进而计算所有样本的平均层级贡献度：步骤601、利用隐空间向量对(Vi1,Vi2)来度量对应的相邻层特征图样本对(Xi-1,Xi)之间的信息增量Ri：其中，n为向量Vi1、Vi2的长度，vi1j∈Vi1,j＝1,2,…,n，vi2j∈Vi2,j＝1,2,…,n；步骤602、根据同一输入样本在待分析网络中所有相邻层特征图样本对之间的信息增量，计算得到待分析网络对该输入样本各层级贡献度，第i层网络的层级贡献度Ci为：其中，l为待分析网络选定的中间层级数，Ri为第i层网络的特征图相比于前一层网络特征图的信息增量；步骤603、将待分析网络第i层在数据集所有样本上的层级贡献度取平均值，便得到第i层的平均层级贡献度，进而可以获得待分析深度网络各层的平均层级贡献度。上述的一种基于非局部邻关系学习的深度神经网络层次分析方法，其特征在于：步骤401中孪生变分自编码器网络的总损失函数LT的计算公式为LT＝LTVAE+γLTCA+κLTDA，其中，为变分自编码器的基本损失，其中，β表示KL散度项的权重系数；LTCA为孪生变分自编码器的跨层对齐损失，LTCA＝|Xi-1′-D2(E1(Xi-1′))|+|Xi′-D1(E2(Xi′))|，E和D分别表示变分自编码器中的编码器和解码器；LTDA为两个变分自编码器潜在多元高斯分布的Wasserstein距离，本专利技术与现有技术相比具有以下优点：第一，本专利技术提出了基于非局部邻关系学习的深度神经网络层次分析方法，通过孪生变分自编码器来学习度量网络识别输入样本时的各层级贡献度，解决了深度神经网络层次规模庞大导致网络难以分析的问题；第二，本专利技术通过深度神经网络各中间层特征图的邻关系学习，在实现网络层次分析的同时，不会影响网络本身的决策结果；第三，本专利技术采用了空间金字塔池化网络对深度神经网络各中间层的特征图进行特征聚合与尺寸统一，使得该专利技术不受限于深度神经网络的模型结构与尺寸，适用范围广。下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。附图说明图1为本专利技术的方法流程图。图2为本专利技术非局部邻关系学习模型的结构示意图。具体实施方式下面结合附图及本专利技术的实施例对本专利技术的方法作进一步详细的说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此本文档来自技高网...

【技术保护点】
1.一种基于非局部邻关系学习的深度神经网络层次分析方法，其特征在于，包括以下步骤：/n步骤一、构建待分析的深度神经网络：/n步骤101、构建待分析的某一深度神经网络的模型架构；/n步骤102、利用某一数据集对构建的深度神经网络模型进行训练，获得训练好的网络权重；/n步骤二、输入数据集样本,获取深度网络相邻两层的特征图样本对：/n步骤201、将数据集样本依次输入到待分析的深度神经网络,获得样本在待分析网络各中间隐藏层所对应的特征图；/n步骤202、同一输入样本在待分析网络相邻两层输出的特征图组成一个相邻层特征图样本对，若输入样本为n个，待分析网络共选定l个中间层，则最终获取共n×(l-1)个相邻层特征图样本对；/n步骤三、利用空间金字塔池化网络对相邻层特征图样本对进行变换组合：/n步骤301、将相邻层特征图样本对(X

【技术特征摘要】
1.一种基于非局部邻关系学习的深度神经网络层次分析方法，其特征在于，包括以下步骤：
步骤一、构建待分析的深度神经网络：
步骤101、构建待分析的某一深度神经网络的模型架构；
步骤102、利用某一数据集对构建的深度神经网络模型进行训练，获得训练好的网络权重；
步骤二、输入数据集样本,获取深度网络相邻两层的特征图样本对：
步骤201、将数据集样本依次输入到待分析的深度神经网络,获得样本在待分析网络各中间隐藏层所对应的特征图；
步骤202、同一输入样本在待分析网络相邻两层输出的特征图组成一个相邻层特征图样本对，若输入样本为n个，待分析网络共选定l个中间层，则最终获取共n×(l-1)个相邻层特征图样本对；
步骤三、利用空间金字塔池化网络对相邻层特征图样本对进行变换组合：
步骤301、将相邻层特征图样本对(Xi-1,Xi)依次输入k个不同尺度的自适应池化层进行特征变换，得到k个不同尺度池化后输出的样本对同一输出样本对中的两个样本的数据尺寸相同。这k个输出样本对的样本，在数据的通道维度上尺寸相同，尺寸记为c，在数据的高、宽两个维度上尺寸不同，尺寸分别记为h1,h2,…,hk、w1,w2,…,wk；
步骤302、将数据在各自的高、宽两个维度上展平为一维，即将c×h1×w1,c×h2×w2,…,c×hk×wk尺寸的三维数据展平为c×(h1w1),c×(h2w2),…,c×(hkwk)尺寸的二维数据；
步骤303、将k个展平为二维数据的样本对在高、宽合并后的维度上进行拼接，再将拼接后的数据展平为一维向量对(Xi-1′,Xi′)，Xi-1′、Xi′为同尺寸的向量，两者的长度均为
步骤四、将变换后的相邻层特征图样本对输入孪生变分自编码器，训练非局部邻关系学习模型：
步骤401、将样本对(Xi-1′,Xi′)输入孪生变分自编码器，计算孪生变分自编码器的总损失函数LT；
步骤402、利用孪生变分自编码器的总损失函数LT进行反向传递，调整优化孪生变分自编码器的参数，从而对由空间金字塔池化...

【专利技术属性】
技术研发人员：蒋雯，肖陶，黄凯，耿杰，邓鑫洋，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61