一种用于深度神经网络交互信息量化的方法技术

本发明专利技术提供一种用于深度神经网络交互信息量化的方法，所述方法包括：S1、获取来自于自然语言处理领域数据集的样本，样本中包含多个单元，每个单元对应于一个单词，对样本中的单元进行多次聚合处理直至样本中的单元聚合成一个单元；S2、根据步骤S1中给定样本多次聚合处理过程中单元聚合方式构建反映深度神经网络内部建模的单词间交互信息的树状图。本发明专利技术方法可以客观地量化深度神经网络内部建模的输入样本单词间的交互信息，并且根据交互信息比率的大小，对具有显著交互作用的相邻单元进行聚类，最终得到一棵反映深度神经网络内部建模的单词间交互信息的树状层次结构，为进一步理解深度神经网络提供了一种通用的方法。

【技术实现步骤摘要】
一种用于深度神经网络交互信息量化的方法
本专利技术涉及深度学习
，具体来说涉及深度神经网络在自然语言处理领域中的应用，更具体地说，涉及一种用于深度神经网络交互信息量化的方法。
技术介绍
目前，深度神经网络(deepneuralnetwork)在自然语言处理的多种任务上表现出优秀的建模能力，但是深度神经网络通常被认为是一种黑箱模型，其内部建模逻辑是不可见的，该特性成为对其最终决策结果的准确性和可靠性进行有效评估的盲点，因此，解释神经网络内部建模逻辑已经成为一个重要的研究方向。尤其是在自然语言处理领域，神经网络建模了输入单词间的哪些交互信息仍然是不透明的，因此，解耦和量化深度神经网络建模的输入句子中各个单词之间的交互信息，对理解神经网络的内在逻辑和决策机制有重要作用。
技术实现思路
因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种新的用于理解深度神经网络内在逻辑的深度神经网络交互信息量化的方法。本专利技术的一种用于深度神经网络交互信息量化的方法，用于构建量化自然语言处理任务中深度神经网络建模的单词间交互信本文档来自技高网...

【技术保护点】
1.一种用于深度神经网络交互信息量化的方法，用于构建量化自然语言处理任务中深度神经网络建模的单词间交互信息的树状图，其特征在于，所述方法包括：/nS1、获取来自于自然语言处理领域数据集的样本，样本中包含多个单元，每个单元对应于一个单词，对样本中的单元进行多次聚合处理直至样本中的单元聚合成一个单元；/n其中，每次聚合处理包括：/n将当前样本输入深度神经网络，根据所述深度神经网络的输出计算当前样本中每个单元的沙普利值，其中所述深度神经网络是用于自然语言处理领域的自然语言处理任务的一个深度神经网络；/n基于每个单元的沙普利值计算每两个相邻单元之间的交互增益率，将交互增益率最大的两个相邻单元聚合成一个...

【技术特征摘要】
1.一种用于深度神经网络交互信息量化的方法，用于构建量化自然语言处理任务中深度神经网络建模的单词间交互信息的树状图，其特征在于，所述方法包括：
S1、获取来自于自然语言处理领域数据集的样本，样本中包含多个单元，每个单元对应于一个单词，对样本中的单元进行多次聚合处理直至样本中的单元聚合成一个单元；
其中，每次聚合处理包括：
将当前样本输入深度神经网络，根据所述深度神经网络的输出计算当前样本中每个单元的沙普利值，其中所述深度神经网络是用于自然语言处理领域的自然语言处理任务的一个深度神经网络；
基于每个单元的沙普利值计算每两个相邻单元之间的交互增益率，将交互增益率最大的两个相邻单元聚合成一个新的单元并与当前样本中的其他单元形成新的当前样本做下一次聚合处理；
S2、根据步骤S1中给定样本多次聚合处理过程中单元聚合方式构建反映深度神经网络内部建模的单词间交互信息的树状图。


2.根据权利要求1所述的一种用于深度神经网络交互信息量化的方法，其特征在于，当前样本中每个单元的沙普利值为该单元在所述当前样本中其他所有单元可能组成的集合中的边际贡献的加权平均值。


3.根据权利要求2所述的一种用于深度神经网络交互信息量化的方法，其特征在于，当前样本中每个单元的沙普利值通过如下方式确定：



其中，v表示神经网络，表示当前样本中第i个单元ai的沙普利值，N表示当前样本中所有单元组成的集合，|N|表示集合N的大小，S表示当前样本中除第i个单元ai以外的其他单元可能组成的集合，|S|表示集合S的大小，！表示阶乘，v(·)表示深度神经网络的输出，v(S∪{ai})-v(S)表示第i个单元ai给集合S带来的边际贡献，其中，v(S∪{ai})表示在集合S中加入第i个单元ai后形成的集合输入神经网络中得到的输出，v(S)表示由集合S输入神经网络中得到的输出。


4.根据权利要求3所述的一种用于深度神经网络交互信息量化的方法，其特征在于，两个相邻单元之间的交互增益率为该两个相邻单元的交互增益占与这两个单元有交互作用的所有交互信息的比率。


5.根据权利要求4所述的一种用于深度神经网络交互信息量化的方法，其特征在于，两个相邻单元之间的交互增益率通过如下方式确定：



其中，[S1]表示由集合S1中所有的单元聚合后形成的一个单元，[S2]表示由集合S2中所有的单元聚合后形成的一个单元，[S1]、[S2]为两个相邻单元，Bbetween([S1],[S2])为两个相邻单元[S1]、[S2]之...

【专利技术属性】
技术研发人员：李超，徐勇军，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11