针对人工神经网络的相关性分数指派制造技术

通过穿过人工神经网络反向传播初始相关性分数，将从网络输出导出的初始相关性分数重新分布到项目集合上，来获得对应用人工神经网络的项目集合的相关性分数指派的任务，从而获得每个项目的相关性分数。具体地，这种反向传播适用于更广泛的人工神经网络集合，和/或实现更低的计算工作，这通过用以下方式同样地执行反向传播来实现：使得对于每个神经元，根据分布函数将相应神经元的下游邻居神经元集合的初步重新分布的相关性分数分布在相应神经元的上游邻居神经元集合上。

Correlation fraction assignment for artificial neural networks

【技术实现步骤摘要】
【国外来华专利技术】针对人工神经网络的相关性分数指派
本申请涉及人工神经网络的相关性分数指派。可以使用这种相关性分数指派，例如用于感兴趣区域(ROI)识别。
技术介绍
计算机程序能够成功地解决许多复杂的任务，例如图像和文本的自动分类或评估人的信誉。机器学习算法尤其成功，因为它们从数据中学习，即程序获得大的经过标记(或经过弱标记)的训练集，并且在某个训练阶段之后，它能够推广到新的未见过的示例。许多银行有对申请贷款的人的信誉进行分类(例如，基于年龄、地址、收入等)的系统。这种系统的主要缺点是可解释性，即系统通常不提供关于为什么以及如何作出决定的信息(例如为什么有人被归类为没有信誉)。确定分类决定的知识和关系是“隐含的”。理解和解释分类决定在许多应用中具有高价值，因为它使得能够验证系统的推理并向人类专家(例如，银行家、风险投资者或医生)提供额外的信息。在大多数情况下，机器学习方法的缺点是充当一个黑箱，而不提供关于什么使它们得出某一特定决定的任何信息。一般来说，复杂算法的性能比简单(线性)方法好得多(当有足够的训练数据可用时)，但是它们尤其缺乏可解释性。最近，一种类型的分类器，即神经网络，变得非常受欢迎，并产生了出色的结果。这类方法由一系列非线性映射组成，特别难以解释。在典型的图像分类任务中，例如，可以给出图像(例如，鲨鱼的图像)。参见图15。机器学习(ML)算法900将图像902归类为属于某个类904(例如“鲨鱼的图像”)。请注意，事先定义了类集合906(例如鲨鱼、人、夜生活、户外)。算法900是个黑箱，因为它不会告诉用户为什么它作出关于图像属于“鲨鱼的图像”类的决定。关于像素级别的这种分类决定的解释将是有趣的，例如，看到图像被归类为属于“鲨鱼图像”类，主要是因为鲨鱼鳍。这样的“相关性图”在908中示出。图像的分类已经成为许多计算机视觉应用(例如图像搜索[15]、机器人[10]、医学成像[50]、雷达图像中的对象检测[17]或面部检测[49])中的关键因素。神经网络[6]被广泛应用于这些任务，并且是关于诸如ImageNet[11]等的图像分类和排名的竞争中采用最多的方案。然而，像机器学习中的许多方法一样，这些模型往往缺乏对分类器预测的直接可解释性。换句话说，分类器充当黑箱，不提供关于为什么得出某种分类决定的详细信息。也就是说，图15中不具有解释可能性。可解释性的缺乏是由于处理原始图像像素到其特征表示以及从特征表示到最终分类器功能的各种映射的非线性。这在分类应用中是相当大的缺陷，因为它阻碍了人类专家仔细验证分类决定。一些简单的是或否答案在应用中有时价值有限，这些应用中，类似某事在哪里发生或它是如何结构化的等问题与仅仅存在或不存在某种结构的二进制或实值一维评估相比更为相关。一些工作已经致力于这一解释神经网络的课题。[54]致力于分析神经元上的分类器决定，这也适用于像素级别。它从卷积网络架构的输出层向输入像素执行层倒转[23]。这项工作是特定于带修正线性激活函数的具有神经元层的卷积神经网络的架构。参见[42]，其将[54]中的工作的解释确立为对关于输入图像中的像素的偏导数的近似。在高层意义上，[54]中的工作使用解决优化问题的[55]中其自身的前导工作中的方法，以便重建图像输入，如何将响应向下投射到输入，[54]使用修正线性单元将信息从展开的地图投影到输入，目的是确保特征图非负。在[42]中给出了在输入点x的偏导数和围绕不同点x0的完整泰勒级数之间的另一种方法。这项工作使用与输入点x不同的点x0来计算导数和余数偏置，这两者都未进一步规定，而是避免不明确的理由使用泰勒级数的全线性加权项x-x0。在特定领域(例如生态建模)中也研究了使用神经网络模型来量化输入变量的重要性，其中[16,34]调查了大量可能的分析，包括计算偏导数、扰动分析、权重分析和研究在训练时间包括和删除变量的影响。理解神经网络中的决定的不同途径是将更可解释的模型(例如决定树)适配到神经网络学习的功能[41]，并提取由该新模型学习的规则。然而，仍然需要一个强大的，易于实现和广泛应用的构思来实现人工神经网络的相关性分数指派任务。
技术实现思路
因此，本专利技术的目的是提供一种用于将相关性分数指派给应用人工神经网络的项目集合的构思，该构思适用于更广泛的人工神经网络集合和/或降低计算工作。该目的是通过待审的独立权利要求的主题来实现的。本申请的基本发现是，可以通过以下操作来获得对应用人工神经网络的所述项目集合的相关性分数指派的任务：借助于人工神经网络反向传播初始相关性分数，将从网络输出导出的初始相关性值重新分布到项目的集合上，以获得针对每个项目的相关性分数。具体地，这种反向传播适用于更广泛的人工神经网络集合和/或需要较低的计算工作，通过以下方式执行反向传播来实现：使得对于每个神经元，根据分布函数将相应神经元的下游邻居神经元集合的初步重新分布的相关性分数分布在相应神经元的上游邻居神经元集合上。附图说明根据各种实施例的本专利技术的优选实现方式和应用是从属权利要求的主题，下文将参照附图更详细地描述本申请的优选实施方式，其中图1a示出了使用人工神经网络的预测示例的示意图，在该人工神经网络上可以应用根据本专利技术的实施例的使用反向传播的相关性分数指派。图2a示出了说明根据本申请的实施例示例性地使用图1的人工神经网络作为基础来使用的反向传播过程的示意图。图1b和2b示出了图1a和2a的修改，根据该修改，网络和相关性指派在特征图而不是图像的像素上操作。图1c和2c示出了将图1a和2a应用于彩色图像的可能性。图1d和2d示出了图1a和2a的修改，根据该修改，网络和相关性指派在文本而不是图像上操作。图3示意性地示出了人工神经网络的中间神经元及其与上游和下游邻居神经元的连接，其中还示出了示例性的三个上游邻居神经元。图4示出了根据实施例的用于将相关性分数指派给项目集合的装置的框图。图5示出了在预测时间期间的神经网络形分类器；wij是连接权重，ai是神经元i的激活。图6示出了在示出按层相关性计算时间期间图5的神经网络形分类器。是要计算的神经元i的相关性。为了便于的计算，引入消息是需要计算使得等式(2)中的按层相关性守恒的消息。所述消息通过用于分类的连接从神经元i发送到其输入神经元j，例如，2是神经元4、5、6的输入神经元。神经元3是5、6的输入神经元。神经元4、5、6是神经元7的输入。图7示出了用于分类的示例性实值预测函数，其以虚黑线作为决定边界，该决定边界将-0.8区域的蓝点与0.6-0.9区域的绿点分开。前面的点被负面标记，后面的点被正面标记。在左侧，描绘了在预测点处的分类函数的局部梯度，并且在右侧示出了相对于决定边界上的根点的泰勒近似。图8示出了用描述神经元和权重连接的不同变量和索引来注释的多层神经网络的示例。左：正向通道；右：后向通道。图9示出了经过训练以从ImageNet数据集合中区分1000个类的神经网络的按像素分解。图10示出了一个实验，根据该实验，本申请实施例的构思被应用于包含0至9的数字图像的MNIST(混合国家标准与技术研究所)数据集合，从而示例性地示出了在右侧示例性示出围绕数字“3”和“4”的部分的热图，其具有高相关性，以便分别将这些数字识别为“3”并将相应数字与“9”区分开。图11本文档来自技高网...

【技术保护点】
一种用于将相关性分数指派给项目的集合的装置，所述相关性分数指示关于将由神经元(12)组成的人工神经网络(10)应用到项目(42)的集合(16)上以将项目(42)的集合(1 6)映射到网络输出(18)上的相关性，所述装置被配置为：通过将从网络输出(18)导出的初始相关性分数(R)反向传播通过人工神经网络(10)来将所述初始相关性分数(R)重新分布到项目(42)的集合(16)上，以获得每个项目的相关性分数，其中，所述装置被配置为通过以下方式执行所述反向传播：使得针对每个神经元，使用分布函数将相应神经元的下游邻居神经元集合的初步重新分布的相关性分数分布到该相应神经元的上游邻居神经元集合。

【技术特征摘要】
【国外来华专利技术】1.一种用于将相关性分数指派给项目的集合的装置，所述相关性分数指示关于将由神经元(12)组成的人工神经网络(10)应用到项目(42)的集合(16)上以将项目(42)的集合(16)映射到网络输出(18)上的相关性，所述装置被配置为：通过将从网络输出(18)导出的初始相关性分数(R)反向传播通过人工神经网络(10)来将所述初始相关性分数(R)重新分布到项目(42)的集合(16)上，以获得每个项目的相关性分数，其中，所述装置被配置为通过以下方式执行所述反向传播：使得针对每个神经元，使用分布函数将相应神经元的下游邻居神经元集合的初步重新分布的相关性分数分布到该相应神经元的上游邻居神经元集合。2.根据权利要求1所述的装置，其中，所述装置被配置为使得所述分布函数具有相关性守恒属性。3.根据权利要求1或2所述的装置，其中，所述装置被配置为通过对所述人工神经网络的所有神经元均等地使用一个分布函数来执行所述反向传播。4.根据权利要求1至3中任一项所述的装置，其中，所述装置被配置为使得所述分布函数是如下项的函数：人工神经网络的权重，其确定所述相应神经元受所述相应神经元的上游邻居神经元集合影响的程度，上游邻居神经元集合的神经元激活，其在将人工神经网络(10)应用于项目(42)的集合(16)上时表现自身；以及所述相应神经元的下游邻居神经元集合的初步重新分布的相关性分数的和。5.根据权利要求1至4中任一项所述的装置，其中，所述装置被配置为使得对于每个神经元j，给出多少相关性被重新分布为从相应神经元j到上游邻居神经元i的相关性消息Rij的分布函数是Rij＝q(i)·m({Rjk，k是j的下游邻居神经元})其中，是其所有分量的单调递增函数并且给出相应神经元j的初步重新分布的相关性分数Rj＝m({Rjk，k是j的下游神经元})，其中K是所述相应神经元j的下游邻居的数目，q(i)是取决于如下因素的函数：将上游邻居神经元i连接到所述相应神经元j的权重wij、由于将人工神经网络(10)应用于项目(42)的集合(16)上得到的所述相应神经元j的上游邻居神经元i的激活xi、以及神经元j的可能的零值偏置项bj。6.根据权利要求5所述的装置，其中，m({Rjk，k是j的下游神经元})＝∑kRjk。7.根据权利要求5或6所述的装置，其中，所述装置被配置为使得所述函数q(i)是通过函数s计算的加权激活zij＝s(xi，wij，bj)的函数p，从而q(i)＝p({zij|i是j的上游邻居神经元})。8.根据权利要求7的装置，其中，函数s被选择成使得所述加权激活zij为：zij＝xiwij，或其中，I是神经元j的上游邻居神经元i的数目。9.根据权利要求5至8中任一项所述的装置，其中，所述装置被配置为使得对于满足Rj＞0的每个神经元j，所述函数q(i)满足排序属性，在下列情况下满足所述排序属性：a)如果∑izij＞0，则对于神经元j的上游邻居神经元中使得的全部i1和i2，q(i1)≤q(i2)成立；b)或者，对于神经元j的上游邻居神经元中使得且且的全部i1和i2，0≤q(i1)≤q(i2)成立。10.根据权利要求5至8中任一项所述的装置，其中，所述装置被配置为使得所述函数q(i)满足排序属性，在下述情况下满足所述排序属性：对于神经元j的上游邻居神经元中使得的全部i1和i2，|q(i1)|≤|q(i2)|成立，其中，函数g(·)的最小值为零并且在区间(-∞，0)上单调递减，在区间(0，+∞)上单调递增。11.根据权利要求10所述的装置，其中，所述装置被配置为使得所述函数g(·)如下：g(z)＝αmax(0，z)-βmin(0，z)，其中α＞0，β≥012.根据权利要求5至11中任一项所述的装置，其中，所述装置被配置为使得所述函数q(i)继承或与神经元的神经网络功能的泰勒分解成比例。13.根据权利要求5至11中任一项所述的装置，其中，所述装置被配置为使得所述相关性消息Rij与从数据中获得并将神经元j的上游邻居i的激活xi映射到值m({Rjk，k是j的下游神经元})的函数的所述泰勒分解成比例，至多存在近似误差。14.根据权利要求1至13中任一项所述的装置，其中，所述装置被配置为使得所述分布函数是或者其中，n是相应神经元j的上游邻居神经元的数目，Rij是从相应神经元j重新分布到上游邻居神经元i的相关性消息，Rjk是从下游邻居神经元k重新分布到相应神经元j的相关性消息，xi是在将神经网络应用到项目(42)的集合(16)上期间上游邻居神经元i的激活，ωij是将上游邻居神经元i连接到相应神经元j的权重，wrj也是将上游邻居神经元r连接到相应神经元j的权重，而bj是相应神经元j的偏置项，以及h()是标量函数，并且其中，是其所有分量的单调递增函数并且给出相应神经元j的初步重新分布的相关性分数Rj＝m({Rjk，k是j的下游神经元})，其中K是所述相应神经元j的下游邻居的数目。15.根据权利要求1至13中任一项所述的装置，其中，所述装置被配置为使得使用分布函数来执行到所述相应神经元j的上游邻居神经元i的集合上的分布，其中，所述分布函数是或者其中(z)+＝max(0，z)，(z)-＝min(0，z)，n是所述相应神经元的上游邻居神经元的数目，Rij是从相应神经元j重新分布到所述上游邻居神经元i的相关性消息，而Rjk是从下游邻居神经元k重新分布到相应神经元j的相关性消息，xi是在将神经网络应用到项目(42)的集合(16)上期间上游邻居神经元i的激活，ωij是将上游邻居神经元i连接到相应神经元j的权重，wrj也是将上游邻居神经元r连接到相应神经元j的权重，而bj是相应神经元j的偏置项，以及h()是标量函数，以及α＞0，β≥0，α-β＝1，并且其中，是其所有分量的单调递增函数并且给出相应神经元j的初步重新分布的相关性分数Rj＝m({Rjk，k是j的下游神经元})，其中K是相应神经元j的下游邻居的数目。16.根据权利要求14或1...

【专利技术属性】
技术研发人员：塞巴斯蒂安·巴赫，沃耶西·萨梅克，克劳斯罗伯特·穆勒，亚历山大·宾德，格雷格里·蒙塔翁，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，柏林技术大学，
类型：发明
国别省市：德国,DE