经由偏置项在深度神经网络中纳入自顶向下信息制造技术
Incorporating top down information into a deep neural network via a bias term
A method of bias for a deep neural network includes determining whether the probability of an element exists in the input to the network increases. The method also includes adjusting the bias of the activation function of the neurons in the network to increase the sensitivity of the element to the element. In one configuration, the bias is adjusted without adjusting the network weight. The method further includes adjusting the output of the network based on the bias.
【技术实现步骤摘要】
【国外来华专利技术】经由偏置项在深度神经网络中纳入自顶向下信息相关申请的交叉引用本申请要求于2015年4月28日提交且题为“Incorporatingtop-downinformationindeepneuralnetworksviathebiasterm(经由偏置项在深度神经网络中纳入自顶向下信息)”的美国临时专利申请No.62/154,097的权益，其公开内容通过援引全部明确纳入于此。背景领域本公开的某些方面一般涉及神经系统工程，尤其涉及用于基于元素存在于去往网络的输入中的概率是否增大来调整该网络中的神经元的激活函数的偏置项以提高对该元素的敏感性的系统和方法。
技术介绍
可包括一群互连的人工神经元(例如，神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每一个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体地，CNN已被广泛使用于模式识别和分类领域。深度学习架构(诸如，深度置信网络和深度卷积网络)是分层神经网络架构，其中第一层神经元的输出变成第二层神经元的输入，...
【技术保护点】
一种对深度神经网络进行偏置的方法，包括：确定元素存在于去往所述网络的输入中的概率是否增大；调整所述网络中的神经元的激活函数的偏置以提高对所述元素的敏感性，所述偏置是在不调整所述网络的权重的情况下被调整的；以及至少部分地基于所述偏置来调整所述网络的输出。
【技术特征摘要】
【国外来华专利技术】2015.04.28 US 62/154,097;2015.09.08 US 14/848,2881.一种对深度神经网络进行偏置的方法，包括：确定元素存在于去往所述网络的输入中的概率是否增大；调整所述网络中的神经元的激活函数的偏置以提高对所述元素的敏感性，所述偏置是在不调整所述网络的权重的情况下被调整的；以及至少部分地基于所述偏置来调整所述网络的输出。2.如权利要求1所述的方法，其特征在于，进一步包括将所述偏置的调整量确定为常数、突触权重的函数、或响应于目标类呈现的激活的函数。3.如权利要求1所述的方法，其特征在于，调整所述偏置包括缩放所述偏置。4.如权利要求3所述的方法，其特征在于，所述调整的范围至少部分地基于什么很可能存在于所述输入中和/或什么很可能不存在于所述输入中的先验知识。5.如权利要求1所述的方法，其特征在于，所述调整是在所述网络的内部层级处执行的。6.一种用于对深度神经网络进行偏置的装备，包括：用于确定元素存在于去往所述网络的输入中的概率是否增大的装置；用于调整所述网络中的神经元的激活函数的偏置以提高对所述元素的敏感性的装置，所述偏置是在不调整所述网络的权重的情况下被调整的；以及用于至少部分地基于所述偏置来调整所述网络的输出的装置。7.如权利要求6所述的装备，其特征在于，进一步包括用于将所述偏置的调整量确定为常数、突触权重的函数、或响应于目标类呈现的激活的函数的装置。8.如权利要求6所述的装备，其特征在于，所述用于调整所述偏置的装置包括用于缩放所述偏置的装置。9.如权利要求8所述的装备，其特征在于，所述调整的范围至少部分地基于什么很可能存在于所述输入中和/或什么很可能不存在于所述输入中的先验知识。10.如权利要求6所述的装备，其特征在于，所述用于调整的装置是在所述网络的内部层级处被执行的。11.一种用于对深度神经网络进行偏置的装置，包括：存储器单元；以及耦合至所述存储器...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。