胶囊神经网络制造技术

用于神经网络的方法、系统和装置，包括编码在计算机存储介质上的计算机程序，该神经网络被配置为接收网络输入并为网络输入生成网络输出。神经网络包括排列成序列的多个层，包括多个胶囊层。特定胶囊层中的每个特定胶囊被配置为接收相应输入，包括(i)由该序列中在特定胶囊层之前的先前胶囊层的胶囊生成的输出，和(ii)先前胶囊层的胶囊和特定胶囊之间的最终路由因子，其中最终路由因子由路由子系统生成。特定胶囊层中的每个特定胶囊被配置为基于接收到的输入来确定特定胶囊输出，其中特定胶囊输出的维度大于1。

Capsule neural network

【技术实现步骤摘要】
【国外来华专利技术】胶囊神经网络
技术介绍
本说明书涉及使用神经网络来处理数据。神经网络是机器学习模型，它采用一个或多个非线性单元层来为接收到的输入预测输出。一些神经网络除了输出层之外，还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层(即下一隐藏层或输出层)的输入。网络的每一层根据相应参数集的当前值从接收到的输入生成输出。
技术实现思路
本说明书描述了被实施为在一个或多个位置的一个或多个计算机上的计算机程序的胶囊神经网络。根据第一方面，提供了一种神经网络，被配置为接收网络输入并为网络输入生成网络输出，其中：神经网络包括排列成序列的多个层，包括多个胶囊层；每个胶囊层包括相应的多个胶囊；并且特定胶囊层中的每个特定胶囊被配置为：接收相应输入，包括(i)由该序列中在特定胶囊层之前的先前胶囊层的胶囊生成的输出，和(ii)先前胶囊层的胶囊和特定胶囊之间的最终路由因子，其中最终路由因子由路由子系统生成；并且基于接收到的输入来确定特定胶囊输出，其中特定胶囊输出的维度大于1；以及路由子系统，被配置为执行包括以下的操作：接收由第一胶囊层中的胶囊生成的输出；确定第一胶囊本文档来自技高网...

【技术保护点】
1.一个或多个计算机和存储指令的一个或多个存储设备，当所述指令被所述一个或多个计算机执行时，使得所述一个或多个计算机实施：/n神经网络，被配置为接收网络输入并为所述网络输入生成网络输出，其中：/n所述神经网络包括排列成序列的多个层，包括多个胶囊层；/n所述每个胶囊层包括相应的多个胶囊；并且/n特定胶囊层中的每个特定胶囊被配置为：/n接收相应的输入，包括：(i)由所述序列中在所述特定胶囊层之前的先前胶囊层的胶囊生成的输出，和(ii)所述先前胶囊层的胶囊和所述特定胶囊之间的最终路由因子，其中所述最终路由因子由路由子系统生成；并且/n基于接收到的输入来确定特定胶囊输出，其中所述特定胶囊输出的维度大于...

【技术特征摘要】
【国外来华专利技术】20171027 US 62/578,3911.一个或多个计算机和存储指令的一个或多个存储设备，当所述指令被所述一个或多个计算机执行时，使得所述一个或多个计算机实施：
神经网络，被配置为接收网络输入并为所述网络输入生成网络输出，其中：
所述神经网络包括排列成序列的多个层，包括多个胶囊层；
所述每个胶囊层包括相应的多个胶囊；并且
特定胶囊层中的每个特定胶囊被配置为：
接收相应的输入，包括：(i)由所述序列中在所述特定胶囊层之前的先前胶囊层的胶囊生成的输出，和(ii)所述先前胶囊层的胶囊和所述特定胶囊之间的最终路由因子，其中所述最终路由因子由路由子系统生成；并且
基于接收到的输入来确定特定胶囊输出，其中所述特定胶囊输出的维度大于1；以及
路由子系统，被配置为执行包括以下的操作：
接收由第一胶囊层中的胶囊生成的输出；
确定第一胶囊层的胶囊和所述序列中在第一胶囊层之后的第二胶囊层的胶囊之间的最终路由因子；以及
向第二胶囊层中的胶囊提供所述最终路由因子。


2.根据权利要求1所述的系统，其中，确定第一胶囊层的胶囊和所述序列中在第一胶囊层之后的第二胶囊层的胶囊之间的最终路由因子包括：
执行期望最大化路由算法的一次或多次迭代，其中所述期望最大化路由算法的每次迭代包括M步骤和E步骤，其中对于特定迭代：
所述M步骤包括，对于第二胶囊层中的每个第二胶囊：
确定所述特定迭代的来自第一胶囊层的一个或多个第一胶囊的对第二胶囊的加权投票，包括：
通过将第一胶囊层的特定第一胶囊的输出乘以与所述特定第一胶囊相关联的第二胶囊的权重矩阵，确定来自特定第一胶囊的对第二胶囊的投票；
通过所述特定迭代的所述特定第一胶囊和第二胶囊之间的路由因子，对来自第一胶囊层的所述特定第一胶囊的对第二胶囊的投票进行加权；
确定所述特定迭代的表征来自第一胶囊层的一个或多个第一胶囊的对第二胶囊的加权投票的分布的一个或多个参数的值；
至少部分基于所述特定迭代的表征第二胶囊的加权投票的分布的参数的值，确定所述特定迭代的与第二胶囊相关联的成本；
至少部分地基于所述特定迭代的与第二胶囊相关联的成本，确定所述特定迭代的第二胶囊的激活；和
所述E步骤包括至少基于所述特定迭代的第二胶囊层的胶囊的激活和所述特定迭代的表征与第二胶囊层的胶囊相关联的加权投票的分布的参数的值来确定下一次迭代的路由因子；
将最终路由因子确定为在所述期望最大化路由算法的最后一次迭代中确定的路由因子。


3.根据权利要求2所述的系统，其中，对来自第一胶囊层的所述特定第一胶囊的对第二胶囊的投票进行加权还包括：
通过所述特定第一胶囊的激活，对来自所述特定第一胶囊的对第二胶囊的投票进行加权。


4.根据权利要求2-3中任一项所述的系统，其中，所述特定迭代的与第二胶囊相关联的成本还至少部分地基于所述特定迭代的第一胶囊层的第一胶囊和第二胶囊之间的路由因子来确定。


5.根据权利要求2-4中任一项所述的系统，其中，所述特定迭代的与第二胶囊相关联的成本还至少部分地基于逆温度参数来确定。


6.根据权利要求2-5中任一项所述的系统，其中，所述特定迭代的表征第二胶囊的加权投票的分布的参数包括：
所述特定迭代的来自第一胶囊层的一个或多个第一胶囊的对第二胶囊的加权投票的平均值；以及
所述特定迭代的来自第一胶囊层的一个或多个第一胶囊的对第二胶囊的加权投票的方差。


7.根据权利要求1所述的系统，其中，确定第一胶囊层的胶囊和所述序列中在第一胶囊层之后的第二胶囊层的胶囊之间的最终路由因子包括：
执行动态路由算法的一次或多次迭代，其中所述动态路由算法的特定迭代包括：
对于第二胶囊层的每个第二胶囊：
确定所述特定迭代的来自第一胶囊层的一个或多个第一胶囊的对第二胶囊的加权投票，包括：
通过将第一胶囊层的特定第一胶囊的输出乘以与所述特定第一胶囊相关联的第二胶囊的权重矩阵，确定来自特定第一胶囊的对第二胶囊的投票；
通过所述特定迭代的所述特定第一胶囊和第二胶囊之间的归一化的路由因子，对来自第一胶囊层的所述特定第一胶囊的对第二胶囊的投票进行加权；
确定下一次迭代的路由因子，其中确定下一次迭代的第一胶囊层的第一胶囊和第二胶囊层的第二胶囊之间的路由因子包括：
确定所述特定迭代的来自第一胶囊层的一个或多个第一胶囊的对第...

【专利技术属性】
技术研发人员：GE欣顿，NMW福罗斯特，SSR阿格达姆，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US