高效卷积神经网络制造技术

本公开提供新的、更有效的神经网络架构。作为一个示例，在一些实现方式中，本公开的神经网络架构可以包括线性瓶颈层，该线性瓶颈层在结构上位于一个或多个卷积层(例如，一个或多个深度可分离卷积层)之前和/或之后。作为另一示例，在一些实现方式中，本公开的神经网络架构可以包括一个或多个反向残差块，其中，反向残差块的输入和输出是薄瓶颈层，而中间层是扩展表示。例如，扩展表示可以包括一个或多个卷积层，诸如一个或多个深度可分离卷积层。在起到反向残差块的输入和输出作用的薄瓶颈层之间可以存在残差快捷连接。

Efficient convolution neural network

【技术实现步骤摘要】
【国外来华专利技术】高效卷积神经网络相关申请的交叉引用本申请要求名称均为“HighlyEfficientConvolutionalNeuralNetworks(高效卷积神经网络)”的、在2017年11月24日提交的美国临时专利申请第62/586,007号和在2018年2月17日提交的美国专利申请第15/898,566号的优先权和权益。美国临时专利申请第62/586,007号和美国专利申请第15/898,566号通过引用整体并入本文。
本公开总体上涉及人工神经网络(“神经网络”)。更具体地，本公开涉及用于移动和/或嵌入式视觉应用的有效卷积神经网络结构，并且还涉及降低与卷积神经网络相关联的计算成本和/或存储器要求的技术。
技术介绍
卷积神经网络已经成为计算机视觉的主力，并且在大多数主要用例中达到了最前沿的结果。卷积神经网络领域的总体趋势是制作更大更复杂的网络以便实现更高的准确度。随着卷积神经网络为了(inserviceof)增加准确度而增加尺寸和复杂性，它们的计算成本也随之增加。然而，在某一点，这些进步带来减少的回报，因为增加复杂性、尺寸和额外的计算仅使得准确度小幅上涨。在某些计算资源(例如，存储器和处理能力)受到限制的计算环境的背景下，当前向更大型和更复杂的网络发展的趋势尤其成问题。例如，移动计算设备和/或嵌入式计算为实现这种大型和复杂的网络提供了挑战性的环境。此外，在某些场景或应用中，网络要解决的问题可能不需要提供最前沿准确度的大型复杂的模型。因此，期望用于减少神经网络(例如，卷积神经网络)的计算成本和/或存储要求的技术。在某些情况下，这种技术可以称为执行神经网络压缩。神经网络压缩的一个一般方向是网络剪枝(networkpruning)，其中网络中包括的连接的子集被去除。然而，如果对要去除哪些连接/参数没有约束，则网络剪枝通常导致不规则的网络。这样的网络是不期望的，因为计算上的节省无法轻易利用并且连接的非结构化性质需要额外努力来表示。这些缺点对训练时间和存储器使用产生负面影响。另一方面，如果过多地限制对要去除的参数的约束，则模型的灵活性会降低。神经网络压缩的另一个方向为架构搜索带来包括遗传算法和强化学习的优化方法。然而，一个缺点是最终产生的网络过于复杂。
技术实现思路
本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中获悉，或者可以通过实施例的实践而获悉。本公开的一个示例方面针对一种计算系统，该计算系统包括一个或多个处理器以及存储由一个或多个处理器实现的卷积神经网络的一个或多个非暂时性计算机可读介质。卷积神经网络包括一个或多个卷积块。一个或多个卷积块中的每一个包括线性瓶颈层和一个或多个卷积层。本公开的另一示例方面针对一种计算系统，该计算系统包括一个或多个处理器以及存储由一个或多个处理器实现的卷积神经网络的一个或多个非暂时性计算机可读介质。卷积神经网络包括一个或多个反向残差块。一个或多个反向残差块中的每一个包括被配置为提供第一输出的一个或多个卷积层以及被配置为接收第一输出并生成第二输出的线性瓶颈层。线性瓶颈层还被配置为接收残差并将残差加到第二输出以提供第三输出。本公开的另一示例方面针对一种计算系统，该计算系统包括一个或多个处理器以及存储由一个或多个处理器实现的卷积神经网络的一个或多个非暂时性计算机可读介质。卷积神经网络包括一个或多个卷积块。一个或多个卷积块中的每一个包括线性层和一个或多个非线性卷积层。本公开的另一示例方面针对一种计算系统，该计算系统包括一个或多个处理器和存储由一个或多个处理器实现的卷积神经网络的一个或多个非暂时性计算机可读介质。卷积神经网络包括一个或多个反向残差块。一个或多个反向残差块中的每一个包括被配置为提供第一输出的一个或多个卷积层和被配置为接收第一输出并生成第二输出的线性层。线性层还被配置为接收残差并将残差加到第二输出以提供第三输出。本公开的另一示例方面针对一种计算系统，该计算系统包括一个或多个处理器和存储由一个或多个处理器实现的卷积神经网络的一个或多个非暂时性计算机可读介质。卷积神经网络包括一个或多个反向残差块。一个或多个反向残差块中的每一个包括提供第一输出的线性瓶颈层和接收第一输出并生成第二输出的一个或多个卷积层。线性瓶颈层被配置为通过残差快捷连接向下游线性瓶颈层提供描述第一输出的残差。本公开的另一示例方面针对由一个或多个计算机实现的神经网络系统。神经网络系统被配置为接收输入图像并生成对于输入图像的输出。神经网络系统包括卷积子网络。卷积子网络包括线性瓶颈层和一个或多个卷积层。本公开的另一示例方面针对由一个或多个计算机实现的神经网络系统。神经网络系统被配置为接收输入图像并生成对于输入图像的输出。神经网络系统包括反向残差子网络。反向残差子网络包括被配置为提供第一输出的一个或多个卷积层和被配置为接收第一输出并生成第二输出的线性层。线性层还被配置为接收残差并将残差加到第二输出以提供第三输出。本公开的其他方面针对各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。结合在本说明书中并构成本说明书的一部分的附图示出了本公开的示例实施例，并且与说明书一起用于解释相关原理。附图说明参考附图在说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，在附图中：图1A描绘了根据本公开的示例实施例的示例计算系统的框图。图1B描绘了根据本公开的示例实施例的示例计算设备的框图。图1C描绘了根据本公开的示例实施例的示例计算设备的框图。图2A描绘了根据本公开的示例实施例的示例标准卷积滤波器的图形图。图2B描绘了根据本公开的示例实施例的示例深度(depthwise)卷积滤波器的图形图。图2C描绘了根据本公开的示例实施例的示例逐点(pointwise)卷积滤波器的图形图。图3A和图3B描绘了根据本公开的示例实施例的示例卷积块的图形图。图4描绘了根据本公开的示例实施例的示例反向残差块(invertedresidualblock)的图形图。图5A描绘了根据本公开的示例实施例的示例卷积块的流程图。图5B描绘了根据本公开的示例实施例的示例反向残差块的流程图。图6描绘了本公开的示例实施例的示例实验结果。图7A和图7B描绘了本公开的示例实施例的示例实验结果。在多个图中重复的附图标记旨在标识各种实现方式中的相同特征。具体实施方式1.概述本公开的示例方面针对新的、更有效的神经网络架构。作为一个示例，在一些实现方式中，本公开的神经网络架构可以包括线性瓶颈层，该线性瓶颈层在结构上位于一个或多个卷积层之前和/或之后，例如，一个或多个深度可分离卷积层。作为另一示例，在一些实现方式中，本公开的神经网络架构可以包括一个或多个反向残差块(invertedresidualblock)，其中反向残差块的输入和本文档来自技高网...

【技术保护点】
1.一种由一个或多个计算机实现的神经网络系统，其中，所述神经网络系统被配置为接收输入图像并生成对于所述输入图像的输出，并且其中，所述神经网络系统包括：/n卷积子网络，包括：/n线性瓶颈层；和/n一个或多个卷积层。/n

【技术特征摘要】
【国外来华专利技术】20171114 US 62/586,007;20180217 US 15/898,5661.一种由一个或多个计算机实现的神经网络系统，其中，所述神经网络系统被配置为接收输入图像并生成对于所述输入图像的输出，并且其中，所述神经网络系统包括：
卷积子网络，包括：
线性瓶颈层；和
一个或多个卷积层。


2.根据权利要求1所述的神经网络系统，其中，所述卷积子网络包括反向残差子网络，所述反向残差子网络包括残差快捷连接，所述残差快捷连接在所述线性瓶颈层和下述各项中的一个或多个之间：下一反向残差子网络的下一线性瓶颈层或上一反向残差子网络的上一线性瓶颈层。


3.根据权利要求1或2所述的神经网络系统，其中：
所述线性瓶颈层被配置为在第一维空间中执行线性变换；以及
所述一个或多个卷积层包括一个或多个扩展卷积层，所述一个或多个扩展卷积层被配置为在第二维空间中执行一个或多个非线性变换，所述第二维空间包括比所述第一维空间更多数量的维度。


4.根据前述任一权利要求所述的计算系统，其中，所述一个或多个卷积层包括一个或多个可分离卷积层。


5.根据权利要求4所述的计算系统，其中，所述一个或多个可分离卷积层中的每一个可分离卷积层被配置为在处理输入期间分别将深度卷积和逐点卷积两者应用于所述可分离卷积层以生成层输出。


6.一种计算系统，包括：
一个或多个处理器；和
一个或多个非暂时性计算机可读介质，其存储由所述一个或多个处理器实现的卷积神经网络，所述卷积神经网络包括：
一个或多个卷积块，所述一个或多个卷积块中的每一个卷积块包括：
线性瓶颈层；和
一个或多个卷积层。


7.根据权利要求6所述的计算系统，其中：
所述线性瓶颈层被配置为在第一维空间中执行线性变换；以及
所述一个或多个卷积层包括一个或多个扩展卷积层，所述一个或多个扩展卷积层被配置为在第二维空间中执行一个或多个非线性变换，所述第二维空间包括比所述第一维空间更多数量的维度。


8.根据权利要求6或7所述的计算系统，其中，所述一个或多个卷积层包括一个或多个可分离卷积层。


9.根据权利要求8所述的计算系统，其中，所述一个或多个可分离卷积层中的每一个可分离卷积层被配置为在处理输入期间分别将深度卷积和逐点卷积两者应用于所述可分离卷积层以生成层输出。


10.根据权利要求6至9中任一项所述的计算系统，其中，所述一个或多个卷积块包括一个接一个地堆叠布置的多个卷积块。


11.根据权利要求6-10中任一项所述的计算系统，其中，所述一个或多个卷积块中的至少一个卷积块包括在其线性瓶颈层和后续卷积块的后续线性瓶颈层之间的残差快捷连接。

...

【专利技术属性】
技术研发人员：AG霍华德，M桑德勒，LC陈，A日莫吉诺夫，M朱，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US