高效卷积神经网络制造技术

本公开提供新的、更有效的神经网络架构。作为一个示例，在一些实现方式中，本公开的神经网络架构可以包括线性瓶颈层，该线性瓶颈层在结构上位于一个或多个卷积层(例如，一个或多个深度可分离卷积层)之前和/或之后。作为另一示例，在一些实现方式中，本公开的神经网络架构可以包括一个或多个反向残差块，其中，反向残差块的输入和输出是薄瓶颈层，而中间层是扩展表示。例如，扩展表示可以包括一个或多个卷积层，诸如一个或多个深度可分离卷积层。在起到反向残差块的输入和输出作用的薄瓶颈层之间可以存在残差快捷连接。之间可以存在残差快捷连接。之间可以存在残差快捷连接。

【技术实现步骤摘要】
高效卷积神经网络
[0001]本申请是申请日2018年08月09日、申请号为201880066914.4、专利技术名称为“高效卷积神经网络”的PCT专利技术专利申请的分案申请。
[0002]相关申请的交叉引用
[0003]本申请要求名称均为“Highly Efficient Convolutional Neural Networks(高效卷积神经网络)”的、在2017年11月24日提交的美国临时专利申请第62/586,007号和在2018年2月17日提交的美国专利申请第15/898,566号的优先权和权益。美国临时专利申请第62/586,007号和美国专利申请第15/898,566号通过引用整体并入本文。


[0004]本公开总体上涉及人工神经网络(“神经网络”)。更具体地，本公开涉及用于移动和/或嵌入式视觉应用的有效卷积神经网络结构，并且还涉及降低与卷积神经网络相关联的计算成本和/或存储器要求的技术。

技术介绍

[0005]卷积神经网络已经成为计算机视觉的主力，并且在大多数主要用例中达到了最前沿的结果。卷积神经网络领域的总体趋势是制作更大更复杂的网络以便实现更高的准确度。随着卷积神经网络为了(in service of)增加准确度而增加尺寸和复杂性，它们的计算成本也随之增加。然而，在某一点，这些进步带来减少的回报，因为增加复杂性、尺寸和额外的计算仅使得准确度小幅上涨。
[0006]在某些计算资源(例如，存储器和处理能力)受到限制的计算环境的背景下，当前向更大型和更复杂的网络发展的趋势尤其成问题。例如，移动计算设备和/或嵌入式计算为实现这种大型和复杂的网络提供了挑战性的环境。此外，在某些场景或应用中，网络要解决的问题可能不需要提供最前沿准确度的大型复杂的模型。
[0007]因此，期望用于减少神经网络(例如，卷积神经网络)的计算成本和/或存储要求的技术。在某些情况下，这种技术可以称为执行神经网络压缩。
[0008]神经网络压缩的一个一般方向是网络剪枝(network pruning)，其中网络中包括的连接的子集被去除。然而，如果对要去除哪些连接/参数没有约束，则网络剪枝通常导致不规则的网络。这样的网络是不期望的，因为计算上的节省无法轻易利用并且连接的非结构化性质需要额外努力来表示。这些缺点对训练时间和存储器使用产生负面影响。另一方面，如果过多地限制对要去除的参数的约束，则模型的灵活性会降低。
[0009]神经网络压缩的另一个方向为架构搜索带来包括遗传算法和强化学习的优化方法。然而，一个缺点是最终产生的网络过于复杂。

技术实现思路

[0010]本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中获悉，或者可以通过实施例的实践而获悉。
[0011]本公开的一个示例方面针对一种计算系统，该计算系统包括一个或多个处理器以及存储由一个或多个处理器实现的卷积神经网络的一个或多个非暂时性计算机可读介质。卷积神经网络包括一个或多个卷积块。一个或多个卷积块中的每一个包括线性瓶颈层和一个或多个卷积层。
[0012]本公开的另一示例方面针对一种计算系统，该计算系统包括一个或多个处理器以及存储由一个或多个处理器实现的卷积神经网络的一个或多个非暂时性计算机可读介质。卷积神经网络包括一个或多个反向残差块。一个或多个反向残差块中的每一个包括被配置为提供第一输出的一个或多个卷积层以及被配置为接收第一输出并生成第二输出的线性瓶颈层。线性瓶颈层还被配置为接收残差并将残差加到第二输出以提供第三输出。
[0013]本公开的另一示例方面针对一种计算系统，该计算系统包括一个或多个处理器以及存储由一个或多个处理器实现的卷积神经网络的一个或多个非暂时性计算机可读介质。卷积神经网络包括一个或多个卷积块。一个或多个卷积块中的每一个包括线性层和一个或多个非线性卷积层。
[0014]本公开的另一示例方面针对一种计算系统，该计算系统包括一个或多个处理器和存储由一个或多个处理器实现的卷积神经网络的一个或多个非暂时性计算机可读介质。卷积神经网络包括一个或多个反向残差块。一个或多个反向残差块中的每一个包括被配置为提供第一输出的一个或多个卷积层和被配置为接收第一输出并生成第二输出的线性层。线性层还被配置为接收残差并将残差加到第二输出以提供第三输出。
[0015]本公开的另一示例方面针对一种计算系统，该计算系统包括一个或多个处理器和存储由一个或多个处理器实现的卷积神经网络的一个或多个非暂时性计算机可读介质。卷积神经网络包括一个或多个反向残差块。一个或多个反向残差块中的每一个包括提供第一输出的线性瓶颈层和接收第一输出并生成第二输出的一个或多个卷积层。线性瓶颈层被配置为通过残差快捷连接向下游线性瓶颈层提供描述第一输出的残差。
[0016]本公开的另一示例方面针对由一个或多个计算机实现的神经网络系统。神经网络系统被配置为接收输入图像并生成对于输入图像的输出。神经网络系统包括卷积子网络。卷积子网络包括线性瓶颈层和一个或多个卷积层。
[0017]本公开的另一示例方面针对由一个或多个计算机实现的神经网络系统。神经网络系统被配置为接收输入图像并生成对于输入图像的输出。神经网络系统包括反向残差子网络。反向残差子网络包括被配置为提供第一输出的一个或多个卷积层和被配置为接收第一输出并生成第二输出的线性层。线性层还被配置为接收残差并将残差加到第二输出以提供第三输出。
[0018]本公开的其他方面针对各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。
[0019]参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。结合在本说明书中并构成本说明书的一部分的附图示出了本公开的示例实施例，并且与说明书一起用于解释相关原理。
附图说明
[0020]参考附图在说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，在附
图中：
[0021]图1A描绘了根据本公开的示例实施例的示例计算系统的框图。
[0022]图1B描绘了根据本公开的示例实施例的示例计算设备的框图。
[0023]图1C描绘了根据本公开的示例实施例的示例计算设备的框图。
[0024]图2A描绘了根据本公开的示例实施例的示例标准卷积滤波器的图形图。
[0025]图2B描绘了根据本公开的示例实施例的示例深度(depthwise)卷积滤波器的图形图。
[0026]图2C描绘了根据本公开的示例实施例的示例逐点(pointwise)卷积滤波器的图形图。
[0027]图3A和图3B描绘了根据本公开的示例实施例的示例卷积块的图形图。
[0028]图4描绘了根据本公开的示例实施例的示例反向残差块(inverted residual block)的图形图。
[0029]图5A描绘了根据本公开的示例实施例的示例卷积块的流程图。
[0030]图5B描绘了根据本公开的示例实施例的示例反向残差块的流程图。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算系统，包括：一个或多个处理器；和一个或多个非暂时性计算机可读介质，其存储：被配置为处理输入图像以生成预测的卷积神经网络，所述卷积神经网络包括：被配置为接收和处理所述输入图像以生成第一中间表示的初始卷积层；以一个接一个的顺序排列的多个反向残差瓶颈块，所述多个反向残差瓶颈块被配置为接收和处理所述第一中间表示以生成第二中间表示，所述多个反向残差瓶颈块中的每一个包括一个或多个层重复，每个层重复包括：被配置为应用深度卷积的卷积层；被配置为应用逐点卷积的卷积层；和线性瓶颈层；和被配置为接收和处理所述第二中间表示以生成所述预测的一个或多个后续层；和指令，其当由所述一个或多个处理器执行时，使所述计算系统使用所述卷积神经网络处理所述输入图像以生成所述预测。2.如权利要求1所述的计算系统，其中，所述初始卷积层应用3
×
3滤波器。3.如权利要求1所述的计算系统，其中，所述初始卷积层包括32个通道。4.如权利要求1所述的计算系统，其中，所述多个反向残差瓶颈块包括7个反向残差瓶颈块。5.如权利要求4所述的计算系统，其中，所述7个反向残差瓶颈块中的至少第一顺序反向残差瓶颈块、第二顺序反向残差瓶颈块和第四顺序反向残差瓶颈块中的每一个应用3
×
3滤波器。6.如权利要求4所述的计算系统，其中，所述7个反向残差瓶颈块的第一顺序反向残差瓶颈块具有扩展因子1，并且所述7个反向残差瓶颈块的第二顺序反向残差瓶颈块、第三顺序反向残差瓶颈块、第四顺序反向残差瓶颈块、第五顺序反向残差瓶颈块、第六顺序反向残差瓶颈块和第七顺序反向残差瓶颈块中的每一个具有扩展因子6。7.如权利要求1所述的计算系统，其中，所述多个反向残差瓶颈块的第一顺序反向残差瓶颈块包括16个通道。8.如权利要求1所述的计算系统，其中，所述多个反向残差瓶颈块的第二顺序反向残差瓶颈块包括24个通道。9.如权利要求1所述的计算系统，其中，所述多个反向残差瓶颈块的最终顺序反向残差瓶颈块包括320个通道。10.如权利要求1所述的计算系统，其中，所述多个反向残差瓶颈块的第一顺序反向残差瓶颈块包括单个层重复。11.如权利要求1所述的计算系统，其中，所述多个反向残...

【专利技术属性】
技术研发人员：AG霍华德，M桑德勒，LC陈，A日莫吉诺夫，M朱，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：