空间变换器模块制造技术

提供了用于使用包括空间变换器模块的图像处理神经网络系统来处理输入的方法、系统、和设备，包括编码在计算机存储介质上的计算机程序。所述方法中的一种方法包括：接收从所述一个或多个输入图像取得的输入特征图，以及向所述输入特征图应用空间变换以生成所变换的特征图，包括：处理所述输入特征图以生成用于所述空间变换的空间变换参数，以及根据所述空间变换参数从所述输入特征图采样以生成所述所变换的特征图。

Space converter module

A method, system, and equipment for processing input with an image processing neural network system including a space converter module, including a computer program coded on a computer storage medium, is provided. One method of the method includes receiving an input feature graph obtained from the one or more input images, and applying a spatial transformation to the input feature graph to generate the transformed feature graph, including processing the input feature graph to generate space transformation parameters for the space change, and according to the base. The spatial transformation parameters are sampled from the input characteristic map to generate the transformed feature map.

【技术实现步骤摘要】
【国外来华专利技术】空间变换器模块
本说明书涉及通过神经网络的层来处理图像数据以生成输出。
技术介绍
神经网络是采用非线性单元的一个或多个层来预测用于接收到的输入的输出的机器学习模型。除了输出层之外，一些神经网络还包括一个或多个隐藏层。各个隐藏层的输出作为输入被用于网络中的下一层(即，下一个隐藏层或者输出层)的输入。网络的每个层根据相应一组参数的当前值生成来自接收到的输入的输出。
技术实现思路
大体上，本说明书描述由一个或多个计算机实现并且包括一个或多个空间变换器模块的图像处理神经网络。可以将图像处理神经网络系统配置为接收一个或多个输入图像并且处理该一个或多个输入图像以从该一个或多个输入图像生成神经网络输出。图像处理神经网络包括空间变换器模块，其中，空间变换器模块被配置为执行操作，该操作包括：接收从一个或多个输入图像取得的输入特征图；以及向输入特征图应用空间变换以生成所变换的特征图，包括：处理输入特征图以生成空间变换的空间变换参数，以及根据空间变换参数从输入特征图采样以生成所变换的特征图。这些操作进一步包括：将所变换的特征图作为输入提供至图像处理神经网络系统的另一部件。输入特征图可以是由图像处理神经网络系统的另一部件生成的输出。图像处理神经网络系统的另一部件可以是另一空间变换器模块。与空间变换器模块相比，该另一空间变换器模块可以执行不同类型的空间变换。图像处理神经网络系统的另一部件可以是神经网络层。输入特征图可以是一个或多个输入图像中的一个输入图像。空间变换器模块可以包括：本地化子网络，该本地化子网络包括一个或多个神经网络层，其中，该本地化子网络被配置为处理输入特征图以根据本地化子网络的一组参数的当前值来生成空间变换参数，以及其中，处理输入特征图以生成空间变换参数包括：使用本地化子网络来处理输入特征图。根据空间变换参数从输入特征图采样以生成所变换的特征图可以包括：使用变换参数来生成采样网格，该采样网格针对所变换的特征图中的多个位置中的每个位置定义应当如何从输入特征图中的值取得位置的值；以及根据采样网格从输入特征图采样以生成所变换的特征图。采样机制可以是能够微分的。已经在图像处理神经网络系统的训练期间使用反向传播训练空间变换器模块。所变换的特征图可以具有与输入特征图相同的尺寸。所变换的特征图可以具有与输入特征图不同的尺寸。对于要配置为执行特定操作或者动作的一个或多个计算机的系统意味着已经在系统上安装了在操作中使系统执行操作或者动作的软件、固件、硬件、或者它们的组合。对于要配置为执行特定操作或者动作的一个或多个计算机程序意味着一个或多个程序包括指令，当由数据处理设备执行该指令时，该指令使设备执行操作或者动作。还描述了一种方法，该方法包括上面描述的空间变换器模块的相应操作和用指令编码的计算机存储介质，当由一个或多个计算机执行该指令时，该指令使一个或多个计算机执行空间变换器模块的相应操作。还描述了一种方法，该方法包括：对训练图像训练图像处理神经网络，图像处理神经网络系统被配置为接收一个或多个输入图像并且被配置为处理该一个或多个输入图像以从该一个或多个输入图像生成神经网络输出，并且图像处理神经网络包括空间变换器模块，其中，空间变换器模块被配置为执行操作，该操作包括：接收从一个或多个输入图像取得的输入特征图；以及向输入特征图应用空间变换以生成所变换的特征图，包括：处理输入特征图以生成空间变换的空间变换参数并且根据空间变换参数来从输入特征图进行采样以生成所变换的特征图，其中，训练图像处理神经网络包括：反向传播从通过在由图像处理神经网络生成的神经网络输出与训练图像的已知输出之间的误差计算出的梯度，以训练空间变换器模块。空间变换器模块可以包括本地化子网络，该本地化子网络包括一个或多个神经网络层，其中，本地化子网络被配置为处理输入特征图以根据本地化子网络的一组参数的当前值来生成空间变换参数。采样机制可以是能够微分的。反向传播梯度可以包括：通过采样机制来反向传播梯度以调整本地化子网络的参数的值。可以提供一种系统，该系统包括一个或多个计算机和一个或多个存储装置，该一个或多个存储装置存储能够操作的指令，该指令在由一个或多个计算机执行时使一个或多个计算机执行方法的操作。计算机存储介质可以编码有指令，该指令在由一个或多个计算机执行时使一个或多个计算机执行方法的操作。将会显而易见的是，可以将在一种实施方式的上下文中描述的特征与其它实施方式的特征组合。能够实施在本说明书中描述的主题的特定实施例以便实现以下优点中的一个或多个：通过修改神经网络的架构以包括一个或多个空间变换器模块，能够将神经网络训练为在特征图上主动地进行空间变换，以特征图本身为条件，而不需要对优化进行任何额外的训练监督或者修改，即，训练、处理。神经网络可能对训练更有效。此外，使用空间变换器导致了学习对平移、缩放、旋转和更通用的翘曲不变性的神经网络，这导致关于若干基准的现有技术或比关于若干基准的现有技术性能更好，以及用于多种类型的变换。因此，主题的实施例可以提供可以被训练为处理图像数据以生成指示与更有效地生成的图像数据相关联的属性的输出数据的神经网络。在附图和下面的描述中阐述了本说明书的主题的一个或多个实施例的细节。本主题的其它特征、方面、和优点将通过描述、附图、以及权利要求书而变得显而易见。附图说明图1示出了示例图像处理神经网络系统。图2是用于使用空间变换器模块来处理输入的示例处理的流程图。图3是生成所变换的特征图的示例处理的流程图。各个附图中的类似附图标记和标号指示类似的元件。具体实施方式本说明书描述了在包括至少一个空间变换器模块的一个或多个位置中的一个或多个计算机上实施为计算机程序的图像处理神经网络系统。该图像处理神经网络系统处理包括一个或多个图像的输入图像数据以生成针对一个或多个图像的神经网络输出。能够将图像处理神经网络系统配置为生成针对一个或多个图像的任何种类的神经网络输出。例如，能够将图像处理神经网络系统配置为将输入图像分类为包括来自一个或多个对象类别的对象的图像，即，以生成用于输入图像的神经网络输出，该神经网络输出包括针对一个或多个对象类别中的每个对象类别的相应评分，该评分表示输入图像包括属于该对象类别的对象的图像的可能性。在C.Szegedy、W.Liu、Y.Jia、P.Sermanet、S.Reed、D.Anguelov、D.Erhan、V.Vanhoucke、和A.Rabinovich的“利用卷积增加深度(Goingdeeperwithconvolutions)”CVPR,2015中描述了用于对能够被修改为包括如在本说明书中描述的一个或多个空间变换器模块的输入图像进行分类的图像处理神经网络的示例。作为另一示例，能够将图像处理神经网络系统配置为识别输入图像中的对象的位置。例如，系统能够作为输入接收一组图像，一组图像中的每个包括来自相同未知类别的对象的图像，并且能够生成识别在这些图像中的每个图像中的对象的位置的神经网络输出。在K.Simonyan和A.Zisserman的“针对大尺寸图像识别的超深度卷积(Verydeepconvolutionalnetworksforlarge-scaleimagerecognition)”ICLR,2015中描述了用于将在能够被修改本文档来自技高网...

【技术保护点】
一种由一个或多个计算机实现的图像处理神经网络系统，其中，所述图像处理神经网络系统被配置为接收一个或多个输入图像并且处理所述一个或多个输入图像以从所述一个或多个输入图像生成神经网络输出，所述图像处理神经网络系统包括：空间变换器模块，其中所述空间变换器模块被配置为执行操作，所述操作包括：接收从所述一个或多个输入图像取得的输入特征图，以及向所述输入特征图应用空间变换，以生成所变换的特征图，包括：处理所述输入特征图，以生成针对所述空间变换的空间变换参数，以及根据所述空间变换参数从所述输入特征图进行采样，以生成所变换的特征图。

【技术特征摘要】
【国外来华专利技术】2015.06.05 US 62/171,9971.一种由一个或多个计算机实现的图像处理神经网络系统，其中，所述图像处理神经网络系统被配置为接收一个或多个输入图像并且处理所述一个或多个输入图像以从所述一个或多个输入图像生成神经网络输出，所述图像处理神经网络系统包括：空间变换器模块，其中所述空间变换器模块被配置为执行操作，所述操作包括：接收从所述一个或多个输入图像取得的输入特征图，以及向所述输入特征图应用空间变换，以生成所变换的特征图，包括：处理所述输入特征图，以生成针对所述空间变换的空间变换参数，以及根据所述空间变换参数从所述输入特征图进行采样，以生成所变换的特征图。2.根据权利要求1所述的图像处理神经网络系统，所述操作进一步包括：将所变换的特征图作为输入提供至所述图像处理神经网络系统的另一部件。3.根据权利要求1或2中的任一项所述的图像处理神经网络系统，其中，所述输入特征图是由所述图像处理神经网络系统的另一部件生成的输出。4.根据权利要求3所述的图像处理神经网络系统，其中，所述图像处理神经网络系统的所述另一部件是另一空间变换器模块。5.根据权利要求4所述的图像处理神经网络系统，其中，与所述空间变换器模块相比，所述另一空间变换器模块执行不同类型的空间变换。6.根据权利要求3所述的图像处理神经网络系统，其中，所述图像处理神经网络系统的所述另一部件是神经网络层。7.根据权利要求1或2中的任一项所述的图像处理神经网络系统，其中，所述输入特征图是所述一个或多个输入图像中的一个输入图像。8.根据权利要求1至7中的任一项所述的图像处理神经网络系统，其中，所述空间变换器模块包括：本地化子网络，所述本地化子网络包括一个或多个神经网络层，其中，所述本地化子网络被配置为处理所述输入特征图，以根据所述本地化子网络的一组参数的当前值来生成所述空间变换参数；以及其中，处理所述输入特征图以生成所述空间变换参数包括：使用所述本地化子网络来处理所述输入特征图。9.根据权利要求1至8中的任一项所述的图像处理神经网络系统，其中，根据所述空间变换参数从所述输入特征图进行采样以生成所变换的特征图包括：使用所述变换参数来生成采样网格，所述采样网格针对所变换的特征图中的多个位置中的每个位置定义应当如何从所述输入特征图中的值取得所述位置的值；以及根据所述采样网格从所述输入特征图进行采样，以生成所变换的特征图。10.根据权利要求1至9中的任一项所述的图像处理神经网络...

【专利技术属性】
技术研发人员：麦克斯维尔·埃利奥特·耶德贝里，凯伦·西蒙尼扬，安德鲁·西塞曼，科拉伊·卡武克曲奥卢，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：英国,GB