A method for generating stylized images by applying styles to input images is presented. The method includes maintaining the data of the corresponding parameter values of each image style in a specified set of image styles, receiving the input data including input images and identifying the input style data to be applied to the input image to generate the stylized image in the input style, determining the parameter values of the input style from the maintained data, and processing the input by using the style migration neural network. The style migration neural network is configured to process the input image to generate the style image.
【技术实现步骤摘要】
【国外来华专利技术】风格化输入图像相关申请的交叉引用本申请要求在2016年10月21日提交的美国临时申请序列号62/411,414的优先权。该在先申请的公开内容被认为是本申请的公开内容的一部分，并且通过引用结合在本申请的公开内容中。
技术介绍
本说明书涉及使用神经网络将风格(style)应用于输入图像。机器学习模型接收输入并基于接收到的输入生成输出，例如预测的输出。一些机器学习模型是参数模型，并且基于接收到的输入和模型参数的值生成输出。一些机器学习模型是深度模型，其采用多层模型来生成接收到的输入的输出。例如，深度神经网络是深度机器学习模型，其包括输出层和一个或多个隐藏层，每个隐藏层将非线性变换应用于接收到的输入以生成输出。
技术实现思路
本说明书描述了用于将风格应用于输入图像以生成风格化图像的系统和方法。用于将风格应用于输入图像以生成风格化图像的一种方法包括：维护指定一组图像风格中的每个图像风格的相应参数值的数据，接收包括输入图像和识别要被应用于输入图像以生成处于输入风格的风格化图像的输入风格的数据的输入，从所维护的数据确定输入风格的参数值，以及通过使用风格迁移(styletransfer)神...
【技术保护点】
1.一种计算机实现的方法，包括：由计算系统维护指定一组图像风格中的每个图像风格的相应参数值的数据；响应于由所述计算系统接收包括输入图像和识别要被应用于所述输入图像以生成处于输入风格的风格化图像的输入风格的数据的输入：由所述计算系统从所维护的数据确定所述输入风格的参数值；以及由所述计算系统通过使用风格迁移神经网络处理所述输入图像来生成风格化图像，所述风格迁移神经网络被配置为处理所述输入图像以生成所述风格化图像，其中，所述风格迁移神经网络包括第一神经网络层和第二神经网络层之间的条件实例标准化层，其中，所述条件实例标准化层被配置为在由所述风格迁移神经网络处理所述输入图像期间：接收...
【技术特征摘要】
【国外来华专利技术】2016.10.21 US 62/411,4141.一种计算机实现的方法，包括：由计算系统维护指定一组图像风格中的每个图像风格的相应参数值的数据；响应于由所述计算系统接收包括输入图像和识别要被应用于所述输入图像以生成处于输入风格的风格化图像的输入风格的数据的输入：由所述计算系统从所维护的数据确定所述输入风格的参数值；以及由所述计算系统通过使用风格迁移神经网络处理所述输入图像来生成风格化图像，所述风格迁移神经网络被配置为处理所述输入图像以生成所述风格化图像，其中，所述风格迁移神经网络包括第一神经网络层和第二神经网络层之间的条件实例标准化层，其中，所述条件实例标准化层被配置为在由所述风格迁移神经网络处理所述输入图像期间：接收第一神经网络层生成的第一层输出，根据条件实例标准化层参数的当前值对第一层输出进行变换以生成条件实例标准化层输出，以及提供所述条件实例标准化层输出作为第二神经网络层的输入；以及其中，生成所述风格化图像包括：为了通过所述风格迁移神经网络处理所述输入图像，将所述条件实例标准化层参数的所述当前值设置为所述输入风格的所述参数值。2.根据权利要求1所述的方法，其中，为了通过所述风格迁移神经网络处理所述输入图像，将所述条件实例标准化层参数的所述当前值设置为所述输入风格的所述参数值包括：为了通过所述风格迁移神经网络处理所述输入图像，将所述条件实例标准化层参数的所述当前值设置为所述输入风格的所述参数值，而不修改第一神经网络层和第二神经网络层的参数值。3.根据权利要求1或2中任一项所述的方法，还包括：由所述计算设备提供所述风格化图像用于向用户呈现。4.根据权利要求3所述的方法，其中，所述计算设备是移动设备，并且其中，所述风格迁移神经网络在所述移动设备上实现。5.根据权利要求1-4中任一项所述的方法，其中，根据所述条件实例标准化层参数的所述当前值对第一层输出进行变换以生成所述条件实例标准化层输出包括：对第一层输出进行标准化以生成标准化层输出；以及根据所述条件实例标准化层参数的所述当前值对所述标准化层输出进行变换以生成所述条件实例标准化层输出。6.根据权利要求5所述的方法，其中，对第一层输出进行标准化以生成标准化层输出包括：对于第一层输出的每个深度维度：确定第一层输出在第一层输出的空间维度上的分量的标准化统计量；以及使用所述标准化统计量来对第一层输出的所述分量进行标准化。7.根据权利要求6所述的方法，其中，对所述标准化层输出进行变换包括：根据缩放条件实例标准化层参数的当前值对所述标准化层输出进行缩放以生成缩放的标准化层输出；以及根据移位条件实例标准化层参数的当前值对所述缩放的标准化层输出进行移位以生成所述条件实例标准化层输出。8.根据权利要求1-7中任一项所述的方法，其中，从所维护的数据确定所述输入风格的参数值包括：确定所述输入风格是来自所述一组图像风格中的特定图像风格；以及将所述特定图像风格的参数值指定为所述输入风格的参数值。9.根据权利要求8所述的方法，其中，接收所述输入包括：接收识别所述特定图像风格的用户输入。10.根据权利要求1-7中任一项所述的方法，其中，所述输入风格是来自所述一组图像风格的两个或更多个图像风格的组合，并且其中从所维护的数据确定所述输入风格的参数值包括：组合所述两个或更多个图像风格的相应参数值以确定所述输入风格的参数值。11.根据权利要求10所述的方法，其中，所述输入指定要被应用于所述两个或更多个图像风格中的每一个的相应权重，并且其中，组合所述两个或更多个图像风格的相应参数值以确定所述输入风格的参数值包括：用要被应用于所述图像风格的权重对所述两个或更多个图像风格中的每一个的相应参数值进行加权。12.根据权利要求11所述的方法，其中，接收所述输入包括：接收限定所述相应权重的用户输入。13.根据权利要求1-12中任一项所述的方法，其中，已经通过训练所述风格迁移神经网络确定了每个图像风格的相应参数值。14.根据权利要求1-13中任一项所述的方法，其中，所述输入识别视频，并且其中所述输入图像是来自所述视频的视频帧。15.根据权利要求1-14中任一项所述的方法，其中，通过将所述输入风格应用于每个视频帧，为所述视频中的多个视频帧中的每一个生成相应的风格化图像。16.根据权利要求15所述的方法，其中，所述风格迁移神经网络已经被训练以保证所述视频中的所述多个视频帧的风格化图像具有相似的风格化。17.一种系统，包括一个或多个计算机和存储指令的一个或多个计算机可读存储设备，所述指令在由所述一个或多个计算机执行时使所述一个或多个计算机执行权利要求1-16的方法中的任意...
【专利技术属性】
技术研发人员：J什伦斯，V杜牟林，MK文卡塔克里什纳，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。