基于神经网络的图像处理方法、图像处理装置制造方法及图纸

一种基于神经网络的图像处理方法、图像处理装置。图像处理方法包括：获取风格图像和内容图像；基于风格图像，利用生成神经网络对内容图像进行风格迁移处理，以生成输出图像。生成神经网络包括特征提取子网络、融合器和解码子网络，解码子网络被配置为接收并处理多个输出特征图，以生成输出图像，解码子网络包括多个稠密计算模块，多个稠密计算模块中的第M个稠密计算模块包括N个卷积模块，N个卷积模块中的第i个卷积模块被配置为接收并处理第i个卷积模块之前的i‑1个卷积模块输出的i‑1个特征图组，以得到第i个特征图组，第M个稠密计算模块的输出包括N个卷积模块输出的N个特征图组，i、N、M均为整数。

【技术实现步骤摘要】
基于神经网络的图像处理方法、图像处理装置
本公开的实施例涉及一种基于神经网络的图像处理方法、图像处理装置。
技术介绍
当前，基于人工神经网络的深度学习技术已经在诸如物体分类、文本处理、推荐引擎、图像搜索、面部识别、年龄和语音识别、人机对话以及情感计算等领域取得了巨大进展。随着人工神经网络结构的加深和算法的提升，深度学习技术在类人类数据感知领域取得了突破性的进展，深度学习技术可以用于描述图像内容、识别图像中的复杂环境下的物体以及在嘈杂环境中进行语音识别等。同时，深度学习技术还可以解决图像生成和融合的问题。
技术实现思路
本公开至少一实施例提供一种基于神经网络的图像处理方法，包括：获取风格图像和内容图像；基于所述风格图像，利用生成神经网络对所述内容图像进行风格迁移处理，以生成输出图像。所述生成神经网络包括特征提取子网络、融合器和解码子网络，所述特征提取子网络被配置为提取所述风格图像的风格特征以生成多个风格特征图和提取所述内容图像的内容特征以生成多个内容特征图，所述融合器被配置为基于所述多个风格特征图对所述多个内容特征图执行风格转移处理，以得到多个输出特征图，所述解码子网络被配置为接收并处理所述多个输出特征图，以生成所述输出图像，所述解码子网络包括多个稠密计算模块，所述多个稠密计算模块中的第M个稠密计算模块包括N个卷积模块，所述N个卷积模块中的第i个卷积模块被配置为接收并处理所述第i个卷积模块之前的i-1个卷积模块输出的i-1个特征图组，以得到第i个特征图组，所述第M个稠密计算模块的输出包括所述N个卷积模块输出的N个特征图组，i、N、M均为整数，M大于等于1且小于等于所述多个稠密计算模块的数量，N大于等于2，且i大于等于2且小于等于N。例如，在本公开一实施例提供的图像处理方法中，每个所述卷积模块包括卷积层和激活层。例如，在本公开一实施例提供的图像处理方法中，所述解码子网络还包括多个反池化模块，每个所述反池化模块包括卷积层、激活层和反池化层，所述反池化层用于执行上采样操作。例如，在本公开一实施例提供的图像处理方法中，所述特征提取子网络包括多个池化模块，所述多个池化模块与所述多个反池化模块一一对应。例如，在本公开一实施例提供的图像处理方法中，所述解码子网络还包括输出层，所述多个稠密计算模块包括第一稠密计算模块、第二稠密计算模块和第三稠密计算模块，所述多个反池化模块包括第一反池化模块、第二反池化模块和第三反池化模块，根据所述多个输出特征图利用所述解码子网络重构并输出所述输出图像，包括：利用所述第一反池化模块处理所述多个输出特征图以得到多个第一反池化特征图；利用所述第一稠密计算模块提取所述多个第一反池化特征图的特征以得到多个第一中间解码特征图；利用所述第二反池化模块处理所述第一中间解码特征图以得到多个第二反池化特征图；利用所述第二稠密计算模块提取所述第二反池化特征图的特征以得到多个第二中间解码特征图；利用所述第三反池化模块处理所述多个第二中间解码特征图以得到多个第三反池化特征图；利用所述第三稠密计算模块提取所述第三反池化特征图的特征以得到多个第三中间解码特征图；利用所述输出层将所述多个第三中间解码特征图从特征空间转换到图像空间，以得到所述输出图像。例如，在本公开一实施例提供的图像处理方法中，所述特征提取子网络包括第一卷积层组、第二卷积层组、第三卷积层组、第四卷积层组、第一池化层、第二池化层和第三池化层，所述第一池化层位于所述第一卷积层组和所述第二卷积层组之间，所述第二池化层位于所述第二卷积层组和所述第三卷积层组之间，所述第三池化层位于所述第三卷积层组和所述第四卷积层组之间。例如，在本公开一实施例提供的图像处理方法中，所述第一卷积层组包括两个卷积层和两个激活层，所述第二卷积层组包括两个卷积层和两个激活层，所述第三卷积层组包括三个卷积层和三个激活层，所述第四卷积层组包括一个卷积层和一个激活层。例如，在本公开一实施例提供的图像处理方法中，利用所述特征提取子网络提取所述风格图像的风格特征以生成多个风格特征图，包括：利用所述第一卷积层组提取所述风格图像的风格特征以产生多个第一中间风格特征图，利用所述第一池化层对所述多个第一中间风格特征图执行第一下采样操作，以得到多个第一池化风格特征图，利用所述第二卷积层组提取所述多个第一池化风格特征图的风格特征以产生多个第二中间风格特征图，利用所述第二池化层对所述多个第二中间风格特征图执行第二下采样操作以得到多个第二池化风格特征图，利用所述第三卷积层组提取所述多个第二池化风格特征图的风格特征以产生多个第三中间风格特征图，利用所述第三池化层对所述多个第三中间风格特征图执行第三下采样操作以得到多个第三池化风格特征图，利用所述第四卷积层组提取所述多个第三池化风格特征图的风格特征以产生多个第四中间风格特征图，其中，所述多个风格特征图包括所述多个第四中间风格特征图。利用所述特征提取子网络提取所述内容图像的内容特征以生成多个内容特征图，包括：利用所述第一卷积层组所提取所述内容图像的内容特征以产生多个第一中间内容特征图，利用所述第一池化层对所述多个第一中间内容特征图执行所述第一下采样操作，以得到多个第一池化内容特征图，利用所述第二卷积层组提取所述多个第一池化内容特征图的内容特征以产生多个第二中间内容特征图，利用所述第二池化层对所述多个第二中间内容特征图执行所述第二下采样操作以得到多个第二池化内容特征图，利用所述第三卷积层组提取所述多个第二池化内容特征图的内容特征以产生多个第三中间内容特征图，利用所述第三池化层对所述多个第三中间内容特征图执行所述第三下采样操作以得到多个第三池化内容特征图，利用所述第四卷积层组提取所述多个第三池化内容特征图的内容特征以产生多个第四中间内容特征图，其中，所述多个内容特征图包括所述多个第四中间内容特征图。例如，在本公开一实施例提供的图像处理方法中，所述多个输出特征图表示为：其中，A(x，y)表示所述多个输出特征图组成的三维矩阵，x表示所述多个内容特征图组成的三维矩阵，y表示所述多个风格特征图组成的三维矩阵，μ(x)表示所述多个内容特征图的均值组成的三维矩阵，σ(x)表示所述多个内容特征图的方差组成的三维矩阵，μ(y)表示所述多个风格特征图的均值组成的三维矩阵，σ(y)表示所述多个风格特征图的方差组成的三维矩阵。例如，在本公开一实施例提供的图像处理方法中，在获取风格图像和内容图像之前，所述图像处理方法还包括：预先训练所述生成神经网络，其中，预先训练所述生成神经网络包括：获取训练风格图像和训练内容图像；基于所述训练风格图像，利用所述生成神经网络对所述训练内容图像执行风格迁移处理，以得到训练输出图像和多个训练输出特征图，其中，所述解码子网络用于生成并输出所述训练输出图像，所述融合器用于生成并输出所述多个训练输出特征图；利用分析神经网络分别提取所述训练输出图像的风格特征和内容特征，以生成多个第一训练风格特征图和多个训练内容特征图；利用所述分析神经网络提取所述训练风格图像的风格特征，以得到多个第二训练风格特征图；根据所述多个第一训练风格特征图、所述多个第二训练风格特征图、所述多个训练内容特征图和所述多个训练输出特征图，通过损失函数计算所述解码子网络的参数的损失值；根据所述损失值对本文档来自技高网...

【技术保护点】
1.一种基于神经网络的图像处理方法，包括：获取风格图像和内容图像；基于所述风格图像，利用生成神经网络对所述内容图像进行风格迁移处理，以生成输出图像；其中，所述生成神经网络包括特征提取子网络、融合器和解码子网络，所述特征提取子网络被配置为提取所述风格图像的风格特征以生成多个风格特征图和提取所述内容图像的内容特征以生成多个内容特征图，所述融合器被配置为基于所述多个风格特征图对所述多个内容特征图执行风格转移处理，以得到多个输出特征图，所述解码子网络被配置为接收并处理所述多个输出特征图，以生成所述输出图像，所述解码子网络包括多个稠密计算模块，所述多个稠密计算模块中的第M个稠密计算模块包括N个卷积模块，所述N个卷积模块中的第i个卷积模块被配置为接收并处理所述第i个卷积模块之前的i‑1个卷积模块输出的i‑1个特征图组，以得到第i个特征图组，所述第M个稠密计算模块的输出包括所述N个卷积模块输出的N个特征图组，i、N、M均为整数，M大于等于1且小于等于所述多个稠密计算模块的数量，N大于等于2，且i大于等于2且小于等于N。

【技术特征摘要】
1.一种基于神经网络的图像处理方法，包括：获取风格图像和内容图像；基于所述风格图像，利用生成神经网络对所述内容图像进行风格迁移处理，以生成输出图像；其中，所述生成神经网络包括特征提取子网络、融合器和解码子网络，所述特征提取子网络被配置为提取所述风格图像的风格特征以生成多个风格特征图和提取所述内容图像的内容特征以生成多个内容特征图，所述融合器被配置为基于所述多个风格特征图对所述多个内容特征图执行风格转移处理，以得到多个输出特征图，所述解码子网络被配置为接收并处理所述多个输出特征图，以生成所述输出图像，所述解码子网络包括多个稠密计算模块，所述多个稠密计算模块中的第M个稠密计算模块包括N个卷积模块，所述N个卷积模块中的第i个卷积模块被配置为接收并处理所述第i个卷积模块之前的i-1个卷积模块输出的i-1个特征图组，以得到第i个特征图组，所述第M个稠密计算模块的输出包括所述N个卷积模块输出的N个特征图组，i、N、M均为整数，M大于等于1且小于等于所述多个稠密计算模块的数量，N大于等于2，且i大于等于2且小于等于N。2.根据权利要求1所述的图像处理方法，其中，每个所述卷积模块包括卷积层和激活层。3.根据权利要求1所述的图像处理方法，其中，所述解码子网络还包括多个反池化模块，每个所述反池化模块包括卷积层、激活层和反池化层，所述反池化层用于执行上采样操作。4.根据权利要求3所述的图像处理方法，其中，所述特征提取子网络包括多个池化模块，所述多个池化模块与所述多个反池化模块一一对应。5.根据权利要求4所述的图像处理方法，其中，所述解码子网络还包括输出层，所述多个稠密计算模块包括第一稠密计算模块、第二稠密计算模块和第三稠密计算模块，所述多个反池化模块包括第一反池化模块、第二反池化模块和第三反池化模块，根据所述多个输出特征图利用所述解码子网络重构并输出所述输出图像，包括：利用所述第一反池化模块处理所述多个输出特征图以得到多个第一反池化特征图；利用所述第一稠密计算模块提取所述多个第一反池化特征图的特征以得到多个第一中间解码特征图；利用所述第二反池化模块处理所述第一中间解码特征图以得到多个第二反池化特征图；利用所述第二稠密计算模块提取所述第二反池化特征图的特征以得到多个第二中间解码特征图；利用所述第三反池化模块处理所述多个第二中间解码特征图以得到多个第三反池化特征图；利用所述第三稠密计算模块提取所述第三反池化特征图的特征以得到多个第三中间解码特征图；利用所述输出层将所述多个第三中间解码特征图从特征空间转换到图像空间，以得到所述输出图像。6.根据权利要求1所述的图像处理方法，其中，所述特征提取子网络包括第一卷积层组、第二卷积层组、第三卷积层组、第四卷积层组、第一池化层、第二池化层和第三池化层，所述第一池化层位于所述第一卷积层组和所述第二卷积层组之间，所述第二池化层位于所述第二卷积层组和所述第三卷积层组之间，所述第三池化层位于所述第三卷积层组和所述第四卷积层组之间。7.根据权利要求6所述的图像处理方法，其中，所述第一卷积层组包括两个卷积层和两个激活层，所述第二卷积层组包括两个卷积层和两个激活层，所述第三卷积层组包括三个卷积层和三个激活层，所述第四卷积层组包括一个卷积层和一个激活层。8.根据权利要求7所述的图像处理方法，其中，利用所述特征提取子网络提取所述风格图像的风格特征以生成多个风格特征图，包括：利用所述第一卷积层组提取所述风格图像的风格特征以产生多个第一中间风格特征图，利用所述第一池化层对所述多个第一中间风格特征图执行第一下采样操作，以得到多个第一池化风格特征图，利用所述第二卷积层组提取所述多个第一池化风格特征图的风格特征以产生多个第二中间风格特征图，利用所述第二池化层对所述多个第二中间风格特征图执行第二下采样操作以得到多个第二池化风格特征图，利用所述第三卷积层组提取所述多个第二池化风格特征图的风格特征以产生多个第三中间风格特征图，利用所述第三池化层对所述多个第三中间风格特征图执行第三下采样操作以得到多个第三池化风格特征图，利用所述第四卷积层组提取所述多个第三池化风格特征图的风格特征以产生多个第四中间风格特征图，其中，所述多个风格特征图包括所述多个第四中间风格特征图；利用所述特征提取子网络提取所述内容图像的内容特征以生成多个内容特征图，包括：利用所述第一卷积层组所提取所述内容图像的内容特征以产生多个第一中间内容特征图，利用所述第一池化层对所述多个第一中间内容特征图执行所述第一下采样操作，以得到多个第一池化内容特征图，利用所述第二卷积层组提取所述多个第一池化内容特征图的内容特征以产生多个第二中间内容特征图，利用所述第二池化层对所述多个第二中间内容特征图执行所述第二下采样操作以得到多个第二池化内容特征图，利用所述第三卷积层组提取所述多个第二池化内容特征图的内容特征以产生多个第三中间内容特征图，利用所述第三池化层对所述多个第三中间内容特征图执行所述第三下采样操作以得到多个第三池化内容特征图，利用所述第四卷积层组提...

【专利技术属性】
技术研发人员：朱丹，那彦波，张丽杰，刘瀚文，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11