图像处理方法、处理装置和处理设备制造方法及图纸

提供一种图像处理方法、处理装置和处理设备，利用生成神经网络结合图像内容特征、风格特征实现图像转换，在此基础上，利用超分辨率神经网络提升生成神经网络输出的转换图像的分辨率，获得高分辨率的转换图像。该图像处理方法包括获取输入图像；获取第一噪声图像和第二噪声图像；利用生成神经网络根据输入图像和第一噪声图像对所述输入图像进行图像转换处理，以输出转换后的第一输出图像；利用超分辨率神经网络对第一输出图像和第二噪声图像进行高分辨率转换处理，输出第二输出图像，其中，所述第一噪声图像和所述第二噪声图像不相同。

Image processing methods, processing devices and processing equipment

【技术实现步骤摘要】
图像处理方法、处理装置和处理设备
本专利技术涉及图像处理，尤其涉及一种图像处理方法、处理装置和处理设备。
技术介绍
利用深度神经网络进行图像处理和转换是随着深度学习技术的发展而新兴起来的技术。然而，现有技术中的图像处理和转换系统的结构复杂且难于训练，并且输出图像缺乏多样性。因此，需要一种实现图像转换的图像处理方法、装置和设备，其既能保证输出图像与输入图像之间具有一致性，又能保证不同输出图像之间具有多样性。
技术实现思路
本专利技术提供一种图像处理方法、处理装置和处理设备，利用生成神经网络结合图像内容特征、风格特征实现图像转换，在此基础上，利用超分辨率神经网络提升生成神经网络输出的转换图像的分辨率，获得高分辨率的转换图像。本专利技术实施例提供一种图像处理方法，包括：获取输入图像；获取第一噪声图像和第二噪声图像；利用生成神经网络根据输入图像和第一噪声图像对所述输入图像进行图像转换处理，以输出转换后的第一输出图像；利用超分辨率神经网络对第一输出图像和第二噪声图像进行高分辨率转换处理，输出第二输出图像，其中，所述第一噪声图像和所述第二噪声图像不相同。根据本专利技术实施例，所述输入图像包括第一颜色通道、第二颜色通道和第三颜色通道；所述第一噪声图像包括N个通道，N为大于等于1的正整数，所述第二噪声图像包括M个通道，M为大于等于1的正整数，所述第一噪声图像和第二噪声图像不相同；所述生成神经网络的输入包括第一噪声图像通道以及输入图像的第一颜色通道、第二颜色通道和第三颜色通道；所述生成神经网络的输出为第一输出图像，其包括第一颜色通道、第二颜色通道和第三颜色通道。根据本专利技术实施例，所述生成神经网络包括一个或多个下采样模块、一个或多个残差模块和一个或多个上采样模块，其中：所述下采样模块包括依次连接的卷积层、下采样层和实例标准化层；所述残差模块包括依次连接的卷积层和实例标准化层；所述上采样模块包括依次连接的上采样层、实例标准化层和卷积层，其中：所述上采样模块的个数与所述下采样模块的个数相等。根据本专利技术实施例，所述超分辨率神经网络的输入包括第二噪声图像通道以及第一输出图像的第一颜色通道、第二颜色通道和第三颜色通道；所述超分辨率神经网络的输出为第二输出图像，其包括第一颜色通道、第二颜色通道和第三颜色通道。根据本专利技术实施例，所述超分辨率神经网络包括依次连接的提升模块和变换模块，并且利用超分辨率神经网络进行高分辨率转换处理包括：利用所述提升模块对第一输出图像和第二噪声图像进行上采样处理，并输出包括亮度通道、第一色差通道和第二色差通道的第一中间图像；利用所述变换模块将提升模块输出的第一中间图像变换为包括第一颜色通道、第二颜色通道和第三颜色通道的第二输出图像。根据本专利技术实施例，所述提升模块包括第一子网络、第二子网络和第三子网络，其中：每个子网络的输入均为第一输出图像和第二噪声图像；每个子网络具有相同的结构，包含相同个数的卷积层和提升层。根据本专利技术实施例，所述输入图像作为第一训练图像，所述第一噪声图像作为第一训练噪声图像，所述第一输出图像作为第一训练输出图像，所述图像处理方法还包括：获取第二训练噪声图像；利用所述生成神经网络根据所述第一训练图像和第二训练噪声图像，生成第二训练输出图像；基于第一训练图像、第一训练输出图像和第二训练输出图像训练所述生成神经网络。根据本专利技术实施例，训练所述生成神经网络包括：将所述第一训练输出图像输入至鉴别神经网络，输出所述第一训练输出图像是否具有转换特征的鉴别标签；利用第一损失计算单元根据所述第一训练图像、第一训练输出图像、第二训练输出图像和鉴别标签计算所述生成神经网络的损失值，优化所述生成神经网络的参数。其中：所述第一损失计算单元包括分析网络、第一损失计算器和优化器，并且利用所述第一损失计算单元计算所述生成神经网络的损失值包括：利用分析网络输出所述第一训练图像、第一训练输出图像、第二训练输出图像的内容特征以及利用分析网络输出所述第一训练输出图像和第二训练输出图像的风格特征；利用第一损失计算器根据分析网络提取的内容特征、风格特征和所述第一训练输出图像的鉴别标签按照第一损失函数计算所述生成神经网络的损失值；利用优化器根据所述生成神经网络的损失值优化所述生成神经网络的参数。根据本专利技术实施例，所述第一损失函数包括风格差异损失函数，并且，计算所述生成神经网络的损失值包括：利用所述第一损失计算器根据第一训练输出图像的风格特征和第二训练输出图像的风格特征按照风格差异损失函数计算所述生成神经网络的风格损失值。所述第一损失函数还包括内容损失函数，并且，计算所述生成神经网络的损失值包括：根据第一训练图像、第一训练输出图像和第二训练输出图像的内容特征按照内容损失函数计算所述生成神经网络的内容损失值。根据本专利技术实施例，所述第一输出图像作为第一样本图像，所述图像处理方法还包括：获取超分辨训练噪声图像；从第一样本图像提取低分辨率图像作为超分辨训练图像，所述超分辨训练图像的分辨率低于所述第一样本图像的分辨率；利用超分辨率神经网络根据超分辨训练图像和超分辨训练噪声图像输出第二样本图像，所述第二样本图像的分辨率等于所述第一样本图像的分辨率；根据第一样本图像和第二样本图像，通过减少所述超分辨率神经网络的成本函数优化超分辨率神经网络的参数。本专利技术实施例还提供一种图像处理装置，包括：生成神经网络模块，用于根据输入图像和第一噪声图像对所述输入图像进行图像转换处理，以输出转换后的第一输出图像，其中，所述第一噪声图像包括N个通道，N为大于等于1的正整数；超分辨率神经网络模块，用于对第一输出图像和第二噪声图像进行高分辨率转换处理，输出第二输出图像，其中，所述第二噪声图像包括M个通道，M为大于等于1的正整数，并且，所述第一噪声图像和所述第二噪声图像不相同。根据本专利技术实施例，所述输入图像包括第一颜色通道、第二颜色通道和第三颜色通道；所述生成神经网络模块的输入包括第一噪声图像通道以及输入图像的第一颜色通道、第二颜色通道和第三颜色通道；所述生成神经网络模块的输出为第一输出图像，其包括第一颜色通道、第二颜色通道和第三颜色通道。根据本专利技术实施例，所述生成神经网络模块包括一个或多个下采样模块、一个或多个残差模块和一个或多个上采样模块，其中：所述下采样模块包括依次连接的卷积层、下采样层和实例标准化层；所述残差模块包括依次连接的卷积层和实例标准化层；所述上采样模块包括依次连接的上采样层、实例标准化层和卷积层，所述上采样模块的个数与所述下采样模块的个数相等。根据本专利技术实施例，所述超分辨率神经网络模块的输入包括第二噪声图像通道以及第一输出图像的第一颜色通道、第二颜色通道和第三颜色通道；所述超分辨率神经网络模块的输出为第二输出图像，其包括第一颜色通道、第二颜色通道和第三颜色通道。根据本专利技术实施例，所述超分辨率神经网络模块包括依次连接的提升模块和变换模块：所述提升模块用于对第一输出图像和第二噪声图像进行上采样处理，并输出包括亮度通道、第一色差通道和第二色差通道的第一中间图像；所述变换模块用于将提升模块输出的第一中间图像变换为包括第一颜色通道、第二颜色通道和第三颜色通道的第二输出图像。其中：所述提升模块包括第一子网络、第二子网络和第三子网络。根据本专利技术实施例，所述第一子网络、第二子网络和第本文档来自技高网...

【技术保护点】
一种图像处理方法，包括：获取输入图像；获取第一噪声图像和第二噪声图像；利用生成神经网络根据输入图像和第一噪声图像对所述输入图像进行图像转换处理，以输出转换后的第一输出图像；利用超分辨率神经网络对第一输出图像和第二噪声图像进行高分辨率转换处理，输出第二输出图像，其中，所述第一噪声图像和所述第二噪声图像不相同。

【技术特征摘要】
1.一种图像处理方法，包括：获取输入图像；获取第一噪声图像和第二噪声图像；利用生成神经网络根据输入图像和第一噪声图像对所述输入图像进行图像转换处理，以输出转换后的第一输出图像；利用超分辨率神经网络对第一输出图像和第二噪声图像进行高分辨率转换处理，输出第二输出图像，其中，所述第一噪声图像和所述第二噪声图像不相同。2.根据权利要求1所述的图像处理方法，其中：所述输入图像包括第一颜色通道、第二颜色通道和第三颜色通道；所述第一噪声图像包括N个通道，N为大于等于1的正整数，所述第二噪声图像包括M个通道，M为大于等于1的正整数，所述第一噪声图像和第二噪声图像不相同；所述生成神经网络的输入包括第一噪声图像通道以及输入图像的第一颜色通道、第二颜色通道和第三颜色通道；所述生成神经网络的输出为第一输出图像，其包括第一颜色通道、第二颜色通道和第三颜色通道。3.根据权利要求1所述的图像处理方法，其中，所述生成神经网络包括一个或多个下采样模块、一个或多个残差模块和一个或多个上采样模块，其中：所述下采样模块包括依次连接的卷积层、下采样层和实例标准化层；所述残差模块包括依次连接的卷积层和实例标准化层；所述上采样模块包括依次连接的上采样层、实例标准化层和卷积层，其中：所述上采样模块的个数与所述下采样模块的个数相等。4.根据权利要求1所述的图像处理方法，其中，所述超分辨率神经网络的输入包括第二噪声图像通道以及第一输出图像的第一颜色通道、第二颜色通道和第三颜色通道；所述超分辨率神经网络的输出为第二输出图像，其包括第一颜色通道、第二颜色通道和第三颜色通道。5.根据权利要求1所述的图像处理方法，其中，所述超分辨率神经网络包括依次连接的提升模块和变换模块，并且利用超分辨率神经网络进行高分辨率转换处理包括：利用所述提升模块对第一输出图像和第二噪声图像进行上采样处理，并输出包括亮度通道、第一色差通道和第二色差通道的第一中间图像；利用所述变换模块将提升模块输出的第一中间图像变换为包括第一颜色通道、第二颜色通道和第三颜色通道的第二输出图像。6.根据权利要求5所述的图像处理方法，其中，所述提升模块包括第一子网络、第二子网络和第三子网络，其中：每个子网络的输入均为第一输出图像和第二噪声图像；每个子网络具有相同的结构，包含相同个数的卷积层和提升层。7.根据权利要求1所述的图像处理方法，其中，所述输入图像作为第一训练图像，所述第一噪声图像作为第一训练噪声图像，所述第一输出图像作为第一训练输出图像，所述图像处理方法还包括：获取第二训练噪声图像；利用所述生成神经网络根据所述第一训练图像和第二训练噪声图像，生成第二训练输出图像；基于第一训练图像、第一训练输出图像和第二训练输出图像训练所述生成神经网络。8.根据权利要求7所述的图像处理方法，其中，训练所述生成神经网络包括：将所述第一训练输出图像输入至鉴别神经网络，输出所述第一训练输出图像是否具有转换特征的鉴别标签；利用第一损失计算单元根据所述第一训练图像、第一训练输出图像、第二训练输出图像和鉴别标签计算所述生成神经网络的损失值，优化所述生成神经网络的参数，其中：所述第一损失计算单元包括分析网络、第一损失计算器和优化器，并且利用所述第一损失计算单元计算所述生成神经网络的损失值包括：利用分析网络输出所述第一训练图像、第一训练输出图像、第二训练输出图像的内容特征以及利用分析网络输出所述第一训练输出图像和第二训练输出图像的风格特征；利用第一损失计算器根据分析网络提取的内容特征、风格特征和所述第一训练输出图像的鉴别标签按照第一损失函数计算所述生成神经网络的损失值；利用优化器根据所述生成神经网络的损失值优化所述生成神经网络的参数。9.根据权利要求8所述的图像处理方法，其中，所述第一损失函数包括风格差异损失函数，并且，计算所述生成神经网络的损失值包括：利用所述第一损失计算器根据第一训练输出图像的风格特征和第二训练输出图像的风格特征按照风格差异损失函数计算所述生成神经网络的风格损失值；所述第一损失函数还包括内容损失函数，并且，计算所述生成神经网络的损失值包括：根据第一训练图像、第一训练输出图像和第二训练输出图像的内容特征按照内容损失函数计算所述生成神经网络的内容损失值。10.根据权利要求1所述的图像处理方法，其中，所述第一输出图像作为第一样本图像，所述图像处理方法还包括：获取超分辨训练噪声图像；从第一样本图像提取低分辨率图像作为超分辨训练图像，所述超分辨训练图像的分辨率低于所述第一样本图像的分辨率；利用超分辨率神经网络根据超分辨训练图像和超分辨训练噪声图像输出第二样本图像，所述第二样本图像的分辨率等于所述第一样本图像的分辨率；根据第一样本图像和第二样本图像，通过减少所述超分辨率神经网络的成本函数优化超分辨率神经网络的参数。11.一种图像处理装置，包括：生成神经网络模块，用于根据输入图像和第一噪声图像对所述输入图像进行图像转换处理，以输出转换后的第一...

【专利技术属性】
技术研发人员：刘瀚文，那彦波，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11