图像处理方法、处理装置和处理设备制造方法及图纸

本发明专利技术实施例提供一种图像处理方法、处理装置和处理设备，利用生成神经网络结合拉普拉斯变换和图像风格特征实现图像转换，使得转换后的输出图像具有多样性并且保持与输入图像的一致性，系统简单，易于训练。所述图像处理方法，包括：获取包括N个通道的第一图像，N为大于等于1的正整数；利用生成神经网络对所述第一图像进行图像转换处理，以输出转换后的输出图像，其中，所述生成神经网络是基于拉普拉斯变换函数训练得到的。

Image processing methods, processing devices and processing equipment

The embodiment of the invention provides an image processing method, processing device and processing equipment, the use of generating neural network combined with Laplasse transform and image style image conversion, the output image conversion is diversity and maintain consistency with the input image, the system is simple, easy to train. The image processing method includes: acquiring image includes a first N channel, N is greater than or equal to 1 positive integers; by generating neural network for image conversion processing on the first image, the output image output after conversion, the formation of neural network based on Laplasse transform function obtained by training.

【技术实现步骤摘要】
图像处理方法、处理装置和处理设备
本专利技术涉及图像处理，尤其涉及一种图像处理方法、处理装置和处理设备。
技术介绍
利用深度神经网络进行图像处理和转换是随着深度学习技术的发展而新兴起来的技术。然而，现有技术中的图像处理和转换系统的结构复杂且难于训练，并且输出图像缺乏多样性。因此，需要一种实现图像转换的图像处理方法、装置和设备，其既能保证输出图像与输入图像之间具有一致性，又能保证不同输出图像之间具有多样性。
技术实现思路
本专利技术提供一种图像处理方法、处理装置和处理设备，利用生成神经网络结合拉普拉斯变换和图像风格特征实现图像转换，使得转换后的输出图像具有多样性并且保持与输入图像的一致性，系统简单，易于训练。本专利技术实施例提供一种图像处理方法，包括：获取包括N个通道的第一图像，N为大于等于1的正整数；利用生成神经网络对所述第一图像进行图像转换处理，以输出转换后的输出图像，其中，所述生成神经网络是基于拉普拉斯变换函数训练得到的。根据本专利技术实施例，所述利用生成神经网络对所述第一图像进行图像转换处理包括：利用生成神经网络基于包括所述第一图像和第一噪声图像的输入图像对所述第一图像进行图像转换处理。根据本专利技术实施例，所述生成神经网络的输入包括第一噪声图像和第一图像的N个通道，所述第一噪声图像包括M个通道，M为大于等于1的正整数。根据本专利技术实施例，所述生成神经网络包括一个或多个下采样模块、一个或多个残差模块和一个或多个上采样模块，其中：所述下采样模块包括依次连接的卷积层、下采样层和实例标准化层；所述残差模块包括依次连接的卷积层和实例标准化层；所述上采样模块包括依次连接的上采样层、实例标准化层和卷积层，其中，所述上采样模块的个数与所述下采样模块的个数相等。根据本专利技术实施例，所述输入图像作为第一训练图像，所述第一噪声图像作为第一训练噪声图像，所述输出图像作为第一输出图像，所述图像处理方法还包括：获取第二训练图像，其中所述第二训练图像包括第二训练噪声图像和第一图像的信息，其中，所述第二训练噪声图像与所述第一训练噪声图像不相同；利用所述生成神经网络对所述第二训练图像进行图像转换处理，输出第二输出图像；基于第一图像、第一输出图像和第二输出图像训练所述生成神经网络。根据本专利技术实施例，训练所述生成神经网络包括：将所述第一输出图像输入至鉴别神经网络，用于输出所述第一输出图像是否具有转换特征的鉴别标签；利用第一损失计算单元根据所述第一图像、第一输出图像、第二输出图像和鉴别标签计算所述生成神经网络的损失值，优化所述生成神经网络的参数。根据本专利技术实施例，所述第一损失计算单元包括分析网络、拉普拉斯变换器、第一损失计算器和优化器，并且所述利用第一损失计算单元计算所述生成神经网络的损失值包括：利用分析网络输出所述第一输出图像、第二输出图像的风格特征；利用拉普拉斯变换器获得第一图像、第一输出图像和第二输出图像的拉普拉斯变换图像；利用第一损失计算器根据分析网络提取的风格特征、拉普拉斯变换器输出的拉普拉斯变换结果和所述第一输出图像的鉴别标签按照第一损失函数计算所述生成神经网络的损失值；利用优化器根据所述生成神经网络的损失值优化所述生成神经网络的参数。根据本专利技术实施例，所述第一损失函数包括拉普拉斯变换函数，并且计算所述生成神经网络的损失值包括：根据第一图像、第一输出图像和第二输出图像的拉普拉斯变换结果按照拉普拉斯变换函数计算生成神经网络的拉普拉斯变换损失值；所述第一损失函数还包括风格损失函数，并且计算所述生成神经网络的损失值包括：根据第一输出图像的风格特征和第二输出图像的风格特征按照风格损失函数计算所述生成神经网络的风格损失值。本专利技术实施例还提供一种图像处理装置，包括：生成神经网络模块，用于对第一图像进行图像转换处理，以输出转换后的输出图像，其中：所述生成神经网络模块是基于拉普拉斯变换函数训练得到的；所述利用生成神经网络模块对所述第一图像进行图像转换处理包括：利用生成神经网络模块基于包括所述第一图像和噪声图像的输入图像对所述第一图像进行图像转换处理；所述生成神经网络模块的输入包括第一噪声图像和第一图像的N个通道，所述第一噪声图像包括M个通道，M为大于等于1的正整数。根据本专利技术实施例，所述生成神经网络模块包括一个或多个下采样模块、一个或多个残差模块和一个或多个上采样模块，其中：所述下采样模块包括依次连接的卷积层、下采样层和实例标准化层；所述残差模块包括依次连接的卷积层和实例标准化层；所述上采样模块包括依次连接的上采样层、实例标准化层和卷积层，其中，所述上采样模块的个数与所述下采样模块的个数相等。根据本专利技术实施例，训练神经网络模块，用于根据所述生成神经网络模块的输出图像来训练所述生成神经网络模块，其中，所述输入图像作为第一训练图像，所述第一噪声图像作为第一训练噪声图像，所述输出图像作为第一输出图像，所述生成神经网络模块还对第二训练图像进行图像转换处理，以输出转换后的第二输出图像，其中，所述第二训练图像包括第二训练噪声图像和第一图像的信息，所述第二训练噪声图像不同于所述第一训练噪声图像；所述训练神经网络模块基于第一图像、第一输出图像和第二输出图像训练所述生成神经网络模块。根据本专利技术实施例，所述训练神经网络模块包括：鉴别神经网络模块，用于输出所述第一输出图像是否具有转换特征的鉴别标签；第一损失计算单元，用于根据所述第一图像、第一输出图像、第二输出图像和鉴别标签计算所述生成神经网络模块的损失值，优化所述生成神经网络模块的参数，其中所述第一损失计算单元包括：分析网络，用于输出所述第一输出图像、第二输出图像的风格特征；拉普拉斯变换器，用于获得第一图像、第一输出图像和第二输出图像的拉普拉斯变换图像；第一损失计算器，用于根据分析网络提取的风格特征、拉普拉斯变换器输出的拉普拉斯变换结果和所述第一输出图像的鉴别标签按照第一损失函数计算所述生成神经网络模块的损失值；以及优化器，用于根据所述生成神经网络模块的损失值优化所述生成神经网络模块的参数。根据本专利技术实施例，所述第一损失函数包括风格损失函数，用于根据第一输出图像的风格特征和第二输出图像的风格特征计算所述生成神经网络模块的风格损失值；所述第一损失函数还包括拉普拉斯变换函数，用于根据第一图像、第一输出图像和第二输出图像的拉普拉斯变换结果计算生成神经网络模块的拉普拉斯变换损失值。本专利技术实施例还提供一种图像处理设备，包括：一个或多个处理器；一个或多个存储器，其中所述存储器存储了计算机可读代码，所述计算机可读代码当由所述一个或多个处理器运行时执行上述图像处理方法，或实现权利上述图像处理装置。本专利技术实施例中，基于生成神经网络结合拉普拉斯变换和图像风格特征实现图像转换，其中输入图像包括第一图像和噪声图像，在由所述生成神经网络进行图像处理时，噪声图像生成图像细节信息，使得转换后的输出图像具有多样性并且保持与输入图像的一致性，系统简单，易于训练。利用风格损失函数训练生成神经网络，保证输出结果之间的多样性。利用拉普拉斯变换函数训练生成神经网络，保证转换后的输出图像与输入图像具有内容一致性，即转换后的图像既具有转换特征，又包括足够的原始图像信息，避免在图像处理过程中丢失大量的原图信息。附图说明图1示出了本专利技术实施例提供的图像处理方法的流程图；本文档来自技高网...

【技术保护点】
一种图像处理方法，包括：获取包括N个通道的第一图像，N为大于等于1的正整数；利用生成神经网络对所述第一图像进行图像转换处理，以输出转换后的输出图像，其中，所述生成神经网络是基于拉普拉斯变换函数训练得到的。

【技术特征摘要】
1.一种图像处理方法，包括：获取包括N个通道的第一图像，N为大于等于1的正整数；利用生成神经网络对所述第一图像进行图像转换处理，以输出转换后的输出图像，其中，所述生成神经网络是基于拉普拉斯变换函数训练得到的。2.根据权利要求1所述的图像处理方法，其中，所述利用生成神经网络对所述第一图像进行图像转换处理包括：利用生成神经网络基于包括所述第一图像和第一噪声图像的输入图像对所述第一图像进行图像转换处理。3.根据权利要求2所述的图像处理方法，其中，所述生成神经网络的输入包括第一噪声图像和第一图像的N个通道，所述第一噪声图像包括M个通道，M为大于等于1的正整数。4.根据权利要求1所述的图像处理方法，其中，所述生成神经网络包括一个或多个下采样模块、一个或多个残差模块和一个或多个上采样模块，其中：所述下采样模块包括依次连接的卷积层、下采样层和实例标准化层；所述残差模块包括依次连接的卷积层和实例标准化层；所述上采样模块包括依次连接的上采样层、实例标准化层和卷积层，其中，所述上采样模块的个数与所述下采样模块的个数相等。5.根据权利要求1-2所述的图像处理方法，其中，所述输入图像作为第一训练图像，所述第一噪声图像作为第一训练噪声图像，所述输出图像作为第一输出图像，所述图像处理方法还包括：获取第二训练图像，其中所述第二训练图像包括第二训练噪声图像和第一图像的信息，其中，所述第二训练噪声图像与所述第一训练噪声图像不相同；利用所述生成神经网络对所述第二训练图像进行图像转换处理，输出第二输出图像；基于第一图像、第一输出图像和第二输出图像训练所述生成神经网络。6.根据权利要求5所述的图像处理方法，其中，训练所述生成神经网络包括：将所述第一输出图像输入至鉴别神经网络，用于输出所述第一输出图像是否具有转换特征的鉴别标签；利用第一损失计算单元根据所述第一图像、第一输出图像、第二输出图像和鉴别标签计算所述生成神经网络的损失值，优化所述生成神经网络的参数。7.根据权利要求6所述的图像处理方法，其中，所述第一损失计算单元包括分析网络、拉普拉斯变换器、第一损失计算器和优化器，并且所述利用第一损失计算单元计算所述生成神经网络的损失值包括：利用分析网络输出所述第一输出图像、第二输出图像的风格特征；利用拉普拉斯变换器获得第一图像、第一输出图像和第二输出图像的拉普拉斯变换图像；利用第一损失计算器根据分析网络提取的风格特征、拉普拉斯变换器输出的拉普拉斯变换结果和所述第一输出图像的鉴别标签按照第一损失函数计算所述生成神经网络的损失值；利用优化器根据所述生成神经网络的损失值优化所述生成神经网络的参数。8.根据权利要求7所述的图像处理方法，其中，所述第一损失函数包括拉普拉斯变换函数，并且计算所述生成神经网络的损失值包括：根据第一图像、第一输出图像和第二输出图像的拉普拉斯变换结果按照拉普拉斯变换函数计算生成神经网络的拉普拉斯变换损失值。9.根据权利要求7所述的图像处理方法，其中，所述第一损失函数还包括风格损失函数，并且计算所述生成神经网络的损失值包括：根据第一输出图像的风格特征和第二输出图像的风格特征按照风格损失函数计算所述生成神经...

【专利技术属性】
技术研发人员：刘瀚文，那彦波，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11