图像处理方法及装置制造方法及图纸

本申请公开了一种图像处理方法及装置，所述方法包括：获取需要转换风格的目标图像以及作为风格转换参照的参照图像；获取与所述目标图像对应的掩膜图像，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同；获取与所述掩膜图像对应的风格转换网络，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像分，别与所述掩膜图像进行点乘处理所得；将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。实施本申请，能够对目标图像的目标区域和其他区域进行不同程度的风格转换，降低对部分区域的结构破坏程度，提高图像转换质量。

Image processing method and apparatus

The invention discloses an image processing method and device, the method comprises: acquiring the target image to convert style as well as the style conversion reference reference image; image acquisition and mask corresponding to the target image, the target area of the target in the image and other regions in the corresponding region of the membrane mask in the image gray level parameters and 1 units, and two corresponding regional gray parameters; acquires the mask image and the corresponding style conversion network, the characteristics of various image features the image style conversion network by training style conversion model, and the mask image for the treatment of the point multiplication; the target image and the reference image are input to the style conversion network, the target image obtained after conversion of style. To implement this application, the target area and other regions of the target image can be changed to different degrees, and the structural damage degree of some areas can be reduced, and the quality of image conversion can be improved.

【技术实现步骤摘要】
图像处理方法及装置
本申请涉及计算机
，尤其涉及图像处理方法及装置。
技术介绍
随着相机、手机等具备照相功能的设备增多，人们日常生活中拍摄照片也更加频繁和方便。同时，随着社交平台的发展，越来越多的人喜欢通过照片在社交平台展示他们的日常生活。而拍照的人们可能并非专业的摄影人员，缺乏专业摄影技能，拍出的照片会存在曝光不足、色彩饱和度低等缺陷。对于人们日常生活中拍摄的照片，通过某些图像处理软件的风格转换处理功能，对同一照片进行整体统一的风格转换处理，可以克服照片本身存在的曝光不足、色彩饱和度低等缺陷，使得照片具有艺术照的效果。
技术实现思路
本申请提供图像处理方法及装置，能够对图像的不同区域进行不同程度的风格转换处理，降低对图像中部分区域的原有结构的破坏程度，提高图像处理质量。根据本申请实施例的第一方面，提供一种图像处理方法，包括以下步骤：获取需要转换风格的目标图像以及作为风格转换参照的参照图像；获取与所述目标图像对应的掩膜图像，其中，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同；获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得；将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。在一个实施例中，所述获取与所述目标图像对应的掩膜图像，包括：识别所述目标图像的目标区域；通过掩膜生成所述目标区域的第一掩膜，所述第一掩膜对应的灰度参数为α，α大于0且小于1；通过掩膜生成所述其他区域的第二掩膜，所述第二掩膜对应的灰度参数为1-α；对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像。在一个实施例中，所述对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像，包括：对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成；对合成后的图像进行高斯模糊，生成与所述目标图像对应的掩膜图像。在一个实施例中，所述方法还包括所述训练后的风格转换模型的训练步骤：从训练样本集中选取预设组数的训练图像，每组训练图像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图像；设置各组训练图像的训练次序，并选取出第一次序的一组训练图像；对选取出的每组训练图像执行如下迭代过程：将所述第一图像输入全卷积网络，获得所述第一图像的特征数据；将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络，获取所述卷积神经网络的各特征图像；将获取的各特征图像分别与所述第三图像进行点乘，生成优化后的特征图像；基于各优化后的特征图像，计算所述卷积神经网络的两个损失函数，生成对应该组训练图像的损失函数；调整所述全卷积网络和所述卷积神经网络的网络参数；根据设置的训练次序选取下一次序的一组训练图像，并返回执行上述迭代过程；当次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时，终止上述迭代过程，并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换模型。在一个实施例中，所述获取与所述掩膜图像对应的风格转换网络，包括：将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘，生成优化后的特征图像；基于优化后的特征图像，计算所述卷积神经网络的两个损失函数；将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数；将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。在一个实施例中，所述目标图像为人物图像，所述目标区域为人脸区域，所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。根据本申请实施例的第二方面，提供一种图像处理装置，包括：输入图像获取模块，用于获取需要转换风格的目标图像以及作为风格转换参照的参照图像；掩膜图像获取模块，用于获取与所述目标图像对应的掩膜图像，其中，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同；转换网络获取模块，用于获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得；图像风格转换模块，用于将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。在一个实施例中，所述掩膜图像获取模块包括：目标区域识别模块，用于识别所述目标图像的目标区域；第一掩膜模块，用于通过掩膜生成所述目标区域的第一掩膜，所述第一掩膜对应的灰度参数为α，α大于0且小于1；第二掩膜模块，用于通过掩膜生成所述其他区域的第二掩膜，所述第二掩膜对应的灰度参数为1-α；掩膜图像生成模块，用于对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像。在一个实施例中，所述掩膜图像生成模块包括：图像合成模块，用于对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成；高斯模糊模块，用于对合成后的图像进行高斯模糊，生成与所述目标图像对应的掩膜图像。在一个实施例中，所述装置还包括模型训练模块，所述模型训练模块包括：训练样本选取模块，用于从训练样本集中选取预设组数的训练图像，每组训练图像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图像；训练次序设置模块，用于设置各组训练图像的训练次序，并选取出第一次序的一组训练图像；迭代模块，用于对选取出的每组训练图像执行迭代过程；所述迭代模块还包括：特征数据获取模块，用于将所述第一图像输入全卷积网络，获得所述第一图像的特征数据；特征图像获取模块，用于将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络，获取所述卷积神经网络的各特征图像；点乘处理模块，用于获取的各特征图像分别与所述第三图像进行点乘，生成优化后的特征图像；损失函数生成模块，用于基于各优化后的特征图像，计算所述卷积神经网络的两个损失函数，生成对应该组训练图像的损失函数；网络参数调整模块，用于调整所述全卷积网络和所述卷积神经网络的网络参数；迭代返回模块，用于根据设置的训练次序选取下一次序的一组训练图像，并返回执行上述迭代过程；风格转换模型确定模块，用于在次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时，终止上述迭代过程，并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换模型。在一个实施例中，所述转换网络获取模块包括：优化特征生成模块，用于将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘，生成优化后的特征图像；损失函数计算模块，用于基于优化后的特征图像，计算所述卷积神经网络的两个损失函数；损失函数更新模块，用于将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数；转换网络确定模块，用于将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。在一个实施本文档来自技高网...

【技术保护点】
一种图像处理方法，其特征在于，包括以下步骤：获取需要转换风格的目标图像以及作为风格转换参照的参照图像；获取与所述目标图像对应的掩膜图像，其中，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同；获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得；将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括以下步骤：获取需要转换风格的目标图像以及作为风格转换参照的参照图像；获取与所述目标图像对应的掩膜图像，其中，所述目标图像内的目标区域以及其他区域，在所述掩膜图像内相应区域的灰度参数之和为单位1，且两个相应区域的灰度参数不同；获取与所述掩膜图像对应的风格转换网络，其中，所述风格转换网络的各特征图像由训练后的风格转换模型的各特征图像，分别与所述掩膜图像进行点乘处理所得；将所述目标图像和所述参照图像分别输入所述风格转换网络，获得风格转换后的目标图像。2.根据权利要求1所述的方法，其特征在于，所述获取与所述目标图像对应的掩膜图像，包括：识别所述目标图像的目标区域；通过掩膜生成所述目标区域的第一掩膜，所述第一掩膜对应的灰度参数为α，α大于0且小于1；通过掩膜生成所述其他区域的第二掩膜，所述第二掩膜对应的灰度参数为1-α；对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像。3.根据权利要求2所述的方法，其特征在于，所述对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成，生成与所述目标图像对应的掩膜图像，包括：对应两个区域在所述目标图像内的位置关系，对所述第一掩膜与所述第二掩膜进行图像合成；对合成后的图像进行高斯模糊，生成与所述目标图像对应的掩膜图像。4.根据权利要求1所述的方法，其特征在于，所述方法还包括所述训练后的风格转换模型的训练步骤：从训练样本集中选取预设组数的训练图像，每组训练图像包括需要转换风格的第一图像、作为风格转换参照的第二图像、以及作为所述第一图像对应的掩膜图像的第三图像；设置各组训练图像的训练次序，并选取出第一次序的一组训练图像；对选取出的每组训练图像执行如下迭代过程：将所述第一图像输入全卷积网络，获得所述第一图像的特征数据；将所述第一图像、所述第二图像以及获取的特征数据分别输入卷积神经网络，获取所述卷积神经网络的各特征图像；将获取的各特征图像分别与所述第三图像进行点乘，生成优化后的特征图像；基于各优化后的特征图像，计算所述卷积神经网络的两个损失函数，生成对应该组训练图像的损失函数；调整所述全卷积网络和所述卷积神经网络的网络参数；根据设置的训练次序选取下一次序的一组训练图像，并返回执行上述迭代过程；当次序相邻的两组训练图像的损失函数的差值满足预设的损失条件时，终止上述迭代过程，并确定所述迭代过程调整后的全卷积网络和卷积神经网络为训练后的风格转换模型。5.根据权利要求4所述的方法，其特征在于，所述获取与所述掩膜图像对应的风格转换网络，包括：将所述训练后的风格转换模型的各特征图像分别与所述掩膜图像进行点乘，生成优化后的特征图像；基于优化后的特征图像，计算所述卷积神经网络的两个损失函数；将计算所得的两个损失函数更新为所述训练后的风格转换模型的损失函数；将更新损失函数后的风格转换模型确定为与所述掩膜图像对应的风格转换网络。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述目标图像为人物图像，所述目标区域为人脸区域，所述目标区域在所述掩膜图像内对应区域的灰度参数大于0.5且小于1。7.一种图像处理装置，其特征在于，包括：输入图像获取模块，用于获取需要转换风格的目标图像以及作为风格转换参照的参照图像；掩膜图像获取模块，用于获取与所述目标图像对应的掩膜图像，其中，所述目...

【专利技术属性】
技术研发人员：许鹏，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：广东,44