图像处理方法、装置、存储介质和计算机设备制造方法及图纸

本发明专利技术涉及一种图像处理方法、装置、存储介质和计算机设备，包括：获取属于第一图像类别的待处理图像；将所述待处理图像输入第一阶段图像转化模型，得到第一中间图像；通过第二阶段图像转化模型将所述第一中间图像转化为第二中间图像；确定所述第二中间图像对应的第二权重矩阵；确定所述第一中间图像对应的第一权重矩阵；将所述第一中间图像、所述第二中间图像按照对应的第一权重矩阵、第二权重矩阵进行融合，得到与所述待处理图像对应、且属于第二图像类别的目标图像。本发明专利技术提供的方案提高了图像转化效果。

Image processing method, device, storage medium and computer equipment

The invention relates to an image processing method, a device, a storage medium and a computer device, which includes: obtaining an image to be treated as a first image category; input the processed image into the first stage image transformation model, and obtain the first intermediate image; the first intermediate image is used by the second phase image transformation model. It is converted into a second middle image; the second weight matrix corresponding to the second intermediate image is determined; the first weight matrix corresponding to the first intermediate image is determined; the first intermediate image and the second middle image are fused in accordance with the corresponding first weight matrix and the second weight matrix, and the pending process is obtained. The image corresponds to and belongs to the target image of the second image category. The scheme provided by this invention improves the image conversion effect.

【技术实现步骤摘要】
图像处理方法、装置、存储介质和计算机设备
本专利技术涉及计算机
，特别是涉及一种图像处理方法、装置、存储介质和计算机设备。
技术介绍
随着计算机技术的发展和图像处理技术的进步，基于图像的处理方式变得越来越多样。目前常用的图像处理技术如图像的特征转化处理，比如图像颜色特征转化、图像光影特征转化或者图像风格特征转化等。然而，传统的图像处理过程中，主要是通过基于纹理合成的方式，将目标特征的图像纹理扩散到待处理图像的图像区域，来实现图像特征转化处理。但在采用该方式处理时容易出现误匹配的情况，从而导致得到的图像产生失真。
技术实现思路
基于此，有必要针对目前处理得到的图像失真的问题，提供一种图像处理方法、装置、存储介质和计算机设备。一种图像处理方法，包括：获取属于第一图像类别的待处理图像；将所述待处理图像输入第一阶段图像转化模型，得到第一中间图像；通过第二阶段图像转化模型将所述第一中间图像转化为第二中间图像；确定所述第二中间图像对应的第二权重矩阵；确定所述第一中间图像对应的第一权重矩阵；将所述第一中间图像、所述第二中间图像按照对应的第一权重矩阵、第二权重矩阵进行融合，得到与所述待处理图像对应、且属于第二图像类别的目标图像。一种图像处理装置，包括：获取模块，用于获取属于第一图像类别的待处理图像；第一阶段转化模块，用于将所述待处理图像输入第一阶段图像转化模型，得到第一中间图像；第二阶段转化模块，用于通过第二阶段图像转化模型将所述第一中间图像转化为第二中间图像；确定模块，用于确定所述第二中间图像对应的第二权重矩阵；确定所述第一中间图像对应的第一权重矩阵；融合模块，用于将所述第一中间图像、所述第二中间图像按照对应的第一权重矩阵、第二权重矩阵进行融合，得到与所述待处理图像对应、且属于第二图像类别的目标图像。一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：获取属于第一图像类别的待处理图像；将所述待处理图像输入第一阶段图像转化模型，得到第一中间图像；通过第二阶段图像转化模型将所述第一中间图像转化为第二中间图像；确定所述第二中间图像对应的第二权重矩阵；确定所述第一中间图像对应的第一权重矩阵；将所述第一中间图像、所述第二中间图像按照对应的第一权重矩阵、第二权重矩阵进行融合，得到与所述待处理图像对应、且属于第二图像类别的目标图像。一种计算机设备，包括存储器和处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：获取属于第一图像类别的待处理图像；将所述待处理图像输入第一阶段图像转化模型，得到第一中间图像；通过第二阶段图像转化模型将所述第一中间图像转化为第二中间图像；确定所述第二中间图像对应的第二权重矩阵；确定所述第一中间图像对应的第一权重矩阵；将所述第一中间图像、所述第二中间图像按照对应的第一权重矩阵、第二权重矩阵进行融合，得到与所述待处理图像对应、且属于第二图像类别的目标图像。上述图像处理方法、装置、存储介质和计算机设备，在意图将属于第一图像类别的待处理图像转化为属于第二图像类别的图像时，自动将待处理图像依次经过第一阶段图像转化模型和第二阶段图像转化模型，并在分别确定两个阶段的模型的输出各自所对应的权重矩阵后，即根据相应的权重矩阵自适应融合两个模型的输出得到目标图像。这样待处理图像经过了多个阶段的模型处理，而且最终得到的目标图像融合了多个阶段模型的输出，能够极大程度上克服图像失真的问题，提高由待处理图像转化得到的目标图像的转化效果。附图说明图1为一个实施例中图像处理方法的流程示意图；图2为一个实施例中第一阶段图像转化模型的模型示意图；图3为一个实施例中图像处理过程的逻辑示意图；图4为一个实施例中训练第一阶段图像转化模型的逻辑示意图；图5为一个实施例中训练第二阶段图像转化模型的逻辑示意图；图6为一个实施例中图像转化前后的图像示意图；图7为一个实施例中图像处理装置的模块结构图；图8为另一个实施例中图像处理装置的模块结构图；图9为一个实施例中计算机设备的内部结构图；图10为另一个实施例中计算机设备的内部结构图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。图1为一个实施例中图像处理方法的流程示意图。本实施例主要以该方法应用于计算机设备来举例说明。参照图1，该图像处理方法具体包括如下步骤：S102，获取属于第一图像类别的待处理图像。其中，图像类别是图像所反映的图像特征所属的类别。图像特征具体可以是颜色特征、风格特征或者内容特征等。相应地，根据颜色特征分类得到的图像类别比如黑白图像类别或者彩色图像类别等；根据风格特征分类得到的图像类别比如素描图像类别或者油画图像类别等；根据内容特征分类得到的图像类别比如苹果图像类别或者橘子图像类别等。具体地，待处理图像是待进行图像类别转化的图像。其中，计算机设备可以是用户终端，用户终端可直接获取用户上传的属于某一图像类别的待处理图像，也可接受其他用户终端传递的属于某一图像类别的待处理图像。计算机设备也可以是服务器，服务器可接收用户终端上传的属于某一图像类别的待处理图像。S104，将待处理图像输入第一阶段图像转化模型，得到第一中间图像。其中，图像转化是指将一种图像类别的图像转化为另一种图像类别的图像。图像转化模型是经过训练后具有图像转化能力的机器学习模型。机器学习英文全称为MachineLearning，简称ML。该机器学习模型可采用神经网络模型，支持向量机(SupportVectorMachine，SVM)或者逻辑回归模型等。第一阶段图像转化模型用于将第一图像类别的图像初步转化为第二图像类别的图像。通过第一阶段图像转化模型转化得到的图像允许与意图转化为的第二图像类别的图像存在一定程度上的误差。可以理解，这里不对第一阶段图像转化模型的图像细节特征转化能力作限定，在图像整体特征上完成转化即可。具体地，计算机设备可事先根据属于第一图像类别的第一样本和属于第二图像类别的第二样本训练得到第一阶段图像转化模型。在本实施例中，第一阶段图像转化模型具体地可采用卷积神经网络模型。该卷积神经网络模型的结构具体可以是编码器-解码器结构。编码器可由多层卷积层构成，解码器则可由多层反卷积层构成。其中，编码器部分将输入图像转化为分辨率低但通道数目更多的特征图，该特征图可以看作是对原图像的一种编码。解码器部分则将特征图解码为第二图像类别的图像。举例说明，图2示出了一个实施例中第一阶段图像转化模型的模型示意图。参考图2，该第一阶段图像转化模型为编码器-解码器结构。编码器结构210包括三层卷积层211，解码器结构220包括三层反卷积层221。在一个实施例中，在训练第一阶段图像转化模型时，当属于第一图像类别的第一样本和属于第二图像类别的第二样本一一对应时，则将与第一样本对应的第二样本作为该第一样本的训练标签，从而根据第一样本和相应的训练标签有监督地训练得到第一阶段图像转化模型。在一个实施例中，在训练第一阶段图像转化模型时，当不存在与第一样本和对应的第二样本，也不存在与第二样本对本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：获取属于第一图像类别的待处理图像；将所述待处理图像输入第一阶段图像转化模型，得到第一中间图像；通过第二阶段图像转化模型将所述第一中间图像转化为第二中间图像；确定所述第二中间图像对应的第二权重矩阵；确定所述第一中间图像对应的第一权重矩阵；将所述第一中间图像、所述第二中间图像按照对应的第一权重矩阵、第二权重矩阵进行融合，得到与所述待处理图像对应、且属于第二图像类别的目标图像。

【技术特征摘要】
1.一种图像处理方法，包括：获取属于第一图像类别的待处理图像；将所述待处理图像输入第一阶段图像转化模型，得到第一中间图像；通过第二阶段图像转化模型将所述第一中间图像转化为第二中间图像；确定所述第二中间图像对应的第二权重矩阵；确定所述第一中间图像对应的第一权重矩阵；将所述第一中间图像、所述第二中间图像按照对应的第一权重矩阵、第二权重矩阵进行融合，得到与所述待处理图像对应、且属于第二图像类别的目标图像。2.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像输入第一阶段图像转化模型，得到第一中间图像，包括：对所述待处理图像进行下采样，得到图像尺寸缩小后的压缩图像；将所述压缩图像输入第一阶段图像转化模型，输出图像尺寸与所述压缩图像的图像尺寸相同的第一中间图像；所述通过第二阶段图像转化模型将所述第一中间图像转化为第二中间图像，包括：对所述第一中间图像进行上采样，得到图像尺寸与所述待处理图像的图像尺寸相同的放大图像；将所述放大图像输入第二阶段图像转化模型，输出图像尺寸与所述放大图像的图像尺寸相同的第二中间图像。3.根据权利要求1所述的方法，其特征在于，所述确定所述第二中间图像对应的第二权重矩阵，包括：将所述待处理图像、所述第一中间图像与所述第二中间图像共同输入第一权重预测模型，得到与所述第二中间图像对应的第二权重矩阵；所述确定所述第一中间图像对应的第一权重矩阵，包括：根据所述第二权重矩阵，得到与所述第一中间图像对应的第一权重矩阵；所述第一权重矩阵与所述第二权重矩阵之和为预设矩阵。4.根据权利要求3所述的方法，其特征在于，所述将所述第一中间图像、所述第二中间图像按照对应的第一权重矩阵、第二权重矩阵进行融合，得到与所述待处理图像对应、且属于第二图像类别的目标图像，包括：将所述第一中间图像的各像素值与所述第一权重矩阵的各矩阵元素按位相乘，得到属于第二图像类别的第一目标图像；将所述第二中间图像的各像素值与所述第二权重矩阵的各矩阵元素按位相乘，得到属于第二图像类别第二目标图像；根据所述第一目标图像与所述第二目标图像，得到与所述待处理图像对应、且属于第二图像类别的目标图像。5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：获取属于第一图像类别的第一样本和属于第二图像类别的第二样本；将所述第一样本依次经过所述第一阶段图像转化模型和第一阶段图像逆向转化模型，得到第一样本单阶段恢复图像；将所述第二样本依次经过所述第一阶段图像逆向转化模型和所述第一阶段图像转化模型，得到第二样本单阶段恢复图像；按照所述第一样本与所述第一样本单阶段恢复图像的差异，及所述第二样本与所述第二样本单阶段恢复图像的差异，调整所述第一阶段图像转化模型和所述第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：获取所述第一样本经过所述第一阶段图像转化模型后，由所述第一阶段图像转化模型输出的第一样本单阶段转化图像；获取所述第二样本经过所述第一阶段图像逆向转化模型后，由所述第一阶段图像逆向转化模型输出的第二样本单阶段转化图像；将所述第一样本和所述第二样本单阶段转化图像分别输入第一阶段图像逆向转化鉴别模型，分别得到所述第一样本的鉴别置信度和所述第二样本单阶段转化图像的鉴别置信度；将所述第二样本和所述第一样本单阶段转化图像分别输入第一阶段图像转化鉴别模型，分别得到所述第二样本的鉴别置信度和所述第一样本单阶段转化图像的鉴别置信度；所述按照所述第一样本与所述第一样本单阶段恢复图像的差异，及所述第二样本与所述第二样本单阶段恢复图像的差异，调整所述第一阶段图像转化模型和所述第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练，包括：按照最大化所述第一样本的鉴别置信度和所述第二样本的鉴别置信度的方向、最小化所述第二样本单阶段转化图像的鉴别置信度、所述第一样本单阶段转化图像的鉴别置信度、所述第一样本与所述第一样本单阶段恢复图像的差异，及所述第二样本与所述第二样本单阶段恢复图像的差异的方向，调整所述第一阶段图像转化鉴别模型、所述第一阶段图像逆向转化鉴别模型、所述第一阶段图像转化模型和所述第一阶段图像逆向转化模型，直至满足训练停止条件时结束训练。7.根据权利要求5所述的方法，其特征在于，所述方法还包括：将所述第一样本依次经过所述第一阶段图像转化模型和所述第二阶段图像转化模型，得到所述第一阶段图像转化模型输出的第一样本一阶转化图像，和所述第二阶段图像转化模型输出的第一样本二阶转化图像；根据所述第一样本一阶转化图像和所述第一样本二阶转化图像，得到与所述第一样本对应、且属于所述第二图像类别的第一样本转化图像；将所述第一样本转化图像依次经过所述第一阶段图像逆向转化模型和第二阶段图像逆向转化模型，得到所述第一阶段图像逆向转化模型输出的第一样本一阶恢复图像，和所述第二阶段图像逆向转化模型输出的第一样本二阶恢复图像；根据所述第一样本一阶恢复图像和所述第一样本二阶恢复图像，得到与所述第一样本对应、且属于所述第一图像类别的第一样本恢复图像；将所述第二样本依次经过所述第一阶段图像逆向转化模型和所述第二阶段图像逆向转化模型，得到所述第一阶段图像逆向转化模型输出的第二样本一阶转化图像，和所述第二阶段图像逆向转化模型输出的第二样本二阶转化图像；根据所述第二样本一阶转化图像和所述第二样本二阶转化图像，得到与所述第二样本对应、且属于所述第一图像类别的第二样本转化图像；将所述第二样本转化图像依次经过所述第一阶段图像转化模型和第二阶段图像转化模型，得到所述第一阶段图像转化模型输出的第二样本一阶恢复图像，和所述第二阶段图像转化模型输出的第二样本二阶恢复图像；根据所述第二样本一阶恢复图像和所述第二样本二阶恢复图像，得到与所述第二样本对应、且属于所述第二图像类别的第二样本恢复图像；按照所述第一样本与所述第一样本恢复图像的差异，及所述第二样本与所述第二样本恢复图像的差异，调整所述第二阶段图像转化模型和所述第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：将所述第一样本和所述第二样本转化图像分别输入第二阶段图像逆向转化鉴别模型，分别得到所述第一样本的鉴别置信度和所述第二样本转化图像的鉴别置信度；将所述第二样本和所述第一样本转化图像分别输入第二阶段图像转化鉴别模型，分别得到所述第二样本的鉴别置信度和所述第一样本转化图像的鉴别置信度；所述按照所述第一样本与所述第一样本恢复图像的差异，及所述第二样本与所述第二样本恢复图像的差异，调整所述第二阶段图像转化模型和所述第二阶段图像逆向转化模型，直至满足训练停止条件时结束训练，包括：按照最大化所述第一样本的鉴别置信度和所述第二样本的鉴别置信度的方向、最小化所述第二样本转化图像的鉴别置信度、所述第一样本转化图像的鉴别置信度、所述第一样本与所述第一样本恢复图像的差异，及所述第二样本与所述第二样本恢复...

【专利技术属性】
技术研发人员：李旻骏，黄浩智，马林，刘威，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44