图像处理方法、目标模型的训练方法、相关装置及电子设备制造方法及图纸

本申请公开了一种图像处理方法、目标模型的训练方法、相关装置及电子设备，属于人工智能技术领域。该方法包括：获取第一图像和第二图像，所述第一图像的分辨率小于所述第二图像的分辨率，所述第一图像包括第一图像内容，所述第二图像用于表征所述第一图像内容的纹理信息；基于目标模型，对所述第一图像和所述第二图像进行特征处理，得到所述第一图像的第一特征图像和所述第二图像的第二特征图像；将所述第一特征图像和所述第二特征图像进行融合，得到第一目标特征图像；对所述第一目标特征图像进行数据排列变换，得到第三图像，所述第三图像包括所述第一图像内容，所述第三图像的分辨率与所述第二图像的分辨率相同。辨率与所述第二图像的分辨率相同。辨率与所述第二图像的分辨率相同。

【技术实现步骤摘要】
图像处理方法、目标模型的训练方法、相关装置及电子设备


[0001]本申请属于人工智能
，具体涉及一种图像处理方法、目标模型的训练方法、相关装置及电子设备。

技术介绍

[0002]随着电子设备的快速发展，越来越多的应用如游戏应用部署在电子设备如手机上，且对于应用的运行，其显示的画面逐步趋向于高帧率、高画质。
[0003]目前，为了避免实时渲染高分辨率图像容易导致的图形处理器(Graphics Processing Unit，GPU)功耗负载严重的问题，通常是基于GPU直接渲染低分辨率图像，之后对低分辨率图像进行超分，然而，这种超分方式生成的高分辨率图像质量比较差。

技术实现思路

[0004]本申请实施例的目的是提供一种图像处理方法、目标模型的训练方法、相关装置及电子设备，能够解决对低分辨率图像进行图像超分所生成的高分辨率图像质量比较差的问题。
[0005]第一方面，本申请实施例提供了一种图像处理方法，该方法包括：
[0006]获取第一图像和第二图像，所述第一图像的分辨率小于所述第二图像的分辨率，所述第一图像包括第一图像内容，所述第二图像用于表征所述第一图像内容的纹理信息；
[0007]基于目标模型，对所述第一图像和所述第二图像进行特征处理，得到所述第一图像的第一特征图像和所述第二图像的第二特征图像；
[0008]将所述第一特征图像和所述第二特征图像进行融合，得到第一目标特征图像；
[0009]对所述第一目标特征图像进行数据排列变换，得到第三图像，所述第三图像包括所述第一图像内容，所述第三图像的分辨率与所述第二图像的分辨率相同。
[0010]第二方面，本申请实施例提供了一种目标模型的训练方法，该方法包括：
[0011]获取训练样本数据，所述训练样本数据包括第四图像、第五图像和目标图像，所述第四图像的分辨率小于所述第五图像的分辨率，所述目标图像的分辨率与所述第五图像的分辨率相同，所述第四图像和所述目标图像均包括第二图像内容，所述第五图像用于表征所述第二图像内容的纹理信息；
[0012]对所述第四图像和所述第五图像进行特征处理，得到所述第四图像的第六特征图像和所述第五图像的第七特征图像；将所述第六特征图像和所述第七特征图像进行融合，得到第二目标特征图像；对所述第二目标特征图像进行数据排列变换，得到第六图像；
[0013]基于所述第六图像和所述目标图像，确定目标模型的网络损失值；
[0014]基于所述网络损失值，更新所述目标模型中的网络参数。
[0015]第三方面，本申请实施例提供了一种图像处理装置，该装置包括：
[0016]第一获取模块，用于获取第一图像和第二图像，所述第一图像的分辨率小于所述第二图像的分辨率，所述第一图像包括第一图像内容，所述第二图像用于表征所述第一图
像内容的纹理信息；
[0017]第一特征处理模块，用于基于目标模型对所述第一图像和所述第二图像进行特征处理，得到所述第一图像的第一特征图像和所述第二图像的第二特征图像；
[0018]第一融合模块，用于将所述第一特征图像和所述第二特征图像进行融合，得到第一目标特征图像；
[0019]第一数据排列变换模块，用于对所述第一目标特征图像进行数据排列变换，得到第三图像，所述第三图像包括所述第一图像内容，所述第三图像的分辨率与所述第二图像的分辨率相同。
[0020]第四方面，本申请实施例提供了一种目标模型的训练装置，该装置包括：
[0021]第二获取模块，用于获取训练样本数据，所述训练样本数据包括第四图像、第五图像和目标图像，所述第四图像的分辨率小于所述第五图像的分辨率，所述目标图像的分辨率与所述第五图像的分辨率相同，所述第四图像和所述目标图像均包括第二图像内容，所述第五图像用于表征所述第二图像内容的纹理信息；
[0022]第二特征处理模块，用于对所述第四图像和所述第五图像进行特征处理，得到所述第四图像的第六特征图像和所述第五图像的第七特征图像；
[0023]第二融合模块，用于将所述第六特征图像和所述第七特征图像进行融合，得到第二目标特征图像；
[0024]第二数据排列变换模块，用于对所述第二目标特征图像进行数据排列变换，得到第六图像；
[0025]确定模块，用于基于所述第六图像和所述目标图像，确定目标模型的网络损失值；
[0026]更新模块，用于基于所述网络损失值，更新所述目标模型中的网络参数。
[0027]第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的图像处理方法的步骤，或者如第二方面所述的目标模型的训练方法的步骤。
[0028]第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的图像处理方法的步骤，或者如第二方面所述的目标模型的训练方法的步骤。
[0029]第七方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的图像处理方法的步骤，或者如第二方面所述的目标模型的训练方法的步骤。
[0030]在本申请实施例中，通过获取第一图像和第二图像，所述第一图像的分辨率小于所述第二图像的分辨率，所述第一图像包括第一图像内容，所述第二图像用于表征所述第一图像内容的纹理信息；基于目标模型，对所述第一图像和所述第二图像进行特征处理，得到所述第一图像的第一特征图像和所述第二图像的第二特征图像；将所述第一特征图像和所述第二特征图像进行融合，得到第一目标特征图像；对所述第一目标特征图像进行数据排列变换，得到第三图像，所述第三图像包括所述第一图像内容，所述第三图像的分辨率与所述第二图像的分辨率相同。如此，基于目标模型，将高分辨率纹理图像作为辅助输入，对低分辨率图像即第一图像进行图像处理，得到具有与低分辨率图像相同图像内容的高分辨
率图像即第三图像，以实现对低分辨率图像的超分，这样可以在避免全图渲染导致高功耗的同时，有利于目标模型对纹理特征进行精炼，使得目标模型可以输出丰富细腻的细节表达，从而可以提高所生成的高分辨率图像的质量。
附图说明
[0031]图1是本申请实施例提供的图像处理方法的流程图；
[0032]图2是数据排列变换的过程示意图；
[0033]图3是一示例的目标模型的结构示意图；
[0034]图4是本申请实施例提供的目标模型的训练方法的流程图；
[0035]图5是本申请实施例提供的图像处理装置的结构图；
[0036]图6是本申请实施例提供的目标模型的训练装置的结构图；
[0037]图7是本申请实施例提供的电子设备的结构图；
[0038]图8为实现本申请实施例的一种电子设备的硬件结构示意图。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取第一图像和第二图像，所述第一图像的分辨率小于所述第二图像的分辨率，所述第一图像包括第一图像内容，所述第二图像用于表征所述第一图像内容的纹理信息；基于目标模型，对所述第一图像和所述第二图像进行特征处理，得到所述第一图像的第一特征图像和所述第二图像的第二特征图像；将所述第一特征图像和所述第二特征图像进行融合，得到第一目标特征图像；对所述第一目标特征图像进行数据排列变换，得到第三图像，所述第三图像包括所述第一图像内容，所述第三图像的分辨率与所述第二图像的分辨率相同。2.根据权利要求1所述的方法，其特征在于，对所述第一图像和所述第二图像进行特征处理，得到所述第一图像的第一特征图像，包括：对所述第一图像进行第一特征提取，得到第三特征图像，所述第三特征图像包括从所述第一图像中提取到的特征数据；对所述第二图像进行第二特征提取，得到第四特征图像，所述第四特征图像包括从所述第二图像中提取到的特征数据；将所述第三特征图像和所述第四特征图像进行融合，得到第五特征图像；对所述第五特征图像进行特征处理，得到所述第一特征图像。3.根据权利要求2所述的方法，其特征在于，所述第四特征图像的通道数为所述第三特征图像的通道数的M倍，M小于1；所述将所述第三特征图像和所述第四特征图像进行融合，得到第五特征图像，包括：对所述第四特征图像进行尺寸调整，得到调整后的第四特征图像，所述调整后的第四特征图像的尺寸与所述第三特征图像的尺寸相同；将所述第三特征图像和所述调整后的第四特征图像进行通道维度上的数据相加处理，得到所述第五特征图像。4.一种目标模型的训练方法，其特征在于，所述方法包括：获取训练样本数据，所述训练样本数据包括第四图像、第五图像和目标图像，所述第四图像的分辨率小于所述第五图像的分辨率，所述目标图像的分辨率与所述第五图像的分辨率相同，所述第四图像和所述目标图像均包括第二图像内容，所述第五图像用于表征所述第二图像内容的纹理信息；对所述第四图像和所述第五图像进行特征处理，得到所述第四图像的第六特征图像和所述第五图像的第七特征图像；将所述第六特征图像和所述第七特征图像进行融合，得到第二目标特征图像；对所述第二目标特征图像进行数据排列变换，得到第六图像；基于所述第六图像和所述目标图像，确定目标模型的网络损失值；基于所述网络损失值，更新所述目标模型中的网络参数。5.根据权利要求4所述的方法，其特征在于，所述目标模型包括第一分支网络和第二分支网络，所述第一分支网络用于对所述第四图像和所述第五图像进行特征处理，得到所述第四图像的第六特征图像，所述第二分支网络用于对所述第五图像进行特征处理，得到所述第五图像的第七特征图像；所述对所述第四图像和所述第五图像进行特征处理，得到所述第四图像的第六特征图像，包括：
对所述第四图像进行第一特征提取，得到第八特征图像；对所述第五图像进行第二特征提取得到，得到第九特征图像；将所述第八特征图像和所述第九特征图像进行融合，得到第十特征图像；对所述第十特征图像进行特征处理，得到所述第六特征图像。6.根据权利要求4所述的方法，其特征在于，所述基于所述第六图像和所述目标图像，确定目标模型的网络损失值，包括：基于所述第六图像进行像素值的方差统计，得到第一方差信息，以及基于所述目标图像进行像素值的所述方差统计，得到第二方差信息；将所述第一方差信息和所述第二方差信息进行比对，得到第一损失值；将所述第六图像与所述目标图像进行比对，得到第二损失值；将所述第一损失值和所述第二损失值进行聚合，得到所述网络损失值。7.根据权利要求6所述的方法，其特征在于，所述基于所述第六图像进行像素值的方差统计，得到第一方差信息，包括：对所述第六图像中的像素值进行方差计算，得到目标方差值；将所述第六图像按照预设大小进行分块，得到图像块；对所述图像块中的像素值进行方差计算，得到局部方差图；将所述目标方差值与所述局部方差图进行相乘处理，得到所述第一方差信息。8.一种图像处理装置，其特征在于，所述装置包括：第一获取模块，用于获取第一图像和第二图像，所述第一图像的分辨率小于所述第二图像的分辨率，所述第一图像包括第一图像内容，所述第二图像用于表征所述第一图像内容的纹理信息；第一特征处理模块，用于基于目标模型对所述第一图像和所述第二图像进行特征处理，得到所述第一图像的第一特征图像和所述第二图像的第二特征图像；第一融合模块，用于将所述第一特征图像和所述第二...

【专利技术属性】
技术研发人员：黄敏敏，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：