图像处理方法、装置及电子设备制造方法及图纸

本申请公开了一种图像处理方法、装置及电子设备，属于图像处理技术领域。该方法包括：对目标图像进行场景分割，获取所述目标图像包含的各个场景；根据所述目标图像包含的各个场景对应的场景权重，生成第一权重图；将所述目标图像以及所述第一权重图输入至目标网络模型中，以生成目标高分辨率图像；其中，所述目标图像为待处理的低分辨率图像。

【技术实现步骤摘要】
图像处理方法、装置及电子设备
本申请属于图像处理
，具体涉及一种图像处理方法、装置及电子设备。
技术介绍
训练深度学习网络模型需要构造样本图像。常见的构造方法有采集和退化两种。其中，通过退化的方法构造样本图像需要采集高分辨率图像，然后对图像进行退化操作，生成低分辨率图像。由于每次训练均采用相同的退化模型，所以生成的图像的噪声分布及模糊程度都在一个固定水平，使得深度学习网络模型只能处理噪声分布及模糊程度都在该固定水平以下的低分辨率图像。在图像的噪声分布或模糊程度超出上述固定水平的情况下，深度学习网络模型输出的高分辨率图像的效果就会较差。
技术实现思路
本申请实施例的目的是提供一种图像处理方法、装置及电子设备，能够解决退化模型训练的网络模型生成的图像效果较差的问题。第一方面，本申请实施例提供了一种图像处理方法，该方法包括：对目标图像进行场景分割，获取所述目标图像包含的各个场景；根据所述目标图像包含的各个场景对应的场景权重，生成第一权重图；将所述目标图像以及所述第一权重图输入至目标网络模型中，以生成目标高分辨率图像；其中，所述目标图像为待处理的低分辨率图像。第二方面，本申请实施例提供了一种图像处理的装置，该装置包括：获取模块，用于对目标图像进行场景分割，获取所述目标图像包含的各个场景；权重图生成模块，用于根据所述目标图像包含的各个场景对应的场景权重，生成第一权重图；生成模块，用于将所述目标图像以及所述第一权重图输入至目标网络模型中，以生成目标高分辨率图像；其中，所述目标图像为待处理的低分辨率图像。第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法的步骤。本申请实施例提供的图像处理方法、装置及电子设备，通过在退化模型中引入场景分割，并给不同场景赋予场景权重，以引导目标网络模型生成不同强弱细节的图像，从而能够提高生成的图像的效果。附图说明图1是根据本申请实施例的图像处理方法的流程示意图；图2是根据本申请实施例的图像处理方法的模型训练流程示意图；图3是根据本申请实施例提供的图像处理装置的模块框图；图4是根据本申请实施例的电子设备的结构示意图；图5是实现本申请实施例的一种电子设备的硬件结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法、装置及电子设备进行详细地说明。图1为本申请实施例提供的图像处理方法的流程示意图。参照图1，本申请实施例提供一种图像处理方法，可以包括：步骤110、对目标图像进行场景分割，获取所述目标图像包含的各个场景；步骤120、根据目标图像包含的各个场景对应的场景权重，生成第一权重图；步骤130、将目标图像以及第一权重图输入至目标网络模型中，以生成目标高分辨率图像；其中，所述目标图像为待处理的低分辨率图像。需要说明的是，本申请实施例提供的图像处理方法的执行主体可以是智能电子设备，例如手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobilepersonalcomputer，UMPC)、上网本或者个人数字助理(personaldigitalassistant，PDA)等。下面以计算机作为执行主体实现本申请实施例提供的图像处理方法为例，详细说明本申请的技术方案。可选地，在步骤110中，计算机可以采用深度学习算法来设计一个分割网络，再通过该分割网络对目标图像进行场景分割，以得到目标图像中包含的各个场景。场景可以包括，例如天空、绿植、建筑、人像、电子屏、水面、花卉等。场景的类型可以根据实际需要确定，本申请实施例对此不作具体限定。可选地，目标图像可以是通过拍摄装置拍摄的图像，也可以是下载的图像，还可以是其他终端发送的图像，本申请实施例不作具体限定。。可选地，在步骤120中，计算机可以对目标图像包含的各个场景赋予对应的场景权重。由于不同场景的细节不同，因此不同的场景对应有不同的权重。例如：天空区域细节比较少，即对应赋予的场景权重较小，生成的目标图像中天空的细节将会弱化；而绿植属于纹理比较强的场景，即对应赋予的场景权重较大，生成的目标图像中绿植的细节将会强化。在对目标图像包含的各个场景赋予对应的场景权重后，即可根据目标图像包含的各个场景对应的场景权重，生成第一权重图。其中，第一权重图可以以例如向量的形式，来表征目标图像包含的各个场景，以及各个场景对应的场景权重。可选地，在步骤130中，目标网络模型可以将第一权重图与目标图像进行链接，从而使第一权重图作为引导图，来引导目标网络模型在进行网络推理时对目标图像包含的各个场景赋予对应的场景权重，从而生成目标高分辨率图像。其中，目标图像可以为待处理的低分辨率图像。目标网络模型可以为例如超分网络、基于GAN(GenerativeAdversarialNetwork，生成式对抗网络)框架的网络等。本申请实施例提供的图像处理方法，通过在退化模型中引入场景分割，并给不同场景赋予场景权重，以引导目标网络模型生成不同强弱细节的图像，从而能够提高图像效果。在一个实施例中，在步骤110之前，本申请实施例提供的图像处理方法，还可以包括：步骤101、对高分辨率图像进行场景分割，获取高分辨率图像包含的各个场景；步骤102、根据高分辨率图像包含的各个场景对应的场景权重，确定第二权重图；步骤103、基于第二权重图对高分辨率图像进行数据退化，生成低分辨率图像；步骤104、将本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n对目标图像进行场景分割，获取所述目标图像包含的各个场景；/n根据所述目标图像包含的各个场景对应的场景权重，生成第一权重图；/n将所述目标图像以及所述第一权重图输入至目标网络模型中，以生成目标高分辨率图像；/n其中，所述目标图像为待处理的低分辨率图像。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
对目标图像进行场景分割，获取所述目标图像包含的各个场景；
根据所述目标图像包含的各个场景对应的场景权重，生成第一权重图；
将所述目标图像以及所述第一权重图输入至目标网络模型中，以生成目标高分辨率图像；
其中，所述目标图像为待处理的低分辨率图像。


2.根据权利要求1所述的图像处理方法，其特征在于，所述对目标图像进行场景分割之前，还包括：
对高分辨率图像进行场景分割，获取所述高分辨率图像包含的各个场景；
根据所述高分辨率图像包含的各个场景对应的场景权重，确定第二权重图；
基于所述第二权重图对所述高分辨率图像进行数据退化，生成低分辨率图像；
将所述低分辨率图像以及所述第二权重图输入至初始网络模型中进行训练，得到所述目标网络模型。


3.根据权利要求1或2所述的图像处理方法，其特征在于，所述场景权重包括以下任一项：
预设的场景权重；
根据预设方式确定的场景权重；
其中，根据预设方式确定的场景权重，包括：
获取多个样本图像的特征参数的第一平均值，以及所述多个样本图像所包含的各个场景的特征参数的第二平均值；
根据所述第二平均值与所述第一平均值的比值，确定各个场景对应的场景权重；
其中，所述样本图像为历史采集图像；所述特征参数包括以下至少一项：噪声水平、亮度和清晰度。


4.根据权利要求3所述的图像处理方法，其特征在于，还包括：
在第一场景对应的场景权重与第二场景对应的场景权重之差超过预设阈值的情况下，沿着所述第一场景与所述第二场景的连接处设置过渡带；
其中，所述过渡带对应的场景权重为所述第一场景对应的场景权重与所述第二场景对应的场景权重的平均值；
所述第一场景与所述第二场景相邻。


5.根据权利要求4所述的图像处理方法，其特征在于，所述基于所述第二权重图对所述高分辨率图像进行数据退化，包括：
将所述第二权重图与所述高分辨率图像进行融合，...

【专利技术属性】
技术研发人员：吴仆，
申请(专利权)人：艾酷软件技术上海有限公司，
类型：发明
国别省市：上海;31