图像处理方法、装置、电子设备和计算机可读存储介质制造方法及图纸

本申请涉及一种图像处理方法、装置、电子设备和存储介质。所述方法包括：获取目标变焦倍率，在目标变焦倍率处于第一变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理得到第一目标图像；在目标变焦倍率属于预设变焦倍率集合的情况下，确定目标变焦倍率对应的第一超分模型，通过第一超分模型采用单帧超分方式以及通过多帧融合方式，对各帧待处理图像进行变焦处理得到第二目标图像；各个超分模型是经过联合量化感知得到的；在目标变焦倍率处于第二变焦倍率范围内的情况下，通过多帧融合方式、单帧超分方式和插值处理方式对各帧待处理图像进行变焦处理得到第三目标图像。采用本方法能够灵活实现不同焦段下的变焦处理。变焦处理。变焦处理。

【技术实现步骤摘要】
图像处理方法、装置、电子设备和计算机可读存储介质


[0001]本申请涉及计算机
，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。

技术介绍

[0002]手机拍照的变焦功能一般包括光学变焦、混合变焦和数码变焦这三种处理方式。根据焦段的不同,可以选择不同的变焦方式进行处理。然而，传统变焦方式所能够支持的变焦倍数有限，处理方式不灵活。

技术实现思路

[0003]本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，可以灵活实现不同焦段下的变焦处理。
[0004]第一方面，本申请提供了一种图像处理方法，包括：
[0005]获取目标变焦倍率，在所述目标变焦倍率处于第一变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理，得到在所述目标变焦倍率下的第一目标图像；
[0006]在所述目标变焦倍率属于预设变焦倍率集合的情况下，从所述预设变焦倍率集合中各个预设变焦倍率对应的超分模型中确定所述目标变焦倍率对应的第一超分模型，通过所述第一超分模型采用单帧超分方式以及通过所述多帧融合方式，对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第二目标图像；所述预设变焦倍率为所述第一变焦倍率范围的上限倍率的整数倍，各个所述预设变焦倍率对应的超分模型是经过联合量化感知得到的；
[0007]在所述目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过所述多帧融合方式、所述单帧超分方式和插值处理方式对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第三目标图像。
[0008]第二方面，本申请还提供了一种图像处理装置，包括：
[0009]获取模块，用于获取目标变焦倍率；
[0010]第一变焦模块，用于在所述目标变焦倍率处于预设变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理，得到在所述目标变焦倍率下的第一目标图像；
[0011]第二变焦模块，用于在所述目标变焦倍率属于预设变焦倍率集合的情况下，从所述预设变焦倍率集合中各个预设变焦倍率对应的超分模型中确定所述目标变焦倍率对应的第一超分模型，通过所述第一超分模型采用单帧超分方式以及通过所述多帧融合方式，对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第二目标图像；所述预设变焦倍率为所述第一变焦倍率范围的上限倍率的整数倍，各个所述预设变焦倍率对应的超分模型是经过联合量化感知得到的；
[0012]第三变焦模块，用于在所述目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过所述多帧融合方式、所述单帧超分方式和插值处理方式对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第三目标图像。
[0013]第三方面，本申请还提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如第一方面所提供的图像处理方法的步骤。
[0014]第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
[0015]上述图像处理方法、装置、电子设备、计算机可读存储介质，在目标变焦倍率处于第一变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理，能够快速生成在目标变焦倍率下的第一目标图像。在目标变焦倍率属于预设变焦倍率集合的情况下，从预设变焦倍率集合中各个预设变焦倍率对应的超分模型中确定所述目标变焦倍率对应的第一超分模型，通过第一超分模型采用单帧超分方式以及通过多帧融合方式对各帧待处理图像进行变焦处理，能够增加图像的细节，减少图像画质的损失，从而得到在目标变焦倍率下的第二目标图像，预设变焦倍率为第一变焦倍率范围的上限倍率的整数倍。并且，各个预设变焦倍率对应的超分模型是经过联合量化感知得到的，则各个超分模型可以基于相同标准下的参数对待处理图像进行处理，从而得到更准确的第二目标图像。在目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过多帧融合方式、单帧超分方式和插值处理方式对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第三目标图像，根据目标变焦倍率所属的预设变焦倍率，既可以灵活选择多帧融合方式、单帧超分方式、插值处理方式及其组合方式执行不同焦段下的变焦处理，又能够有效降低每个焦段下的图像画质的损失。
附图说明
[0016]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为一个实施例中图像处理方法的应用环境图；
[0018]图2为一个实施例中图像处理方法的流程图；
[0019]图3为一个实施例中对单个预设变焦倍率对应的超分模型进行量化感知的流程示意图；
[0020]图4为一个实施例中得到所有超分模型对应的目标损失值的示意图；
[0021]图5为一个实施例中得到第二目标图像的示意图；
[0022]图6为一个实施例中将各第二超分模型插值出目标变焦倍率对应的第三超分模型的示意图；
[0023]图7为一个实施例中通过多帧融合方式对各帧待处理图像进行变焦处理的流程示意图；
[0024]图8为一个实施例中计算单应性矩阵的流程示意图；
[0025]图9为另一个实施例中图像处理方法的流程图；
[0026]图10为一个实施例中图像处理装置的结构框图；
[0027]图11为一个实施例中电子设备的内部结构示意图。
具体实施方式
[0028]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0029]可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一目标图像称为第二目标图像，且类似地，可将第二目标图像称为第一目标图像。第一目标图像和第二目标图像两者都是目标图像，但其不是同一目标图像。
[0030]图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备110和服务器120。电子设备110获取目标变焦倍率和各帧待处理图像，将目标倍率和各帧待处理图像发送给服务器120。在目标变焦倍率处于第一变焦倍率范围的情况下，服务器120通过多帧融合方式对各帧待处理图像进行变焦处理，得到在目标变焦倍率下的第一目标图像。服务器120将第一目标图像返回至终端110。在目标变焦倍率属于第二预设变焦倍率的情况下，服务器120本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取目标变焦倍率，在所述目标变焦倍率处于第一变焦倍率范围内的情况下，通过多帧融合方式对各帧待处理图像进行变焦处理，得到在所述目标变焦倍率下的第一目标图像；在所述目标变焦倍率属于预设变焦倍率集合的情况下，从所述预设变焦倍率集合中各个预设变焦倍率对应的超分模型中确定所述目标变焦倍率对应的第一超分模型，通过所述第一超分模型采用单帧超分方式以及通过所述多帧融合方式，对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第二目标图像；所述预设变焦倍率为所述第一变焦倍率范围的上限倍率的整数倍，各个所述预设变焦倍率对应的超分模型是经过联合量化感知得到的；在所述目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过所述多帧融合方式、所述单帧超分方式和插值处理方式对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第三目标图像。2.根据权利要求1所述的方法，其特征在于，各个所述预设变焦倍率对应的超分模型的联合量化感知方式，包括：分别对每个所述预设变焦倍率对应的超分模型进行量化感知，得到所有超分模型对应的目标损失值；根据所述目标损失值对各个所述预设变焦倍率对应的超分模型进行训练，直到满足训练截止条件，得到训练完成的各个超分模型。3.根据权利要求2所述的方法，其特征在于，所述分别对每个所述预设变焦倍率对应的超分模型进行量化感知，得到所有超分模型对应的目标损失值，包括：在对每个所述预设变焦倍率对应的超分模型进行量化感知的过程中，通过设置的伪量化节点，统计流经所述伪量化节点的最大值和最小值；基于各个最大值确定所述最大值的方差，基于各个最小值确定所述最小值的方差；基于所述最大值的方差和所述最小值的方差，确定所有超分模型对应的目标损失值。4.根据权利要求1所述的方法，其特征在于，所述通过所述第一超分模型采用单帧超分方式以及通过所述多帧融合方式，对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第二目标图像，包括：通过所述多帧融合方式对各帧所述待处理图像进行变焦处理，得到第一倍率图像；所述第一倍率图像为所述第一变焦倍率范围的上限倍率所对应的图像；通过所述第一超分模型采用单帧超分方式对所述第一倍率图像进行变焦处理，得到在所述目标变焦倍率下的第二目标图像。5.根据权利要求4所述的方法，其特征在于，所述通过所述第一超分模型采用单帧超分方式对所述第一倍率图像进行变焦处理，得到在所述目标变焦倍率下的第二目标图像，包括：通过所述第一超分模型将所述第一倍率图像放大至所述目标变焦倍率，得到目标倍率图像；对所述目标倍率图像进行特征提取，得到低级特征图；对所述低级特征图进行特征转换，得到高级特征图；
将各个高级特征图进行融合处理，得到在所述目标变焦倍率下的第二目标图像。6.根据权利要求1所述的方法，其特征在于，所述在所述目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，通过所述多帧融合方式、所述单帧超分方式和插值处理方式对各帧所述待处理图像进行变焦处理，得到在所述目标变焦倍率下的第三目标图像，包括：在所述目标变焦倍率处于两个相邻的预设变焦倍率之间的第二变焦倍率范围内的情况下，获取所述两个相邻的预设变焦倍率分别对应的第二超分模型；各个所述预设变焦倍率对应的超分模型是经过联合量化感知得到的；采用插值处理方式，将各所述第二超分模型插值出所述目标变焦倍率对应的第三...

【专利技术属性】
技术研发人员：成凯华，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：