图像处理方法、装置、设备以及存储介质制造方法及图纸

本申请实施例公开了一种图像处理方法、装置、设备以及存储介质，可适用于人工智能领域，该方法包括：确定待处理图像帧在当前分辨率和目标分辨率下的场景特征信息；基于待处理图像帧在当前分辨率下的场景特征信息，确定待处理图像帧在当前分辨率下的光照特征，基于待处理图像帧在目标分辨率下的场景特征信息确定待处理图像帧在目标分辨率下的纹理特征；基于待处理图像帧在当前分辨率下的场景特征信息和光照特征确定待处理图像帧在目标分辨率下的光照特征；基于待处理图像帧在目标分辨率下的纹理特征和光照特征，确定待处理图像帧在目标分辨率下的目标图像帧。采用本申请实施例，可提升超分辨率重建效率以及得到的目标图像帧的图像质量，适用性高。适用性高。适用性高。

【技术实现步骤摘要】
图像处理方法、装置、设备以及存储介质


[0001]本申请涉及人工智能领域，尤其涉及一种图像处理方法、装置、设备以及存储介质。

技术介绍

[0002]随着图像处理技术的发展，由于高分辨率的图像往往能够更清晰准确的反应图像中的信息，因此用于提升图像分辨率的超分辨率重建技术应运而生。
[0003]超分辨率重建旨在对低分辨率图像进行修复，使图像包含更多的细节信息，以提高图像的分辨率。目前，现有技术虽然能在一定程度上提升图像的分辨率，但是普遍效率低下，并且得到的高分辨率图像的图像质量(如纹理细节)等还存在相当大的提升空间。
[0004]因此，如何提升超分辨率重建效率以及得到的图像质量更高的高分辨率图像成为亟需解决的问题。

技术实现思路

[0005]本申请实施例提供一种图像处理方法、装置、设备以及存储介质，可提升超分辨率重建效率以及得到的目标图像帧的图像质量，适用性高。
[0006]一方面，本申请实施例提供一种图像处理方法，该方法包括：
[0007]确定待处理图像帧在当前分辨率和目标分辨率下的场景特征信息；
[0008]基于上述待处理图像帧在当前分辨率下的场景特征信息，确定上述待处理图像帧在当前分辨率下的光照特征，基于上述待处理图像帧在目标分辨率下的场景特征信息，确定上述待处理图像帧在目标分辨率下的纹理特征；
[0009]基于上述待处理图像帧在当前分辨率下的场景特征信息和光照特征，确定上述待处理图像帧在目标分辨率下的光照特征；
[0010]基于上述待处理图像帧在目标分辨率下的纹理特征和光照特征，确定上述待处理图像帧在目标分辨率下的目标图像帧。
[0011]另一方面，本申请实施例提供了一种图像处理装置，该装置包括：
[0012]信息确定模块，用于确定待处理图像帧在当前分辨率和目标分辨率下的场景特征信息；
[0013]特征处理模块，用于基于上述待处理图像帧在当前分辨率下的场景特征信息，确定上述待处理图像帧在当前分辨率下的光照特征，基于上述待处理图像帧在目标分辨率下的场景特征信息，确定上述待处理图像帧在目标分辨率下的纹理特征；
[0014]上述特征处理模块，用于基于上述待处理图像帧在当前分辨率下的场景特征信息和光照特征，确定上述待处理图像帧在目标分辨率下的光照特征；
[0015]图像确定模块，用于基于上述待处理图像帧在目标分辨率下的纹理特征和光照特征，确定上述待处理图像帧在目标分辨率下的目标图像帧。
[0016]另一方面，本申请实施例提供了一种电子设备，包括处理器和存储器，该处理器和
存储器相互连接；
[0017]所述存储器用于存储计算机程序；
[0018]所述处理器被配置用于在调用所述计算机程序时，执行本申请实施例提供的图像处理方法。
[0019]另一方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行以实现本申请实施例提供的图像处理方法。
[0020]另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，上述计算机程序被处理器执行时实现本申请实施例提供的图像处理方法。
[0021]在本申请实施例中，通过确定待处理图像帧在当前分辨率下的光照特征和场景特征信息，可直接对待处理图像帧在当前分辨率下的光照特征进行超分辨率重建，从而在保留待处理图像帧中的纹理细节的情况下，基于待处理图像帧在目标分辨率下的纹理特征和光照特征确定出待处理图像帧在目标分辨率下的目标图像帧，提升目标图像帧的图像质量。同时，本申请实施例在可直接根据待处理图像帧在目标分辨率下的场景特征信息来确定待处理图像帧在目标分辨率下的纹理特征的情况下，可只对待处理图像帧在当前分辨率下的光照特征进行超分辨率重建，从而提升确定在目标分辨率下的目标图像帧的确定效率。
附图说明
[0022]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是本申请实施例提供的图像处理方法的原理示意图；
[0024]图2是本申请实施例提供的图像处理方法的流程示意图；
[0025]图3本申请实施例提供的确定光照特征的一场景示意图；
[0026]图4本申请实施例提供的确定光照特征的另一场景示意图；
[0027]图5是本申请实施例提供的确定单向运动向量的场景示意图；
[0028]图6是本申请实施例提供的单向运动向量的示意图；
[0029]图7本申请实施例提供的确定光照特征的又一场景示意图；
[0030]图8本申请实施例提供的确定光照特征的又一场景示意图；
[0031]图9是本申请实施例提供的确定双向运动向量的场景示意图；
[0032]图10是本申请实施例提供的确定运动向量蒙版的场景示意图；
[0033]图11是本申请实施例提供的门控卷积的网络示意图；
[0034]图12是本申请实施例提供的超分辨率重建模型的结构示意图；
[0035]图13是本申请实施例提供的特征处理网络的结构示意图；
[0036]图14是本申请实施例提供的超分辨率重建模型的训练方法的流程示意图；
[0037]图15a
‑
15d是本申请实施例提供的图像质量对比示意图；
[0038]图16是本申请实施例提供的分类装置的结构示意图；
[0039]图17是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0040]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0041]本申请实施例提供的图像处理方法可应用于视频生成及渲染领域，例如对生成的游戏片段、游戏场景等进行超分辨率重建，以将低分辨率画面提升为高分辨率画面。
[0042]参见图1，图1是本申请实施例提供的图像处理方法的原理示意图。如图1所示，在确定出待处理图像帧11之后，可将待处理图像帧11输入设备12，由设备12将当前分辨率下的待处理图像帧11进行处理得到目标分辨率下的目标图像帧13。
[0043]其中，在本申请实施例中，设备12可以终端设备，也可以是服务器，具体可基于实际应用场景需求确定，在此不做限制。
[0044]其中，服务器可以是车联网服务器或其他独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Conten本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：确定待处理图像帧在当前分辨率和目标分辨率下的场景特征信息；基于所述待处理图像帧在当前分辨率下的场景特征信息，确定所述待处理图像帧在当前分辨率下的光照特征，基于所述待处理图像帧在目标分辨率下的场景特征信息，确定所述待处理图像帧在目标分辨率下的纹理特征；基于所述待处理图像帧在当前分辨率下的场景特征信息和光照特征，确定所述待处理图像帧在目标分辨率下的光照特征；基于所述待处理图像帧在目标分辨率下的纹理特征和光照特征，确定所述待处理图像帧在目标分辨率下的目标图像帧。2.根据权利要求1所述的方法，其特征在于，所述基于所述待处理图像帧在当前分辨率下的场景特征信息，确定所述待处理图像帧在当前分辨率下的光照特征，包括：确定所述待处理图像帧在当前分辨率下的辐射亮度图；基于所述待处理图像帧在当前分辨率下的场景特征信息，确定所述待处理图像帧在当前分辨率下的纹理特征；基于所述待处理图像帧在当前分辨率下的辐射亮度图和纹理特征，确定所述待处理图像帧在当前分辨率下的光照特征。3.根据权利要求2所述的方法，其特征在于，所述基于所述待处理图像帧在当前分辨率下的场景特征信息，确定所述待处理图像帧在当前分辨率下的纹理特征，包括：基于所述待处理图像帧在当前分辨率下的场景特征信息，确定所述待处理图像帧在当前分辨率下的漫反射特征和镜面反射特征，所述待处理图像帧在当前分辨率下的漫反射特征和镜面反射特征分别表征了在当前分辨率下，所述待处理图像帧中的图像元素表面在单位光照强度条件下进行漫反射和镜面反射时的出射光能量；基于所述待处理图像帧在当前分辨率下的漫反射特征和镜面反射特征，确定所述待处理图像帧在当前分辨率下的纹理特征。4.根据权利要求1所述的方法，其特征在于，所述基于所述待处理图像帧在当前分辨率下的场景特征信息和光照特征，确定所述待处理图像帧在目标分辨率下的光照特征，包括：响应于所述待处理图像帧为第一个图像帧，基于所述待处理图像帧在当前分辨率下的场景特征信息和光照特征，确定所述待处理图像帧在目标分辨率下的光照特征；响应于所述待处理图像帧不为第一个图像帧，基于所述待处理图像帧在当前分辨率下的场景特征信息和光照特征、以及上一图像帧在目标分辨率下的光照特征，确定所述待处理图像帧在目标分辨率下的光照特征。5.根据权利要求4所述的方法，其特征在于，所述基于所述待处理图像帧在当前分辨率下的场景特征信息和光照特征、以及上一图像帧在目标分辨率下的光照特征，确定所述待处理图像帧在目标分辨率下的光照特征，包括：确定当前分辨率和目标分辨率的超分辨率比，基于所述超分辨率比对上一图像帧在目标分辨率下的光照特征进行像素重排，得到对应的重排光照特征；将上一图像帧对应的重排光照特征、所述待处理图像帧在当前分辨率下的场景特征信息和光照特征进行融合得到第一融合特征；基于所述第一融合特征确定所述待处理图像帧在目标分辨率下的光照特征。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一融合特征确定所述待处理图像帧在目标分辨率下的光照特征，包括：确定至少一个第一图像帧，所述至少一个第一图像帧为在所述待处理图像帧之前且与所述待处理图像帧相邻的连续至少一个图像帧；确定所述待处理图像帧在当前分辨率下相较于每个所述第一图像帧的单向运动向量，基于每个所述第一图像帧在当前分辨率下对应的单向运动向量，将对应第一图像帧的图像元素映射至所述待处理图像帧得到映射图像帧；确定每个所述映射图像帧在当前分辨率下的场景特征信息、光照特征以及运动向量蒙版，每个所述映射图像帧在当前分辨率下的运动向量蒙版表征了对应第一图像帧的图像元素映射至所述待处理图像帧之后未被所述待处理图像帧中对应图像元素所覆盖的区域；将每个所述映射图像帧在当前分辨率下的场景特征信息、光照特征和运动向量蒙版、以及所述第一融合特征进行融合得到第二融合特征，基于所述第二融合特征确定所述待处理图像帧在当前分辨率下的光照特征。7.根据权利要求6所述的方法，其特征在于，对于每个所述映射图像帧，确定该映射图像帧在当前分辨率下的运动向量蒙版，包括：确定所述待处理图像帧在当前分辨率下相较于该映射图像帧对应的第一图像帧的双向运动向量；对于该映射图像帧的每个像素点，确定该像素点在当前分辨率下对应的双向运动向量与单向运动向量的向量差值，响应于所述向量差值小于或者等于预设门限值，将第一值确定为该像素点对应的目标向量值，响应于所述向量差值大...

【专利技术属性】
技术研发人员：李佳，陈子凌，吴小龙，王璐，王贝贝，
申请(专利权)人：山东大学，
类型：发明
国别省市：