【技术实现步骤摘要】
一种超分辨率图像处理方法以及相关装置
[0001]本申请涉及人工智能领域,尤其涉及一种超分辨率图像处理方法以及相关装置。
技术介绍
[0002]终端设备播放视频时,受限于视频文件或网络带宽等多种原因,终端设备最终展示的图像往往画质较差。为了解决这样的问题,超分辨率(super resolution,SR)技术应运而生。超分辨率技术指利用一幅或多幅低分辨率(low resolution,LR)图像得到一幅清晰的高分辨率(high resolution,HR)图像,上述处理过程简称为超分处理。
[0003]现有技术中,通常在服务器(云端)对视频文件进行超分处理,将处理结果下发给终端设备(移动端)。终端设备展示的图像为经过服务器超分处理后的图像。这种方案,服务器与终端设备之际需要进行大量的数据交互,例如终端设备需要将视频文件发送至服务器,由服务器进行超分处理后,再下发回终端设备,上述过程会占用大量的网络带宽。因此,现在提出了在终端设备进行超分处理的方案。
[0004]然而,目前在终端设备进行超分处理的方案,为了保证超分处理后图像的清晰度,需要占用大量运算资源。因此,需要一种占用较少运算资源且能保证超分处理后图像清晰度的超分辨率图像处理方法。
技术实现思路
[0005]本申请实施例提供了一种超分辨率图像处理方法和相关装置,在减轻运行该超分辨率图像处理方法的设备运算量的同时,提升超分处理后图像清晰度。
[0006]第一方面,本申请实施例提出一种超分辨率图像处理方法,可以包括:根据低分辨率 ...
【技术保护点】
【技术特征摘要】
1.一种超分辨率图像处理方法,其特征在于,包括:根据低分辨率图像生成细节丰富图像块和细节不丰富图像块,其中,所述细节丰富图像块和所述细节不丰富图像块的尺寸小于所述低分辨率图像,所述细节丰富图像块包括的图像特征信息的数量大于所述细节不丰富图像块包括的图像特征信息的数量;根据所述细节丰富图像块确定相似图像块,其中,所述相似图像块包括的图像特征信息与所述细节丰富图像块包括的图像特征信息的相似度大于第一阈值;对所述相似图像块和所述低分辨率图像进行超分辨率处理,生成超分辨率图像,其中,所述相似图像块作为所述低分辨率图像的参考图。2.根据权利要求1所述的方法,其特征在于,所述根据所述低分辨率图像生成所述细节丰富图像块和所述细节不丰富图像块,包括:根据所述低分辨率图像生成图像块集合;对所述图像块集合中的图像块进行卷积处理,生成第一卷积数据集;对所述第一卷积数据集进行二分类处理,确定所述细节丰富图像块和所述细节不丰富图像块。3.根据权利要求2所述的方法,其特征在于,所述根据所述细节丰富图像块确定所述相似图像块,包括:根据所述细节丰富图像块,确定所述细节丰富图像块对应的图像特征数据集;对确定的所述图像特征数据集进行二值化处理,得到所述细节丰富图像块中任意两个图像块的相似度;当所述任意两个图像块的相似度大于所述第一阈值时,确定所述相似图像块。4.根据权利要求3所述的方法,其特征在于,所述任意两个图像块的相似度满足:其中,所述F为所述相似度,所述N为所述细节丰富图像块的图像尺寸,所述P(i,j)和Q(i,j)为所述任意两个细节丰富图像块分别对应的所述图像块的所述特征图,所述i为所述图像块的所述特征图像素的横坐标值,所述j为所述图像块的所述特征图像素的纵坐标值。5.根据权利要求1所述的方法,其特征在于,当所述低分辨率图像为视频中的一帧时,所述根据所述细节丰富图像块确定所述相似图像块,包括:确定所述低分辨率图像在所述视频中的位置;根据所述位置,确定第二图像帧,其中,所述第二图像帧为所述低分辨率图像在所述视频中的相邻帧;确定所述第二图像帧中与所述细节丰富图像块对应位置的图像块为所述相似图像块。6.根据权利要求3-5中任一项所述的方法,其特征在于,所述对所述相似图像块和所述低分辨率图像进行超分辨率处理,生成所述超分辨率图像,包括:对所述细节丰富图像块和所述相似图像块进行图像交换处理,生成第一交换图像;根据所述相似图像块,确定所述相似图像块的特征图,并对所述相似图像块的特征图和所述低分辨率图像块的特征图进行图像交换处理,生成第二交换图像,其中所述特征图
用于指示图像块的图像特征信息;对所述第一交换图像、所述第二交换图像和所述低分辨率图像进行超分辨率处理,生成第一图像;根据所述第一图像生成所述超分辨率图像。7.根据权利要求6所述的方法,其特征在于,所述根据所述第一图像生成所述超分辨率图像,包括:获取高清图像,所述高清图像的分辨率大于所述低分辨率图像的分辨率;对所述细节不丰富图像块进行放大处理以生成放大图像,其中所述放大处理包括双三次插值处理;对所述高清图像、所述放大图像和所述第一图像进行超分辨率处理,生成所述超分辨率图像,其中,所述高清图像和所述放大图像作为所述第一图像的参考图。8.根据权利要求7所述的方法,其特征在于,所述高清图像来自远端设备,所述高清图像为所述远端设备通过对所述低分辨率图像进行超分辨率处理生成的图像。9.根据权利要求7所述的方法,其特征在于,所述高清图像来自预置高清图库,所述预置高清图库中包括至少一张所述高清图像。10.根据权利要求9所述的方法,其特征在于,所述获取所述高清图像之前,所述方法还包括:根据所述第一图像确定所述预制高清图库中的所述高清图像,所述高清图像与所述第一图像相似度大于所述第一阈值。11.根据权利要求1所述的方法,其特征在于,所述根据低分辨率图像生成细节丰富图像块和细节不丰富图像块之前,所述方法还包括:获取图像集合;使用低通滤波器对所述图像集合进行滤波处理,生成第一子训练集,所述第一子训练集中图像包括的图像特征信息的数量大于所述细节不丰富图像块包括的图像特征信息的数量;对所述第一子训练集进行数据增广处理,生成第二子训练集,所述数据增广处理包括图像颠倒,图像旋转,图像缩小和图像拉伸;根据所述第一子训练集和所述第二子训练集生成第一训练集,所述第一训练集用于训练第一网络模型,所述第一网络模型用于生成所述细节丰富图像块和所述细节不丰富图像块。12.根据权利要求1-11中任一项所述的方法,其特征在于,所述图像特征信息包括图像的边缘信息、图像的轮廓信息、图像的亮度信息和/或图像的颜色信息。13.一种超分辨率图像处理装置,其特征在于,包括:生成模块,用于根据低分辨率图像生成细节丰富图像块和细节不丰富图像块,其中,所述细节丰富图像块和所述细节不丰富图像块的尺寸小于所述低分辨率图像,所述细节丰富图像块包括的图像特征信息的数量大于所述细节不丰富图像块包括的图像特征信息的数量;确定模块,用于根据所述细节丰富图像块确定相似图像...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。