一种超分辨率图像处理方法以及相关装置制造方法及图纸

本申请公开了一种超分辨率图像处理方法以及装置，运行该超分辨率图像处理方法的设备，根据低分辨率图像生成超分辨率图像的过程中，首先根据低分辨率图像生成细节丰富图像块，通过将低分辨率图像拆分为尺寸较小的细节丰富图像块。其次，通过该细节丰富图像块确定相似图像块，使得设备对低分辨率图像进行超分辨率处理时，可引入该相似图像块一同进行超分辨率处理。由于细节丰富图像块的尺寸较小，可减轻设备的运算量。相似图像块作为低分辨率图像的参考图，以提升超分处理后图像清晰度。以提升超分处理后图像清晰度。以提升超分处理后图像清晰度。

【技术实现步骤摘要】
一种超分辨率图像处理方法以及相关装置


[0001]本申请涉及人工智能领域，尤其涉及一种超分辨率图像处理方法以及相关装置。

技术介绍

[0002]终端设备播放视频时，受限于视频文件或网络带宽等多种原因，终端设备最终展示的图像往往画质较差。为了解决这样的问题，超分辨率(super resolution，SR)技术应运而生。超分辨率技术指利用一幅或多幅低分辨率(low resolution，LR)图像得到一幅清晰的高分辨率(high resolution，HR)图像，上述处理过程简称为超分处理。
[0003]现有技术中，通常在服务器(云端)对视频文件进行超分处理，将处理结果下发给终端设备(移动端)。终端设备展示的图像为经过服务器超分处理后的图像。这种方案，服务器与终端设备之际需要进行大量的数据交互，例如终端设备需要将视频文件发送至服务器，由服务器进行超分处理后，再下发回终端设备，上述过程会占用大量的网络带宽。因此，现在提出了在终端设备进行超分处理的方案。
[0004]然而，目前在终端设备进行超分处理的方案，为了保证超分处理后图像的清晰度，需要占用大量运算资源。因此，需要一种占用较少运算资源且能保证超分处理后图像清晰度的超分辨率图像处理方法。

技术实现思路

[0005]本申请实施例提供了一种超分辨率图像处理方法和相关装置，在减轻运行该超分辨率图像处理方法的设备运算量的同时，提升超分处理后图像清晰度。
[0006]第一方面，本申请实施例提出一种超分辨率图像处理方法，可以包括：根据低分辨率图像生成细节丰富图像块和细节不丰富图像块，其中，细节丰富图像块的尺寸小于该低分辨率图像，该低分辨率图像的来源可以是媒体文件，具体的可以是视频文件中的任一编码帧文件，例如是关键帧或是其它帧(P帧或B帧等等)。该细节丰富图像块包括的图像特征信息的数量大于该细节不丰富图像块包括的该图像特征信息的数量，例如：细节丰富图像块的包括的图像的颜色信息大于细节不丰富图像块包括的图像的颜色信息。细节丰富图像块包括红色(red，R)、绿色(green，G)和蓝色(blue，B)三种颜色，红色所对应的通道表示为(225，0，0)，绿色所对应的通道表示为(0，225，0)，蓝色所对应的通道表示为(0，0，225)。示例性地，细节不丰富图像块可以表现为(R，G，B)＝(225，0，0)的一种颜色，显然，细节丰富图像块包括的图像特征信息(图像的颜色信息)的数量大于细节不丰富图像块包括的图像特征信息(图像的颜色信息)的数量；根据该细节丰富图像块确定相似图像块，其中，相似图像块可以是图像特征与细节丰富图像块相似程度较高的图像，该相似图像块包括的该图像特征信息与该细节丰富图像块包括的该图像特征信息的相似度(Similarity)大于第一阈值，例如：以图像特征信息为图像的颜色信息为例，若细节丰富图像块包括(R，G，B)＝(225，0，0)(0，225，0)(0，0，225)，任一图像块包括的图像的颜色信息为(R，G，B)＝(223，0，0)(0，223，0)(0，0，223)，通过计算，该任一图像块的图像的颜色信息与该细节丰富图像块包括的
图像的颜色信息相似度大于第一阈值，则确定该任一图像块为相似图像块；对该相似图像块和该低分辨率图像进行超分辨率处理，生成超分辨率图像，其中，该相似图像块作为该低分辨率图像的参考图。在一种可选的实现方式中，通过第一超分辨率网络模型对该相似图像块和该低分辨率图像进行超分辨率处理，生成超分辨率图像。
[0007]本申请实施例中，根据低分辨率图像生成超分辨率图像的过程中，首先根据低分辨率图像生成细节丰富图像块和细节不丰富图像块，通过将低分辨率图像拆分为尺寸较小的细节丰富图像块，而该细节丰富图像块作为低分辨率图像的参考图，因此减轻运行该超分辨率图像处理方法的设备运算量。其次，通过该细节丰富图像块确定相似图像块，使得设备通过第一超分辨率网络模型对低分辨率图像进行超分辨率处理时，可引入该相似图像块一同进行超分辨率处理。由于该细节丰富图像块包括的图像特征信息较多，且相似图像块包括的图像特征信息与该细节丰富图像块包括的图像特征信息相似度较高(即大于第一阈值)，因此，可以认为该相似图像块包括的图像特征信息较多，该相似图像块作为低分辨率图像的参考图，可有效提升超分辨率图像的清晰度。
[0008]结合第一方面，在一些实现方式中，根据该低分辨率图像生成该细节丰富图像块，可以包括：根据该低分辨率图像生成该图像块集合，该图像块集合中包括至少一个低分辨率图像块。具体的。获取了低分辨率图像后，首先将该低分辨率图像分割成尺寸较小的低分辨率图像块，这些低分辨率图像块组成图像块集合。具体的，将低分辨率图像分割为高32像素，宽32像素的低分辨率图像块，该低分辨率图像块的具体尺寸由实际需求决定(即后续神经网络模型的需求)，此处不作限定；通过第一网络模型对该低分辨率图像块进行处理，确定该细节丰富图像块和细节不丰富图像块，该第一网络模型，可以是一种分类网络(回归网络)，具体由若干个卷积层和至少一个softmax层组成。首先，通过将低分辨率图像拆分为尺寸较小的低分辨率图像块，这些低分辨率图像块组成图像块集合。然后，通过第一网络模型对图像块集合中的图像块(低分辨率图像块)进行处理，以确定细节丰富图像块和细节不丰富图像块。通过对低分辨率图像进行拆分以降低确定细节丰富图像块的运算量。该第一网络模型可以是在本地通过机器学习训练获得的，也可以在远端设备，例如云服务器上训练获得后发送到本地的。
[0009]结合第一方面，在一些实现方式中，根据低分辨率图像生成细节丰富图像块和细节不丰富图像块，可以包括：通过该第一网络模型对该低分辨率图像块进行卷积处理，生成第一卷积数据集。由于第一网络模型需要将低分辨率图像块进行分类处理，因此，采用(通过)第一网络模型对低分辨率图像块进行卷积处理，生成的低分辨率图像块对应的图像特征数据集，仅仅是初步卷积处理的输出结果。需要通过第一网络模型对该低分辨率图像块对应的图像特征数据集进行进一步的卷积处理。该卷积处理所输出的卷积处理结果，作为后续分类处理的源数据。该卷积处理结果称为第一卷积数据集；生成第一卷积数据集后，通过该第一网络模型对该第一卷积数据集进行二分类处理，确定该细节丰富图像块和该细节不丰富图像块。该第一卷积数据集输入至softmax层进行二分类处理，以确定图像块集合中哪些图像块是细节丰富图像块，哪些图像块是细节不丰富图像块。具体分类的标准可以是：第一卷积数据集中包括多个图像块的特征图，特征图用于指示图像块的图像特征信息。当某个图像块的特征图显示该图像块无轮廓(例如为蓝天背景时)，softmax层对应该图像块输出“0”，以表示该图像块为细节不丰富图像块。通过上述方式，提供了确定细节丰富图像
块和细节不丰富图像块的方法，能够针对不同类型的图像块提取图像特征信息，并基于各个图像块的图像特征信息(特征图)对各个图像块进行分类，以确定哪些图像块是细节丰富图像块，哪些图像块是细节不丰富图像块，提高了本方案的实现灵活性。
[0010本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超分辨率图像处理方法，其特征在于，包括：根据低分辨率图像生成细节丰富图像块和细节不丰富图像块，其中，所述细节丰富图像块和所述细节不丰富图像块的尺寸小于所述低分辨率图像，所述细节丰富图像块包括的图像特征信息的数量大于所述细节不丰富图像块包括的图像特征信息的数量；根据所述细节丰富图像块确定相似图像块，其中，所述相似图像块包括的图像特征信息与所述细节丰富图像块包括的图像特征信息的相似度大于第一阈值；对所述相似图像块和所述低分辨率图像进行超分辨率处理，生成超分辨率图像，其中，所述相似图像块作为所述低分辨率图像的参考图。2.根据权利要求1所述的方法，其特征在于，所述根据所述低分辨率图像生成所述细节丰富图像块和所述细节不丰富图像块，包括：根据所述低分辨率图像生成图像块集合；对所述图像块集合中的图像块进行卷积处理，生成第一卷积数据集；对所述第一卷积数据集进行二分类处理，确定所述细节丰富图像块和所述细节不丰富图像块。3.根据权利要求2所述的方法，其特征在于，所述根据所述细节丰富图像块确定所述相似图像块，包括：根据所述细节丰富图像块，确定所述细节丰富图像块对应的图像特征数据集；对确定的所述图像特征数据集进行二值化处理，得到所述细节丰富图像块中任意两个图像块的相似度；当所述任意两个图像块的相似度大于所述第一阈值时，确定所述相似图像块。4.根据权利要求3所述的方法，其特征在于，所述任意两个图像块的相似度满足：其中，所述F为所述相似度，所述N为所述细节丰富图像块的图像尺寸，所述P(i,j)和Q(i，j)为所述任意两个细节丰富图像块分别对应的所述图像块的所述特征图，所述i为所述图像块的所述特征图像素的横坐标值，所述j为所述图像块的所述特征图像素的纵坐标值。5.根据权利要求1所述的方法，其特征在于，当所述低分辨率图像为视频中的一帧时，所述根据所述细节丰富图像块确定所述相似图像块，包括：确定所述低分辨率图像在所述视频中的位置；根据所述位置，确定第二图像帧，其中，所述第二图像帧为所述低分辨率图像在所述视频中的相邻帧；确定所述第二图像帧中与所述细节丰富图像块对应位置的图像块为所述相似图像块。6.根据权利要求3-5中任一项所述的方法，其特征在于，所述对所述相似图像块和所述低分辨率图像进行超分辨率处理，生成所述超分辨率图像，包括：对所述细节丰富图像块和所述相似图像块进行图像交换处理，生成第一交换图像；根据所述相似图像块，确定所述相似图像块的特征图，并对所述相似图像块的特征图和所述低分辨率图像块的特征图进行图像交换处理，生成第二交换图像，其中所述特征图
用于指示图像块的图像特征信息；对所述第一交换图像、所述第二交换图像和所述低分辨率图像进行超分辨率处理，生成第一图像；根据所述第一图像生成所述超分辨率图像。7.根据权利要求6所述的方法，其特征在于，所述根据所述第一图像生成所述超分辨率图像，包括：获取高清图像，所述高清图像的分辨率大于所述低分辨率图像的分辨率；对所述细节不丰富图像块进行放大处理以生成放大图像，其中所述放大处理包括双三次插值处理；对所述高清图像、所述放大图像和所述第一图像进行超分辨率处理，生成所述超分辨率图像，其中，所述高清图像和所述放大图像作为所述第一图像的参考图。8.根据权利要求7所述的方法，其特征在于，所述高清图像来自远端设备，所述高清图像为所述远端设备通过对所述低分辨率图像进行超分辨率处理生成的图像。9.根据权利要求7所述的方法，其特征在于，所述高清图像来自预置高清图库，所述预置高清图库中包括至少一张所述高清图像。10.根据权利要求9所述的方法，其特征在于，所述获取所述高清图像之前，所述方法还包括：根据所述第一图像确定所述预制高清图库中的所述高清图像，所述高清图像与所述第一图像相似度大于所述第一阈值。11.根据权利要求1所述的方法，其特征在于，所述根据低分辨率图像生成细节丰富图像块和细节不丰富图像块之前，所述方法还包括：获取图像集合；使用低通滤波器对所述图像集合进行滤波处理，生成第一子训练集，所述第一子训练集中图像包括的图像特征信息的数量大于所述细节不丰富图像块包括的图像特征信息的数量；对所述第一子训练集进行数据增广处理，生成第二子训练集，所述数据增广处理包括图像颠倒，图像旋转，图像缩小和图像拉伸；根据所述第一子训练集和所述第二子训练集生成第一训练集，所述第一训练集用于训练第一网络模型,所述第一网络模型用于生成所述细节丰富图像块和所述细节不丰富图像块。12.根据权利要求1-11中任一项所述的方法，其特征在于，所述图像特征信息包括图像的边缘信息、图像的轮廓信息、图像的亮度信息和/或图像的颜色信息。13.一种超分辨率图像处理装置，其特征在于，包括：生成模块，用于根据低分辨率图像生成细节丰富图像块和细节不丰富图像块，其中，所述细节丰富图像块和所述细节不丰富图像块的尺寸小于所述低分辨率图像，所述细节丰富图像块包括的图像特征信息的数量大于所述细节不丰富图像块包括的图像特征信息的数量；确定模块，用于根据所述细节丰富图像块确定相似图像...

【专利技术属性】
技术研发人员：林焕，陈濛，周琛晖，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：