图像帧的超分辨率实现方法和装置制造方法及图纸

本申请提供一种图像帧的超分辨率实现方法和装置。本申请图像帧的超分辨率实现方法，包括：获取超分参考信息，超分参考信息包括量化参数和图像质量分数集合，图像质量分数集合包括多个图像帧各自的图像质量分数；根据图像质量分数集合从多个图像帧中选取M个图像帧，M大于或等于1；获取与量化参数对应的视频超分辨率网络，视频超分辨率网络具有超分辨率功能；将M个图像帧和第一图像帧输入视频超分辨率网络，视频超分辨率网络用于根据M个图像帧对第一图像帧进行超分辨率处理得到第二图像帧，第二图像帧的分辨率高于第一图像帧的分辨率。本申请可以节省终端的处理资源，提高终端的处理效率，以及提升图像帧的超分辨率处理的效果。效果。效果。

【技术实现步骤摘要】
图像帧的超分辨率实现方法和装置


[0001]本申请涉及视频超分辨率技术，尤其涉及一种图像帧的超分辨率实现方法和装置。

技术介绍

[0002]随着视频应用软件的兴起，人们对高清分辨率视频、甚至是超高清分辨率(ultra high definition，UHD)视频的需求日益增加，在基于发送端和移动终端之间的信息传输的视频在线播放、直播等多媒体业务中，如何既能提高编码效率和降低目标码率，又能提升视频播放效果成为一种挑战。
[0003]相关技术中，选取当前帧的前后各1帧或者各2帧，将前后连续的3帧或者5帧组成一组图像集输入到深度学习网络中，最终输出当前帧的高分辨率图像。
[0004]但是，上述方法应用于实际的流媒体业务中时，帧序列可能要经过不同程度的压缩，导致相邻帧之间的质量差异大，进而影响当前帧的超分辨率效果。

技术实现思路

[0005]本申请提供一种图像帧的超分辨率实现方法和装置，以节省终端的处理资源，提高终端的处理效率，以及提升图像帧的超分辨率处理的效果。
[0006]第一方面，本申请提供一种图像帧的超分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像帧的超分辨率实现方法，其特征在于，包括：获取超分参考信息，所述超分参考信息包括量化参数和图像质量分数集合，所述图像质量分数集合包括多个图像帧各自的图像质量分数；根据所述图像质量分数集合从所述多个图像帧中选取M个图像帧，M大于或等于1；获取与所述量化参数对应的视频超分辨率网络，所述视频超分辨率网络具有超分辨率功能；将所述M个图像帧和第一图像帧输入所述视频超分辨率网络，所述视频超分辨率网络用于根据所述M个图像帧对所述第一图像帧进行超分辨率处理得到第二图像帧，所述第二图像帧的分辨率高于所述第一图像帧的分辨率。2.根据权利要求1所述的方法，其特征在于，所述根据所述图像质量分数集合从所述多个图像帧中选取M个图像帧，具体包括：当所述多个图像帧包括第一图像帧集合，且所述第一图像帧集合中的图像帧的个数大于或等于M时，从所述第一图像帧集合中选取所述M个图像帧，所述第一图像帧集合中包括的图像帧的图像质量分数均高于所述第一图像帧的图像质量分数。3.根据权利要求2所述的方法，其特征在于，所述M个图像帧包括所述第一图像帧集合中的图像帧按照图像质量分数从大到小排列后的前M个图像帧。4.根据权利要求1-3中任一项所述的方法，其特征在于，所述超分参考信息还包括所述第一图像帧的参考帧指示信息；所述根据所述图像质量分数集合从所述多个图像帧中选取M个图像帧，还包括：当所述多个图像帧包括第一图像帧集合，且所述第一图像帧集合中的图像帧的个数小于M时，从所述第一图像帧集合中选取全部图像帧，所述第一图像帧集合中包括的图像帧的图像质量分数均高于所述第一图像帧的图像质量分数；当所述全部图像帧的个数小于M时，从所述多个图像帧中选取与所述参考帧指示信息对应的图像帧；当所述全部图像帧和所述与所述参考帧指示信息对应的图像帧的个数小于M时，从所述多个图像帧中除所述全部图像帧和所述与所述参考帧指示信息对应的图像帧外的其他图像帧中选取与所述第一图像帧间隔时间从短到长的至少一个图像帧，直到选出M个图像帧。5.根据权利要求1-4中任一项所述的方法，其特征在于，所述超分参考信息还包括所述第一图像帧的参考帧指示信息；所述根据所述图像质量分数集合从所述多个图像帧中选取M个图像帧，还包括：当所述多个图像帧不包括第一图像帧集合时，判断所述第一图像帧是否为I帧，所述第一图像帧集合中包括的图像帧的图像质量分数均高于所述第一图像帧的图像质量分数；若所述第一图像帧为I帧，则所述M个图像帧包括所述第一图像帧的M个复制样本；若所述第一图像帧非I帧，则从所述多个图像帧中选取与所述参考帧指示信息对应的图像帧；当所述与所述参考帧指示信息对应的图像帧的个数小于M时，从所述多个图像帧中除所述与所述参考帧指示信息对应的图像帧外的其他图像帧中选取与所述第一图像帧间隔时间从短到长的至少一个图像帧，直到选出M个图像帧。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述获取超分参考信息，具体包括：接收发送端发送的所述超分参考信息。7.根据权利要求1-6中任一项所述的方法，其特征在于，所述量化参数包括所述发送端对所述第一图像帧进行量化处理的过程中使用的量化参数。8.根据权利要求1-7中任一项所述的方法，其特征在于，所述多个图像帧包括所述视频流中的连续多个图像帧，所述多个图像帧包括所述第一图像帧。9.根据权利要求1-8中任一项所述的方法，其特征在于，所述视频超分辨率网络包括卷积神经网络CNN、深度神经网络DNN或者循环神经网络RNN。10.根据权利要求9所述的方法，其特征在于，所述视频超分辨率网络包括卷积层和激活层。11.根据权利要求10所述的方法，其特征在于，所述卷积层的深度为2、3、4、5、6、16、24、32、48、64或者128；所述卷积层中的卷积核的尺寸为1
×
1、3
×
3、5
×
5或者7
×
7。12.一种图像帧的超分辨率实现方法，其特征在于，包括：获取第一图像帧的量化参数；根据所述第一图像帧和所述第一图像帧的重建帧获取所述第一图像帧的图像质量分数；向终端发送视频流和超分参考信息，所述视频流包括所述第一图像帧，所述超分参考信息包括所述量化参数和所述图像质量分数。13.根据权利要求12所述的方法，其特征在于，所述向终端发送视频流和超分参考信息之前，还包括：获取所述第一图像帧的参考帧指示信息；相应的，所述超分参考信息还包括所述参考帧指示信息。14.根据权利要求12或13所述的方法，其特征在于，所述根据所述第一图像帧和所述第一图像帧的重建帧获取所述第一图像帧的图像质量分数，具体包括：根据峰值信噪比PSNR、结构相似度SSIM或多特征融合的视频评价标准VMAF获取所述第一图像帧的图像质量分数。15.根据权利要求12-14中任一项所述的方法，其特征在于，所述视频超分辨率网络包括卷积神经网络CNN、深度神经网络DNN或者循环神经网络RNN。16.根据权利要求15所述的方法，其特征在于，所述视频超分辨率网络包括卷积层和激活层。17.根据权利要求15或16所述的方法，其特征在于，所述卷积层的深度为2、3、4、5、6、16、24、32、48、64或者128；所述卷积层中的卷积核的尺寸为1
×
1、3
×
3、5
×
5或者7
×
7。18.根据权利要求15-17中任一项所述的方法，其特征在于，所述方法还包括：获取训练数据集合，其中所述训练数据集合包括多个图像帧各自的第一分辨率图像和第二分辨率图像，以及多个量化参数，所述第一分辨率图像的分辨率高于所述第二分辨率图像的分辨率；根据所述训练数据集合训练得到多个视频超分辨率网络，所述多个视频超分辨率网络与所述多个量化参数对应。
19.一种图像帧的超分辨率实现方法，其特征在于，包括：发送端获取第一图像帧的量化参数，并根据所述第一图像帧和所述第一图像帧的重建帧获取所述第一图像帧的图像质量分数；所述发送端向终端发送视频流和超分参考信息，所述视频流包括所述第一图像帧，所述超分参考信息包括所述量化参数和所述图像质量分数；所述终端根据所述视频流获取所述第一图像帧，并根据所述超分参考信息获取所述量化参数和图像质量分数集合，所述图像质量分数集合包括多个图像帧各自的图像质量分数；所述终端根据所述图像质量分数集合从所述多个图像帧中选取M个图像帧，M大于或等于1；所述终端获取与所述量化参数对应的视频超分辨率网络，所述视频超分辨率网络具有超分辨率功能；所述终端将所述M个图像帧和所述第一图像帧输入所述视频超分辨率网络，所述视频超分辨率网络用于根据所述M个图像帧对所述第一图像帧进行超分辨率处理...

【专利技术属性】
技术研发人员：李林格，王豪，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：