一种视频超分辨率图像还原性评价的方法技术

本发明专利技术提供了一种视频超分辨率图像还原性评价的方法，包括：S1.分别将原始视频和超分后的视频转成视频YUV数据；S2.分别从原始视频和超分后的视频YUV数据中读取一帧图像的数据；S3.将S2中读取的超分后的图像YUV数据按照图像缩放算法进行缩放，缩放成和原始视频相同的分辨率；S4.对缩放后的图像和原始视频图像进行边缘检测算法，得到缩放后的图像的主体数据和原始视频图像的主体数据；S5.计算所述原始视频帧图像和缩放后的图像的结构相似性作为该帧数据的还原性分数；S6.重复步骤S1

【技术实现步骤摘要】
一种视频超分辨率图像还原性评价的方法


[0001]本专利技术涉及图像质量评价领域，特别是视频超分辨率的图像质量评价领域，具体地，涉及一种视频超分辨率图像还原性评价的方法。

技术介绍

[0002]视频超分辨率一般简称为视频超分，是一种将低分辨率的视频通过各种算法变成更高分辨率视频的技术。随着视频产业的发展，电视机的分辨率越来越高，4K电视逐步普及，8K电视也开始发展，人们对于观看视频的分辨率要求越来越高，然而很多存量的视频资源只是标清或者高清，超高清视频资源极少，怎么能把原来的标清视频变成高清甚至超高清，就需要依赖于视频超分辨率技术。当前对视频超分的市场需求正在逐步变高，很多经典的影视作品需要通过超分来提升分辨率，用以满足观众对更高清晰度的要求。
[0003]随着视频超分技术的发展和市场需求的增长，对于视频超分质量评价的要求也越来越高。但是视频超分辨率图像质量评价却是一个难点，由于视频超分的目的是通过技术手段将分辨率低的视频处理成分辨率更高的视频，但是这个过程是按照推测在原有视频的基础上进行像素的添加，这就有可能因为错误的预测导致添加之后改变了原有的图像。常用的图像质量评价方法PSNR(峰值信噪比)主要用于评估图像的整体质量，在超分的场景下可能出现PSNR评分较高，但是实际超分后的图像和原始图像出现了较大的差异，无法评估超分前后图像是否一致，所以需要一种方法来评价超分前后图像的一致性。视频内容一般都有主体和背景，主体清晰重要，背景虚化模糊，观众在观看视频时视觉焦点也都集中在主体上，对背景图像并不敏感，模糊的背景对于图像质量评估容易产生较大的误差，但是背景这部分数据却是不重要的，基于这点，提出一种针对图像的主体进行一致性比较的方法，用于评价视频超分图像的还原性，可以从还原度方面对视频超分的质量进行评价，可以和PSNR评价方式互补，对超分质量做出更准确的评价。

技术实现思路

[0004]本专利技术提供了一种视频超分辨率图像还原性评价的方法，针对视频主体进行图像质量评估，提高了评估的效率，同时也降低不重要的背景对评估结果的影响。
[0005]本专利技术的技术方案如下：
[0006]本专利技术的视频超分辨率图像还原性评价的方法，包括以下步骤：S1.分别将原始视频和超分后的视频转成视频YUV数据；S2.分别从原始视频和超分后的视频YUV数据中读取一帧图像的数据；S3.将S2中读取的超分后的图像YUV数据按照图像缩放算法进行缩放，缩放成和原始视频相同的分辨率；S4.对缩放后的图像和原始视频图像进行边缘检测，得到缩放后的图像的主体数据和原始视频图像的主体数据；S5.计算原始视频帧图像和缩放后的图像的结构相似性作为该帧数据的还原性分数；S6.重复步骤S1
‑
S5，直至完成所有视频帧，针对所有视频帧的SSIM分数计算平均值既是最终超分的还原性分数。
[0007]可选地，在上述视频超分辨率图像还原性评价的方法中，在步骤S1中，通过视频处
理工具从原始视频和上超分后的视频中提取ES视频流数据，再将ES数据进行解码，生成YUV格式的视频数据，保存成相应的文件。
[0008]可选地，在上述视频超分辨率图像还原性评价的方法中，在步骤S2中，读取S1生成的超分后视频的YUV格式文件，获取视频的YUV采样格式，按照采样格式从超分后视频的YUV格式文件中读取一帧图像的数据；采用同样的方式，读取原始视频的YUV格式文件)的一帧图像的数据。
[0009]可选地，在上述视频超分辨率图像还原性评价的方法中，在步骤S3中，针对步骤S2中读取的超分后的图像YUV数据，采用Lanczos图像缩放算法进行缩放，得到缩放后的帧图像数据。
[0010]可选地，在上述视频超分辨率图像还原性评价的方法中，在步骤S4中，对S3中生成的缩放后的图像进行边缘检测，采用canny边缘检测算法，得到缩放后的图像的主体数据；对于原始视频帧图像，采用同样的算法进行边缘检测，得到原始视频图像的主体数据。
[0011]可选地，在上述视频超分辨率图像还原性评价的方法中，针对边缘检测算法用到的高阈值和低阈值两个设置，采用高阈值80，低阈值60。
[0012]可选地，在上述视频超分辨率图像还原性评价的方法中，在步骤S5中，对S4中生成的两帧图像的主体数据，计算这两帧图像的结构相似性：如果两帧图像的结构相似性低于0.75，则认为差异过大，超分质量较差，质量评价结束，如果结构相似性不低于0.75，则记录这两帧图像的结构相似性数值SSIM
i
，继续进行其他图像帧的评估。
[0013]可选地，在上述视频超分辨率图像还原性评价的方法中，在步骤S6中，重复步骤S1
‑
S5的评估，直到完成所有视频帧的评估，或者在步骤S5中提前结束，如果是完成所有视频帧的评估，则通过步骤S5中得到的每一帧的结构相似性计算整体的结构相似性平均值，即为最终超分的还原性分数。
[0014]根据本专利技术的技术方案，产生的有益效果是:
[0015]本专利技术的视频超分图像还原性评价是通过将超分后的视频进行缩放，得到和原始视频相同的分辨率的图像，然后通过边缘检测获取图像的主体数据，再针对主体数据进行结构相似性计算，最终获取整个视频的结构相似性平均值。主要利用了视频图像一般主体和背景区分比较大，主体清晰而背景模糊，并且观众在观看时焦点也集中在主体上，所以只针对主体数据进行评估，一方面可以降低评估的计算工作量，另一方面也可以降低背景对评估结果的影响，因为背景本身就比较模糊，容易使评估结果产生较大的误差。
[0016]为了更好地理解和说明本专利技术的构思、工作原理和专利技术效果，下面结合附图，通过具体实施例，对本专利技术进行详细说明如下：
附图说明
[0017]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
[0018]图1是本专利技术的视频超分辨率图像还原性评价的方法的流程图。
具体实施方式
[0019]为使本专利技术的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本发
明做进一步的详细说明。这些实例仅仅是说明性的，而并非对本专利技术的限制。
[0020]如图1所示，本专利技术的视频超分辨率图像还原性评价的方法，包括以下步骤：
[0021]S1.分别将原始视频和超分后的视频转成视频YUV数据。
[0022]在该步骤中，分别从原始视频和超分后的视频中提取基本码流(ES)视频流数据，然后解码成YUV(一种颜色编码方式)格式的数据。具体地，通过视频处理工具ffmpeg工具从原始视频和超分后的视频中提取ES视频流数据，再使用ffmepg工具将ES视频流数据进行解码，生成YUV格式的视频数据，保存成相应的文件，分别为原始视频的YUV格式文件(原始视频.yuv)和超分后视频的YUV格式文件(超分视频.yuv)。
[0023]S2.分别从原始视频和超分后的视频YUV数据中读取一帧图像的数据。...

【技术保护点】

【技术特征摘要】
1.一种视频超分辨率图像还原性评价的方法，其特征在于，包括以下步骤：S1.分别将原始视频和超分后的视频转成视频YUV数据；S2.分别从原始视频和超分后的视频YUV数据中读取一帧图像的数据；S3.将S2中读取的超分后的图像YUV数据按照图像缩放算法进行缩放，缩放成和所述原始视频相同的分辨率；S4.对缩放后的图像和原始视频图像进行边缘检测，得到缩放后的图像的主体数据和原始视频图像的主体数据；S5.计算原始视频帧图像和所述缩放后的图像的主体数据的结构相似性作为该帧数据的还原性分数；S6.重复步骤S1
‑
S5，直至完成所有视频帧，针对所有视频帧的SSIM分数计算平均值既是最终超分的还原性分数。2.根据权利要求1所述的视频超分辨率图像还原性评价的方法，其特征在于，在步骤S1中，通过视频处理工具从所述原始视频和上所述超分后的视频中提取ES视频流数据，再将ES数据进行解码，生成YUV格式的视频数据，保存成相应的文件。3.根据权利要求1所述的视频超分辨率图像还原性评价的方法，其特征在于，在步骤S2中，读取S1生成的超分后视频的YUV格式文件，获取视频的YUV采样格式，按照采样格式从超分后视频的YUV格式文件中读取一帧图像的数据；采用同样的方式，读取原始视频的YUV格式文件)的一帧图像的数据。4.根据权利要求1所述的视频超分辨率图像还原性评价的方法，其特征在于，在步骤S3...

【专利技术属性】
技术研发人员：曾辉，陈智敏，魏文应，肖铁军，
申请(专利权)人：广东博华超高清创新中心有限公司，
类型：发明
国别省市：