基于参考池匹配的视频超分方法技术

本发明专利技术公开了一种基于参考池匹配的视频超分方法。该方法的步骤如下：收集并整理视频图像数据集，构建训练集和测试集；预处理高清参考帧和低清输入帧；建立特征提取网络，将经过预处理的高清参考帧和低清帧输入特征提取网络；初始化参考池，将由特征提取网络输出的高清参考帧的三个层次的特征作为参考池的初始特征；建立特征搜索匹配网络，将低清帧特征与参考池特征输入搜索匹配网络，计算相关性系数，得到最大相关性系数/坐标列表；更新参考池；通过相关性感知融合网络，重建恢复图像。本发明专利技术通过利用注意力机制以及跨尺度特征融合，生成具有较好感知质量和丰富细节的逼真图像。生成具有较好感知质量和丰富细节的逼真图像。生成具有较好感知质量和丰富细节的逼真图像。

【技术实现步骤摘要】
基于参考池匹配的视频超分方法


[0001]本专利技术涉及视频编码领域，特别涉及一种有参考的视频超分方法。

技术介绍

[0002]图像和视频通常包含着大量的视觉信息，且视觉信息本身具有直观高效的描述能力，所以随着信息技术的高速发展，图像和视频的应用逐渐遍布人类社会的各个领域。近些年来，在计算机图像处理，计算机视觉和机器学习等领域中，来自工业界和学术界的许多学者和专家都持续关注着视频图像的超分辨率技术这个基础热点问题。图像的超分辨率技术是指利用数字图像处理、计算机视觉等领域的相关知识，通过某种有效的算法或方法，借助已经获得的低分辨率的图像恢复出高分辨率的图像的技术。这种技术能够将本来模糊质量较差且关键区域的细节纹理特征不明显或根本看不清的图像恢复成我们需要的状态，克服了自然条件下获取图像所遇到的困难。有参考的超分辨率技术是一种利用语义相关的高清图片的纹理细节恢复当前低清图片的技术，相比单图片超分有着不可比拟的纹理恢复效果。基于参考的超分辨率需要为每个目标图像选择特定的高分辨率参考(例如，内容相似性、相机视角和图片尺度大小)。
[0003]视频与图像类似，分辨率的提升对于提升视频质量也至关重要。与图像超分最大的不同就是，视频可以利用多个连续的图像/帧之间的相关信息，提升目标图像/帧的分辨率。虽然可以将视频拆分成多幅图像，然后用图像超分算法进行处理，但是会造成帧与帧之间出现不连贯的失真。近年来出现了一大批优秀的应用于视频的超分算法，以图像超分算法为基础，通过增加相应的模块来挖掘帧与帧之间的特征，从而提高视频超分算法的性能。同样地，也可将有参考的超分技术运用于视频超分领域，在连续视频帧帧间的相关性高的场景下，根据高清参考帧恢复出丰富的纹理细节，从而提高视频序列超分的性能。

技术实现思路

[0004]为此，本专利技术的目的是结合跨尺度特征搜索和有参考的视频超分的方法，提出一种基于参考池匹配的视频超分方法。
[0005]本专利技术采用的技术方案为：
[0006]基于参考池匹配的视频超分方法，包括如下步骤：
[0007]S1，收集和整理视频图像数据集，构建训练集和测试集；
[0008]S2，对高清参考帧和低清输入帧进行预处理，将低清输入帧进行上采样，对高清参考帧先进行下采样后再上采样；
[0009]S3，建立特征提取网络，将经过预处理的高清参考帧和低清输入帧输入所述特征提取网络；
[0010]S4，初始化参考池，将由所述特征提取网络输出的高清参考帧的特征作为参考池的初始特征；
[0011]S5，建立特征搜索匹配网络，将低清输入帧特征与参考池特征输入所述特征搜索
匹配网络，计算相关性系数，得到最大相关性系数/坐标列表；
[0012]S6，更新参考池；
[0013]S7，通过相关性感知融合网络，重建恢复出高清帧图像。
[0014]进一步地，所述步骤S2中，对低清输入帧上采样同时，对高清参考帧也要先下采样后再上采样，所述下采样及上采样均采用双三次插值法。
[0015]进一步地，所述步骤S3中，所述特征提取网络包括三个卷积层，所述高清参考帧和低清输入帧经过所述三个卷积层提取得到三个层次的特征，这三个层次的特征的视觉模式不同，第一层次的特征是用于提供高频信息的关键特征，第二层次的特征是用于后续恢复重建高清帧，第三层次的特征是用于匹配查询特征。
[0016]进一步地，所述步骤S5中，采用h
×
w滑动窗口将所有特征进行分块拼接，分别得到低清输入帧特征矩阵和参考池特征矩阵并计算相关性。
[0017]进一步地，所述步骤S5中，h＝w＝3，步长为1。
[0018]进一步地，所述步骤S6中，更新参考池的更新规则为：参考最大相关性列表，筛选出若干个值最小的相关性值，然后根据相关性位置坐标列表从重建恢复出的高清帧中索引出这些相关性值对应的特征作为更新特征，输入参考池。
[0019]本专利技术通过建立一个通用参考池，搜索本地匹配模式来恢复所有低分辨率图像目标。通过利用注意力机制以及跨尺度特征融合，生成具有较好感知质量和丰富细节的逼真图像。在性能效果保持与现有跨尺度信息融合方法(CRS)持平情况下，解决了其计算冗余过大的问题，大大节省了数据量(节省约34.8％)和运行时间(降低约64.7％)；另外，数据量和运行时间两项指标也均优于残差通道注意力图像超分方法(RCAN)和增强可变卷积视频超分方法(EDVR)。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性的劳动前提下，还可以根据这些附图获得其他的附图。
[0021]图1是基于参考池匹配的视频超分方法的流程图。
[0022]图2是基于参考池匹配的视频超分方法的特征提取步骤图。
[0023]图3是基于参考池匹配的视频超分方法的系统图。
[0024]图4是基于参考池匹配的视频超分方法的特征搜索匹配网络的系统图。
[0025]图5是基于参考池匹配的视频超分方法的相关性感知融合网络的系统图。
[0026]图6是基于参考池匹配的视频超分方法(RP)的性能对比图，对比了跨尺度信息融合方法(CRS)与多功能的视频编码(VVC)。
[0027]图7是基于参考池匹配的视频超分方法(RP)的数据量与运行时间对比图，对比了残差通道注意力图像超分方法(RCAN)、增强可变卷积视频超分方法(EDVR)和跨尺度信息融合方法(CRS)。
具体实施方式
[0028]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方法做进一步地详细描述。
[0029]本实施例的一种基于参考池匹配的视频超分方法，步骤如下：
[0030](1)首先收集和整理规范的视频图像数据集，构建神经网络训练集、测试集；
[0031](2)对高清参考帧和低清输入帧进行预处理，将低清帧进行上采样，对参考帧先进行下采样后再上采样；
[0032](3)建立特征提取网络，将经过预处理的高清参考帧和低清帧输入特征提取网络(三个卷积层)；
[0033](4)初始化参考池，将由特征提取网络输出的高清参考帧的三个层次的特征作为参考池的初始特征；
[0034](5)建立特征搜索匹配网络，将低清帧特征与参考池特征输入搜索匹配网络，计算相关性系数，得到最大相关性系数/坐标列表；
[0035](6)更新参考池；
[0036](7)通过相关性感知融合网络，重建恢复图像。
[0037]所述步骤(1)中，数据集的整理对整个神经网络的训练有着很大影响，数据量、数据特征等因素都影响着神经网络最终模型对于数据的拟合程度，在训练过程中生成实时的Loss与时间T的曲线，在曲线收敛趋于平缓稳定后保存模型。训练集为BVI
‑
DVC，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于参考池匹配的视频超分方法，其特征在于，包括如下步骤：S1，收集和整理视频图像数据集，构建训练集和测试集；S2，对高清参考帧和低清输入帧进行预处理，将低清输入帧进行上采样，对高清参考帧先进行下采样后再上采样；S3，建立特征提取网络，将经过预处理的高清参考帧和低清输入帧输入所述特征提取网络；S4，初始化参考池，将由所述特征提取网络输出的高清参考帧的特征作为参考池的初始特征；S5，建立特征搜索匹配网络，将低清输入帧特征与参考池特征输入所述特征搜索匹配网络，计算相关性系数，得到最大相关性系数/坐标列表；S6，更新参考池；S7，通过相关性感知融合网络，重建恢复出高清帧图像。2.根据权利要求1所述的基于参考池匹配的视频超分方法，其特征在于，所述步骤S2中，对低清输入帧上采样同时，对高清参考帧也要先下采样后再上采样，所述下采样及上采样均采用双三次插值法。3.根据权利要求1所述的基于参考池匹配的视频超分方法，其特征在于，所述步骤S3...

【专利技术属性】
技术研发人员：马展，黄俊杰，张驰，陆明，
申请(专利权)人：南京大学，
类型：发明
国别省市：