一种基于样本数据集优化的视频超分辨率方法技术

发明专利技术为一种基于样本数据集优化的视频超分辨率方法，其步骤如下：首先通过内容分类模块，判断目标视频的内容所属分类；其次，依据内容的分析结果，实时挑选样本数据，并将挑选后的样本数据输入至映射关系模型，得到实时挑选增量数据集；随后将挑选的样本数据集进行训练，得到预训练的网络模型；紧接着将挑选后的增量数据集进行训练，得到训练完成的超分辨率重建模型；最后，将待超分辨率重建的视频图像输入进训练好的超分辨率重建网络模型之中，得到超分辨率重建的视频图像，完成视频图像超分辨率重建任务。本发明专利技术的优点为，构建了一个轻量级的视频超分辨率方法，它提升了在视频超分辨率中最大化样本的训练效率，用最少的样本达到最好的重建效果。到最好的重建效果。到最好的重建效果。

【技术实现步骤摘要】
一种基于样本数据集优化的视频超分辨率方法


[0001]本专利技术涉及图形处理领域，特别是一种基于样本数据集优化的视频超分辨率的方法。

技术介绍

[0002]对于视频监控领域，如何得到感兴趣的高分辨率目标图像是该领域的热点和难点问题。相比于提升获取高分辨率图像的硬件设备，采用图像超分辨率算法重建的方法成本低并且较易实现。超分辨率技术(Super Resolution,SR) 是从给定的低分辨率(LR)图像中恢复高分辨率(HR)图像的过程，是计算机视觉领域的一个重要分支。近年来，图像超分辨率的相关研究发展迅速，尤其是深度学习的飞速发展，但是现有的这些超分辨率算法如VDSR、LapSRN、MSRN等，采用提升网络的参数量以及细化卷积神经网络的架构来提升图像的重建效果，无法适用于广大设备受限的现实场景。为了追求视频图像重建的效果提升训练模型的泛化能力，现有的算法需要采用大量的训练数据，并且需要内容较为独立的训练数据。常用的超分辨率数据集，如Div2K、Flick2K等数据集都包含了 1000及以上张2K分辨率的图像，ImageNet甚至包含了350万张图片，且训练集中的包含的图像类别有人物、动物、风景等。虽然相关性较弱的训练数据集有利于提升算法的泛化能力避免过拟合，但与此同时也降低了模型的重建效果。
[0003]在过去的几年里，深度学习的方法在诸如机器视觉、语音识别及自然语言处理等几个领域获得重大突破，得到广泛的关注与应用。搭建基于深度学习的模型是常用来解决复杂问题的现代方法，然后该方法不利的一面是，为了训练一个到令人满意的模型，通常需要大量的数据，并且对于有监督的深度学习，还需要大量已经完成标注工作的数据集。众所周知，标注数据通常是依赖于人工标注获得，因此在样本数量庞大的数据集之中，存在着不均衡数据的问题，所谓的不均衡数据是指基于深度学习人工神经网络在训练的过程中，所采用的数据在不同类别上的分布是不均衡的。从经验上来分析，用均衡的数据集对基于深度学习模型进行训练，训练的效果将会优于用非均衡的数据集训练的结果，然而在真实的情况下，可用的数据集通常是不均衡的。Paulina Hensman和DavidMasko提出了数据集的数据样本不平衡对基于深度学习的分类模型训练结果有很大的影响，因此如何处理不均衡数据是深度学习中一个很大的挑战。同样的，基于深度学习的视频图像超分辨率重建模型也需要用大量样本数据去训练模型参数，使训练完成后的模型性能更好，能够达到强的泛化能力，以便能够预测尽量多的不在数据集中的样本。但采用大量的数据集训练模型的方法仍旧使得模型泛化能力与样本数据之间的关系难以建模，从而导致盲目增加与重建图像弱相关性的无效样本，使得样本数据急剧增大，引发数据集中的样本数据不平衡，导致模型学习效率低，甚至出现模型训练失败的问题。
[0004]概括的说，监控视频画面都是来源于现实世界，往往存在着许多噪声，因此现有的图像超分辨率数据集样本与监控视频画面的相关性较弱，所以在进行超分辨率模型训练时，需要用到海量的样本数据集。
[0005]Hengyuan Zhao等人提出了ClassSR，ClassSR是一个通用框架，用于加速大多数现有的SR方法。ClassSR将分类和SR结合在一个统一的框架中。首先利用分类模块根据恢复困难程度将子图像分类为不同的类。然后利用SR
‑
模块对不同的类采用不同的SR模型进行超分辨率重建。分类模块是一个传统的分类网络，而SR
‑
模块是一个网络容器，包含即将用于加速的SR网络及其简化版本组成。在此基础上，提出了一种新的基于类损失和平均损失的分类方法。联合训练后，大部分子图像将通过较小的网络，大大降低了计算成本。但是该方案依然存在以下不足，1、ClassSR并未减少数据集的数量。2、ClassSR框架目的在于减少现有的视频图像超分辨率模型训练的时间，降低计算成本，但是没有考虑提升视频图像超分辨率重建的质量。

技术实现思路

[0006]本专利技术的目的在于：提供一种基于样本集数据集优化的视频超分辨率方法，它为一种为轻量级的视频超分辨率方法，不采用大量的数据样本对超分辨率模型进行训练，而是探索出数据集样本与视频图像超分辨率重建效果之间的关系模型，减少与重建图像弱相关性的无效样本，保留与增加重建图像强相关性的样本数据，会使模型的学习效率显著提升，极大地提升了在视频超分辨率中最大化样本的训练效率，用最少的样本达到最好的重建效果。
[0007]本专利技术通过如下技术方案实现：一种基于样本数据集优化的视频超分辨率方法，其特征在于，包括以下步骤：
[0008]步骤S1：建立一个视频图像内容分类器，用于识别与分类输入视频图像的内容,同时对输入的原始低分辨率视频图像进行上采样预处理形成预处理的视频图像；
[0009]步骤S2：将视频图像内容分类器的输出结果和带有分类标签的样本数据集共同输入内容关系模型，依据内容关系模型的数据分析结果，输出挑选后的样本数据集；
[0010]步骤S3：将经过上采样预处理后的视频图像与步骤S2中挑选后的样本数据集共同输入映射关系模型，依据映射关系模型的数据分析结果，输出挑选后的原始视频图像数据集；
[0011]步骤S4：将挑选后的样本数据集输入到初始超分辨率网络模型之中，进行超分辨率重建网络模型预训练，形成预训练后的网络模型；
[0012]步骤S5：将步骤S3挑选后的原始视频图像数据集输入至步骤S4的预训练后的超分辨率网络模型，通过增量学习训练，生成增量数据调整的超分辨率网络模型，从而完成超分辨率重建网络模型训练，形成训练完成的网络模型；
[0013]步骤S6：将原始低分辨率视频图像输入至训练完成的网络模型中，输出高分辨率的视频图像，完成超分辨率重建工作。
[0014]较之前技术而言，本专利技术的有益效果为：
[0015]构建了一个轻量级的视频超分辨率方法，不采用大量的数据样本对超分辨率模型进行训练，而是探索出数据集样本与视频图像超分辨率重建效果之间的关系模型，减少与重建图像弱相关性的无效样本，保留与增加重建图像强相关性的样本数据，会使模型的学习效率显著提升，极大地提升了在视频超分辨率中最大化样本的训练效率，用最少的样本达到最好的重建效果。
附图说明
[0016]图1为本专利技术的数据流程图。
具体实施方式
[0017]下面结合附图说明对本专利技术做详细说明：
[0018]如图1所示：一种基于样本数据集优化的视频超分辨率的方法，其特征在于，包括以下步骤：
[0019]步骤S1：建立一个视频图像内容分类器，用于识别与分类输入视频图像的内容,同时对输入的原始低分辨率视频图像进行上采样预处理形成预处理的视频图像；
[0020]步骤S2：将视频图像内容分类器的输出结果和带有分类标签的样本数据集共同输入内容关系模型，依据内容关系模型的数据分析结果，输出挑选后的样本数据集；
[0021]步骤S3：将经过上采样预处理后的视频图像与步骤S2中挑选后的样本数据集共同输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于样本数据集优化的视频超分辨率方法，其特征在于，包括以下步骤：步骤S1：建立一个视频图像内容分类器，用于识别与分类输入视频图像的内容,同时对输入的原始低分辨率视频图像进行上采样预处理形成预处理的视频图像；步骤S2：将视频图像内容分类器的输出结果和带有分类标签的样本数据集共同输入内容关系模型，依据内容关系模型的数据分析结果，输出挑选后的样本数据集；步骤S3：将经过上采样预处理后的视频图像与步骤S2中挑选后的样本数据集共同输入映射关系模型，依据映射关系模型的数据分析结果，输出挑选后的原始视频图像数据集；步骤S4：将挑选后的样本数据集输入到初始超分辨率网络模型之中，进行超分辨率重建网络模型预训练，形成预训练后的网络模型；步骤S5：将步骤S3挑选后的原始视频图像数据集输入至步骤S4的预训练后的超分辨率网络模型，通过增量学习训练，生成增量数据调整的超分辨率网络模型，从而完成超分辨率重建网络模型训练，形成训练完成的网络模型；步骤S6：将原始低分辨率视频图像输入至训练完成的网络模型中，输出高分辨率的视频图像，完成超分辨率重建工作。2.根据权利要求1所述的一种基于样本数据集优化的视频超分辨率的方法，其特征在于：所述步骤S1中，视频图像内容分类器采用经典的ResNet152网络架构构建而成；ResNet152包含五个部分，分别是：conv1，conv2_x，conv3_x，conv4_x，conv5_x，其中conv1是个7x7x64的卷积层，conv2_x,conv3_x，conv4_x，conv5_x分别是3、8、36、3个building block，共计50个，每个block为3层，所以有50x 3＝150层，最后有个用于分类的fc层，共计152层；ResNet152网络利用现有的样本数据集进行预训练，网络模型训练完成后即可得到一个经典的视频图像内容分类器。3.根据权利要求1所述的一种基于样本数据集优化的视频超分辨率的方法，其特征在于：所述步骤S2具...

【专利技术属性】
技术研发人员：张清池，
申请(专利权)人：福建八萃网络科技有限公司，
类型：发明
国别省市：