图像视频超分辨率方法和装置制造方法及图纸

本发明专利技术公开一种图像视频超分辨率方法和装置，该方法包括如下步骤：输入步骤，输入低分辨率图像；超分辨率步骤，包括插值和去模糊，对所述低分辨率图像进行插值，并通过加权全变差正则化约束的超分辨率模型对所述插值后图像进行去模糊；以及输出步骤，输出高分辨率图像。该方法采用了一个加权全变差的正则化模型，使该模型的曲线更加贴近自然图像真实的一阶差分统计结果，改进了原来的一些逼近先验导致优化方程非凸的现象，使方程的求解更加稳定快速。另外，还为模型设计了快速求解方法，使模型更加实用。同时，通过过量去模糊控制使该方法运行效果更加鲁棒。

【技术实现步骤摘要】

本专利技术属于视频图像处理
，特别是涉及一种图像视频超分辨率方法和装置。
技术介绍
图像超分辨率是指利用计算机把一幅低分辨率的图像放大为一幅高分辨率的图像，并且估计出在放大过程中需要增补的图像信息的一类方法。视频超分辨率分为两类，一类是指从一个视频中，利用多帧的信息，重建出一个关键帧，在监控中有较多的应用。另一类是指对视频的每一帧进行放大，生成一个高分辨率的视频，主要在视频广播领域内应用。数字图像生成设备(数码相机、数码摄像机等)的使用已经越来越普及，也使得数字图像得到了越来越广泛的应用。随着电子设备的快速更新换代，CMOS和CCD图像传感器的发展，视频采集和显示设备的分辨率越来越高，不同设备采集的视频的大小也是参差不齐。把高分辨率的视频降采样到低分辨率显示设备上显示相对比较容易，但是把低分辨率视频放大到高分辨率大小显示就相对比较复杂，需要通过低分辨率视频猜测出未知的信息填补到高分辨率视频中，以使重建的高分辨率视频保证足够的清晰度，并且让人眼的感官比较自然。随着计算机和图像处理技术的发展，视频图像的超分辨率技术为增强和放大低分辨率的视频提供了很好的解决方案。它可将低分辨率的视频进行更好的放大，从而可以在高分辨率的显示设备上进行显示。视频图像超分辨率是一项非常有前景的技术，相比于传统的图像插值方法，超分辨率方法能够提供更加优异的图像视频放大效果。它可在图像放大的过程中保持图像的边缘和细节，从而得到更接近原始高分辨率图像的结果。针对视频广播领域的超分辨率通常的单帧图像超分辨率。单帧视频图像的超分辨率通常采用两类方法，一类是基于样例学习的超分辨率算法，一类是基于正则化模型的超分辨率算法。有研究者在2002年提出了基于样例学习的超分辨方法。在自然图像中，如果把大量的自然图像建立一个数据库。然后把它们切割成很小的图像块，可以发现，这些小图像块会在其他自然图像中或者自身存在的图像中重复出现。甚至，这些图像从宏观上看，并不表示同样的物体。该研究者利用这个思想构建了一个数据库，数据库中存储这些高分辨率的图像小块和它们的降采样版本。当需要进行图像超分辨的时候，待超分辨的低分辨率图像也被切成与数据库中的低分辨率小块同样大小的块，然后，这些小块去数据库中寻找自己的相似版本，把它对应的高分辨率小块作为超分辨率结果贴回图像中，当为所有低分辨率小块都找到它们的高分辨率对应之后，超分辨率的结果也就完成了。另有研究者在2009年提出了基于图像自相似性的样例学习方式，不需要建立额外的数据库，而是直接从当前图像自身出发，进行降采样，然后这种高分辨率和低分辨率的对应结果作为数据库，进行超分辨率，也取得了不错的效果。由于数据库的构建过于庞大和冗余，另有研究者在2010年使用了稀疏表示的方法对数据库进行一定的训练，从庞大的数据库中筛选中重要的特征，使图像块的表示尽量的稀疏化，以达到更好的超分辨率效果，并加快后期超分辨率的速度，也取得了不错的效果。这类基于样例学习的超分辨率方法的虽然能够得到很好的主观效果，但是缺点也是比较明显的：首先，数据库的存储必须占据大量的空间，数据库的精确查找也比较慢，使得算法在空间和时间上的效率不高；另外，超分辨率的数据库的构建中需要确定放大倍数，也使得这类方法的放大倍数比较固定，并不能做到灵活的放大。另一类方法则是正则化模型。由于从低分辨率图像还原回高分辨率图像的过程是一个不适定的反问题，即反向推导模型不稳定，很容易被噪声干扰得到非常差的结果。正则化模型根据自然图像的统计特性，建立图像先验，构建图像的降质模型，然后，通过求解优化方程的方法得到最终的满足约束的最优估计解，得到最终的还原结果。正则化模型相比于样例超分辨的优势在于:不用构建数据库，即不用大量额外的存储空间和搜索时间；通过构建相应的模型，可以对图像进行任意倍数的放大。有研究者于2008年提出了根据自然图像的一阶差分的统计特性的分段的先验模型，该模型采用一个分段的函数去逼近自然图像一阶差分的概率统计，使先验模型更加准确，基于这个模型，作者采用特定的优化方法进行求解，得到了比较好的效果。有研究者于2008年通过分析图像在增大过程中边缘的粗细变化规律建立先验模型，也使得最终生成的图像更加的锐利。有研究者于2015年提出距离敏感的先验模型，为不同距离大小的物体分配不同的去模糊权重，改进现有的模型，也得到了比较好的图像主客观效果。
技术实现思路
为了解决上述问题，本专利技术提供一种基于稀疏性的快速图像视频超分辨率方法，包括如下步骤：输入步骤，输入低分辨率图像；超分辨率步骤，包括插值和去模糊，对所述低分辨率图像进行插值，并通过加权全变差正则化约束的超分辨率模型对所述插值后图像进行去模糊；以及，输出步骤，输出高分辨率图像。优选为，还包括过量去模糊控制步骤，对所述插值后的图像进行划分，区分为稀疏边缘、纹理区域和平滑区域，其中，在所述稀疏的边缘和所述纹理区域执行所述去模糊步骤，在所述平滑区域直接使用插值。优选为，所述超分辨率步骤包括如下步骤：建模步骤，建立加权全变差正则化约束的超分辨率模型，表示为， x ^ = arg min x ^ 1 2 | | D B x - y | | 2 2 + μ W | | V x | | 1 ]]>其中，表示还原的高分辨率图像，D表示相应倍数的降采样，B表示模糊核，x表示原始高分辨率图像，y表示生产的低分辨率图像，μ是一个可以调节的参数，W是对角的权重矩阵，Vx包括横向、纵向还有斜向的一阶差分；以及，求解步骤，通过交替迭代法求解得到更新像素权重，迭代多次，直到收敛。优选为，所述过量去模糊的控制步骤具体包括如下步骤：计算所述插值后的图像的梯度值；利用一个阈值生成一个掩膜，对梯度值进行选择，其中，梯度值大于阈值的部分，代入所述加权全变差正则化约束的超分辨率模型，梯度值小于阈值的部分，使用插值的结果。优选为，所述建模步骤，具体包括如下步骤：建立图像降质模型，包括模糊和降采样两个部分，表示为： y = D ( B ⊗ x ) ]]>其中，x表示原始高分辨率图像，B表示模糊核，表示卷积过程，D表示相应倍数的降采样，y表示生产的低分辨率图像；建立超分辨率模型，包括图像插值和去模糊两个部分,表示为： x ^ = B ⊗ - 1 ( D - 1 y ) 本文档来自技高网...

【技术保护点】
一种图像视频超分辨率方法，其特征在于，包括如下步骤：输入步骤，输入低分辨率图像；超分辨率步骤，包括插值和去模糊，对所述低分辨率图像进行插值，并通过加权全变差正则化约束的超分辨率模型对所述插值后图像进行去模糊；以及输出步骤，输出高分辨率图像。

【技术特征摘要】
1.一种图像视频超分辨率方法，其特征在于，包括如下步骤：输入步骤，输入低分辨率图像；超分辨率步骤，包括插值和去模糊，对所述低分辨率图像进行插值，并通过加权全变差正则化约束的超分辨率模型对所述插值后图像进行去模糊；以及输出步骤，输出高分辨率图像。2.根据权利要求1所述的图像视频超分辨率方法，其特征在于，还包括过量去模糊控制步骤，对所述插值后的图像进行划分，区分为稀疏边缘、纹理区域和平滑区域，其中，在所述稀疏的边缘和所述纹理区域执行所述去模糊步骤，在所述平滑区域直接使用插值。3.根据权利要求1或2所述的图像视频超分辨率方法，其特征在于，所述超分辨率步骤包括如下步骤：建模步骤，建立加权全变差正则化约束的超分辨率模型，表示为， x ^ = arg min x ^ 1 2 | | D B x - y | | 2 2 + μ W | | V x | | 1 ]]>其中，表示还原的高分辨率图像，D表示相应倍数的降采样，B表示模糊核，x表示原始高分辨率图像，y表示生产的低分辨率图像，μ是一个可以调节的参数，W是对角的权重矩阵，Vx包括横向、纵向还有斜向的一阶差分；以及求解步骤，通过交替迭代法求解得到更新像素权重，迭代多次，直到收敛。4.根据权利要求2所述的图像视频超分辨率方法，其特征在于，所述过量去模糊的控制步骤具体包括如下步骤：计算所述插值后的图像的梯度值；利用一个阈值生成一个掩膜，对梯度值进行选择，其中，梯度值大于阈值的部分，代入所述加权全变差正则化约束的超分辨率模型，梯度值小于阈值的部分，使用插值的结果。5.根据权利要求3所述的图像视频超分辨率方法，其特征在于，所述建模步骤，具体包括如下步骤：建立图像降质模型，包括模糊和降采样两个部分，表示为： y = D ( B ⊗ x ) ]]>其中，x表示原始高分辨率图像，B表示模糊核，表示卷积过程，D表示相应倍数的降采样，y表示生产的低分辨率图像；建立超分辨率模型，包括图像插值和去模糊两个部分,表示为： x ^ = B ⊗ - 1 ( D - 1 y ) ]]>其中，表示还原的高分辨率图像，B表示模糊核，表示反卷积过程，D-1表示相应倍数的插值过程，y表示低分辨率图像；以及加权全变差正则化约束，采用的加权的全变差约束方式对所述超分辨率模型的还原结果进行约束，使所述还原结果不被噪声干扰，且符合真实图像的结果。6.根据权利要求5所述的图像视频超分辨率方法，其特征在于，所述加权全变差正则化约束步骤具体包括：在观察到低分辨率图像y的情况下，求一个高分辨率的图像使其条件概率最大，表示为下式， x ^ = arg max x ln p ( x | y ) ; ]]>引入真实图像的先验重建最终的结果；以及采用加权的全变差正则化约束方式，对较大的一阶差分项进行弱约束，对于较小的一阶差分项进行强约束。7.根据权利要求5或6所述的图像视频超分辨率方法，其特征在于，所述加权的全变差正则化约束的权重表示为： w ...

【专利技术属性】
技术研发人员：杨长水，柏园超，贾惠柱，解晓东，陈瑞，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11