一种图像、视频放大方法和系统技术方案

本发明专利技术公开了一种图像、视频放大方法和系统，该方法包括：对采集的原始图像进行上采样，得到放大后图像；对放大后图像进行反卷积处理，得到反卷积图像；判断当前得到的反卷积图像的能量函数值是否达到最小值；若达到最小值，则将当前得到的反卷积图像作为目标图像。本发明专利技术能够保证放大效果且同时满足实时性。

An image and video amplification method and system

The invention discloses an image and video enlargement method and a system, which comprises: sampling the original image to obtain the enlarged image; deconvoluting the enlarged image to obtain the deconvoluted image; judging whether the energy function value of the current obtained deconvolution image reaches the minimum value; and To the minimum, the current deconvolution image is taken as the target image. The invention can ensure the magnification effect and meet the real-time performance at the same time.

【技术实现步骤摘要】
一种图像、视频放大方法和系统
本专利技术实施例涉及视频图像处理
，特别涉及一种图像、视频放大方法和系统。
技术介绍
视频放大技术是针对低分辨率的视频无法满足观看需求，在保证视频清晰度的前提下实现视频放大的技术。目前，视频放大技术仅是对图像的放大，图像放大技术主要包括基于插值放大和基于分辨率重建的放大。插值放大技术有很多种算法。但其都是通过对自身图像进行运算插值。而图像放大过程是一个图像数据再生过程，该过程利用已知像素点估计未知像素点，不同的插值技术得到的图像清晰度不同。因此需要在插值后的图像进行进一步的细节预测处理。图像超分辨率技术主要分为基于学习的超分辨率和重建的超分辨率。主要包括基于主成分分析的超分辨率算法、基于流形学习的超分辨率算法和基于超完备字典的图像稀疏表示的超分辨率复原算法等等。上述算法能够通过一系列的处理还原放大后图像的细节，算法效果相较于现有技术中的很多插值技术有有所提升，但是由于算法复杂，使得完成视频的整个放大过程需要大量的时间，因而无法满足对实时性要求较高的视频直播等领域。在实现本专利技术的过程中，专利技术人发现至少存在如下问题：目前，基于插值的算法主要是辅助性的应用较多，通过改变这些基础的插值技术，进行其他图像处理领域操作，如通过图像上采样和下采样技术构建多尺度金字塔模型，提取图像特征，实现图像检索和识别等。同时也有直接应用在视频放大领域的插值技术，但是由于算法单一，仅仅是改变插值算法没有后续细节的补充和完善，导致算法的实现效果无法满足需求。基于超分辨率的重建算法虽然能够实现细节的完善，但是却无法满足对实时性要求较高的网络电视直播等领域。
技术实现思路
本专利技术的目的是提供一种在保证放大后图像清晰度效果的同时满足实时性的图像、视频放大方法和系统。根据本专利技术实施例的一个方面，提供一种图像放大方法，该放大方法包括：对采集的原始图像进行上采样，得到放大后图像；对放大后图像进行反卷积处理，得到反卷积图像；判断当前得到的反卷积图像的能量函数值是否达到最小值；若达到最小值，则将当前得到的反卷积图像作为目标图像。进一步，若未达到最小值，对反卷积图像进行滤波处理，得到滤波图像；采用原始图像对滤波图像进行像素替换，得到像素替换图像；对像素替换图像进行反卷积处理，得到反卷积图像，并循环执行判断当前得到的反卷积图像的能量函数值是否达到最小值的步骤。进一步，确定反卷积图像的能量函数值，具体包括：获取原始图像经卷积后得到的图像与反卷积图像之间的误差，以及获取放大后图像的梯度密度；基于获取的误差和梯度密度，得到能量函数值；获取放大后图像的梯度密度，具体包括：采用概率密度先验分布函数表示放大后图像的梯度分布，得到放大后图像的梯度分布函数；基于放大后图像的梯度分布函数，得到放大后图像的梯度密度；反卷积图像的能量函数值根据如下公式确定：E(x)∝||f*x-H1||+γ(||φ(H'Y)||+||φ(H'X)||)；式中，E(x)是得到的反卷积图像的能量函数值；H'X是放大后图像在X方向上的像素的梯度值，φ(H'X)是放大后图像在X方向上的梯度密度；H'Y是放大后图像在Y方向上的像素的梯度值，φ(H'Y)是放大后图像在Y方向上的梯度密度；H1是指反卷积图像；f为卷积核，为已知量；x为采集的原始图像；tx是指卷积扫描过程中，扫描中心和放大后图像在X方向上的交点；ty是指卷积扫描过程中，扫描中心和放大后图像在Y方向上的交点；γ、K和a均为常量值；f*x表示采集的原始图像与卷积核卷积所得的图像，f*x-H1指采集的原始图像与卷积核卷积所得的图像与反卷积图像之间的误差。进一步，采用原始图像对滤波图像进行像素替换，具体包括：基于上采样时采用的上采样因子和原始图像上的每一个像素点的位置坐标，计算得到每一个像素点在滤波图像上对应的位置坐标；利用每一个像素点替换在滤波图像上对应的位置坐标处的像素点。进一步，对采集的原始图像进行上采样，得到放大后图像，具体包括：利用双立方插值算法在采集的原始图像中进行插值，得到放大后图像；对反卷积图像进行滤波处理，得到滤波图像，具体包括：以原始图像的相邻帧图像为引导图像，采用引导滤波算法对反卷积图像进行滤波处理，得到滤波图像。根据本专利技术实施例的另一个方面，提供一种视频放大方法，该视频放大方法包括：该视频包括的至少一帧图像采用上述任一种图像放大方法进行放大。根据本专利技术实施例的又一个方面，提供一种图像放大系统，该图像放大系统包括：上采样模块，用于对采集的原始图像进行上采样，得到放大后图像；反卷积模块，用于对放大后图像进行反卷积处理，得到反卷积图像；判断模块，用于判断当前得到的反卷积图像的能量函数值是否达到最小值；目标视频图像确定模块，用于在当前得到的反卷积图像的能量函数值达到最小值时，将当前得到的反卷积图像作为目标图像。进一步，图像放大系统还包括：滤波模块，用于对反卷积图像进行滤波处理，得到滤波图像；像素替换模块，用于采用原始图像对滤波图像进行像素替换，得到像素替换图像；反卷积模块，还用于对所述像素替换图像进行反卷积处理，得到反卷积图像，并且判断模块循环执行判断当前得到的反卷积图像的能量函数值是否达到最小值的步骤。进一步，图像放大系统还包括能量函数确定模块；能量函数确定模块包括：误差获取子模块，用于获取原始图像经卷积后得到的图像与反卷积图像之间的误差；梯度密度获取子模块，用于获取放大后图像的梯度密度；能量函数确定子模块，用于基于获取的误差和梯度密度，得到能量函数值；梯度密度获取子模块包括：梯度分布函数确定单元，用于采用概率密度先验分布函数表示放大后图像的梯度分布，得到放大后图像的梯度分布函数；梯度密度确定单元，用于基于放大后图像的梯度分布函数，得到反卷积图像的梯度密度；反卷积图像的能量函数值根据如下公式确定：E(x)∝||f*x-H1||+γ(||φ(H'Y)||+||φ(H'X)||)；式中，E(x)是得到的反卷积图像的能量函数值；H'X是放大后图像在X方向上的像素的梯度值，φ(H'X)是放大后图像在X方向上的梯度密度；H'Y是放大后图像在Y方向上的像素的梯度值，φ(H'Y)是放大后图像在Y方向上的梯度密度；H1是指反卷积图像；f为卷积核，为已知量；x为采集的原始图像；tx是指卷积扫描过程中，扫描中心和放大后图像在X方向上的交点；ty是指卷积扫描过程中，扫描中心和放大后图像在Y方向上的交点；γ、K和a均为常量值；f*x表示采集的原始图像与卷积核卷积所得的图像，f*x-H1指采集的原始图像与卷积核卷积所得的图像与反卷积图像之间的误差。进一步，像素替换模块包括：像素点位置坐标计算子模块，用于基于上采样时采用的上采样因子和原始图像上的每一个像素点的位置坐标，计算得到每一个像素点在滤波图像上对应的位置坐标；像素替换子模块，用于利用每一个像素点替换在滤波图像上对应的位置坐标处的像素点。进一步，上采样模块包括：插值子模块，用于利用双立方插值算法在采集的原始图像中进行插值，得到放大后图像；滤波模块包括：滤波子模块，用于以原始图像的相邻帧图像为引导图像，采用引导滤波算法对反卷积图像进行滤波处理，得到滤波图像。根据本专利技术实施例的又一个方面，提供一种视频放大系统，包括上述任一种图像放大系统，用于对采集的视频包括的至少本文档来自技高网...

【技术保护点】
1.一种图像放大方法，其特征在于，所述方法包括：对采集的原始图像进行上采样，得到放大后图像；对所述放大后图像进行反卷积处理，得到反卷积图像；判断当前得到的反卷积图像的能量函数值是否达到最小值；若达到最小值，则将所述当前得到的反卷积图像作为目标图像。

【技术特征摘要】
1.一种图像放大方法，其特征在于，所述方法包括：对采集的原始图像进行上采样，得到放大后图像；对所述放大后图像进行反卷积处理，得到反卷积图像；判断当前得到的反卷积图像的能量函数值是否达到最小值；若达到最小值，则将所述当前得到的反卷积图像作为目标图像。2.如权利要求1所述的图像放大方法，其特征在于，所述方法还包括：若未达到最小值，对所述反卷积图像进行滤波处理，得到滤波图像；采用原始图像对所述滤波图像进行像素替换，得到像素替换图像；对所述像素替换图像进行反卷积处理，得到反卷积图像，并循环执行判断当前得到的反卷积图像的能量函数值是否达到最小值的步骤。3.如权利要求1所述的图像放大方法，其特征在于，确定所述反卷积图像的能量函数值，具体包括：获取所述原始图像经卷积后得到的图像与所述反卷积图像之间的误差，以及获取所述放大后图像的梯度密度；基于获取的所述误差和所述梯度密度，得到所述能量函数值；所述获取放大后图像的梯度密度，具体包括：采用概率密度先验分布函数表示所述放大后图像的梯度分布，得到所述放大后图像的梯度分布函数；基于所述放大后图像的梯度分布函数，得到所述放大后图像的梯度密度；所述反卷积图像的能量函数值根据如下公式确定：E(x)∝||f*x-H1||+γ(||φ(H'Y)||+||φ(H'X)||)；式中，E(x)是得到的反卷积图像的能量函数值；H'X是所述放大后图像在X方向上的像素的梯度值，φ(H'X)是所述放大后图像在X方向上的梯度密度；H'Y是所述放大后图像在Y方向上的像素的梯度值，φ(H'Y)是所述放大后图像在Y方向上的梯度密度；H1是指所述反卷积图像；f为卷积核，为已知量；x为采集的原始图像；tx是指卷积扫描过程中，扫描中心和所述放大后图像在X方向上的交点；ty是指卷积扫描过程中，扫描中心和所述放大后图像在Y方向上的交点；γ、K和a均为常量值；f*x表示采集的原始图像与卷积核卷积所得的图像，f*x-H1指采集的原始图像与卷积核卷积所得的图像与反卷积图像之间的误差。4.如权利要求2所述的图像放大方法，其特征在于，所述采用原始图像对所述滤波图像进行像素替换，具体包括：基于上采样时采用的上采样因子和所述原始图像上的每一个像素点的位置坐标，计算得到所述每一个像素点在所述滤波图像上对应的位置坐标；利用所述每一个像素点替换在所述滤波图像上对应的位置坐标处的像素点。5.如权利要求2所述的图像放大方法，其特征在于，对采集的原始图像进行上采样，得到放大后图像，具体包括：利用双立方插值算法在采集的原始图像中进行插值，得到放大后图像；所述对反卷积图像进行滤波处理，得到滤波图像，具体包括：以所述原始图像的相邻帧图像为引导图像，采用引导滤波算法对所述反卷积图像进行滤波处理，得到滤波图像。6.一种视频放大方法，其特征在于，所述视频包括的至少一帧图像采用如权利要求1-5中任一项所述的图像放大方法进行放大。7.一种图像放大系统，其特征在于，所述图像放大系统包括：上采样模块(10)，用于对采集的原始图像进行上采样，得到放大后图像；反卷积模块(11)，用于对所述放大后图像进行反卷积处理，得到反卷积图像；判断模块(12)，用于判断当前得到的反卷积图像的能...

【专利技术属性】
技术研发人员：高岩，
申请(专利权)人：北京优朋普乐科技有限公司，
类型：发明
国别省市：北京,11