基于超分辨率技术的视频增强方法技术

本发明专利技术公开了一种基于超分辨率技术的视频增强方法，包括以下步骤：S1场的靶标图P1获取成像系统的点扩散函数h(x,y)；S2场采集的低分辨率图像G1,利用h(x,y)和超拉普拉斯正则化快速复原算法进行去噪和图像复原得到清晰的图像F2；S3双线性插值对图像F2初步放大得到图像F3；S4像F3利用SRCNN算法得到放大的高质量图像F4。本发明专利技术将图像恢复算法和SRCNN算法结合形成了一种新算法，通过对该算法在DaVinci系统上进行优化，实现了在不改变摄像头的情况下提高图像分辨率，为现有的大部分旧设备提高分辨率提供思路。

【技术实现步骤摘要】

本专利技术涉及视频处理领域，具有涉及一种基于超分辨率技术的视频增强方法。
技术介绍
目前，基于图像/视频的监控系统是安防的重要手段。由于受成本和体积的限制，许多监控系统得到的图像质量一般较差。超分辨率技术多应用于成像设备硬件条件限制而无法提高图像分辨率的情况。超分辨率技术有基于单幅图像的重建算法，也有基于多幅图像的重建算法。近年来超分辨率领域的研究主要是针对多帧图像的超分辨率处理。袁媛等人提出了一种基于小波变换的图像超分辨率增强算法,克服了传统的插值方法致使图像高频部分损失、感兴趣的细节被模糊的缺点。宋琼等人提出了一种基于IBP的超分辨率图像的处理算法，该算法的收敛速度较快,且可以由并行机制实现。朱勇等人提出了基于多画幅多传感器的超分辨力图像复原方法，能同时去除和削弱光学系统点扩散函数、积分采样等其它因素对图像的影响，具有很高的超分辨力复原能力，获得了很好的图像复原结果。吴炳昊等人提出了一种新的运动估计方法－新三步搜索法,在第一步搜索时采用了并行思想，有效地弥补了三步搜索法的第一步搜索步长过大，对于小运动估计效果较差的缺陷。实验表明，由于要处理多帧图片，算法的计算量一般较大，利用DSP实现了该算法，但是进行了复杂的优化，推广起来比较有难度。2014年ECCV年会上报道了SRCNN算法对单帧图像进行处理，分辨率提高明显，引起了广泛关注。但是该算法要求原图要有较好的清晰度，如果图像有噪声，图像处理效果将明显降低，而原图如果被模糊，该算法根本失效。
技术实现思路
鉴于此，本专利技术的目的是提供一种基于超分辨率技术的视频增强方法。本专利技术的目的是通过以下技术方案来实现的，一种基于超分辨率技术的视频增强方法，包括以下步骤：S1场的靶标图P1获取成像系统的点扩散函数h(x,y)；S2场采集的低分辨率图像G1,利用h(x,y)和超拉普拉斯正则化快速复原算法进行去噪和图像复原得到清晰的图像F2；S3双线性插值对图像F2初步放大得到图像F3；S4像F3利用SRCNN算法得到放大的高质量图像F4。进一步，所述步骤S2中低分辨率图像G1的获取方法为：选取一个高清视频设备获取的图像作为原始图像f(x,y)，将原始图像f(x,y)缩小3倍得到f1(x,y)，利用公式对f1(x,y)与h(x,y)卷积，得到g1(x,y)，g1(x,y)表示一帧低分辨率图像；其中f(x,y)是高分辨率图像，h(x,y)为成像系统点扩散函数，n(x,y)是噪声。进一步，在步骤S2中，利用超拉普拉斯正则化快速复原算法进行去噪和图像复原得到清晰的图像，其中正则化参数λ＝2000，自然清晰图像梯度α＝0.5。进一步，在步骤S3中，双线性插值对图像F2初步放大得到图像F3的放大倍数为3倍。由于采用了上述技术方案，本专利技术具有如下的优点：本专利技术涉及一种在分辨率受限的情况下实现成像系统的分辨率提高，创新之处在将图像恢复算法和SRCNN算法结合形成了一种新算法，通过对该算法在DaVinci系统上进行优化，实现了在不改变摄像头的情况下提高图像分辨率，为现有的大部分旧设备提高分辨率提供思路。附图说明图1为基于超分辨率技术的视频增强算法的流程图；图2为原始图片；图3为低分辨率图像；图4为复原图；图5为初步放大图；图6为用SRCNN算法得到放大的高质量图像；图7A为靶标图，图7B为边缘区域，图7C为得到的点扩散函数；图8为没用超分辨率算法时图像；图9为使用本专利技术算法处理图像。具体实施方式以下将对本专利技术的优选实施例进行详细的描述；应当理解，优选实施例仅为了说明本专利技术，而不是为了限制本专利技术的保护范围。一般来说，受成像设备分辨率、成像条件限制，低分辨率图像g(x,y)可表示为：其中，f(x,y)是高分辨率图像，h(x,y)为成像系统点扩散函数，n(x,y)是噪声。要从g(x,y)中复原f(x,y)是一个病态问题，采用如图1的基于超分辨率技术的视频增强算法，提供了一个逼近真实解的思路。该算法包含以下步骤：(1)从现场的靶标图P1获取成像系统的点扩散函数h(x,y)；(2)对现场采集的低分辨率图像G1,利用h(x,y)和超拉普拉斯正则化快速复原算法进行去噪和图像复原得到清晰的图像F2；(3)利用双线性插值对图像F2初步放大得到图像F3；(4)对图像F3利用SRCNN算法得到放大的高质量图像F4；选取一个高清视频设备获取的图像作为原始图像f(x,y)如图2所示。先将f(x,y)缩小3倍得到f1(x,y)，利用公式(1)，对f1(x,y)与h(x,y)卷积，得到g1(x,y)，它表示一帧低分辨率图像如图3所示。图3就是本专利技术要复原的目标图像。对该低分辨率图像，采用基于超分辨率技术的视频增强算法进行处理结果如下：(1)利用超拉普拉斯正则化快速复原算法进行去噪和图像复原得到清晰的图像如图4所示，信噪比提高18％。其中正则化参数λ＝2000，自然清晰图像梯度α＝0.5；证明了清晰图像梯度服从重尾分布，超拉普拉斯模型(0.5≤α≤0.8，这里α取0.5)可以很好的拟合重尾分布，可以采用此先验构造正则项，从而建立基于超拉普拉斯正则项模型)(2)利用双线性插值对复原图初步放大3倍得到结果如图5所示。与原始图片相比，均方差MCE约为1.4。(3)对初步放大图利用SRCNN算法得到放大的高质量图像如图6所示，与原始图片相比，均方差MSE约为0.03。比较图6和图2，可以知道，低分辨率图像比较模糊并且含有噪声，但是通过基于超分辨率技术的视频增强算法得到相对清晰的高分辨率图像。实施例一采用面阵CCD(176×144pixels)完成图像数据(YUV4:2:0)的采集。ARM运行在MontaVistaLinux操作系统上，负责控制任务及与外设之间的交互。DSP运行在Bios操作系统上，用于图像数据处理，DDR2作为DM8148的外部存储器。FLASH存储源程序，在上电后程序分别下载到ARM和DSP中。DM8148的DSP提供了(L1和L2)两级高速缓存，可配置成Cache或内部存储器。本方案中将L2存储空间配置成96K的Cache和32K的内部存储器，将L1存储空间配置成24K的Cache和8K的内部存储器，Ping-pong缓冲区的大小设置成352B。(1)在现场对边缘靶标成像，采集大小为64*64pixels、对比度大于20％度的图像P1，利用刀口法在ARM端提取成像系统的点扩散函数PSF；(2)对现场场景成像，得到YUV格式的视频数据G1；(3)在DSP端将G1由YUV空间变为RGB空间，对G1在R、G和B三个分量分别利用PSF和超拉普拉斯正则化快速复原算法，得到复原图像G2；(4)在DSP端对G2在R、G和B三个分量分别进行双线性插值得到G3；(5)在DSP端利用SRCCN算法对G3进行重构得到G4；(6)在ARM端将G4变为YUV格式在电视上显示。该方案能够有效的完成对视频的高质量采集和处理，同时利用基于EDMA的Ping-pong缓存技术动态分配内存，极大的提高了系统的处理速度。如图7(A)所示为道路上的距离CCD成像设备(像元为6μm)约10m的限速标志。采用限速标志图像作为测量点扩散函数的靶标，所选取的边缘区域(大小为64*64pixels，对比度大于20％)如图2(B)，采用刀口法得到本文档来自技高网...

【技术保护点】
一种基于超分辨率技术的视频增强方法，其特征在于：包括以下步骤：S1场的靶标图P1获取成像系统的点扩散函数h(x,y)；S2场采集的低分辨率图像G1,利用h(x,y)和超拉普拉斯正则化快速复原算法进行去噪和图像复原得到清晰的图像F2；S3双线性插值对图像F2初步放大得到图像F3；S4像F3利用SRCNN算法得到放大的高质量图像F4。

【技术特征摘要】
1.一种基于超分辨率技术的视频增强方法，其特征在于：包括以下步骤：S1场的靶标图P1获取成像系统的点扩散函数h(x,y)；S2场采集的低分辨率图像G1,利用h(x,y)和超拉普拉斯正则化快速复原算法进行去噪和图像复原得到清晰的图像F2；S3双线性插值对图像F2初步放大得到图像F3；S4像F3利用SRCNN算法得到放大的高质量图像F4。2.根据权利要求1所述的一种基于超分辨率技术的视频增强方法，其特征在于：所述步骤S2中低分辨率图像G1的获取方法为：选取一个高清视频设备获取的图像作为原始图像f(x,y)，将原始图像f(x,y)缩小3倍得到f1(...

【专利技术属性】
技术研发人员：刘丹平，何小敏，秦天天，毛莞丁，胡小波，谭晓衡，印勇，胡学斌，蒋阳，马玉霖，古文，邹熙肴，王懿泽，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆;50