本发明专利技术提供一种基于实时盲图像复原技术的视频像质改善系统，该系统包括三个部分，分别为输入数据分送器、输出数据组合器和由多个图像复原处理核组成的图像复原处理阵列；每个图像复原处理核，内置三个处理模块并按照图像预处理→图像盲复原→图像后处理的流程实现盲图像复原功能。输入的视频图像序列，通过输入数据分送器划分为多路子序列并送入图像复原处理阵列，然后由单个复原处理核完成一路图像子序列的盲复原计算，最终将多路复原图像子序列经输出数据组合器还原为高像质的视频图像序列。本发明专利技术可在一定范围内满足高速成像领域的实时处理需求，显著改善成像质量，且系统集成度高、性能易于扩展升级。
【技术实现步骤摘要】
本专利技术涉及改善视频图像序列成像质量的图像处理
，特别是一种基于实时盲图像复原技术的视频像质改善系统。
技术介绍
研制高质量的光电成像系统一直是人类不懈的追求，但是任何成像系统，都不可避免的受到外界环境和系统本身的影响而使其图像降质。以改善图像质量为目的的图像复原理论，自20世纪60年代就已成功应用于空间探测；至今历经数十年的发展，图像复原受到国内外的广泛研究，其相关的算法和技术也逐渐成熟。而盲图像复原是当前图像复原领域的研究热点，其目的是在成像系统点扩展函数(又称图像退化或降质函数)未知或不完全确知的情形下，利用所观测的降质图像对目标图像和系统点扩展函数进行估计，实现目标图像的复原重建从而提高图像质量。由于无需确定的系统点扩展函数，相对经典的图像复原，盲图像复原适应性更强，应用领域更为广泛。有关盲图像复原的原理性内容可以参见“Blind image deconvolution theory andapplications，，, Patrizio Campisi and Karen Egiazarian, 2007。图像降质和盲复原过程见图I。但由于反卷积过程的不可逆性和噪声引入的病态性，较为有效的盲图像复原算法一般具备计算量大且复杂度高的特点，从而导致处理时间较长且硬件实现难度大，不能满足工程领域中的实时性要求。文献报道显示，多数图像复原技术只成功应用于天文观测，显微技术，医学成像等实时性要求极低的场合甚至事后处理，且通常以大型的多机系统和软件平台实现复杂的处理算法。而目前集成度较高的光电系统，其成像速度已可以达到数百帧每秒且分辨率不断提高。若要在系统中同步地使用盲图像复原技术，既需要更加高效快速的复原算法，又离不开高实时性的硬件计算技术。由于上述问题的存在，盲图像复原技术实时应用于高帧频高分辨率图像的像质改善，成为一个很重要的研究课题。其中涉及到改进盲复原算法使其计算速度加快、降低硬件系统的实现复杂度使其具备实时性能，以及硬件处理平台的小型化等技术难点。
技术实现思路
本专利技术要解决的技术问题为为克服图像复原技术工程应用实时性差的缺点，在高速成像场合利用盲图像复原技术改善图像质量，提供了包括一系列高速图像处理算法和小型化图像处理平台结构在内的核心解决方案，在一定程度上满足了工程中的实时盲图像复原要求。本专利技术技术方案为一种基于实时盲图像复原技术的视频像质改善系统，采用以 高速图像处理算法为核心的实时盲图像复原技术和多核并行处理结构，在小型化图像处理平台上实现视频图像的实时像质改善。系统包括三个部分，分别为输入数据分送器、输出数据组合器和由多个图像复原处理核组成的图像复原处理阵列。输入的视频图像序列，通过输入数据分送器划分为多路子序列并送入图像复原处理阵列，然后由单个复原处理核完成一路图像子序列的盲复原计算，最终将多路复原图像子序列经输出数据组合器还原为高像质的视频图像序列。所述的输入数据分送器，对输入图像序列y进行n倍的帧频下采样，并对n路输出子序列标定编号yy i = I... n。所述的图像复原处理阵列，由n个图像复原处理核组成并标定编号Pi，核Pi只处理图像子序列Yi, i = I... n。所述的输出数据组合器，按已标定的编号，顺序地从各复原处理核读取单帧复原后图像数据，并同步输出。所述的图像复原处理核，包含三个图像处理模块，按照预处理一盲复原一后处理的流程处理图像数据。所述的图像盲复原处理，先由观测图像的傅里叶变换频谱的幂运算直接估计点扩散函数，再由维纳滤波器进行图像复原。所述的盲图像复原处理，利用实信号傅里叶变换的周期对称性和数据共轭对称性，完成二维FFT正/反变换的计算，其计算量和存储需求约为常规方法的50%。所述的盲图像复原处理，查找表的生成过程中，先利用图像数据的分布特性对表格分段，再进行非均匀的数据采样。本专利技术的原理由于具有高计算复杂度的图像复原算法与当前硬件处理平台的承载能力形成较大差距，故基于图像复原技术的小型化系统难以实时处理视频图像数据。为解决这一问题，本专利技术分别完成了系统算法筛选改进和处理结构的硬件设计，使得本系统具备实时图像复原能力。在系统算法方面，首先选取非迭代型的SeDDaRA算法并改进，利用观测图像的傅里叶变换模值幂运算提取降质函数，维纳滤波法完成图像复原，并按照图像预处理一图像盲复原一图像后处理的处理流程进行复原，如图3所示。同时，又对SeDDaRA算法中耗时严重的二维FFT正/反变换和幂函数运算进行计算方法的改进。具体地包括，利用实信号傅里叶变换的周期对称性和数据共轭对称性，缩减约50%的计算量和存储需求；使用查找表加快幂函数的运算，并利用图像数据的分布特性对表格分段量化，以减小查找表尺寸，提高查找表利用效率。在系统结构方面，采用多核并行处理方式，以单片DSP芯片实现一个具有上述处理流程的图像复原处理核，由多片DSP构成高处理性能的图像复原处理阵列。如图2所示，在图像数据传输过程中，输入数据分送器将输入的视频图像，降至图像复原处理核可实时处理的帧频后，送入图像复原处理阵列，然后由输出数据组合器将复原后同步图像子序列，组合为具有原始输入帧频的复原图像输出序列，从而达到视频图像的实时复原。本专利技术与现有技术相比有如下优点I、本专利技术采用实时盲图像复原技术，将实时性较差的盲图像复原技术应用于视频图像处理场合以改善图像质量，在一定程度上满足了工程中的实时处理要求，且改善后的图像频谱能量和对比度均获得显著提升；2、在硬件实现方面，本专利技术使用集成度较高的小型化图像处理平台和多核并行处理结构，在降低系统功耗、体积和成本的同时获得了易于扩展升级的高速处理性能。附图说明图I为经典的图像降质过程和复原处理示意图；图2为本专利技术设计的视频像质改善系统结构示意图；图3为本专利技术设计的图像复原处理核及高速图像处理算法示意图；图4为本专利技术改进的SeDDaRA盲图像复原算法流程示意图。具体实施方式 基于实时盲图像复原技术的视频像质改善系统，采用以高速图像处理算法为核心的实时盲图像复原技术和多核并行处理结构，在小型化图像处理平台上实现视频图像的实时像质改善。系统包括三个部分，分别为输入数据分送器、输出数据组合器和由多个图像复原处理核组成的图像复原处理阵列。每个图像复原处理核，内置三个处理模块并按照图像预处理一图像盲复原一图像后处理的流程实现盲图像复原功能。该系统实施的关键在于对盲图像复原算法的选取和改进，以及系统的硬件结构设计。首先介绍本系统由输入数据分送器、输出数据组合器和图像复原处理阵列构成的顶层硬件结构。如图2所示，本系统采用了多核并行处理结构，以保证系统的高数据吞吐量；同时，多核复原阵列的设计也使得系统易于扩展，便于性能升级。系统的数据吞吐量上限Y Msps(兆样本每秒)，主要取决于图像复原处理阵列中核心个数n和单个图像复原处理核数据吞吐量上限X Msps，而X主要由复原处理核中算法复杂度和DSP器件性能决定。系统数据吞吐量的计算公式如下Y = n*X因此，系统的输入数据量y应小于Y或n*X。另外，为保证多核复原阵列的高速处理和系统数据正确的传输，在阵列的输入和输出端分别设计了输入数据分送器和输出数据组合器。输入数据分送器的主要功能是完成系统输入图像序列的降帧频和各路子序列到本文档来自技高网...
【技术保护点】
【技术特征摘要】
【专利技术属性】
技术研发人员：温博，张启衡，张建林，欧阳益民，许俊平，严鹏，
申请(专利权)人：中国科学院光电技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。