一种基于菱形搜索的多分辨率的快速运动估计方法技术

本发明专利技术涉及视频编码技术领域，特别是涉及一种基于菱形搜索的多分辨率的快速运动估计方法，其步骤为：（１１）对当前时刻正常分辨率原始图像进行取样得到低分辨率图像；（１２）对低分辨率图像的每个块执行菱形搜索；（１３）用当前时刻低分辨率原始图像更新帧缓存区内的参考帧；（１４）用低分辨率运动矢量去设置正常分辨率图像内对应宏块的初始运动矢量；（１５）在正常的逐个１６×１６宏块的编码过程中对每个宏块执行菱形搜索，求得最佳运动矢量。本发明专利技术在正常分辨率菱形搜索外增加低分辨率菱形搜索，有效提高了对高清视频中的大运动的估计准确度，同时增加的搜索点数和运算量很少，满足实时要求。？

A multiresolution fast motion estimation method based on diamond search

The present invention relates to the technical field of video encoding, especially relates to a fast motion estimation method based on multi-resolution diamond search, which comprises the following steps: (11) the current normal resolution original image sampling to get low resolution images; (12) each block performs a diamond search for low resolution images; (13) use the current low resolution original image update reference frame frame buffer zone; (14) with low resolution motion vector to set the normal resolution image corresponding to the initial motion vector of the block; (15) in the normal one by one 16 x 16 macroblock encoding process for each macroblock to perform diamond search, obtain the best motion vector. The invention increases the low resolution diamond search in normal resolution search, effectively improve the estimation of movement of large HD video in accuracy, while increasing the number of search points and the computation is very few, to meet the real-time requirements.?

【技术实现步骤摘要】

本专利技术涉及视频编码
，特别是涉及。
技术介绍
上世纪80年代3C(Computers, Communications, Consumer Electronics)的相互渗透与融合催生了多媒体技术并且推动多媒体技术飞速发展与普及。视频编码技术是多媒体技术中的关键技术。现有的视频编码标准包括MPEG-1， MPEG-2， MPEG-4， H. 261， H. 263，H. 264/AVC，都是包括运动补偿帧间预测、分块正交变换与量化、熵编码三类数据压縮方法的混合编码方法，分别去除视频数据表达的时域冗余、空域冗余和符号统计冗余，通过换用更高效率的数据表达方式来提高数字视频数据的传输与存储效率。其中又以运动补偿帧间预测的贡献最大。现有视频编码标准均采用闭环的分块运动补偿帧间预测方法，并且依赖于运动估计所求得的最佳块匹配准则下的运动矢量实现过去帧重建图像数据对当前帧图像数据的最佳预测。运动估计仅出现于编码过程，属于标准不予定义的开放内容，决定了压縮效率、重建图像质量和编码运算量，成为多媒体数据压縮的关键、核心技术。 运动估计的直接实现方法是全搜索。即计算一定范围内所有位置的块匹配量度量。全搜索具有全局最优的意义，但是运算量太大，难以实用，尤其不适合于实时多媒体应用。所以面向实用的局部搜索或者部分搜索的快速运动估计方法应运而生。快速运动估计方法的目标和评估指标是在压縮效率与运算量两项指标之间取得最佳折衷。 最早的快速运动估计方法是三步法，属于分层的运动估计方法，在由粗至细的多个层次上搜索正方形模板的8邻点，上一层的最佳运动矢量为下一层的搜索中心，由粗至细不断精确化。随后的新三步法和四步法利用运动矢量分布偏向中心的统计特性在执行三步法之前执行小范围全搜索，以避免搜索中心过早地跳到远离最优位置的地方。后来的菱形搜索方法沿着最佳块匹配方向逐个像素移动图1的菱形模板去逼近最佳运动矢量位置，见于文献1 (J. Y. Tham， etal. A Novel Unrestricted Center-Biased Diamond SearchAlgorithm for BlockMotion Estimation. IEEE Transactions on CSVT，1998，8 (4):369-377)。统计显示在实时摄取的场景中物体运动集中于水平运动和垂直运动，菱形模板比正方形和圆形模板更能有效把握物体局部运动。如果当前菱形的最佳块匹配位置非中心点，就把该位置作为下一个菱形的中心点继续搜索，直至菱形中心点陷入菱形邻域最佳块匹配位置为止，如图2所示。菱形搜索方法能够最好地利用运动矢量分布偏向中心的特性，以最少搜索点数获得接近全搜索的压縮效率。 菱形搜索方法进一步发展为预测运动矢量场的自适应搜索方法(Predictive Motion Vector Field Adaptive Search Technique,縮写PMVFAST)，见于文献2 (A. M.Tourapis， et al. Highly Efficient PredictiveZonal Algorithms for Fast Block-Matching Motion Estimation. IEEETransactions on CSVT，2002，12(10) :934-947) 和专利US68424S3。 PMVFAST在菱形搜索前先执行基于时空层间相关性的搜索中心预测及搜索，依次计算绝对零位移位置、空间相关的搜索中心、时间相关的搜索中心、层间相关的 搜索中心最多4个位置的块匹配量度量，以其中最佳块匹配位置为后续菱形搜索的搜索中 心。PMVFAST进一步利用运动矢量分布偏向中心的特性，减少运动搜索陷入局部最优而无法 达到全局最优的机会，也加快了菱形搜索的收敛。目前实用的运动估计方法均与PMVFAST 大同小异，包括六角形搜索方法。 菱形搜索方法的缺陷是数据流不规则，搜索点数不确定且相差很大，只适合于 个人电脑和数字信号处理器(Digital Signal Processor,縮写DSP)的软件实现，不适 合于专用芯片(Application Specific Integrated Circuits,縮写ASIC)的硬件实现。 分层运动估计方法进一步发展为多分辨率运动估计方法。该方法的基本思想是在低分 辨率上进行粗略的估计，了解图像运动的大致情况，再由粗至细逐步精确化。文献3(B. F. Wu， et al. Efficient HierarchicalMotion Estimation Algorithm and Its VLSI Architecture. IEEE Transactionson VLSI Systems,2008，16(10) :1385-1398)和专利 CN1719901描述的三分辨率运动估计方法如图3所示，在1/16， 1/4， 1/1三个分辨率上依次 执行4X 4， 8 X 8， 16 X 16块的范围较小的全搜索。初始搜索中心可以是绝对零位移位置， 也可以是相对零位置(运动矢量预测值)，低分辨率运动估计所得结果为高一级分辨率运 动估计的搜索中心。为了减少噪声对低分辨率运动估计的干扰，在对原始图像和本地重建 图像执行縮小尺寸的下取样时需要平滑滤波。多个分辨率的运动搜索范围可以恒定，也可 以可变。为了进一步减少运动搜索陷入局部最优而无法达到全局最优的概率，低分辨率运 动估计可以向高一级分辨率输出不止一个运动矢量，在同一分辨率上执行多个围绕不同搜 索中心的全搜索。多分辨率运动估计方法的搜索点数分布均匀，数据流规则、恒定，有利于 ASIC硬件实现。同时多分辨率运动估计方法克服了三步法、新三步法和四步法等旧分层 运动估计方法在大运动或者复杂运动下性能急剧下降的缺陷，获得最接近全搜索的压縮效 率。 近年多媒体通信的图像分辨率随通信网络的演进和微处理器性能的摩尔定律提 升而不断提高。2003年会议电视的主流分辨率还是CIF。 2005年就提高至D1和4CIF的标 清分辨率。2005年底出现支持720p H. 264实时编解码的会议电视产品，标志着会议电视迈 进高清时代。2008年多个厂家的1080i和1080p H. 264实时编解码的会议电视产品陆续 上市。近来还出现由多路720p/1080i/1080p视频拼成的超高清的网真(TelePresence)产 2005年在用Philips公司TriMedia PNX1502E芯片实现CIF视频H. 264实时 编码中应用基于时空层间相关性的搜索中心预测及搜索结合使用步长为1的小菱形模板 的菱形搜索，效果很好，达到业界先进水平。随后2008年在用美国德克萨斯州仪器公司 TMS320C6455芯片实现720p/1080i/1080p高清视频H. 264实时编码中沿用相同方法，效果 却很不好。与全搜索以及接近全搜索的原美国W&W通信公司的H. 264高清视频编解码专用 芯片wwl08比较，在中小运动场景下感觉不到差异，但是在大运动尤其是快速旋转高清摄 像头和近距离快速甩手的场景下差别较明显；在某些特定的快速旋转高清摄像头的场景下 C6455的4Mbps的1本文档来自技高网...

【技术保护点】
一种基于菱形搜索的多分辨率的快速运动估计方法，其特征在于，采用如下步骤：（１１）对当前时刻正常分辨率Ｗ×Ｈ原始图像进行取样得到低分辨率ＬＷ×ＬＨ图像，图像宽度Ｗ经过Ｍ倍缩小成为ＬＷ＝Ｗ／Ｍ，图像高度Ｈ经过Ｎ倍缩小成为ＬＨ＝Ｈ／Ｎ；（１２）对低分辨率ＬＷ×ＬＨ图像的每个１６×１６块执行菱形搜索，得到低分辨率运动矢量；（１３）用当前时刻低分辨率ＬＷ×ＬＨ原始图像更新帧缓存区内的参考帧；（１４）用低分辨率运动矢量去设置正常分辨率Ｗ×Ｈ图像内对应的Ｍ×Ｎ个１６×１６宏块的初始运动矢量；（１５）在逐个１６×１６宏块的编码过程中对正常分辨率Ｗ×Ｈ图像内的每个１６×１６宏块执行菱形搜索，求得最佳运动矢量，用于后续宏块编码过程。

【技术特征摘要】
一种基于菱形搜索的多分辨率的快速运动估计方法，其特征在于，采用如下步骤(11)对当前时刻正常分辨率W×H原始图像进行取样得到低分辨率LW×LH图像，图像宽度W经过M倍缩小成为LW＝W/M，图像高度H经过N倍缩小成为LH＝H/N；(12)对低分辨率LW×LH图像的每个16×16块执行菱形搜索，得到低分辨率运动矢量；(13)用当前时刻低分辨率LW×LH原始图像更新帧缓存区内的参考帧；(14)用低分辨率运动矢量去设置正常分辨率W×H图像内对应的M×N个16×16宏块的初始运动矢量；(15)在逐个16×16宏块的编码过程中对正常分辨率W×H图像内的每个16×16宏块执行菱形搜索，求得最佳运动矢量，用于后续宏块编码过程。2. 根据权利要求l所述的运动估计方法，其特征在于，步骤(12)中对低分辨率LWXLH 图像的每个16X16块进行菱形搜索，其具体步骤如下(21) 以帧缓存区内一个或者多个过去时刻低分辨率原始图像为参考帧；(22) 运动搜索范围严格限制在低分辨率LWXLH图像窗口范围内；(23) 运动搜索方法是基于时空相关性的搜索中心预测及搜索结合菱形搜索；(24) 块匹配量度量是参考帧图像块与当前帧图像块之间的绝对值和差；(25) 求得16X16块的每个过去时刻的最佳运动矢量。3. 根据权利要求l所述的运动估计方法，其特征在于，在步骤(14)中，低分辨率...

【专利技术属性】
技术研发人员：宋立锋，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：81[中国|广州]