一种将线搜索扩展于全景视频运动估计的方法技术

一种将线搜索扩展于全景视频运动估计的方法，步骤为：（１）利用参考帧各面的上，下，左，右的邻接图像对参考帧的各面图像进行扩展；（２）从预测帧的宏块中，选取第一个没有做搜索的宏块，对该宏块采用线搜索方法在扩展的参考帧中搜索最小块误差点，并返回最小块误差点所对应的运动向量；（３）以步骤（２）中线搜索的已匹配块为起点，对相邻的宏块进行扩展搜索，获取相应的运动向量；（４）检查预测帧是否有宏块没有做搜索匹配，如果还有宏块没有进行搜索，则进入步骤（２），否则结束。本方法可以有效地对全景视频进行运动估计，提高运动估计的精度和补偿图像的质量。

【技术实现步骤摘要】

本专利技术涉及全景视频
，更具体地讲，涉及一种对全景视频进行运动估计的 方法。
技术介绍
全景图像是由某一点拍摄的多幅实景图像拼接而成的。其具体的生成过程是将相 互重叠图像映射到简单的几何体表面上，如球面、立方体表面或圆柱面，然后对投影图 像进行无缝拼接，就可以得到全景图像。根据所映射的几何体，全景图像可以分为柱面 全景图像、球面全景图像和立方体全景图像。全景视频是由具有一些有时间关联的全景 图像序列组成，从视频中可以获取真实的全景景象，并且可以通过时间来定位视频帧。全景视频覆盖了 360度的场景范围，其数据量巨大，这对数据的存储和传输造成了很大的困难。因此，需要对全景视频进行压縮编码，以降低存储空间和减少传输时占用 的网络带宽。在视频图像压縮中，运动估计用来根据己经编码的参考帧产生当前预测帧 的运动补偿预测，去除视频序列中存在的冗余信息。运动估计的方法是将预测帧分成若 干大小相同的图像块，根据不同的搜索算法和匹配原则在参考帧内搜索最相似的匹配块。目前，运动估计算法中搜索精度最高的是FS(Full Search,全搜索)算法，FS算法 是对搜索范围内的每一个像素点进行匹配运算以得到一个最优的运动向量，但它的计算 复杂度太高。因此，许多快速运动估计算法被提出，如TSS (Three St印Search,三步 搜索)算法、CS(Cross Search,交叉搜索)算法、NTSS(New Three St印Search,新三 步搜索)算法、FSS(Four St印Search,四步搜索)算法、DS (Diamond Search,菱形搜 索)算法和HS(Hexagon Search,六边形搜索)算法，以及最近出现的PLS(Predictive Line Search,预测线搜索)算法。TSS算法和CS算法第一步搜索步长较大，而进一步 的搜索是在第一步确定的方向上进行的，因而很容易陷入局部最优。NTSS算法、FSS算 法和DS算法利用视频序列运动矢量在空间分布上的中心偏置特性，减小了搜索步长， 加强了对中心区域的搜索。HS算法能比DS算法用更少的搜索点找到一个相同的运动矢 量。但是，这些快速算法没有利用立方体全景视频相邻帧间图像块的运动趋势和对应关 系，因此对全景视频进行运动估计的精度不高。5本专利技术前，中国专利技术专利"快速视频运动估计方法"，申请号为01100544. 4，公开 号为CN1333634A，该专利公开了一种运动估计的方法，采用菱形搜索并自适应的终止 搜索过程。该方法主要是针对普通视频采用固定顺序进行块匹配搜索，并没有充分利用 立方体全景视频相邻帧间图像块的运动趋势和对应关系，从而不能有效地对全景视频进 行运动估计。中国专利技术专利"用于全景图像的运动估计和补偿的方法和设备"，申请号 为200580027187. 3，公开号为CN101002479A，该申请公开了一种利用全景图的左右边 界之间的空间关系进行运动估计和补偿的方法。该方法只适用于柱面全景图，所以不能 有效地对立方体全景视频进行运动估计。对于拍摄静止场景的立方体全景视频，全景相机的全局运动通常以水平运动为主， 所以，相邻帧之间会存在着较多的重叠图像信息。全景视频覆盖了 360度场景，对于连 续的多帧全景图像而言，图像块会从立方体的一个面移动到相邻面上，且图像块运动较 大。
技术实现思路
本专利技术的技术解决问题克服现有技术的不足，提供一种将线搜索扩展于全景视频 运动估计的方法，该方法可以有效地对立方体全景视频进行运动估计，提高运动补偿图 像的质量。为了取得上述技术效果，本专利技术所采用的技术方案是将连续采集的全景视频分为 参考帧和预测帧，预测帧被分成若干宏块，在参考帧内搜索与预测帧当前宏块的最相似 的匹配块，即最匹配块，由最匹配块与预测帧当前宏块的相对位置计算出运动向量，具 体包含的步骤如下(1) i利用参考帧各面的上，下，左，右的邻接图像对参考帧的各面图像进行扩展；(2) 从预测帧的宏块中，选取第一个没有做搜索的宏块，对该第一个没有做搜索的 宏块釆用线搜索方法在扩展的参考帧中进行搜索，寻找最小块误差点，并返回最小块误 差点所对应的运动向量，完成线搜索的该宏块即为线搜索的己匹配块；(3) 以步骤(2)中线搜索的己匹配块为起点，对相邻的宏块进行扩展搜索，获取相 应的运动向量；(4) 检查预测帧是否有宏块没有做搜索匹配，如果还有宏块没有做搜索匹配，则进 入步骤(2)，否则结束。本专利技术的原理是拍摄静止场景的立方体全景视频的全局运动通常以水平运动为主，相邻帧之间会存在着较多的重叠图像信息，而且全景视频覆盖了 360度场景，对于 连续的多帧全景图像而言，图像块会从立方体的一个面移动到相邻面上，且图像块运动 较大，所以可以根据相邻帧间图像的对应关系，构造搜索线对预测帧的宏块进行线搜索， 同时利用相邻宏块间运动向量的相关性，以线搜索的己匹配宏块为起点对其相邻的宏块 进行扩展搜索，获取相应的运动向量。本专利技术与现有技术相比的优点在于充分利用立方体全景视频相邻帧间图像块的运 动趋势和对应关系，基于线搜索方法进行扩展搜索，根据相邻帧间图像的对应关系，构 造搜索线对宏块进行线搜索，同时利用相邻宏块间运动向量的相关性，以线搜索的已匹 配宏块为起点对相邻的宏块进行扩展搜索，获取相应的运动向量，从而可以有效地对全 景视频进行运动估计，提高了运动估计的精度和补偿图像的质量。 附图说明图1为立方体全景视频中图像块运动趋势的示意图； 图2为全景视频中相^l帧伺像素的对应关系； 图3为宏块运动的空间相关性示意图4为本专利技术将线搜索扩展于全景视频运动估计的方法的流程；图5为本发朋中参考帧扩展的示意图；其中图5a是参考帧当前面图像扩展的示意图，图5b是左上角空洞填充的示意图6a为本专利技术中线搜索的流程图，图6b为本专利技术中线搜索具体过程的示意图； 图7a为本专利技术中扩展搜索的流程图，图7b为本专利技术中扩展搜索具体过程的示意图； 图8为采用本专利技术方法、FS算法、DS算法和HS算法进行运动估计生成的补偿图像，其中a为原始第六帧的各面图像，b为本专利技术方法生成的第六帧补偿图像，c为FS算法生成的第六帧补偿图像，d为DS算法生成的第六帧补偿图像，e为HS算法生成的第六帧补偿图像；图9为采用本专利技术方法、FS算法、DS算法和HS算法进行运动估计生成的补偿图像 的PSNR。 具体实施方法
本专利技术将连续采集的全景视频分为参考帧和预测帧，参考图像和预测图像可以按照 固定比率(如1:5、 1:10、 1:15等)进行划分。预测帧被分成若干宏块，根据相邻帧间图 像块的运动趋势和对应关系，在参考帧内搜索与预测帧当前块最相似的匹配块，即最匹配块，由最匹配块与预测帧当前块的相对位置计算出运动向量。在介绍本专利技术的具体实施步骤之前，对立方体全景视频中图像块的运动趋势和对应 关系进行说明。对于拍摄的静止场景的全景视频，摄像机的全局运动通常以水平运动为 主。根竭全景摄像机的外参数，利用Florian Kangni提出的立方体全景对极线的计算 方法，可以得出立方体全景各个面上的对极线如图1所示。对极线3从位于立方体前面 上的极点l发出，向四周扩散，在立方体的上、下、左、右四个侧面上基本上是水平运 动，最后汇集到位于立方本文档来自技高网...

【技术保护点】
一种将线搜索扩展于全景视频运动估计的方法，其特征在于：将连续采集的全景视频分为参考帧和预测帧，预测帧被分成若干宏块，在参考帧内搜索预测帧宏块的运动向量，具体包含的步骤如下：　　（１）利用参考帧各面的上，下，左，右的邻接图像对参考帧的各面图像进行扩展；　　（２）从预测帧的宏块中，选取第一个没有做搜索的宏块，对该第一个没有做搜索的宏块采用线搜索方法在扩展的参考帧中进行搜索，寻找最小块误差点，并返回最小块误差点所对应的运动向量，完成线搜索的该宏块即为线搜索的已匹配块；　　（３）以步骤（２）中线搜索的已匹配块为起点，对相邻的宏块进行扩展搜索，获取相应的运动向量；　　（４）检查预测帧是否有宏块没有做搜索匹配，如果还有宏块没有做搜索匹配，则进入步骤（２），否则结束。

【技术特征摘要】

【专利技术属性】
技术研发人员：周忠，吴威，陈珂，牛犇，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：11[中国|北京]