基于仿射变换的立体视频匹配方法组成比例

本发明专利技术公开了一种基于仿射变换的立体视频匹配方法。该方法用于对双目摄像机拍摄得到的立体视频进行立体匹配，包括以下步骤：１）提取当前帧图像和前一帧图像的特征点并进行匹配，求取当前帧图像到前一帧图像的仿射变换矩阵；２）根据仿射变换矩阵，将当前帧图像的像素点投影到前一帧；３）计算前后帧匹配点的像素差，以检测当前帧图像中的静止区域；４）计算当前帧图像的初始匹配代价；５）更新当前帧图像静止区域的匹配代价；６）计算当前帧图像的视差图。本发明专利技术利用了视频帧之间的仿射约束关系，使得当前帧视差同时受前一帧视差的约束，有效地减弱了噪声等对视差精度的影响；提高了视差在视频中的稳定性，保证了视差图序列在时域上的稳定性。

【技术实现步骤摘要】

本专利技术涉及一种立体视频匹配的方法，特别是涉及一种基于仿射变换的立体视 频匹配方法。
技术介绍
立体匹配方法是计算机视觉中的研究热点，其产生的视差图在三维重建、视频 视点合成、图像分层、图像渲染等方面有广泛的应用价值。尤其是当前3D电影的兴起和 迅速发展，标志着能够有效改善用户真实性体验的三维立体显示时代的到来。跟传统的 平面显示相比，三维立体显示可以让用户有身临其境的感觉，增强了场景的渲染力、生 动性和刺激感，如3D足球播放技术，让用户仿佛有置身现场的感觉，并且可以从各个角 度观看全场。然而要得到良好的三维立体显示的效果，需要解决很多问题数据传送量增 大、观看视点少、个体用户的体验要求等等。如果传送多个视点的视频，会极大地增加 数据传送量，对带宽是一种挑战，因此可以选择传送少量视点和视点视差图的方式来减 少数据量，然后在终端用“视点图+视差图”的方式生成新的视点，这样可以同时解决 数据量增大和视点少的问题。各个用户对三维场景感知的要求会有差别，同时观看的距 离、屏幕大小的区别也会对场景的显示深度有影响，因此在实现三维显示过程中，应该 容许用户交互地根据个人对立体感知的要求，调节场景的显示深度。而调节场景显示深 度的实质是调节视频之间的视差，从而得到视频的视差图是必备的步骤。有了视频视差 图后，根据用户的调节，动态地以一定规则更改视差值，再重新生成新的视频源。从这 些技术上的要求可以看出，视频视差图的求取是三维立体显示的一个关键步骤。视频的立体匹配方法大致可以分成两种方向一是将视频的每一帧视为纯粹的 图像，用图像的立体匹配方法得到每一帧的视差图；另一种是充分利用视频帧之间的关 系，在图像立体匹配的基础之上加入视频帧信息和约束。本专利技术提出了基于视频帧之间 的仿射变换关系的立体匹配方法，利用连续帧的约束，对当前帧中的静止场景用前一帧 的视差值作为初始值，并更新当前帧的匹配代价值，然后再用图像立体匹配方案得到视 差图。
技术实现思路
本专利技术的目的在于提出一种，充分利用了视 频帧之间的仿射变换关系，用前一帧的视差信息约束当前帧的视差值，不但提高了求取 当前帧初始视差图的准确度，还有效地保证了视差图序列在时域上的稳定性。本专利技术采用的技术方案是利用立体视频前后帧之间的时域信息，计算仿射变换矩阵，在立体视频当前帧的单 帧图像立体匹配方法基础上，增加视频帧之间的仿射变换约束；下列步骤中，步骤4) 用立体视频的左路当前帧和立体视频的右路当前帧进行匹配得到初始匹配代价，其余步骤分别对立体视频的左路视频和立体视频的右路视频分别单独相同的实施步骤如下1)提取当前帧和前一帧的图像特征点，并进行图像特征点匹配，求取仿射变换矩阵；2)根据步骤1)得到的仿射变换矩阵，将当前帧图像中的像素点投影到前一帧，并 对非整数坐标的投影像素点进行插值运算，得到当前帧图像的像素点在前一帧图像上的 投影点；3)根据步骤2)得到的投影点，计算当前帧图像的像素点和其在前一帧图像上的投 影点的像素值的差，以检测当前帧图像中的静止区域像素点；4)计算当前帧图像的初始匹配代价；5)计算更新匹配代价的权重系数，包括前后帧图像视差的整体相似度和相邻视差值 的权重递变函数值；6)根据步骤4)中当前帧图像的初始匹配代价，以及步骤5)中的权重系数，更新 当前帧静止区域像素点的匹配代价，对运动区域像素点的匹配代价则保持不变；7)计算左路当前帧图像视差图和右路当前帧图像视差图。2、所述的根据图像特征点匹配，求取仿射变换矩阵，包括以下步骤2.1)用Harris角点检测方法，分别提取当前帧义和前一帧Λ的图像特征点；2.2)对提取的两个图像特征点进行匹配；2.3)根据匹配结果，计算当前帧到前一帧的仿射变换矩阵//。3、所述的将当前帧中的像素点投影到前一帧，并对非整数坐标的投影像素点进 行插值运算，是指当前帧J 中的像素坐标本文档来自技高网...

【技术保护点】
一种基于仿射变换的立体视频匹配方法，其特征在于：利用立体视频前后帧之间的时域信息，计算仿射变换矩阵，在立体视频当前帧的单帧图像立体匹配方法基础上，增加视频帧之间的仿射变换约束；下列步骤中，步骤４）用立体视频的左路视频当前帧和立体视频的右路视频当前帧进行匹配得到初始匹配代价，其余步骤对立体视频的左路视频和立体视频的右路视频分别单独地实施相同的步骤，实施步骤如下：　　１）提取当前帧和前一帧的图像特征点，并进行图像特征点匹配，求取仿射变换矩阵；　　２）根据步骤１）得到的仿射变换矩阵，将当前帧图像中的像素点投影到前一帧，并对非整数坐标的投影像素点进行插值运算，得到当前帧图像的像素点在前一帧图像上的投影点；　　３）根据步骤２）得到的投影点，计算当前帧图像的像素点和其在前一帧图像上的投影点的像素值的差，以检测当前帧图像中的静止区域像素点；　　４）计算当前帧图像的初始匹配代价；　　５）计算更新匹配代价的权重系数，包括前后帧图像视差的整体相似度和相邻视差值的权重递变函数值；　　６）根据步骤４）中当前帧图像的初始匹配代价，以及步骤５）中的权重系数，更新当前帧静止区域像素点的匹配代价，对运动区域像素点的匹配代价则保持不变；　　７）计算当前帧图像的视差图。...

【技术特征摘要】
1.一种基于仿射变换的立体视频匹配方法，其特征在于利用立体视频前后帧之间 的时域信息，计算仿射变换矩阵，在立体视频当前帧的单帧图像立体匹配方法基础上， 增加视频帧之间的仿射变换约束；下列步骤中，步骤4)用立体视频的左路视频当前帧 和立体视频的右路视频当前帧进行匹配得到初始匹配代价，其余步骤对立体视频的左路 视频和立体视频的右路视频分别单独地实施相同的步骤，实施步骤如下1)提取当前帧和前一帧的图像特征点，并进行图像特征点匹配，求取仿射变换矩阵；2)根据步骤1)得到的仿射变换矩阵，将当前帧图像中的像素点投影到前一帧，并 对非整数坐标的投影像素点进行插值运算，得到当前帧图像的像素点在前一帧图像上的 投影点；3)根据步骤2)得到的投影点，计算当前帧图像的像素点和其在前一帧图像上的投 影点的像素值的差，以检测当前帧图像中的静止区域像素点；4)计算当前帧图像的初始匹配代价；5)计算更新匹配代价的权重系数，包括前后帧图像视差的整体相似度和相邻视差值 的权重递变函数值；6)根据步骤4)中当前帧图像的初始匹配代价，以及步骤5)中的权重系数，更新 当前帧静止区域像素点的匹配代价，对运动区域像素点的匹配代价则保持不变；7)计算当前帧图像的视差图。2.根据权利要求1所述的一种基于仿射变换的立体视频匹配方法，其特征在于所 述的根据图像特征点匹配，求取仿射变换矩阵，包括以下步骤2.1)用Harris角点检测方法，分别提取当前帧和前一帧Λ的图像特征点；2.2)对提取的两个图像特征点进行匹配；2.3)根据匹配结果，计算当前帧到前一帧的仿射变换矩阵//。3.根据权利要求1所述的一种基于仿射变换的立体视频匹配方法，其特征在于所 述的将当前帧中的像素点投影到前一帧，并对非整数坐标的投影像素点进行插值运算，是指当前帧中的像素坐标(Ui)按照所求取的仿射变换矩阵Jy，投影到前一帧 中坐标为处，若像素坐标不是整数，则用、中相邻像素进行双线性插值，得到该点的像素值/,(Κ》。4.根据权利要求1所述的一种基于仿射变换的立体视频匹配方法，其特征在于所 述...

【专利技术属性】
技术研发人员：杜歆，张飞，陈国赟，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]