基于左右视点图像的中间视点快速、自适应生成算法制造技术

本发明专利技术属于图像处理技术，具体涉及基于左右视点图像的中间视点快速、自适应生成算法。为准确获取双镜头的多视点立体图像，得到真正虚拟视点处的图像，本发明专利技术采用的技术方案是，包括下列步骤：首先输入摄像机拍摄的左右两视点图像提取左右两幅图像的角点；使用归一化协方差的方法提取左右两视图的匹配的角点对；对左右两视图根据提取出的准确匹配点对经过逐点插入法进行Ｄｅｌａｕｎａｙ三角剖分；对于虚拟视点图像的每一个三角网格求出一个逆变换矩阵；利用逆变换矩阵，求出三角网格中每一点在左右视点图像中对应的点，将对应点的像素值赋给中间虚拟视点网格中的点，最终，可以产生中间虚拟视点的图像。本发明专利技术主要应用于图像处理。

【技术实现步骤摘要】

本专利技术属于图像处理技术、基于双镜头的多视点立体图像的获取。具体讲本专利技术涉及基于左右视点图像的中间视点快速、自适应生成算法。
技术介绍
目前的虚拟视点生成方案一、Eric Chen提出一种生成虚拟视点图像的方法，它首先要已知摄相机的位置方 向参数和图像的像素深度信息，由此建立图像间的匹配关系，通过线性插值，可生成当前视 点的虚拟场景画面。由于需预先提供相机参数和深度信息，这种方法在应用上有很大局限 性。二、McMillan提出一种通过重投影拼接生成新视点图像的方法，它假定采集的图 像都是以相同的摄像机内参数拍摄的，而这是不可能实现的，因此，在应用中也存在局限 性。三、三维透视重投影本身不是一个线性变换，但是，对于平行面图像之间的重投影 可以通过线性插值实现。Seitz根据这一性质，提出了 VIEW M0RPHING这种方法，将源图像 变换到一个规范化的结构模式定义下，使得它们的图像平面与视点连线平行后，通过对应 点插值产生对应于新视点的中间图像，再经过一个后置变换将中间插值生成的图像还原到 初始的结构模式环境，从而实现新视点图像生成。Seitz提出了一种可以作为生成新视点图 像的原理框架算法，但在实际应用中，受图像像素匹配精度影响，所得图像质量并不好。并 且，该方法只适应摄像机环绕景物运动采集的源图像，对摄像机前后运动采集的图像无能 为力。四、大连理工大学的胡志萍在其博士论文《图像特征提取匹配和新视点图像生成 技术研究》中提出一种基于摄像机横向和纵向移动采集的图像生成新视点图像的方法，该 方法在生成图像中优先保证轮廓对应。对于通过摄像机横向和纵向运动采集的四幅图像的 视点所围成的四边形内任意一新视点的图像，可通过生成两个纵向视点变化连线上的辅助 视点图像实现。这两个辅助视点的连线通过新视点，围绕景物做的环绕运动。再由辅助视 点图像生成新视点图像。新视点图像生成算法具体如下1.由基于点特征和线特征的宽基线匹配得到源图像之间的极线几何约束。2.由直线段间的相对位置和极线几何约束关系确定两幅图像间的直线段对应关 系再根据极线几何约束关系，确定两幅图像轮廓点的精确对应关系。3.根据极点位置判断摄像机运动方式，如为摄像机纵向运动，经过预处理，确定远 视点图像中的无对应区域。以远视点图像中的对应区域和近视点图像作为源图像。4.对两 幅源图像进行校正，校正图像中对应极线位于同一水平线上，确定遍历整个图像的对应极 线。把图像中所有源极线的位置，即源极线与图像边界的交点坐标，存于坐标数组中，把所 有源极线上像素的颜色存于颜色数组中，相应的每条源极线的长度存于长度数组中。5.对所有源极线按对应轮廓点进行分段，得到对应极线的对应段。把分段后的信 息存于分段数组中，它们包括每段的起点和终点像素在源极线上的位置。6.由动态规划匹配法根据灰度的相似性实现对应段内点与点之间的匹配。把匹配 关系存于匹配数组中。7.根据对应源极线上对应点之间的插值生成新视点校正图像的极线。生成极线的 位置存于极线位置数组，生成极线的颜色存于极线颜色数组中，相应的每条极线的长度存 于极线数组中。8.根据保存的极线端点的位置，将新视点的校正图像后置变换为新视点图像。如 为摄像机纵向运动采集图像，生成的为初始目标图像。9.对摄像机前后运动时，处理极线上的无对应区域。10.用周围像素点的加权平均来填补新视点图像中的空洞。此算法针对的不是两幅视图平行的情况，首先得将图像预变换在同一平面上，然 后进行匹配，且用的是动态规划的匹配方法，复杂度较高，插值生成后的图像还得进过后变 换来得到最后的虚拟视点图像。预变换和后变换都会有偏差，导致最后得到的并不是真正 虚拟视点处的图像。
技术实现思路
为克服现有技术的不足，本专利技术的目的在于准确获取双镜头的多视点立体图像， 得到真正虚拟视点处的图像。为达到上述目的，本专利技术采用的技术方案是，基于左右视点图像的中间视点快速、 自适应生成算法，包括下列步骤首先输入摄像机拍摄的左右两视点图像，依据Harris算子分别提取左右两幅图 像的角点；使用归一化协方差的方法提取左右两视图的匹配的角点对，再利用RANSAC算法 剔除错误的匹配点对；对左右两视图根据提取出的准确匹配点对经过逐点插入法进行Delaimay三角剖 分，形成三角网；利用线性插值的方法找出中间虚拟视点图像对应的三角网，对于虚拟视点图像的 每一个三角网格求出一个逆变换矩阵；利用逆变换矩阵，求出三角网格中每一点在左右视点图像中对应的点，将对应点 的像素值赋给中间虚拟视点网格中的点，最终，可以产生中间虚拟视点的图像。所述使用归一化协方差的方法提取左右两视图的匹配的角点对，再利用RANSAC 算法剔除错误的匹配点对，进一步细化为，首先在已提取出角点的左视图中取一角AP1G, j)，然后在待匹配的右视图中以像素点(i，j)为中心，取一个MXN的矩形，将矩形中的每 个提取出来的角点P2与？工点进行相似度衡量，相似度大于预设阈值0. 8的点即为可能匹配 点。顺序将左视图中的每个特征点与右视图匹配，得到左右视图对中所有的可能的匹配角 点对，最后利用RANSAC算法对匹配点对再进行错误匹配点对的剔除，其中，Pi与？工的相似 度衡量是用相关窗口(2k+l) (21+1)内图像子区域的归一化协方差相关值来确定。所述对左右两视图根据提取出的准确匹配点对经过逐点插入法进行Delaimay三角剖分，形成三角网，进一步细化为(1)构造一个超级三角形，包含所有散点，放入三角形链表；(2)将点集中的散点依次插入，在三角形链表中找出其外接圆包含插入点的三角形，称为该点的影响三角形，删除影响三角形的公共边，将插入点同影响三角形的全部顶点 连接起来，从而完成一个点在Delaimay三角形链表中的插入；(3)根据优化准则对局部新形成的三角形进行优化。将形成的三角形放入 Delaunay三角形链表；(4)循环执行上述两步，直到所有散点插入完毕。本专利技术可以产生如下的有益效果本专利技术所使用的算法是基于平行视图，所以避免了预变换和后置变换，并且匹配 复杂度低，匹配精度高，所以整个系统的复杂度较低，生成的图像较好。本设计综合运用角 点检测技术、匹配、三角剖分以及插值等，提出来了一套完整的中间虚拟视点生成算法，并 可制作成软件，便于应用。附图说明图ISUSAN圆形模板。图2在右视图搜索P1 (i，j)点的对应点。图3逐点插入法图。图4Delaunay网格的变形过程示意。图5算法流程。图6左视图。图7右视图。图8左视图角点图。图9右视图角点图。图10匹配后的左右视图。图11三角剖分。图12虚拟视点图像图。具体实施例方式本本专利技术所使用的技术背景简介如下。角点检测算法1、SUSAN 算子SUSAN算子使用的是圆形模板(又称为窗口或核)来进行角点探测，圆形模板有等 方向性的特点.一股使用模板的半径为3 4个像元，如图1所示.模板置于每一个像元，将模板的每一个像元与中心像元进行比较，<formula>formula see original document page 5</formula>=O,其他⑴在模板中/f)为像元^T的灰度值，t为灰度差别的阈值，c叫做相似比较函数，为模板中心的像素J为其他的像素.本文档来自技高网...

【技术保护点】
一种基于左右视点图像的中间视点快速、自适应生成算法，其特征是，包括下列步骤：　　首先输入摄像机拍摄的左右两视点图像，依据Ｈａｒｒｉｓ算子分别提取左右两幅图像的角点；　　使用归一化协方差的方法提取左右两视图的匹配的角点对，再利用ＲＡＮＳＡＣ算法剔除错误的匹配点对；　　对左右两视图根据提取出的准确匹配点对经过逐点插入法进行Ｄｅｌａｕｎａｙ三角剖分，形成三角网；　　利用线性插值的方法找出中间虚拟视点图像对应的三角网，对于虚拟视点图像的每一个三角网格求出一个逆变换矩阵；　　利用逆变换矩阵，求出三角网格中每一点在左右视点图像中对应的点，将对应点的像素值赋给中间虚拟视点网格中的点，最终，可以产生中间虚拟视点的图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：李素梅，郭忠斌，侯春萍，武国梁，
申请(专利权)人：天津大学，
类型：发明
国别省市：12[中国|天津]