一种双目立体视频的合成方法技术

本发明专利技术公开了一种双目立体视频的合成方法，包括相机标定、图像矫正、视差图匹配和合成双目立体视频的过程，本发明专利技术一种双目立体视频的合成方改进了相机标定的方法，使得标定的参数更加精确，同时提供了一种SSE4.2指令集加速图像匹配过程，最终获取到完整的双目立体视频。

【技术实现步骤摘要】
一种双目立体视频的合成方法
本专利技术属于计算机视觉
，涉及一种双目立体视频的合成方法。
技术介绍
计算机视觉是一门新兴的综合性学科，它的研究涉及到数学、计算机图形学、模式识别、数字图像处理和数字信号处理等领域。双目立体视觉就是根据人眼成像的特点来研究摄像头的三维成像技术。双目立体视觉作为计算机视觉的一个重要分支，通过模拟人的双眼来达到获取视觉信息的目的。双目立体视觉，就是通过两幅具有类似人类左右眼视觉功能的图像，以双目视差为原理基础，通过立体匹配，获取视差信息，从而获得到目标物体的三维信息。随着双目立体视觉的不断发展与改进，它可以应用到生活中的各个领域，如：近年来新兴的无人机产业、我国的探月工程、汽车导航功能等方面。近些年中，国内外一直在推动着该方向的研究，逐步将平面成像通过立体视觉技术转变为三维立体视觉。Zhang等在2017年文化与计算国际会议中提出将双目立体视觉应用于博物馆的展览中；Li等在2017年第四届信息科学与控制工程国际会议中提出运用双目立体视觉技术获取玉兰花的三维立体模型；2017年Chen等在无人机避障技术中运用双目视觉技术，使得双目立体视觉技术得到了更广泛本文档来自技高网...

【技术保护点】
1.一种双目立体视频的合成方法，其特征在于，具体按照以下方法进行：步骤1，相机标定将双目摄像机进行标定，得到双目摄像机的内参数和外参数；步骤2，图像矫正将双目摄像机采集的视频分解为成多帧目标图像，将每帧目标图像均切割成左目视图和右目视图，对每帧目标图像的左目视图和右目视图均进行校正，得到每帧目标图像的校正左目视图和校正右目视图；步骤3，视差图匹配将每帧目标图像的校正左目视图和校正右目视图均进行立体匹配，得到多帧匹配视差图；步骤4，合成双目立体视频。

【技术特征摘要】
1.一种双目立体视频的合成方法，其特征在于，具体按照以下方法进行：步骤1，相机标定将双目摄像机进行标定，得到双目摄像机的内参数和外参数；步骤2，图像矫正将双目摄像机采集的视频分解为成多帧目标图像，将每帧目标图像均切割成左目视图和右目视图，对每帧目标图像的左目视图和右目视图均进行校正，得到每帧目标图像的校正左目视图和校正右目视图；步骤3，视差图匹配将每帧目标图像的校正左目视图和校正右目视图均进行立体匹配，得到多帧匹配视差图；步骤4，合成双目立体视频。2.根据权利要求1所述的一种双目立体视频的合成方法，其特征在于，所述步骤1中具体按照下述步骤对双目摄像机进行标定：步骤1.1，使用张正友标定法对双目摄像机进行标定，得到双目摄像机的初步内参数和初步外参数；步骤1.2，将所述初步内参数和初步外参数作为参考，再次使用张正友标定法对双目摄像机进行标定，得到双目摄像机的内参数和外参数。3.根据权利要求1所述的一种双目立体视频的合成方法，其特征在于，所述步骤2中具体按照下述步骤对每帧目标图像的左目视图和右目视图均进行校正：步骤2.1，根据所述内参数和外参数,采用Bouguet的极线校正算法，对每帧目标图像的左目视图和右目视图均进行畸变校正和极线平行校正，得到每帧目标图像的初步校正的左目视图和右目视图；步骤2.2，然后对每帧目标图像的初步校正的左目视图和右目视图均裁剪、去噪，得到每帧目标图像的校正左目视图和校正右目视图。4.根据权利要求1所述的一种双目立体视频的合成方法，其特征在于，所述步骤3中具体按照下述方法将矫正后的左目视图和右目视图进行立体匹配：步骤3.1，将每帧目标图像的校正左目视图和校正右目视图均进行预处理，得到多帧包含左目视图梯度信息的梯度左目视图和包含右目视图梯度信息的梯度右目视图；步骤3.2，计算梯度左目视图和梯度右目视图的梯度代价、校正左目视图和校正右目视图的SAD匹配代价；步骤3.3，根据所述梯度左目视图和梯度右目视图的梯度代价和校正左目视图和校正右目视图的匹配代价优化能量函数，并计算能量函数最优解，得到初始视差图；步骤3.4，将所述初始视差图使用加权中值滤波算法进行优化，得到匹配视差图。5.据权利要求3所述的一种双目立体视频的合成方法，其特征在于，所述步骤3.1具体按照下述方法将每帧目标图像的校正左目视图和校正右目视图均进行预处理：步骤3.1.1，将校正左目视图和校正右目视图的像素点均进行16位地址对齐，然后将每一个像素点的左、右、左上、右上、左下和右下方向的像素点进行地址对齐并保存；步骤3.1.2，将每个像素点的像素值中每四个元素进行组合数据返回，得到并联左目视图和并联右目视图；步骤3.1.3，将并联左目视图和并联右目视图均使用水平Sobel算子进行算子处理，得到算子左目视图和算子右目视图；步骤3.1.4，将算子左目视图和算子右目视图均进行灰度处理，得到包含左目视图梯度信息的梯度左目视图和包含右目视图梯度信息的梯度右目视图。6.据权利要求3所述的一种双目立体视频的合成方法，其特征在于，所述步骤3.2中，计算梯度左目视图和梯度右目视图梯度代价以及校正左目视图和校正右目视图的的SAD匹配代价具体按照下述步骤进行：步骤3.2.1，使用BT算法将梯度左目视图中每个像素点与梯度右目视图中像素点进行匹配，将梯度左目视图和梯度右目视图中能够进行匹配的像素点定义为梯度像素点；使用BT算法将校正左目视图中每个像素点与校正右目视图中像素点进行匹配，将校正左目视图和校正右目视图中能够进行匹配的像素点定义为校正像素点；步骤3.2.2，使用BT算法计算每个梯度匹配像素点与其左边相邻像素点之间的左边线性插值强度、每个匹配像素点与其右边相邻像素点之间的右边线性插值强度和每个匹配像素点上的线性插值强度；使用BT算法计算每个校正像素点与其左边相邻像素点之间的左边线性插值强度、每个匹配像素点与其右边相邻像素点之间的右边线性插值强度和每个匹配像素点上的线性插值强度；步骤3.2.3，将梯度左目视图和梯度右目视图的匹配像素点均进行16位对齐并存储；将校正左目视图和校正右目视图的校正像素点均进行16位对齐并存储；步骤3.2.4，同时对四个匹配像素点进行筛选，得到四个匹配像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最大值和最小值；同时对四个校正像素点进行筛选，得到四个校正像素点中左边线性插值强度、右边线性插值强度和线性插值强度的最小值；步骤3.2.5，重复步骤3.2.4，使得梯度左目视图和梯度右目视图中所有的匹配像素点和校正左目视图和校正右目视图的所有校正像素点均已经被筛选，得到梯度左目视图和梯度右目视图...

【专利技术属性】
技术研发人员：王映辉，卢达林，魏际同，宁小娟，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西,61