基于相机位姿估计和空间采样的2D全景视频生成制造技术

本发明专利技术公开一种基于相机位姿估计和空间采样的2D全景视频生成，具体为根据输入视频，利用相邻视频帧的匹配特征点信息和多视角模型标定视频帧相机位置和姿态，构成相机位姿集合；根据相机位姿集合中相机的位姿在空间中的分布情况，拟合2D采样曲面，在曲面上选取n个采样点；根据相机的位置和姿态定义空间度量距离，在相机位姿集合中选取距离当前采样点最近邻相机所对应的视频帧作为当前采样点的图像；在2D采样曲面上选取一条路径，被路径穿过的采样点图像构成图像序列，此图像序列可对物体进行全景展示。

2D panoramic video generation based on camera pose estimation and spatial sampling

The invention discloses a method for camera pose estimation and spatial sampling 2D panoramic video based on generation, according to the specific input video, using adjacent video frames matching feature point information and multi view video frame camera calibration model of position and attitude, a camera pose set; according to the distribution of the pose of the camera pose in the collection phase in space, 2D sampling fitting surface, select the N sampling points on the surface; according to the position and attitude of the camera in the definition of space distance measurement, camera pose set distance video frame of the current sampling point corresponding to the nearest camera as the sampling points of the image; on the surface of a sample path selection 2D is a path through the sampling points on the object image of image sequences, panoramic display of the image sequence.

【技术实现步骤摘要】

本专利技术涉及本专利技术涉及数字图像处理与计算机视觉领域，具体是对一段时间拍摄的图片序列，估计出摄像机的位姿，生成2D全景视频的方法。
技术介绍
图像的特征提取和描述是基于特征的图像处理和计算机视觉的基础环节，特征检测算子的检测性能和描述算子的表征性能直接决定了图像处理的效率和精度。在实际问题中图像可能受到噪声、背景的干扰，也可能发生视角、光照、尺度、平移、旋转、仿射等，选择合理的图像特征和描述算子，使得这些特征不仅具有良好的表征性而且具有良好的鲁棒性是一个十分关键的问题。三角测量法用于从二维的图像对或者视频序列中恢复出相应的三维信息，其中包括成像摄像机的位姿信息以及场景的结构信息。Bundleadjustment在计算机视觉中是每一个基于特征的三维重建算法的最好的优化算法，该算法用于优化计算出来的相机光心和重建的三维点。
技术实现思路
专利技术目的：本专利技术的目的是为了解决现有技术的不足，提供一种基于相机位姿估计的2D全景视频生成方法，通过对图片序列的位姿估计，再将位姿信息投影到采样空间生成2D全景视频。技术方案：为了实现以上目的，一种基于相机位姿估计和空间采样的2D全景视频生成，该方法的具体步骤如下：(1)根据输入的一组视频帧，利用相邻视频帧图像间的匹配特征点信息和多视角模型标定出相机的初始位置和姿态，并利用bundleadjustment算法优化每一帧对应的相机位置和姿态，最终获得每一视频帧所对应的精确的相机位置和姿态，构成相机位姿集合；(2)根据相机位姿集合中的相机的位置和姿态在空间中的分布情况，拟合出一个2D采样曲面，并在采样2D曲面上选取n个采样点；(3)根据步骤2中所述相机的位置和姿态定义空间度量距离，对于每一个采样点，在相机位姿集合中选取距离当前采样点最近邻相机所对应的视频帧作为当前采样点的图像；(4)在空间2D采样曲面上选一条路径，被所述路径穿过的采样点图像构成一个图像序列，展示图像序列所记录的场景内容，构成一个空间全景视图。步骤(1)所述的具体操作步骤为：a)通过公式判别特征点p是否是一个特征点，其中I(x)为圆周任一点像素值，I(p)为候选点像素值，ε为相差阀值，，N为圆周上有N个点满足则为角点，用机器学习的方法筛选最优特征点，用非极大值抑制算法去除临近位置多个特征点；b)建立多尺度空间的图像金字塔，实现特征点的多尺度不变性；c)特征点的旋转不变性,通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向；d)利用张正友标定法，计算出相机的内参数矩阵K，相机畸变系数矩阵M；e)利用相邻图像间的匹配特征点对的极线约束关系，对任一匹配特征点对x和x′，都符合x′FTx＝0，使用RANSAC方法随机抽样n个特征点对进行基础矩阵F的计算；f)将基础矩阵F转换至归一化图像坐标下的本征矩阵E＝K′FTK，将本征矩阵E进行奇异值分解，得到相邻相机的外参数矩阵Rt2的四个可能的相机外参数矩阵；g)利用四个可能的相机外参数矩阵对三维点进行三角测量，并利用三维点始终在相机前这一空间位置关系筛选出四个可能的相机外参数矩阵中的唯一一个正确的相机外参数矩阵，并在所有双视角模型的外参数矩阵计算完毕后，将其进行平均化处理，减小最大误差；h)将所述双视角模型统一坐标系，转换至摄像机坐标系中，然后对整个多视角模型进行捆绑调整，通过调整相机的位姿、三维点云的位置最小化重投影误差，将所有双视角模型都添加进多视角模型中就完成多视角模型的创建。步骤(2)中所述的，根据相机位姿集合中的相机的位置和姿态在空间中的分布情况，拟合出一个2D采样曲面，并在采样2D曲面上选取n个采样点的具体操作步骤为，基于生成的相机位姿信息，插值生成2D采样曲面；具体为一个平面可被其法向量定义为n＝(a,b,c),由点到平面的距离公式可定义平面为ax+by+cz+d＝0,令C＝1；则该公式可变为ax+by+cz＝-d；对所有相机坐标点有利用最小二乘法：可得取所有视频帧位姿信息质心为坐标原点，可以去掉第三行：根据克拉默法则可得平面方程：根据克拉默法则可得平面方程：D＝∑xx*∑yy-∑xy*∑xya＝(∑yz*∑xy-∑xz*∑yy)/Db＝(∑xy*∑xz-∑xx*∑yz)/Dn＝[a,b,1]Tb)生成n个采样点Q＝(x,y,z,q0,q1,q2,q3)T。步骤(3)中所述的根据相机的位置和姿态定义空间度量距离，对于每一个采样点，在相机位姿集合中选取距离当前采样点最近邻相机所对应的视频帧作为当前采样点的图像，其具体操作步骤为：将每一帧的6DOF位姿q＝(X，R)∈S投影到采样空间则相邻帧的距离定义成p(q0,q1)＝Wt*||F(X0,X1)||+Wr*||f(R0,R1)||；利用定义的距离p，得到距离采样点最近的K个视频帧作为采样点所对应的图像。步骤(4)中所述的在空间2D采样曲面上选一条路径，被这条路径穿过的采样点图像构成一个图像序列，展示这些图像序列所记录的场景内容，整个路径上的图像构成一个空间全景视图，具体操作步骤为：a)在拟合出的采样空间中二维采样曲面中选一条路径；b)每个采样点展示的图像序列为在采样空间中离采样点最近的相机位姿距离的图像序列。其中距离定义采用了步骤(3)的空间度量距离定义。有益效果：本专利技术所述的一种基于相机位姿估计和空间采样的2D全景视频生成，通过对图片序列的位姿估计，再将位姿信息投影到采样空间进行视频采样，这种图像序列能够很好的对物体进行全方位的展示。附图说明图1本专利技术流程图；图2为高斯金字塔模型；图3为相机外参数矩阵Rt矩阵的四种可能解。具体实施方式下面结合附图和实施例，进一步阐明本专利技术。实施例如图1所示，本专利技术所述的一种基于相机位姿估计和空间采样的2D全景视频生成，该方法的具体步骤如下：步骤(1)通过将拍摄的图像序列使用二维图像特征点的提取与匹配，实现在图片序列上对特征点的追踪：1.1)判别点p是否是一个特征点，可以通过判断以该特征点p为中心画圆，该圆过16个像素点，设在圆周上的16个像素点中是否最少有n个连续的像素点满足都比Ip+t大，或者都比Ip-t小；这里Ip指的点p的灰度值，t是一个阈值；如果满足这样的要求，则判断p点是一个特征点，否则p点不是特征点，n的值一般设为12，计算公式为其中I(x)为圆周任一点像素值，I(p)为候选点像素值，ε为相差阀值，N为圆周上有N个点满足则为角点；1.2)采用机器学习的方法筛选最优特征点；具体就是使用ID3算法训练一个决策树，将1.1中特征点圆周上的16个像素输入决策树中，以此来筛选出最优的FAST特征点；1.3)非极大值抑制去除局部较密集特征点，具体为使用非极大值抑制算法去除临近位置多个特征点，为每一个特征点计算出其响应大小，其计算方式是特征点P和其周围16个特征点偏差的绝对值和；在比较临近的特征点中，保留响应值较大的特征点，删除其余的特征点；1.4)建立多尺度空间的图像金字塔，实现特征点的多尺度不变性，设置一个比例因子scaleFactor(默认为1.2)和金字塔的层数nlevels(默认为8)；将原图像按比例因子缩小成nlevels幅图像；缩放后的图像为：I’＝I/scaleFactork(k＝1,2,…,nlevels)；nl本文档来自技高网...

【技术保护点】
一种基于相机位姿估计和空间采样的2D全景视频生成，其特征在于：该方法的具体步骤如下：(1)根据输入的一组视频帧，利用相邻视频帧图像间的匹配特征点信息和多视角模型标定出相机的初始位置和姿态，进一步利用捆绑调整(bundle adjustment)算法优化每一帧对应的相机位置和姿态，构成精确相机位姿集合；(2)根据相机位姿集合中的相机的位置和姿态在空间中的分布情况，拟合出一个2D采样曲面，并在采样2D曲面上选取n个采样点；(3)根据步骤2中所述相机的位置和姿态定义空间度量距离。对于每一个采样点，在相机位姿集合中选取空间度量距离与当前采样点最接近的相机所对应的视频帧作为当前采样点的图像；(4)在空间2D采样曲面上选一条路径，被所述路径穿过的采样点图像构成一个图像序列，图像序列所记录的内容构成场景的一个全景视图。可选择多个路径，构建多个全景视图。

【技术特征摘要】
1.一种基于相机位姿估计和空间采样的2D全景视频生成，其特征在于：该方法的具体步骤如下：(1)根据输入的一组视频帧，利用相邻视频帧图像间的匹配特征点信息和多视角模型标定出相机的初始位置和姿态，进一步利用捆绑调整(bundleadjustment)算法优化每一帧对应的相机位置和姿态，构成精确相机位姿集合；(2)根据相机位姿集合中的相机的位置和姿态在空间中的分布情况，拟合出一个2D采样曲面，并在采样2D曲面上选取n个采样点；(3)根据步骤2中所述相机的位置和姿态定义空间度量距离。对于每一个采样点，在相机位姿集合中选取空间度量距离与当前采样点最接近的相机所对应的视频帧作为当前采样点的图像；(4)在空间2D采样曲面上选一条路径，被所述路径穿过的采样点图像构成一个图像序列，图像序列所记录的内容构成场景的一个全景视图。可选择多个路径，构建多个全景视图。2.根据权利要求1所述的一种基于相机位姿估计和空间采样的2D全景视频生成，其特征在于：步骤(1)所述的具体操作步骤为：a)通过公式判别特征点p是否是一个特征点，其中I(x)为圆周任一点像素值，I(p)为候选点像素值，ε为相差阀值，N为圆周上有N个点满足则为角点，用机器学习的方法筛选最优特征点，用非极大值抑制算法去除临近位置多个特征点；b)建立多尺度空间的图像金字塔，实现特征点的多尺度不变性；c)特征点的旋转不变性,通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向；d)利用张正友标定法，计算出相机的内参数矩阵K，相机畸变系数矩阵M；e)利用相邻图像间的匹配特征点对的极线约束关系，对任一匹配特征点对x和x′，都符合x′FTx＝0，使用RANSAC方法随机抽样n个特征点对进行基础矩阵F的计算；f)将基础矩阵F转换至归一化图像坐标下的本征矩阵E＝K′FTK，将本征矩阵E进行奇异值分解，得到相邻相机的外参数矩阵Rt2的四个可能的相机外参数矩阵；g)利用四个可能的相机外参数矩阵对三维点进行三角测量，并利用三维点始终在相机前这一空间位置关系筛选出四个可能的相机外参数矩阵中的唯一一个正确的相机外参数矩阵，并在所有双视角模型的外参数矩阵计算完毕后，将其进行平均化处理，减小最大误差；h)将所述双视角模型统一坐标系，转换至摄像机坐标系中，然后对整个多视角模型进行捆绑调整，通过调整相机的位姿、三维点云的位置最小化重投影误差，将所有双视角模型都添加进多视角模型中就完成多视角模型的创建。3.根据权利要求1所述的一种基于相机位姿估计和空间采样的2D全...

【专利技术属性】
技术研发人员：王兆其，李兆歆，邓果一，
申请(专利权)人：苏州中科广视文化科技有限公司，
类型：发明
国别省市：江苏;32