一种基于四元数的全景稳像方法技术

本发明专利技术涉及一种基于四元数的全景稳像方法，其特征在于具体步骤如下：1单相机的模型球建立、2基于角度的球面投影方法、3多球体模型融合方法、4基于四元数的全景球面稳像方法、5全景球的展开方法。其将多个球体模型进行归一化，并将多个球体模型的球面进行融合形成多相机成像系统的单帧全景球体模型；将前后两帧的全景球面图像进行特征点匹配，通过四元数的方法计算两个全景球之间的位姿关系，之后通过所求得的关系将球面图像进行变换，最后将全景球面上的信息还原到平面图像上，从而达到稳像效果。该方法能够有效解决由于全景相机系统中每个相机因为姿态变化不同而无法准确定位整体姿态变换的问题。

【技术实现步骤摘要】

【技术保护点】
一种基于四元数的全景稳像方法，其特征在于具体步骤如下：一、单相机的模型球建立首先使用张正友标定法对全景成像系统中的每个摄像机进行标定，得到每个相机的内参矩阵，内参矩阵中的与分别表示感光器件在方向与方向的偏移量，是在方向的像素焦距是在方向的像素焦距，通过内参矩阵中的与对每个相机所采集的图像进行畸变矫正，通过可以得到每个相机的像素焦距，选定右手坐标系建立球体模型，建立一个半径为焦距的球体模型，球体模型的球心坐标为（0,0,0）;所建立的球体模型公式为：二、基于角度的球面投影方法图像坐标系为2D坐标系，而球体坐标系为3D坐标系，为了使球体模型能够准确的反应出相机成像模型，在这里才用了基于角度的球面投影方式；球坐标系上的任意一点可以通过来确定，其中为球体的半径，也就是原点与点的距离，为线段与轴正向的夹角，为线段在平面上的投影与轴的夹角，这里定义逆时针方向为正向;将点转换到右手坐标系下使用来表示为：全景成像系统每个相机所采集的图像的大小为为图像的宽度，为图像的高度，在右手坐标系下球体模型中，原点为光心，轴为光轴，轴穿过图像的中心点，定义图像中心点的坐标为（0,1,0）;那么对于相平面上的任意一点其坐标为，为在图像坐标系下的横向的像素坐标值，为在图像坐标系下纵向的像素坐标值;由此可以得到点与轴的正向夹角，以及在平面上的投影与轴的夹角，公式为：通过就完成了将图像投影到球面上;同时可以得到在右手坐标系下每个像素点的；三、多球体模型融合方法再得到全景系统每个相机的球体成像模型后需要将球体模型进行归一化处理，使每个相机的球体模型的半径为1，归一化方程为：这样针对所有相机构建的球体模型都是统一的单位球，以便于将全景系统进行融合;如相机C1与C2是相邻相机，将相邻相机同时采集的图像进行SIFT匹配，在通过RANSAC方法过滤外点，并将这些特征点的3D坐标保存下来记为与，则两个相机所建立的球体模型之间通过这些同名点对构成如下关系：R为相邻相机的模型球的旋转矩阵，通过这个旋转矩阵就可以将全景相机的图像进行融合，融合为一个全景的球体模型；四、基于四元数的全景球面稳像方法将时刻与时刻生成的全景球面进行特征点匹配，记录所有特征点的坐标，并对这些点进行过滤优化，选取最优点;将全景球的3D坐标系转化为虚坐标系，坐标系的三个虚轴均用来表示三个轴的旋转量，这样对应于球面上的一点，对应于虚坐标系下的四元数表示为；对于左右两个球面的对匹配点云，定义如下3*3的矩阵：矩阵的元素是由两个球面坐标系对应的3D球面坐标累积和与差组成;恰好，该矩阵包含了利用最小二乘求解旋转的所需所有信息;重新定义矩阵，令其元素独立：其中，其余元素同上；因此，10自由度的4*4实对称阵是由矩阵的9个元素不同代数和组成，其中，对角线和为0,矩阵的定义如下：计算矩阵的特征值，其中是4*4的单位矩阵，为特征值，获取最大特征值对应的特征向量便为匹配点云对应的四元数，通过这些最优点对的四元数表示方法计算两个全景球的相对球面位姿关系，从而求得全景成像系统在时刻与时刻的运动特性，进而得出两个球面之间的变换关系，实现对球面图像的抖动进行反向补偿，达到稳像效果；五、全景球的展开方法对全景球的球面图像进行姿态抖动抑制后得到稳定的全景单帧图像，需要使用球面到平面的投影方式将其恢复为平面全景图像，并将这些全景图像还原为视频序列。...

【技术特征摘要】

【专利技术属性】
技术研发人员：方明，徐晶，付飞蚺，司书哲，任正玮，田颖，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：吉林;22