一种平行全景相机阵列多视点图像校正方法技术

本发明专利技术公开了一种平行全景相机阵列多视点图像校正方法，包括以下步骤：S1：提取并匹配各视点图像特征点：从多个视点的图像中检测足量待匹配SIFT特征点，确定特征点的位置和尺度；S2：关键点精确定位：对确定的特征候选点周围数据的拟合来求得精确的位置、尺度和曲率比；S3：根据已选定的精细化后匹配点信息对两两相邻的多视点图像进行校正；S4：投影多视点图像至公共校正平面；S5：描述矢量的生成；S6：特征匹配：确定两两相邻图像对中的对应特征点关系；S7：对各立体对中已提取的匹配特征点使用改进的RANSAC精细化算法去除噪声点。本发明专利技术设计合理，特征匹配能力强，有利于提高参数求解的精度和该全景相机阵列多视点图像校正效率。

【技术实现步骤摘要】

本专利技术涉及多视点图像校正方法
，尤其涉及一种平行全景相机阵列多视点图像校正方法。
技术介绍
多相机实时采集立体显示系统是三维电视的一个重要应用，它将多个相机实时采集的视频传送至服务器，在服务器中对多视点图像进行处理，合成立体图像后显示在立体显示器上。对于平行式相机阵列，由于不可避免的操作误差及设备精度限制，仅仅采用手工调整相机位置的方法不能完全模拟理想平行式相机阵列的摆放。使用这种手工放置相机的方式拍摄的多视点图像，对应特征点在垂直方向上未对齐，在水平方向上视差不均匀，从而导致合成的立体图像中物体出现明显的闪烁现象，严重影响了实时三维立体视频的观看效果。RANSAC算法在多视点图像校正的运用是根据一组包含异常数据的样本数据集计算出数据的数学模型参数，从而得到有效样本数据的算法，传统的RANSAC算法在去除噪声点方面有很好的性能，但是效率较低。
技术实现思路
本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种平行全景相机阵列多视点图像校正方法。为了实现上述目的，本专利技术采用了如下技术方案：一种平行全景相机阵列多视点图像校正方法，包括以下步骤：S1：提取并匹配各视点图像特征点：从多个视点的图像中检测足量待匹配SIFT特征点，确定特征点的位置和尺度，用尺度空间函数在所有的尺度中搜索稳定的特征，尺度空间函数表示为：；S2：关键点精确定位：对确定的特征候选点周围数据的拟合来求得精确的位置、尺度和曲率比，抛弃邻域对比度较低或者在边缘上的候选点，主曲率通过计算的hessian矩阵求得：；S3：根据已选定的精细化后匹配点信息对两两相邻的多视点图像进行校正；S4：投影多视点图像至公共校正平面：根据计算出的各个立体图像校正矩阵，确定将多视点图像投影至公共校正平面的方法；S5：描述矢量的生成：在生成描述矢量之前先将邻域内每个采样点的坐标和梯度方向都沿着关键点的主方向做一个旋转，用高斯权重函数对每个采样点赋以不同的权重，高斯函数的中心在关键点位置，方差为关键点邻域窗口宽度的一半；S6：特征匹配：从多个视点的图像中检测足量的待匹配SIFT特征，确定两两相邻图像对中的对应特征点关系；S7：对各立体对中已提取的匹配特征点使用改进的RANSAC精细化算法去除噪声点：每次采样3个匹配对来计算本次变换矩阵模型，然后将各点带入该模型统计符合该模型的内点数目，利用视频拼接模型的流行拼接，经过关键帧采样后，以平移运动为主，再用简单的均值和标准差的方法来滤除噪声数据，计算偏移数据在x,y轴方向的均值x_mean,y_mean，计算偏移数据在x,y,轴方向的标准差x_std,y_std，集合S作为新的RANSAC数据，合成立体图像，其中：。优选的，所述S1中，符号代表卷积运算，高斯核为：。优选的，所述S1中，图像的尺度空间函数包含尺度变量的高斯核与图像的卷积，即：。优选的，所述S1中，尺度空间函数用归一化的LOG算子代替DOG，所述归一化的LOG算子为，将得到：。优选的，所述S1中，将等式两端同除以分母，将得到：。优选的，所述S1中，相邻两个尺度和上的有限差分来近似，将得到：。优选的，所述S2中，用泰勒展开式将尺度空间函数展开有：。优选的，所述S2中，对求导并令导数为零，将得到偏移量为：。优选的，所述S2中，将偏移量带入中可得到：。本专利技术的有益效果是：通过射影变换投影多视点图像至公共校正平面，方便水平视差的自由调整，有效增加了多视点图像校正使用范围，并且特征匹配能力强，在图像质量较差的情况下也能正常工作；利用DOG代替了，避免了求解二次导数，大大提高了计算速度；以及利用改进的RANSAC提纯算法，数据的噪声比重大大下降，提高了RANSAC结果的可靠性和数据的纯度，有利于参数求解的精度和该全景相机阵列多视点图像校正效率。本专利技术设计合理，特征匹配能力强，增加了多视点图像校正使用范围，有利于提高参数求解的精度和该全景相机阵列多视点图像校正效率。具体实施方式下面结合具体实施例对本专利技术作进一步解说。实施例本实施例提出了一种平行全景相机阵列多视点图像校正方法，包括以下步骤：S1：提取并匹配各视点图像特征点：从多个视点的图像中检测足量待匹配SIFT特征点，确定特征点的位置和尺度，用尺度空间函数在所有的尺度中搜索稳定的特征，尺度空间函数表示为：；S2：关键点精确定位：对确定的特征候选点周围数据的拟合来求得精确的位置、尺度和曲率比，抛弃邻域对比度较低或者在边缘上的候选点，主曲率通过计算的hessian矩阵求得：；S3：根据已选定的精细化后匹配点信息对两两相邻的多视点图像进行校正；S4：投影多视点图像至公共校正平面：根据计算出的各个立体图像校正矩阵，确定将多视点图像投影至公共校正平面的方法；S5：描述矢量的生成：在生成描述矢量之前先将邻域内每个采样点的坐标和梯度方向都沿着关键点的主方向做一个旋转，用高斯权重函数对每个采样点赋以不同的权重，高斯函数的中心在关键点位置，方差为关键点邻域窗口宽度的一半；S6：特征匹配：从多个视点的图像中检测足量的待匹配SIFT特征，确定两两相邻图像对中的对应特征点关系；S7：对各立体对中已提取的匹配特征点使用改进的RANSAC精细化算法去除噪声点：每次采样3个匹配对来计算本次变换矩阵模型，然后将各点带入该模型统计符合该模型的内点数目，利用视频拼接模型的流行拼接，经过关键帧采样后，以平移运动为主，再用简单的均值和标准差的方法来滤除噪声数据，计算偏移数据在x,y轴方向的均值x_mean,y_mean，计算偏移数据在x,y,轴方向的标准差x_std,y_std，集合S作为新的RANSAC数据，合成立体图像，其中：。其中符号代表卷积运算，高斯核为：。图像的尺度空间函数包含尺度变量的高斯核与图像的卷积，即：。尺度空间函数用归一化的LOG算子代替DOG，所述归一化的LOG算子为，将得到：。将等式两端同除以分母，将得到：。相邻两个尺度和上的有限差分来近似，将得到：。用泰勒展开式将尺度空间函数展开有：。对求导并令导数为零，将得到偏移量为：。将偏移量带入中可得到：。通过射影变换投影多视点图像至公共校正平面，方便水平视差的自由调整，有效增加了多视点图像校正使用范围，并且特征匹配能力强，在图像质量较差的情况下也能正常工作；利用DOG代替了，避免了求解二次导数，大大提高了计算速度；以及利用改进的RANSAC提纯算法，数据的噪声比重大大下降，提高了RANSAC结果的可靠性和数据的纯度，有利于提高参数求解的精度和该全景相机阵列多视点图像校正效率。以上所述，仅为本专利技术较佳的具体实施方式，但本专利技术的保护范围并不局限于此，任何熟悉本
的技术人员在本专利技术揭露的技术范围内，根据本专利技术的技术方案及其专利技术构思加以等同替换或改变，都应涵盖在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
一种平行全景相机阵列多视点图像校正方法，其特征在于，包括以下步骤：S1：提取并匹配各视点图像特征点：从多个视点的图像中检测足量待匹配SIFT特征点，确定特征点的位置和尺度，用尺度空间函数在所有的尺度中搜索稳定的特征，尺度空间函数表示为：；S2：关键点精确定位：对确定的特征候选点周围数据的拟合来求得精确的位置、尺度和曲率比，抛弃邻域对比度较低或者在边缘上的候选点，主曲率通过计算的hessian矩阵求得：；S3：根据已选定的精细化后匹配点信息对两两相邻的多视点图像进行校正；S4：投影多视点图像至公共校正平面：根据计算出的各个立体图像校正矩阵，确定将多视点图像投影至公共校正平面的方法；S5：描述矢量的生成：在生成描述矢量之前先将邻域内每个采样点的坐标和梯度方向都沿着关键点的主方向做一个旋转，用高斯权重函数对每个采样点赋以不同的权重，高斯函数的中心在关键点位置，方差为关键点邻域窗口宽度的一半；S6：特征匹配：从多个视点的图像中检测足量的待匹配SIFT特征，确定两两相邻图像对中的对应特征点关系；S7：对各立体对中已提取的匹配特征点使用改进的RANSAC精细化算法去除噪声点：每次采样3个匹配对来计算本次变换矩阵模型，然后将各点带入该模型统计符合该模型的内点数目，利用视频拼接模型的流行拼接，经过关键帧采样后，以平移运动为主，再用简单的均值和标准差的方法来滤除噪声数据，计算偏移数据在x,y轴方向的均值x_mean, y_mean，计算偏移数据在x,y,轴方向的标准差x_std, y_std，集合S作为新的RANSAC数据，合成立体图像，其中：。...

【技术特征摘要】
1.一种平行全景相机阵列多视点图像校正方法，其特征在于，包括以下步骤：S1：提取并匹配各视点图像特征点：从多个视点的图像中检测足量待匹配SIFT特征点，确定特征点的位置和尺度，用尺度空间函数在所有的尺度中搜索稳定的特征，尺度空间函数表示为：；S2：关键点精确定位：对确定的特征候选点周围数据的拟合来求得精确的位置、尺度和曲率比，抛弃邻域对比度较低或者在边缘上的候选点，主曲率通过计算的hessian矩阵求得：；S3：根据已选定的精细化后匹配点信息对两两相邻的多视点图像进行校正；S4：投影多视点图像至公共校正平面：根据计算出的各个立体图像校正矩阵，确定将多视点图像投影至公共校正平面的方法；S5：描述矢量的生成：在生成描述矢量之前先将邻域内每个采样点的坐标和梯度方向都沿着关键点的主方向做一个旋转，用高斯权重函数对每个采样点赋以不同的权重，高斯函数的中心在关键点位置，方差为关键点邻域窗口宽度的一半；S6：特征匹配：从多个视点的图像中检测足量的待匹配SIFT特征，确定两两相邻图像对中的对应特征点关系；S7：对各立体对中已提取的匹配特征点使用改进的RANSAC精细化算法去除噪声点：每次采样3个匹配对来计算本次变换矩阵模型，然后将各点带入该模型统计符合该模型的内点数目，利用视频拼接模型的流行拼接，经过关键帧采样后，以平移运动为主，再用简单的均值和标准差的方法来滤除噪声数据，计算偏移数据在x,y轴方向的均值...

【专利技术属性】
技术研发人员：杨成，张超超，刘成，秦静华，
申请(专利权)人：安徽协创物联网技术有限公司，
类型：发明
国别省市：安徽;34