一种基于投影变换和薄板样条的全景成像方法技术

本发明专利技术公开了一种基于投影变换和薄板样条的全景成像方法，首先采集三幅图像；然后采用sift算法提取图像特征点，采用brute‑force搜索算法结合比率验证对相邻图像的特征点进行匹配，采用多结构拟合算法对特征匹配做筛选，拟合出地平面和远景两个平面模型，将每幅图像的特征点分为上下两部分；接着对相邻两幅图像上部分的特征匹配采用DLT算法估计出投影变换矩阵，将第二图像下部分的特征点分别映射到第一、第三图像下部分子图像中，并基于薄板样条函数对第一、第三图像进行变形处理；最后根据投影矩阵将变形后的第一、第三图像变换到第二图像的坐标系中，得到全景图。本发明专利技术对包含双平面的图像进行全景拼接，提高了图像的对齐能力，减轻了投影畸变。

【技术实现步骤摘要】
一种基于投影变换和薄板样条的全景成像方法
本专利技术属于计算机视觉和图像处理领域，具体涉及一种基于投影变换和薄板样条的全景成像方法
技术介绍
户外场景图像拼接在地面车载全景、旅游景区摄影、街景车等方面有广泛的应用。拼接这类户外场景的常规做法是采用相机旋转模型采集图像，采用投影变换模型对齐图像，这种常规做法存在的问题是：当相机的光心发生偏移时很容易引入视差，采用投影变换模型对齐能力不足。为了解决光心不一致情形下的图像拼接问题，现有技术多结合局部变换和图像变形的方法，比如APAP(As-Projective-As-Possible)算法和DHW(Dual-HomographyWarping)算法。DHW算法需要根据图像上下两部分的特征匹配，分别评估两个单应变换，但是户外场景图像的下部分一般是路面，纹理信息较少，根据此部分的特征匹配评估单应变换鲁棒性不高。APAP算法虽然优化了局部对齐能力，但保留了全局单应性约束，全景拼接结果仍然存在投影失真和对齐质量差的问题。
技术实现思路
本专利技术的目的在于提供一种基于投影变换和薄板样条的全景成像方法，以解决双平面场景图像拼接中存在的投影失真过大和对齐质量差的问题。实现本专利技术目的的解决方案为：一种基于投影变换和薄板样条的全景成像方法，包括以下步骤：步骤1、从左到右采集三幅图像，依次为第一图像、第二图像和第三图像，相邻两幅图像在水平方向存在部分重叠；步骤2、采用sift算法对每幅图像提取特征点，并生成特征描述向量；步骤3、采用brute-force搜索算法结合比率验证方法对相邻图像的特征点进行匹配；步骤4、采用多结构拟合算法对相邻两幅图像的特征匹配做进一步的筛选，拟合出地平面和远景两个平面模型；步骤5、根据拟合的平面模型确定一条水平界线，将每幅图像的特征点分为上下两部分，得到上下两个子图像；步骤6、对相邻两幅图像上部分的特征匹配采用直接线性变换(DLT)算法估计出第一图像、第三图像到第二图像的投影变换矩阵，并根据投影变换矩阵将第二图像下部分的特征点分别映射到第一、第三图像下部分子图像中；步骤7、将第一、第三图像下部分子图像的特征点和映射点分别作为薄板样条变形前后的控制点，基于薄板样条函数对第一、第三图像进行变形处理；步骤8、根据投影矩阵将变形后的第一、第三图像变换到第二图像的坐标系中，使得3幅图像上下两部分都得到了对齐，得到全景图。步骤1中相邻图像之间有20％-60％的重叠区域。步骤3进行特征点匹配的具体方法为：步骤3.1、对相邻两幅图像的特征描述向量集合做循环遍历，选择两幅图像中欧式距离小于距离阈值的特征向量对作为单向匹配候选；步骤3.2、从单向匹配候选集中选择每个特征向量的两个最近邻描述向量，仅当第一近邻匹配的欧式距离与第二近邻的比值小于比值阈值时，则确认是正确的匹配，否则确认是错误的匹配，将其剔除。步骤4的多结构拟合算法采用残差排序获得的信息引导并加速假设采样过程。步骤6的DLT算法表示如下：Aih＝0其中，x和y、u和v分别是两幅图像中特征点的横纵坐标，h＝(h1,h2,h3,h4,h5,h6,h7,h8,h9)T表示投影变换矩阵的元素。步骤7中薄板样条变换函数表示如下：式中，φ(ri)＝ri2logri为径向基函数，其中x和y分别是两幅图像中像素点的横纵坐标，xi和yi分别是控制点的横纵坐标，w1i和w2i表示径向基函数的权值；a11、a12、a21、a22、b1、b2是6个仿射系数，n是控制点的数目。本专利技术与现有技术相比，其显著优点是：本专利技术方法针对包含远景平面和地平面的场景进行全景拼接，对远景平面部分使用该部分的特征匹配估计出的单应性矩阵进行变换，得到了“保直性”的效果，减小了投影畸变；对地平面部分采用了薄板样条插值的算法，需要更少的特征点就得到较好的对齐效果，契合了地面纹理信息少的特点；本专利技术方法提高了图像的对齐能力，减轻了投影畸变。附图说明图1是本专利技术的方法流程图。图2是本专利技术的多源输入图像。图3是本专利技术的特征匹配筛选与分割的结果图。图4是本专利技术的薄板样条图像变形示意图。图5是本专利技术的全局投影变换结果图。图6是本专利技术的相邻两幅图像的拼接过程图。图7是本专利技术的全景效果图。具体实施方式下面结合附图和具体实施例，对本专利技术方案做进一步的说明。如图1所示，基于投影变换和薄板样条的全景成像方法，以中间图像为参考基准，左右侧图像分别与之对齐，生成全景图，包括以下步骤：步骤1、相机做水平旋转运动，从左到右采集三幅图像，依次为第一图像、第二图像和第三图像，每幅图像为分辨率是730×487的3通道图像。如图2所示，图像包含了地面信息，第一与第二图像、第二与第三图像之间分别具有50％和57％的重叠区域。为了产生有区分的结果，拍摄场景的相机的光心位置允许有一定位移，这打破了拼接场景必须符合单一单应性变换的假设。步骤2、采用sift特征提取算法分别提取3幅图像的角点特征；步骤3、采用brute-force算法加入比率验证获得相邻图像之间的初始匹配，具体方法为：步骤3.1、对相邻两幅图像的特征描述向量集合做循环遍历，选择两幅图像中欧式距离小于距离阈值的特征向量对作为单向匹配候选；步骤3.2、从单向匹配候选集中选择每个特征向量的两个最近邻描述向量，仅当第一近邻匹配的欧式距离与第二近邻的比值小于比值阈值时，则确认是正确的匹配，否则确认是错误的匹配，将其剔除。步骤4、为了筛除局外点，同时保留不属于同一模型但正确的匹配点，采用多结构拟合算法对相邻两幅图像的特征匹配进行过滤，拟合出地平面和远景两个平面模型。多结构拟合算法采用残差排序获得的信息引导并加速假设采样过程。第二图像和第三图像经过多结构拟合算法过滤后的特征匹配结果如图3所示，其中远景平面的特征匹配有42对，地平面的特征匹配有21对。步骤5、根据多结构拟合算法得到两个不同单应性变换模型对应的内点，将匹配点分为上下两部分，并据此划定图像上下分割边界。步骤6、选定图像上部分的特征点，用DLT算法计算出第一图像、第三图像上的匹配点集映射到第二图像上的匹配点集的单应性矩阵H1和H2。DLT算法表示如下：Aih＝0其中，x和y、u和v分别是两幅图像中特征点的横纵坐标，h＝(h1,h2,h3,h4,h5,h6,h7,h8,h9)T表示投影变换矩阵的元素。H1和H2的结果分别为：步骤7、对路面场景做基于薄板样条函数的非刚性配准拼接，从给定的稀疏特征匹配得到两幅图像的稠密对应。为了保留全局单应性约束，根据两个投影变换矩阵，将第二图像下部分的特征点分别映射到第一、第三图像下部分子图像中。在第一、第三图像下部分子图像中，将初始的特征点和映射点分别作为薄板样条变形前后的控制点，对第一、第三图像做变形处理。对第三图像做薄板样条变形的结果如图4所示。薄板样条变换函数表示如下：式中，φ(ri)＝ri2logri为径向基函数，其中x和y分别是两幅图像中像素点的横纵坐标，xi和yi分别是控制点的横纵坐标，w1i和w2i表示径向基函数的权值；a11、a12、a21、a22、b1、b2是6个仿射系数，n是控制点的数目。步骤8、将变形后的第一、第三图像分别经由单应性矩阵H1和H2变换到参考图像，即第二图像的坐标系中，这样3幅图像中的场景落在了统一的坐标系下，实现了图像的本文档来自技高网...

【技术保护点】
一种基于投影变换和薄板样条的全景成像方法，其特征在于，包括以下步骤：步骤1、从左到右采集三幅图像，依次为第一图像、第二图像和第三图像，相邻两幅图像在水平方向存在部分重叠；步骤2、采用sift算法对每幅图像提取特征点，并生成特征描述向量；步骤3、采用brute‑force搜索算法结合比率验证方法对相邻图像的特征点进行匹配；步骤4、采用多结构拟合算法对相邻两幅图像的特征匹配做进一步的筛选，拟合出地平面和远景两个平面模型；步骤5、根据拟合的平面模型确定一条水平界线，将每幅图像的特征点分为上下两部分，得到上下两个子图像；步骤6、对相邻两幅图像上部分的特征匹配采用DLT算法估计出第一图像、第三图像到第二图像的投影变换矩阵，并根据投影变换矩阵将第二图像下部分的特征点分别映射到第一、第三图像下部分子图像中；步骤7、将第一、第三图像下部分子图像的特征点和映射点分别作为薄板样条变形前后的控制点，基于薄板样条函数对第一、第三图像进行变形处理；步骤8、根据投影矩阵将变形后的第一、第三图像变换到第二图像的坐标系中，使得3幅图像上下两部分都得到了对齐，得到全景图。

【技术特征摘要】
1.一种基于投影变换和薄板样条的全景成像方法，其特征在于，包括以下步骤：步骤1、从左到右采集三幅图像，依次为第一图像、第二图像和第三图像，相邻两幅图像在水平方向存在部分重叠；步骤2、采用sift算法对每幅图像提取特征点，并生成特征描述向量；步骤3、采用brute-force搜索算法结合比率验证方法对相邻图像的特征点进行匹配；步骤4、采用多结构拟合算法对相邻两幅图像的特征匹配做进一步的筛选，拟合出地平面和远景两个平面模型；步骤5、根据拟合的平面模型确定一条水平界线，将每幅图像的特征点分为上下两部分，得到上下两个子图像；步骤6、对相邻两幅图像上部分的特征匹配采用DLT算法估计出第一图像、第三图像到第二图像的投影变换矩阵，并根据投影变换矩阵将第二图像下部分的特征点分别映射到第一、第三图像下部分子图像中；步骤7、将第一、第三图像下部分子图像的特征点和映射点分别作为薄板样条变形前后的控制点，基于薄板样条函数对第一、第三图像进行变形处理；步骤8、根据投影矩阵将变形后的第一、第三图像变换到第二图像的坐标系中，使得3幅图像上下两部分都得到了对齐，得到全景图。2.根据权利要求1所述的基于投影变换和薄板样条的全景成像方法，其特征在于，步骤1中相邻图像之间有20％-60％的重叠区域。3.根据权利要求1所述的基于投影变换和薄板样条的全景成像方法，其特征在于，步骤3进行特征点匹配的具体方法为：步骤3.1、对相...

【专利技术属性】
技术研发人员：屈惠明，崔振龙，刘李凤，龙泉舟，傅晓梦，刁海玮，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏,32