一种鲁棒的双目立体图像拼接方法技术

本发明专利技术公开了一种鲁棒的双目立体图像拼接方法，包括：采用双目相机采集两组图像，分别计算每组图像的左右视图之间的视差图；提取每组图像的特征点，并对所述特征点进行描述；将每组图像的特征点进行GMS特征点匹配，筛选出错误的匹配以得到准确的特征点对集合；根据视图差以及特征点对集合设定新的特征约束条件，得到使所述特征约束条件最优的单应性变换，利用该单应性变换对第二组图像进行全局变换，对第二组图像中相对于第一组图像的非重叠区域采用局部形状保持变换；分别融合变换后的左视图和右视图，得到拼接后的左视图和右视图，再进行合成得到最终的立体图。本发明专利技术不仅可以实现无缝拼接，而且算法具有一定的鲁棒性。

A robust binocular stereo image mosaic method

The invention discloses a robust binocular stereo image mosaic method, which comprises: collecting two sets of images with binocular cameras, calculating the disparity map between the left and right views of each group of images, extracting the feature points of each group of images and describing the feature points, matching the feature points of each group of images with GMS feature points. Error matching is selected to obtain accurate feature point-to-set; new feature constraints are set according to view difference and feature point-to-set, and a homography transformation is obtained to optimize the feature constraints. The second set of images is globally transformed by the homography transformation, and the second set of images is compared with the first set. The non-overlapping region of the image is transformed by local shape preserving, and the left view and right view are fused to get the mosaic left view and right view, and then the final stereogram is synthesized. The invention can not only achieve seamless stitching, but also has certain robustness.

【技术实现步骤摘要】
一种鲁棒的双目立体图像拼接方法
本专利技术涉及计算机视觉技术和图像处理领域，尤其涉及一种鲁棒的双目立体图像拼接方法。
技术介绍
图像拼接技术应用十分广泛，在医疗、航空航天、娱乐直播等方面都发挥着重要作用，丰富了人们的生活；尤其随着VR和AR的发展，人们不再满足于现有相机视角拍摄的图像，追求更高分辨率甚至360度全景的高质量图像，这给传统单目图像拼接技术带来挑战。传统的单目图像拼接技术利用图像间的透视变换将图像变换到统一的坐标系下进行融合，是一种二维平面变换。而现实中场景是具有深度信息的，仅二维变换无法很好地拼接图像，会使得图像间未配准导致拼接结果出现模糊甚至鬼影等问题。随着双目相机和立体图像的兴起，人们开始研究立体图像拼接技术。对于立体图像拼接而言，不仅需要得到有立体效果的拼接图，还能够带给参看者一个舒适的3D体验，因此在拼接过程中需要尽可能减少投影失真、畸变和垂直视差。除此之外，拼接算法要能够适应各种场景，尤其当提取的特征点稀少时仍然能够进行拼接，这就需要算法具备一定的鲁棒性。以上
技术介绍
内容的公开仅用于辅助理解本专利技术的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。
技术实现思路
为解决上述技术问题，本专利技术提出一种鲁棒的双目立体图像拼接方法，不仅可以实现无缝拼接，而且算法具有一定的鲁棒性。为了达到上述目的，本专利技术采用以下技术方案：本专利技术公开了一种鲁棒的双目立体图像拼接方法，包括以下步骤：S1：采用双目相机采集两组图像，其中第一组图像包括第一幅左视图和第一幅右视图，第二组图像包括第二幅左视图和第二幅右视图，并分别计算第一幅左视图和第一幅右视图之间的视图差以及第二幅左视图和第二幅右视图之间的视图差；S2：提取每组图像的特征点，并对所述特征点进行描述；S3：将步骤S2中每组图像的特征点进行GMS特征点匹配，筛选出错误的匹配以得到准确的特征点对集合；S4：根据步骤S1中的视图差以及步骤S3中匹配的特征点对集合设定新的特征约束条件，得到使所述特征约束条件最优的单应性变换，利用该单应性变换对第二组图像进行全局变换，并对第二组图像中相对于第一组图像的非重叠区域采用局部形状保持变换；S5：分别融合第一幅左视图与变换后的第二幅左视图、以及第一幅右视图与变换后的第二幅右视图，得到拼接后的左视图和右视图，再对拼接后的左视图和右视图进行合成，得到最终的立体图。优选地，步骤S2具体包括：采用ORB算法提取每组图像的3000～8000个特征点，利用BRIEF算法对特征点进行描述，生成多维的描述子。优选地，步骤S3具体包括：根据步骤S2中提取的每组图像的特征点，首先采用暴力匹配的方式分别对两幅左视图和两幅右视图进行特征点匹配，然后用GMS的方法筛选出错误的匹配，并作为RANSAC的输入，得到准确的特征点对集合。优选地，步骤S4中具体包括：S41：采用步骤S3筛选得到的特征点对集合，根据步骤S1中的视差图，设计新的特征约束条件Ef，迭代计算出最优的单应性变换Hg，根据该单应性变换Hg分别将第二幅左视图和第二幅右视图变换到第一幅左视图和第一幅右视图的坐标系下；S42：利用半投影变换中的形状保持变换Hs对第二幅左视图和第二幅右视图的非重叠区域进行形状保持；S43：对变换后的第二幅左视图和第二幅右视图进行网格优化，限制垂直视差与水平视差。优选地，步骤S41具体包括：采用步骤S3筛选的特征点对集合和根据步骤S1中的第一幅左视图和第一幅右视图之间的视差图D1以及第二幅左视图和第二幅右视图之间的视图差D2，设计新的特征约束条件Ef：Ef＝γlEl+γrEr+El_r其中El为左视图约束条件，Er为右视图约束条件，El_r为左右视图约束条件；γl和γr是二进制数，当拼接两幅左视图时，γl值为1，否则为0，当拼接两幅右视图时，γr值为1，否则为0；通过这些约束条件迭代计算出最优的单应性变换Hg，根据该单应性变换Hg分别将第二幅左视图和第二幅右视图变换到第一幅左视图和第一幅右视图的坐标系下。优选地，其中左视图约束条件El、右视图约束条件Er分别如下：左视图约束条件El如下所示：式中，n1是特征点对集合中特征点的个数，n2是特征点对集合中特征点的个数，Hl是迭代过程中左视图的单应性矩阵；wm和wk是权重值，分别与当前特征点到相应的图像上所有特征点的高斯距离相关；右视图约束条件Er的表达式：式中，n3是特征点对集合中特征点的个数，n4是特征点对集合中特征点的个数，Hr是迭代过程中右视图的单应性矩阵；wi和wj是权重值，分别与当前特征点到相应的图像上所有特征点的高斯距离相关；优选地，其中：表示第二幅左视图中第m个特征点的权重值；表示第二幅左视图中第k个特征点的权重值；表示第二幅右视图中第i个特征点的权重值；表示第二幅右视图中第j个特征点的权重值。优选地，左右视图约束条件El_r表达式如下所示：式中，n5是特征点对集合中特征点的个数，Hl_r是迭代过程中左或右视图的单应性矩阵；ws是权重值，与当前特征点到相应的图像上所有特征点的高斯距离相关。优选地，其中：表示第二幅左视图中第s个特征点的权重值。优选地，步骤S43具体包括：分别对变换后的第二幅左视图和第二幅右视图进行网格优化，限制垂直视差与水平视差，使得对应的左视图总能量EL和右视图总能量ER最小。与现有技术相比，本专利技术的有益效果在于：根据本专利技术的双目立体图像拼接方法，不仅可以实现无缝拼接、减少重影，而且能够鲁棒的匹配特征点筛选出错误特征点对，使得后续拼接更加准确。附图说明图1是本专利技术优选实施例的鲁棒的双目立体图像拼接方法的流程示意图。具体实施方式下面对照附图并结合优选的实施方式对本专利技术作进一步说明。如图1所示，本专利技术优选实施例提出一种鲁棒的双目立体图像拼接方法，包括以下步骤：S1：采用双目相机采集两组图像，其中每组图像分别包括左侧相机采集到的左视图和右侧相机采集到的右视图，并分别计算每组图像的左右视图之间的视差图；具体地，将采集到的两组图像记为I1和I2，其中第一组图像I1包括左侧相机采集到的第一幅左视图和右侧相机采集到的第一幅右视图第二组图像I2包括左侧相机采集到的第二幅左视图和右侧相机采集到的第二幅右视图并分别计算每组图像中左右视图的视差图，其中第一组图像的第一幅左视图和第一幅右视图之间的视图差记为D1，第二组图像的第二幅左视图和第二幅右视图之间的视图差记为D2。S2：利用特征提取算法(如SIFT、SURF、ORB等)提取每组图像的特征点，并对特征点进行描述；具体地，在本实施例中采用ORB算法提取每组图像3000-8000个特征点，利用BRIEF算法并对特征点进行方向等描述，生成128维的描述子。S3：将步骤S2中每组图像的特征点进行GMS特征点匹配，筛选出错误匹配以得到鲁棒且准确的特征点对集合；具体步骤为：根据步骤S2中提取的每组图像的特征点，首先采用暴力匹配的方式分别对两幅左视图和两幅右视图进行特征点匹配，然后用GMS的方法代替之前的RatioTest筛选出错误的匹配，使得某个匹配的特征点对周围的特征点对都是正确的匹配，均对该特征点对的匹配有着积极的作用；并作为RANSA本文档来自技高网...

【技术保护点】
1.一种鲁棒的双目立体图像拼接方法，其特征在于，包括以下步骤：S1：采用双目相机采集两组图像，其中第一组图像包括第一幅左视图和第一幅右视图，第二组图像包括第二幅左视图和第二幅右视图，并分别计算第一幅左视图和第一幅右视图之间的视图差以及第二幅左视图和第二幅右视图之间的视图差；S2：提取每组图像的特征点，并对所述特征点进行描述；S3：将步骤S2中每组图像的特征点进行GMS特征点匹配，筛选出错误的匹配以得到准确的特征点对集合；S4：根据步骤S1中的视图差以及步骤S3中匹配的特征点对集合设定新的特征约束条件，得到使所述特征约束条件最优的单应性变换，利用该单应性变换对第二组图像进行全局变换，并对第二组图像中相对于第一组图像的非重叠区域采用局部形状保持变换；S5：分别融合第一幅左视图与变换后的第二幅左视图、以及第一幅右视图与变换后的第二幅右视图，得到拼接后的左视图和右视图，再对拼接后的左视图和右视图进行合成，得到最终的立体图。

【技术特征摘要】
1.一种鲁棒的双目立体图像拼接方法，其特征在于，包括以下步骤：S1：采用双目相机采集两组图像，其中第一组图像包括第一幅左视图和第一幅右视图，第二组图像包括第二幅左视图和第二幅右视图，并分别计算第一幅左视图和第一幅右视图之间的视图差以及第二幅左视图和第二幅右视图之间的视图差；S2：提取每组图像的特征点，并对所述特征点进行描述；S3：将步骤S2中每组图像的特征点进行GMS特征点匹配，筛选出错误的匹配以得到准确的特征点对集合；S4：根据步骤S1中的视图差以及步骤S3中匹配的特征点对集合设定新的特征约束条件，得到使所述特征约束条件最优的单应性变换，利用该单应性变换对第二组图像进行全局变换，并对第二组图像中相对于第一组图像的非重叠区域采用局部形状保持变换；S5：分别融合第一幅左视图与变换后的第二幅左视图、以及第一幅右视图与变换后的第二幅右视图，得到拼接后的左视图和右视图，再对拼接后的左视图和右视图进行合成，得到最终的立体图。2.根据权利要求1所述的双目立体图像拼接方法，其特征在于，步骤S2具体包括：采用ORB算法提取每组图像的3000～8000个特征点，利用BRIEF算法对特征点进行描述，生成多维的描述子。3.根据权利要求1所述的双目立体图像拼接方法，其特征在于，步骤S3具体包括：根据步骤S2中提取的每组图像的特征点，首先采用暴力匹配的方式分别对两幅左视图和两幅右视图进行特征点匹配，然后用GMS的方法筛选出错误的匹配，并作为RANSAC的输入，得到准确的特征点对集合。4.根据权利要求1所述的双目立体图像拼接方法，其特征在于，步骤S4中具体包括：S41：采用步骤S3筛选得到的特征点对集合，根据步骤S1中的视差图，设计新的特征约束条件Ef，迭代计算出最优的单应性变换Hg，根据该单应性变换Hg分别将第二幅左视图和第二幅右视图变换到第一幅左视图和第一幅右视图的坐标系下；S42：利用半投影变换中的形状保持变换Hs对第二幅左视图和第二幅右视图的非重叠区域进行形状保持；S43：对变换后的第二幅左视图和第二幅右视图进行网格优化，限制垂直视差与水平视差。5.根据权利要求4所述的双目立体图像拼接方法，其特征在于，步骤S41具体包括：采用步...

【专利技术属性】
技术研发人员：王好谦，周雅玲，王兴政，方璐，戴琼海，
申请(专利权)人：深圳市未来媒体技术研究院，清华大学深圳研究生院，
类型：发明
国别省市：广东,44