一种面向多视图三维重建的初始视图选取方法技术

本发明专利技术公开了一种面向多视图三维重建的初始视图选取方法，属于计算机视觉与计算机图形学领域。该方法包括以下步骤：S1：输入应用场景的图像序列、特征点以及所采用的摄像机的内部参数；S2：计算任意两幅视图之间的基本矩阵；S3：计算摄像机的投影矩阵；S4：计算三维点在视图上的投影点和反投影误差；S5：计算任意两幅视图之间的单应性矩阵和单应性误差；S6：计算任意两幅视图之间的特征点位置误差之和；S7：选取输入图像序列中特征点位置误差之和最小的两幅视图作为多视图重建的初始视图。本发明专利技术的方法能够快速稳健地进行初始视图选取，选取效果好，并能适用任意场景，具有较强的通用性。

An initial view selection method for multi view 3D reconstruction

【技术实现步骤摘要】
一种面向多视图三维重建的初始视图选取方法
本专利技术属于计算机视觉与计算机图形学领域，具体涉及一种面向多视图三维重建的初始视图选取方法。
技术介绍
多视图三维重建是一种从图像序列获取场景的三维模型的一种技术，其技术本身被广泛地应用于虚拟现实、增强现实、城市规划、游戏、军事仿真、场景监控、变化检测、地图导航和无人驾驶等领域。由于多视图三维重建采用的是一种增量重建方法，即其中的两幅视图开始计算初始模型，然后逐渐的添加图像序列，直到输入图像序列处理完毕。由于初始视图的选取对三维模型的之间具有重要影响，对于一些规模较大的场景进行重建时，如果初始视图选取不当，可能会导致无法重建出场景的三维模型。为了能够有效得进行初始视图选取，以便能够重建出高质量的三维模型，现有技术中，科研人员提出了很多方法。例如论文《Nextbestviewplanningforactivemodelimprovement》提出了一种初始视图选取方法，但该方法依赖于三维模型(DunnE,FrahmJM.Nextbestviewplanningforactivemodelimprovement.BritishMachineVisionConference,BMVC2009,London,UK,September7-10,2009.Proceedings.DBLP,2009.)论文《Covariancepropagationandnextbestviewplanningfor3dreconstruction》提出的方法依赖于不确定性迭代机制，降低了方法的时间效率，因此效率较低(HanerS.,HeydenA.Covariancepropagationandnextbestviewplanningfor3dreconstruction.ComputerVision–ECCV2012.ECCV2012.LectureNotesinComputerScience,vol7573.Springer,Berlin,Heidelberg)。论文《Howtoselectgoodneighboringimagesindepth-mapmergingbased3dmodeling》提出的方法依赖于量子启发式搜索算法，导致三维重建过程很耗时，因此效率较低(ShenS,HuZ.Howtoselectgoodneighboringimagesindepth-mapmergingbased3dmodeling.IEEETransactionsonImageProcessing,2014,23(1):308-318.)。论文《Matchselectionandrefinementforhighlyaccuratetwo-viewstructurefrommotion》的方法仅适用于两视图的三维重建场景，因此非常具有局限性，很难是由多视图的三维场景重建(LiuZ,MonasseP,MarletR.Matchselectionandrefinementforhighlyaccuratetwo-viewstructurefrommotion.2015.)。论文《Determininganinitialimagepairforfixingthescaleofa3dreconstructionfromanimagesequence》提出的方法仅适用于固定场景范围下的三维重建，因此具有很强的局限性(BederC,SteffenR.Determininganinitialimagepairforfixingthescaleofa3Dreconstructionfromanimagesequence.PatternRecognition.SpringerBerlinHeidelberg,2006.)。根据对现有技术的分析，现有技术中的方法，存在着以下缺点：选取初始视图的效率较低，具有较强的局限性，只能适用特定的应用场景，当用于其他场景时，选取效果差，难以适用于任意场景下三维重建的初始视图选取，不具有通用性。
技术实现思路
技术问题：本专利技术提供一种面向多视图三维重建的初始视图选取方法，该方法能从大量的输入图像中，快速地为多视图三维重建系统自动的选取有效的两幅初始化视图，并具有较好的选取效果，能够适用任何场景的三维重建的初始视图选取，具备较强的通用性。技术方案：本专利技术一种面向多视图三维重建的初始视图选取方法，包括以下步骤：S1：输入应用场景的图像序列、特征点以及所采用的摄像机的内部参数，所述特征点为二维特征点，所述摄像机的内部参数包括摄像机的焦距、主点和畸变系数；S2：根据输入的图像序列和特征点，计算任意两幅视图之间的基本矩阵；S3：结合摄像机的内部参数与通过步骤S2得到的基本矩阵，计算摄像机的投影矩阵；S4：根据摄像机的投影矩阵，计算三维点在图像上的投影点和反投影误差；S5：根据输入的图像序列和特征点，计算任意两幅视图之间的单应性矩阵和单应性性误差；S6：根据步骤S4得到的反投影误差和步骤S5得到的单应性误差，得到任意两幅视图之间的特征点位置误差之和；S7：根据步骤S6得到特征点位置误差之和，选取输入图像序列中特征点位置误差之和最小的两幅视图作为多视图重建的初始视图。进一步地，所述步骤S3中，计算所述摄像机的投影矩阵按以下步骤：S3.1：根据步骤S2得到的基本矩阵，并结合摄像机内部参数，计算出两幅视图之间的本征矩阵；S3.2：对本征矩阵进行分解，同时结合摄像机的内部参数，计算出摄像机的投影矩阵。进一步地，所述步骤S4中，三维点在图像上的投影点的计算方法为：x＝PSX，其中x为二维点，X为三维点，PS表示摄像机的投影矩阵。进一步地，所述步骤S4中，反投影误差的计算方法为：e2d(x,xm)＝||x-xm||，e2d(x′,x′m)＝||x′-x′m||，e2d(xm,x′m)＝||xm-x′m||，式中，x为三维点在视图I上的投影点，x'为三维点在视图I′上的投影点，xm为三维点在摄像机C上的投影点，x′m为三维点在摄像机C′上的投影点，e2d(x,xm)表示投影点x与xm之间的反投影误差，e2d(x′,x′m)表示投影点x'与x′m之间的反投影误差，e2d(xm,x′m)表示投影点xm与x′m之间的反投影误差。进一步地，所述步骤S6中，采用直接变换算法计算任意两幅视图之间的单应性矩阵。进一步地，所述步骤S6中，所述单应性误差的计算方法为：e2d(x,x′h)＝||x-Hx′||，e2d(x′,xh)＝||x′-Hx||，e2d(x′h,xh)＝||Hx-Hx′||，式中，x′h为点x的单应性点，xh为点x′的单应性点，H为单应性矩阵，e2d(x,x′h)为点x与其单应性点x′h之间的误差，e2d(x′,xh)为点x′与其单应性点xh之间的误差，e2d(x′h,xh)为两个单应性点x′h与xh之间的误差。进一步地，所述步本文档来自技高网...

【技术保护点】
1.一种面向多视图三维重建的初始视图选取方法，其特征在于，包括以下步骤：/nS1：输入应用场景的图像序列、特征点以及所采用的摄像机的内部参数，所述特征点为二维特征点，所述摄像机的内部参数包括摄像机的焦距、主点和畸变系数；/nS2：根据输入的图像序列和特征点，计算任意两幅视图之间的基本矩阵；/nS3：结合摄像机的内部参数与通过步骤S2得到的基本矩阵，计算摄像机的投影矩阵；/nS4：根据摄像机的投影矩阵，计算三维点在图像上的投影点和反投影误差；/nS5：根据输入的图像序列和特征点，计算任意两幅视图之间的单应性矩阵和单应性性误差；/nS6：根据步骤S4得到的反投影误差和步骤S5得到的单应性误差，得到任意两幅视图之间的特征点位置误差之和；/nS7：根据步骤S6得到特征点位置误差之和，选取输入图像序列中特征点位置误差之和最小的两幅视图作为多视图重建的初始视图。/n

【技术特征摘要】
1.一种面向多视图三维重建的初始视图选取方法，其特征在于，包括以下步骤：
S1：输入应用场景的图像序列、特征点以及所采用的摄像机的内部参数，所述特征点为二维特征点，所述摄像机的内部参数包括摄像机的焦距、主点和畸变系数；
S2：根据输入的图像序列和特征点，计算任意两幅视图之间的基本矩阵；
S3：结合摄像机的内部参数与通过步骤S2得到的基本矩阵，计算摄像机的投影矩阵；
S4：根据摄像机的投影矩阵，计算三维点在图像上的投影点和反投影误差；
S5：根据输入的图像序列和特征点，计算任意两幅视图之间的单应性矩阵和单应性性误差；
S6：根据步骤S4得到的反投影误差和步骤S5得到的单应性误差，得到任意两幅视图之间的特征点位置误差之和；
S7：根据步骤S6得到特征点位置误差之和，选取输入图像序列中特征点位置误差之和最小的两幅视图作为多视图重建的初始视图。


2.根据权利要求1所述的一种面向多视图三维重建的初始视图选取方法，其特征在于，所述步骤S3中，计算所述摄像机的投影矩阵按以下步骤：
S3.1：根据步骤S2得到的基本矩阵，并结合摄像机内部参数，计算出两幅视图之间的本征矩阵；
S3.2：对本征矩阵进行分解，同时结合摄像机的内部参数，计算出摄像机的投影矩阵。


3.权利要求1所述的一种面向多视图三维重建的初始视图选取方法，其特征在于，所述步骤S4中，三维点在图像上的投影点的计算方法为：x＝PsX，其中x为二维点，X为三维点，Ps表示摄像机的投影矩阵。


4.权利要求1所述的一种面向多视图三维重建的初始视图选取方法，其特征在于，所述步骤S4中，反投影误差的计算方法为：
e2d(x，xm)＝||x-xm||，
e2d(x′，x′m)＝||x′-x′m||，
e2d(xm，x′m)＝||xm-x′m||，
式中，x为三维点在视图I上的投影点，x′为三维点在视图I′上的投影点，xm为三维点在摄像机C上的投影点，x′m为三维点在摄像机C′上的投影点，e2d(x，xm)表示投影点x与xm之间的反投影误差，e2d(x′，x′m)表示投影点x′与x′m之间的反投影误差，e2d(xm，x′m)表示投影点xm与x′m之间的反投影误差。


5.权利要求1所述的一种面向多视图三维重建的初始视...

【专利技术属性】
技术研发人员：贾伟，夏伟，曹明伟，赵洋，闵海，余烨，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34