一种大场景对象的三维重建方法技术

一种大场景对象的三维重建方法，其特征在于：包括以下步骤：1)用相机从不同视角、位置对场景对象采集若干张序列照片；2)、将序列照片划分为若干单元Ni，3)、采用SIFT算法对每个单元的三张序列张片进行特征检测、匹配；4)将单元N1,(i＝1)的第一张序列照片初始化，计算另外两张序列照片的基础矩阵F、本质矩阵E；5)、求解其他单元中每张序列照片的相机参数Ri、Ti和三维点云坐标Mj)；7)、种子面片的扩展；8)、种子面片的过滤；本发明专利技术采用三视图约束有效的去除误匹配点得出准确的基础矩阵，重建的精度高，并且单元之间不需要坐标转换，降低了计算复杂度，通过在运动恢复结构的基础上进行稠密重建使得到三维模型的点云更加稠密。

【技术实现步骤摘要】

本专利技术涉及一种计算机视觉和计算机图形学领域，尤其是一种大场景对象的三维重建方法。
技术介绍
三维重建的最终目的是恢复目标场景的三维结构，基于图像序列的三维重建是获取三维结构的主要手段之一。该方法可以看作是照相的逆过程，其成本相对较低，只需要普通的摄像机即可，操作简单、携带方便，基于图像序列的特征点匹配与多视图立体重建是计算机视觉技术中的研究基础和重点。针对大场景对象的三维重建方法现在用的比较多的方法是SFM(Structure From Motion)，其缺点是特征检测与匹配时采用的是对极几何约束，只能确定匹配点在对应极线上，而不能确定匹配点准确位置，这种约束比较弱。一旦误匹配点删除不掉，求解基础矩阵就是错误的，得到的三维点云坐标也是错误的，以此求得的其他图像匹配点对应的点云坐标也是错误的，就会出现误差累积问题。还有一种是基于独立三视图的三维重建，把每三幅图作为一个独立单元进行三维重建，重建之后各单元之间进行坐标变换、比例变换把所有的三维点云转化到同一个坐标下，该方法计算复杂度比较大。另外这两种方法有一个共同的问题是重建的点云都比较稀疏，不能满足可视化的效果。一般稀疏重建之后还需要进行稠密重建，稠密重建方法用的最多的是基于面片的三维重建(Patched-based Multi-View Stereo,PMVS)。PMVS方法的输入是一组图像序列集合以及稀疏重建求得的相机参数R、T，然后输出三维模型的密集点云。
技术实现思路
针对现有技术的不足，本专利技术提供一种大场景对象的三维重建方法。本专利技术的技术方案为：一种大场景对象的三维重建方法，其特征在于：包括以下步骤：1)用相机从不同视角、位置对场景对象采集若干张序列照片,并按照采集的先后顺序将若干张序列照片编号为Ii,(i＝1，2，3…n)；2)将序列照片按照编号的先后顺序划分为若干单元Ni,(i＝1，2，3…n)，每个单元包括依次采集的三张序列照片，并将单元Ni,(i＝1，2，3…n)的第三张序列照片作为相邻下一单元Ni+1,(i＝1，2，3…n)的第一张序列照片,并将该序列照片作为该两相邻单元的公共序列照片；3)通过采用SIFT算法对每个单元Ni,(i＝1，2，3…n)包含的三张序列照片进行特征检测、匹配，并利用三视图约束去除误匹配点；4)将单元Ni,(i＝1)的第一张序列照片的相机参数初始化，并采用RANSANC算法求出单元Ni,(i＝1)中另外两张序列照片的基础矩阵F、本质矩阵E，得到该两张序列照片中每张序列照片的相机参数Ri、Ti和三维点云坐标Mj；5)相邻两单元中将单元Ni,(i＝1，2，3…n)中公共序列照片的相机参数Ri、Ti作为其相邻下一单元Ni+1,(i＝1，2，3…n)的公共序列照片的相机参数的初始值，并求解其相邻下一单元Ni+1,(i＝1，2，3…n)中其他两张序列照片的相机参数Ri、Ti和三维点云坐标Mj，以此计算出单元Ni+1,(i＝1，2，3…n)其他两张序列照片中每张序列照片的相机参数Ri、Ti和三维点云坐标Mj；6)利用步骤4、5得到其他单元中每张序列照片的相机参数Ri、Ti和三维点云坐标Mj，并将所有的序列照片的相机参数Ri、Ti和三维点云坐标Mj作为PMVS算法的输入，从而得到场景对象的种子面片；7)种子面片的扩展：将序列照片Ii划分为若干个图像块Ci(x,y)，利用相邻种子面片具有位置和法向相似的特性对种子面片进行扩展，从而使扩展后的种子面片逐步覆盖目标物体的表面；8)种子面片过滤：采用局部灰度一致性约束和全局可见一致性约束来剔除扩展错误的种子面片。上述技术方案中，步骤1)中相机围绕场景目标采集序列照片时，相邻两张序列照片之间的角度为5°～15°，采集的所述序列照片数量为奇数，采集的序列照片至少为3张。上述技术方案中，步骤1)中采集的序列照片为45张。上述技术方案中，步骤3)中采用SIFT算法对序列照片进行特征检测、匹配，从而计算出每个单元中三张序列照片的同名像点mij，其中任意两张序列照片的同名像点在另一张序列照片上的匹配点在该任意两张序列张片同名像点对应极线的交点上，若匹配点与交点的距离超过两个像素则作为误匹配点删除。上述技术方案中，步骤4)中初始化后的单元Ni,(i＝1)的第一张序列照片的相机参数R1为3×3的单位矩阵，T1为3×1的零矩阵；采用RANSANC算法求解基础矩阵F，结合相机内参K求解本质矩阵E，然后对本质矩阵E进行奇异值分解得到相机参数Ri、Ti，并得到三维点云坐标Mj，然后采用集束调整(Bundle Adjustment)算法局部优化序列照片的相机参数Ri、Ti、三维点云坐标Mj，通过集束调整(bundle adjustment)算法使三维点云坐标Mj的重投影点与在第i张序列照片的同名像点mij差值的平方和最小，其计算式为： min R i , T i , M j Σ i = 1 N Σ j = 1 M D ( m i j - K [ R i | T i ] M j ) 2 , ]]>其中D是欧氏距离，N为序列照片数，M为三维点云坐标数。上述技术方案中，步骤7)中通过种子面片的扩展使得至少在每个图像块中重建出一个种子面片。上述技术方案中，步骤8)中扩展错误的种子面片包括外部种子面片和内部种子面片，将种子面片扩展、过滤循环迭代3次使目标物体表面被稠密的种子面片完全覆盖。本专利技术的有益效果为：采用三视图约束可以有效的去除误匹配点得出准确的基础矩阵，重建的精度高，并且单元之间不需要坐标转换，从而大大降低了计算复杂度，通过在运动恢复结构的基础上进行稠密重建使得到三维模型的点云更加稠密。附图说明图1为本专利技术的三视图约束示意图；具体实施方式下面结合附图对本专利技术的具体实施方式作进一步说明：如图1所示，一种大场景对象的三维重建方法，其特征在于：包括以下步骤：1)用相机从不同视角、位置对场景对象采集若干张序列照片,并按照采集的先后顺序将若干张序列照片编号为Ii,(i＝1，2，3…n)；2)将序列照本文档来自技高网...

【技术保护点】
一种大场景对象的三维重建方法，其特征在于：包括以下步骤：1)通过相机从不同视角、位置对场景对象采集若干张序列照片,并按照采集的先后顺序将若干张序列照片编号为Ii,(i＝1，2，3…n)；2)将序列照片按照编号的先后顺序划分为若干单元Ni,(i＝1，2，3…n)，每个所述单元包括依次采集的三张序列照片，并将单元Ni,(i＝1，2，3…n)的第三张序列照片作为相邻下一单元Ni+1,(i＝1，2，3…n)的第一张序列照片,并将该序列照片作为该两相邻单元的公共序列照片；3)通过采用SIFT算法对每个单元Ni,(i＝1，2，3…n)包含的三张序列张片进行特征检测、匹配，并利用三视图约束去除误匹配点；4)将单元Ni,(i＝1)的第一张序列照片的相机参数初始化，并采用RANSANC算法求出单元Ni,(i＝1)中另外两张序列照片的基础矩阵F、本质矩阵E，得到该两张序列照片中每张序列照片的相机参数Ri、Ti和三维点云坐标Mj；5)相邻两单元中将单元Ni,(i＝1，2，3…n)中公共序列照片的相机参数Ri、Ti作为其相邻下一单元Ni+1,(i＝1，2，3…n)的公共序列照片的相机参数的初始值，并求解其相邻下一单元Ni+1,(i＝1，2，3…n)中其他两张序列照片的相机参数Ri、Ti和三维点云坐标Mj，以此计算出单元Ni+1,(i＝1，2，3…n)其他两张序列照片中每张序列照片的相机参数Ri、Ti和三维点云坐标Mj；6)利用步骤4、5得到其他单元中每张序列照片的相机参数Ri、Ti和三维点云坐标Mj，并将所有的序列照片的相机参数Ri、Ti和三维点云坐标Mj作为PMVS算法的输入，从而得到场景对象的种子面片；7)种子面片的扩展：将序列照片Ii划分为若干个图像块Ci(x,y)，利用相邻种子面片具有位置和法向相似的特性对种子面片进行扩展，从而使扩展后的种子面片逐步覆盖目标物体的表面；8)种子面片过滤：采用局部灰度一致性约束和全局可见一致性约束来剔除扩展错误的种子面片。...

【技术特征摘要】
1.一种大场景对象的三维重建方法，其特征在于：包括以下步骤：1)通过相机从不同视角、位置对场景对象采集若干张序列照片,并按照采集的先后顺序将若干张序列照片编号为Ii,(i＝1，2，3…n)；2)将序列照片按照编号的先后顺序划分为若干单元Ni,(i＝1，2，3…n)，每个所述单元包括依次采集的三张序列照片，并将单元Ni,(i＝1，2，3…n)的第三张序列照片作为相邻下一单元Ni+1,(i＝1，2，3…n)的第一张序列照片,并将该序列照片作为该两相邻单元的公共序列照片；3)通过采用SIFT算法对每个单元Ni,(i＝1，2，3…n)包含的三张序列张片进行特征检测、匹配，并利用三视图约束去除误匹配点；4)将单元Ni,(i＝1)的第一张序列照片的相机参数初始化，并采用RANSANC算法求出单元Ni,(i＝1)中另外两张序列照片的基础矩阵F、本质矩阵E，得到该两张序列照片中每张序列照片的相机参数Ri、Ti和三维点云坐标Mj；5)相邻两单元中将单元Ni,(i＝1，2，3…n)中公共序列照片的相机参数Ri、Ti作为其相邻下一单元Ni+1,(i＝1，2，3…n)的公共序列照片的相机参数的初始值，并求解其相邻下一单元Ni+1,(i＝1，2，3…n)中其他两张序列照片的相机参数Ri、Ti和三维点云坐标Mj，以此计算出单元Ni+1,(i＝1，2，3…n)其他两张序列照片中每张序列照片的相机参数Ri、Ti和三维点云坐标Mj；6)利用步骤4、5得到其他单元中每张序列照片的相机参数Ri、Ti和三维点云坐标Mj，并将所有的序列照片的相机参数Ri、Ti和三维点云坐标Mj作为PMVS算法的输入，从而得到场景对象的种子面片；7)种子面片的扩展：将序列照片Ii划分为若干个图像块Ci(x,y)，利用相邻种子面片具有位置和法向相似的特性对种子面片进行扩展，从而使扩展后的种子面片逐步覆盖目标物体的表面；8)种子面片过滤：采用局部灰度一致性约束和全局可见一致性约束来剔除扩展错误的种子面片。2.根据权利要求1所述的一种大场景对象的三维重建方法，其特征在于：步骤1)中相机围绕场景目标采集序列照片时，相邻两张序列照片之间的角度为5°～15°，采集的所述序列照片数量为奇数，采集的序列照片至少为3张。3.根据权利要求1所述的一种大场景对象的三维重建方法，其特征在于：步骤3)中采用SIFT算法对序列照片进行特征检测、匹配，从而计算出每个单元中三张序列照片的同名像点mij，其中任意两张序列照片的同名像点在另一张序列照片上的匹配点在该任意两张序列张片同名像点对应极线的...

【专利技术属性】
技术研发人员：林靖宇，郑恩，
申请(专利权)人：广西大学，
类型：发明
国别省市：广西;45