一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法技术

本发明专利技术公开了一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，属于三维重建领域，包括以下步骤：(1)自动分割目标物体，以此作为初始物体框，开始目标物体扫描重建过程；(2)逐帧跟踪物体框，提取物体深度数据；(3)将固定帧物体深度数据进行局部融合，间隔固定帧对所有局部融合的模型片段进行全局非刚体注册，构建一致的全局三维模型；(4)部分扫描完成后，翻转物体继续扫描，估计翻转前后的相机位姿变换；(5)360度扫描重建完成后，将所有关键帧彩色图像与模型对齐，对模型计算纹理贴图。本发明专利技术具有快速重建360度模型、结果鲁棒、纹理贴图质量高等特点。

【技术实现步骤摘要】
一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法
本专利技术涉及三维重建领域，特别是涉及使用彩色深度相机进行单个物体的三维重建和纹理贴图领域的方法。
技术介绍
三维重建技术是基于二维的输入重建三维物体的方法。包括使用一系列二维彩色图像重建稀疏三维点云或者稠密三维模型的StructureFromMotion(SfM)技术(AgarwalS，SnavelyN，SimonI，etal.BuildingromeinadayComputerVision，InternationalConferenceon.IEEE，2009：72-79.；FurukawaY，PonceJ.Accurate，dense，androbustmultiviewstereopsis，IEEETransactionsonPatternAnalysisandMachineIntelligence，2010，32(8)：1362-1376.)，基于二维彩色深度图像重建稠密三维模型的技术(NewcombeRA，IzadiS，HilligesO，etal.KinectFusion：Real-timedensesurfacemappingandtracking，MixedandAugmentedReality(ISMAR)，2011：127-136.)。基于二维彩色深度图像重建稠密三维模型的技术，按照模型存储方式的不同可以分为：1.基于Volume的表达，Volume中的每一个体素存储TSDF值，TSDF值表达截断的该体素到三维表面的距离(NewcombeRA，IzadiS，HilligesO，etal.KinectFusion：Real-timedensesurfacemappingandtracking，MixedandAugmentedReality(ISMAR)，2011：127-136.)；2.基于Surfel的表达，模型由一系列三维圆表示，每个圆包含了颜色、位置、法向、半径、置信度信息(WHELANT.，LEUTENEGGERS.，SALAS-MORENOR.F.，GLOCKERB.，DAVISONA.J.：Elasticfusion：DenseSLAMwithoutAposegraph.InRobotics：ScienceandSystemsXI，SapienzaUniversityofRome，(2015).)。模型的正确融合依赖于准确相机位姿跟踪，包括回环检测和局部、全局相机位姿优化；(KERLC.，STURMJ.，CREMERSD.：Densevisualslamforrgb-dcameras.InInternationalConferenceonIntelligentRobotsandSystems，IROS，(Nov2013)，pp.2100-2106.；ENDRESF.，HESSJ.，ENGELHARDN.，STURMJ.，CREMERSD.，BURGARDW.：AnevaluationoftheRGB-DSLAMsystem.InInternationalConferenceonRoboticsandAutomation，ICRA，(2012)，pp.1691-1696.)通过在相机位姿估计中加入颜色信息和局部特征增加相机位姿估计的鲁棒性；(ZHOUQ.，MILLERS.，KOLTUNV.：Elasticfragmentsfordensescenereconstruction.InInternationalConferenceonComputerVision，ICCV，(2013)，pp.473-480.；DAIA.，NIESSNERM.，ZOLLHOFERM.，IZADIS.，THEOBALTC.：Bundlefusion：real-timegloballyconsistent3dreconstructionusingon-the-flysurfacere-integration.ACMTransactionsonGraphics，TOG，36，4(2017).)分别基于模型片段和基于帧进行回环检测和优化，在大场景的扫描中减少扫描过程中的相机位姿漂移、保证模型的一致性。对于物体重建后计算纹理贴图，(ZHOUQ.，KOLTUNV.：Colormapoptimizationfor3dreconstructionwithconsumerdepthcameras.ACMTransactionsonGraphics，TOG，33，4(2014)，155：1-155：10.)利用关键帧彩色的一致性重新优化彩色相机，(BIS.，KALANTARIN.K.，RAMAMOORTHIR.：Patch-basedoptimizationforimage-basedtexturemapping.ACMTransactionsonGraphics，TOG，36，4(2017)，106：1-106：11.)利用纹理合成的思想，将关键帧颜色一致性约束加到纹理合成步骤中，合成几何一致的各个视角彩色图像。现有算法流程无法直接用于360度的物体重建，主要由于静态物体受到支撑面的遮挡，若对物体进行翻转，则物体和支撑平面的位置关系发生了改变。进一步的，在重建单个物体过程中，物体在场景中的占比较小，特征总量较少，容易受到场景特征的干扰，使得相机跟踪和全局优化算法容易收敛的局部最优解，难以获得全局一致的360度三维模型。
技术实现思路
本专利技术提供一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，可以实时的完成对单个物体的360度三维重建，然后离线进行网格的生成、纹理优化，从而快速获取高质量的物体三维模型和纹理贴图。本专利技术解决其技术问题采用的技术方案：一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，包括以下步骤：(1)自动分割目标物体，以此作为初始物体框，开始目标物体扫描重建过程；(2)逐帧跟踪物体框，提取物体深度数据；(3)将固定帧物体深度数据进行局部融合，间隔固定帧对所有局部融合的模型片段进行全局非刚体注册，构建一致的全局三维模型；(4)部分扫描完成后，翻转物体继续扫描，估计翻转前后的相机位姿变换；(5)360度扫描重建完成后，将所有关键帧彩色图像与模型对齐，对模型计算纹理贴图。进一步的，所述步骤(1)包含以下步骤：(1.1)对包含一个或多个物体的场景进行相机位姿估计和基于Surfel的融合，反投影融合的场景模型到当前相机位姿生成模型深度图；(1.2)利用Sobel算子提取模型深度图中的深度边缘像素，使用位于模型深度图中心，大小为融合深度图1/2的窗口Bc估计有效深度范围[dmin，dmax]，将有效深度范围内的深度边缘像素依照连通区域聚类，对于每一个连通区域提取包围盒作为获选物体框；(1.3)去除长或宽小于阈值的候选物体框，当用户对准某个候选物体框连续k帧后，即某个候选物体框位于图像中心一定时间后，将其作为目标物体的初始物体框B0，开始目标物体的跟踪、扫描、重建过程。进一步的，所述步骤(2)包含以下步骤：(2.1)对于每一帧的深度彩色图像It、Dt，利用前一帧的物体框Bt-1估计有效深度范围[dmin，dma本文档来自技高网...

【技术保护点】
1.一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征在于，包括以下步骤：(1)自动分割目标物体，以此作为初始物体框，开始目标物体扫描重建过程；(2)逐帧跟踪物体框，提取物体深度数据；(3)将固定帧物体深度数据进行局部融合，间隔固定帧对所有局部融合的模型片段进行全局非刚体注册，构建一致的全局三维模型；(4)部分扫描完成后，翻转物体继续扫描，估计翻转前后的相机位姿变换；(5)重复步骤(1)‑步骤(4)直至360度扫描重建完成，随后提取网格模型，将所有关键帧彩色图像与模型对齐，对模型计算纹理贴图。

【技术特征摘要】
1.一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征在于，包括以下步骤：(1)自动分割目标物体，以此作为初始物体框，开始目标物体扫描重建过程；(2)逐帧跟踪物体框，提取物体深度数据；(3)将固定帧物体深度数据进行局部融合，间隔固定帧对所有局部融合的模型片段进行全局非刚体注册，构建一致的全局三维模型；(4)部分扫描完成后，翻转物体继续扫描，估计翻转前后的相机位姿变换；(5)重复步骤(1)-步骤(4)直至360度扫描重建完成，随后提取网格模型，将所有关键帧彩色图像与模型对齐，对模型计算纹理贴图。2.根据权利要求1所述的基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征是：所述步骤(1)包含以下步骤：(1.1)对包含一个或多个物体的场景进行相机位姿估计和基于Surfel的融合，反投影融合的场景模型到当前相机位姿生成模型深度图；(1.2)利用Sobel算子提取模型深度图中的深度边缘像素，使用位于模型深度图中心，大小为融合深度图1/2的窗口Bc估计有效深度范围[dmin，dmax]，将有效深度范围内的深度边缘像素依照连通区域聚类，对于每一个连通区域提取包围盒作为获选物体框；(1.3)去除长或宽小于阈值的候选物体框，当用户对准某个候选物体框连续k帧后，即某个候选物体框位于图像中心一定时间后，将其作为目标物体的初始物体框B0，开始目标物体的跟踪、扫描、重建过程。3.根据权利要求1所述的基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征是：所述步骤(2)包含以下步骤：(2.1)对于每一帧的深度彩色图像It、Dt，利用前一帧的物体框Bt-1估计有效深度范围[dmin，dmax]，将有效深度范围内的深度边缘像素依照连通区域聚类，对于每一个连通区域提取包围盒作为获选物体框；(2.2)将前一帧的窗口Bt-1四个方向分别扩展5个像素，得到扩展物体框对It-1计算内的ORB特征，对It计算ORB特征，利用海明距离(HAMMING)进行最近邻匹配，然后利用GMS算法过滤错误匹配；(2.3)去除匹配特征点小于5个的候选物体框，将剩余候选物体框合并，获t时刻的物体框Bt；(2.4)将物体框Bt左右各延展wlr，将延...

【专利技术属性】
技术研发人员：许威威，许佳敏，鲍虎军，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33