一种基于深度图修补的植物三维重建方法及系统技术方案

本发明专利技术公开了一种基于深度图修补的植物三维重建方法及系统。该方法包括：得到多幅视图；获取每幅视图对应的深度图，记为第一深度图；修补第一深度图中的空洞区域，并利用超像素块标签信息动态调整修补算法中滤波窗口的大小；对修补后的第一深度图进行滤波处理，获得第二深度图；对第二深度图进行融合处理，得到植物稠密点云模型；利用表面重建算法，从稠密点云模型中提取出植物三维表面，完成植物三维模型的重建。该方法操作简单、成本低廉；利用超像素块边界信息，动态调整滤波窗口大小，使得不属于同一深度区域的像素不参与滤波计算，减少误差的出现，使得植物稠密点云更加密集，最终重建的植物模型更加精确完整。

A Method and System of Plant Three-Dimensional Reconstruction Based on Depth Map Repair

【技术实现步骤摘要】
一种基于深度图修补的植物三维重建方法及系统
本专利技术涉及三维重建领域，特别是涉及一种基于深度图修补的植物三维重建方法及系统。
技术介绍
植物建模在农业指导、虚拟景观、古树名木保护等方面有着广泛应用，而如何快速低成本地对植物模型进行重建是计算机视觉领域中亟待解决的难题。基于深度图生成的多视图三维重建是植物建模的常用手段，但由于植物生长环境复杂，树干树叶纹理重复，植物枝条较细，且目前立体匹配算法的鲁棒性不足等原因，通常难以生成精确完整的深度图，导致深度图融合得到的植物模型存在大量噪声和空洞等残缺。基于多视图的植物重建方法是一种通过计算机视觉和三维重建等技术，将来自同一场景中不同视角的多张植物图像恢复成该植物三维模型的方法。其中，基于深度图生成的方法是多视图三维重建的重要方法之一，该方法利用不同视角的物体图像，基于立体视觉原理计算出图像对应的深度图，并通过深度图融合生成物体三维模型。基于深度图生成的植物建模算法依赖于植物深度图进行模型重建，所以植物深度图的质量对三维重建的最终效果有着至关重要的作用。深度图是一种三维场景信息表达方式，其值表示拍摄相机到物体的距离。然而，由于复杂环境的影响以本文档来自技高网...

【技术保护点】
1.一种基于深度图修补的植物三维重建方法，其特征在于，包括：步骤S1，利用拍摄单元在不同视角下对至少一株植物的全部或部分进行拍摄，得到多幅视图；步骤S2，获取每幅视图对应的深度图，记为第一深度图，具体的：利用多幅视图获取植物稀疏点云模型和每幅视图的相机参数；所述相机参数包括相机内部参数和相机外部参数；基于稀疏点云模型、相机参数和多幅视图获得每幅视图对应的深度图，记为第一深度图；步骤S3，修补第一深度图中的空洞区域，并利用超像素块标签信息动态调整修补算法中滤波窗口的大小；步骤S4，判断是否完成所有第一深度图的空洞修补，若未完成，按照步骤S3对其他第一深度图的空洞进行修补；若完成，对修补后的第一深...

【技术特征摘要】
1.一种基于深度图修补的植物三维重建方法，其特征在于，包括：步骤S1，利用拍摄单元在不同视角下对至少一株植物的全部或部分进行拍摄，得到多幅视图；步骤S2，获取每幅视图对应的深度图，记为第一深度图，具体的：利用多幅视图获取植物稀疏点云模型和每幅视图的相机参数；所述相机参数包括相机内部参数和相机外部参数；基于稀疏点云模型、相机参数和多幅视图获得每幅视图对应的深度图，记为第一深度图；步骤S3，修补第一深度图中的空洞区域，并利用超像素块标签信息动态调整修补算法中滤波窗口的大小；步骤S4，判断是否完成所有第一深度图的空洞修补，若未完成，按照步骤S3对其他第一深度图的空洞进行修补；若完成，对修补后的第一深度图进行滤波处理，获得第二深度图，执行步骤S5；步骤S5，对第二深度图进行融合处理，得到植物稠密点云模型；步骤S6，利用表面重建算法，从稠密点云模型中提取出植物三维表面，完成植物三维模型的重建。2.如权利要求1所述的基于深度图修补的植物三维重建方法，其特征在于，所述利用多幅视图获取植物稀疏点云模型和每幅视图的相机参数的过程包括：步骤S21，对每幅视图进行特征点检测获取至少一个特征点；步骤S22，先通过最近邻/次近邻匹配算法对视图之间的特征点进行匹配，获得两两视图之间的匹配点对；步骤S23，设置构建植物稀疏点云模型的第一图像集，选取匹配点对数量最多的两幅视图，分别记为第一视图和第二视图，将第一视图和第二视图加入第一图像集；基于第一视图和第二视图的匹配点对进行相机姿态估计获得第二视图的相机外部参数，进行三角化处理获得第一点云集，将第一点云集加入稀疏点云集合；步骤S24，在剩余视图中选取出与第一图像集中视图的匹配点对数量最多的一幅视图，记为第三视图；步骤S25，基于第三视图与第一图像集中视图的匹配点对进行相机姿态估计获得第三视图的相机外部参数，进行三角化处理获得第二点云集；将第二点云集加入稀疏点云集合；步骤S26，通过集束调整，对稀疏点云集合进行优化处理；步骤S27，重复步骤S24到步骤S26，直到所有视图都加入到第一图像集，获得由稀疏点云集合构成的植物稀疏点云模型和每幅视图的相机外部参数；所述相机内部参数可通过相机标定或从视图存储信息中获得。3.如权利要求2所述的基于深度图修补的植物三维重建方法，其特征在于，基于两幅视图的匹配点对进行相机姿态估计获得相机外部参数的过程包括：步骤S201，设在所有视图中与视图I1的特征点匹配对数量最多的视图为I2，点p和点q分别代表三维点P在图像I1和图像I2上的投影点，设投影点p的齐次坐标形式为(px,py,1)，投影点q的齐次坐标形式为(qx,qy,1)；步骤S202，求解图像I2的基础矩阵F，具体为：步骤S2021，从视图I1和视图I2之间的匹配点对中随机选出8对匹配点对；步骤S2022，将8对匹配点对的齐次坐标代入公式Af＝0中，对矩阵A做奇异值分解，得到A＝UDVT，其中，设矩阵A为a×b阶矩阵，矩阵U为a×a阶正交矩阵，为奇异值中的左奇异向量；矩阵D为a×b阶对角矩阵且矩阵D对角线上元素等于矩阵A的奇异值；矩阵V为b×b阶正交矩阵，为奇异值中的右奇异向量；n为匹配点对数目；px1和py1分别为第1对匹配点对中在视图I1的投影点的x轴和y轴坐标，qx1和qy1分别为第1对匹配点对中在视图I2的投影点的x轴和y轴坐标，pxn和pyn分别为第n对匹配点对中在视图I1的投影点的x轴和y轴坐标，qxn和qyn分别为第n对匹配点对中在视图I2的投影点的x轴和y轴坐标；f＝[f1f2f3f4f5f6f7f8f9]；VT矩阵的最后一行即是方程的解，进而得到基础矩阵步骤S2023，基于步骤S2022中得到的基础矩阵F，判断图像I1和图像I2中除了选取的8对匹配点对以外的其他匹配点对p'和q'是否满足p'Fq'＝0，若满足，认为匹配点对p'和q'符合F，若不满足，认为匹配点对p'和q'不符合F，统计符合F的匹配点对数量，记为N；步骤S2024，重复步骤S2021至步骤S2023共M次，即进行M次随机抽样计算不同的F和N；M为预设值；步骤S2025,从数值最大的N对应的符合F的匹配点对中选取8个匹配点对，再次按照步骤S2022中方法计算获得基础矩阵F并将其作为图像I2的基础矩阵；步骤S203，基于基础矩阵F求解图像I2的本征矩阵E，获得相机外部参数的过程为：本征矩阵E和基础矩阵F满足：其中，K2和K1分别为图像I2和图像I1的相机内部参数矩阵；对本征矩阵E进行奇异值分解：其中，U'和V'为三阶矩阵，U'和V'的列分别为奇异值中的左和右奇异向量；获得图像I2的相机外部参数R和t：其中，相机的旋转矩阵R＝U'WV'T,相机的位移向量t＝u；u为矩阵U'的第三列。4.如权利要求3所述的基于深度图修补的植物三维重建方法，其特征在于，进行三角化处理获得点云集的方法包括：步骤100，设P1和P2分别表示两幅视图的投影矩阵，P1＝K1[R1|t1]，P2＝K2[R2|t2]，其中，K1和K2分别为两幅视图的内部参数矩阵，[R1|t1]和[R2|t2]分别为两幅视图的相机外部参数构成的外部参数矩阵；对于一个三维点X，设在两幅视图中相互匹配且与点X对应的投影点分别为x1和x2，存在如下关系：其中，λ1和λ2分别为三维点X在两幅视图中的深度的倒数，A'为6×6矩阵，对A'进行奇异值分解，求解得到三维点X的空间坐标；步骤200，按照步骤100求取两幅视图中其他匹配点对对应的三维点的空间坐标，获得点云集。5.如权利要求4所述的基于深度图修补的植物三维重建方法，其特征在于，所述步骤S26包括：步骤S...

【专利技术属性】
技术研发人员：刘骥，郭轶，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆,50