基于多视角图像的过程式植物模型重建方法技术

本发明专利技术属于植物建模及计算机图形处理技术领域，具体涉及一种基于多视角图像的过程式植物模型重建方法，旨在解决现有方法构建植物模型与真实数据间误差较大，精度不高的问题，本方法包括：获取植物多视角图片信息；基于颜色和几何一致性的稠密深度估计；多视角深度信息融合的三维点云数据获取；通过预先构建的枝干结构生长参数表示模型并采用所述三维点云数据约束植物生长，构建所述植物的三维树枝结构模型。本发明专利技术为从多视角的图像重建出完整的树木模型提供了解决方案，获取的点云和模型与原始图像具有很高的吻合度，巧妙地结合了植物过程式建模与数据驱动的植物重建方法，不仅能够保证模型的精度，同时也能够保持植物的生物学意义。

【技术实现步骤摘要】
基于多视角图像的过程式植物模型重建方法
本专利技术属于植物建模及计算机图形处理
，尤其是涉及一种基于多视角图像的过程式植物模型重建方法。
技术介绍
植物的精确三维重建和生长建模具有很高的科研价值。尽管近年来在植物建模领域涌现出了诸多的新算法，建模的精度和效率都有了很大的提高，但是植物建模依然存在很多问题：一方面，不管是通过三维扫描还是视觉方法的植物重建精度有限，而且这类工作只关注于植物静态的三维几何结构，并不考虑植物生长过程中的动态几何演变；另一方面，目前对于植物的动态几何建模，还只是基于植物机理进行虚拟生长建模，少见基于真实测量数据的植物生长建模。近年来植物建模研究可大体分为三类：基于视觉和扫描数据的精确重建、基于规则语法的过程建模、基于交互或草图的近似建模。随着对植物细节和重建精度要求的不断提高，近年来基于图像的植物重建得到了越来越多研究人员的重视。基于图像的植物重建方法输入一幅或多幅图像，利用一些先验知识和规则生成与原始输入图像比较相似的树木模型。基于多幅图像的植物重建方法是对从不同角度拍摄的一系列图像进行算法处理重构出植物的三维模型。Quan206(L.Quan,P.Tan,G.Zeng,L.Yuan,J.Wang,andS.B.Kang,“Image-basedplantmodeling,”ACMTrans.onGraphics,vol.25,no.3,2006,pp.599–604)利用计算机视觉领域的structurefrommotion技术恢复出多幅图像的三维点云信息，利用可变形曲面技术建立每个叶片模型，同时加以手工辅助构建枝干。该方法能够生成真实感较强的植物模型，但是由于该方法需要手工辅助建立枝干，而且该方法通常只适用于大页片的灌木重建，无法处理小叶片的树木重建。目前基于图像的植物重建方法的缺点主要有：(1)自动化程度不够，需要人工交互；(2)只能处理单个植物；(3)一种方法只适用于一类植物，缺乏通用的方法。此外，基于图像和视觉的植物重建方法的困难主要在于从二维到三维变换的二义性。相对于基于图像的方法，三维激光扫描仪直接获取大地空间的三维数据信息，而不是从图像换算出来的，因此，可以避免基于图像重建植物时从二维到三维变换的二义性。近几年，扫描仪器的大幅降价使得我们可以快速并低成本地获取高质量的三维数据。Livny2010(Y.Livny,F.Yan,M.Olson,B.Chen,H.ZhangandJ.El-Sana,“AutomaticReconstructionofTreeSkeletalStructuresfromPointClouds,”ACMTrans.Graph.vol.29,no.151,pp.1C8,2010.)提出了一种基于全局拟合优化的方法提取点云数据的骨架结构，该方法非常鲁棒，但在遮挡严重的情况下仍然无法准确地重构出主枝和树冠的骨架。Guo2017(J.Guo,Z.Cheng,S.Xu,andX.Zhang.2017.Realisticproceduralplantmodelingguidedby3Dpointcloud.ACMSIGGRAPH2017Posters)利用扫描点云数据，采用过程式建模的方法重建得到植物模型。尽管目前基于激光扫描数据进行重建已经有不少工作，但是通常扫描设备比较昂贵，而且操作不方便。本专利技术对Guo2017方法进行了扩展，首先通过计算多视角图像的深度图提取出三维点云，然后设计更加精确和有效的生长规则来约束植物的重建过程。另外，基于交互的植物重建立足于发挥用户主动性，弥补纯粹自动方法智能性不足时候出现的失误。通常基于单幅图像或点云数据、通过界面交互、勾画草图等方式辅助植物特征提取和模型编辑，从而实现快速植物重建。此类方法重建植物更便捷，方法灵活性强，但适用的树木种类有限、树枝形态单一，需要进一步优化植物模型形态。另外，基于草图的重建需要用户的交互，对于复杂的植物整株重建耗时耗力，同样没有考虑到真实数据，一般不能达到植物的精细重建要求。
技术实现思路
为了解决现有技术中的上述问题，即为了解决现有方法构建植物模型与真实数据间误差较大，精度不高的问题，本专利技术提出了一种基于多视角图像的过程式植物模型重建方法，包括以下步骤：步骤S1、获取植物的采集图像集合，并进行预处理；所述采集图像集合中包括至少所述植物两个视角的拍摄图像；步骤S2，基于采集图像集合中的图像，构建所述植物的三维点云数据；步骤S3，将所述三维点云数据沿竖直方向投影形成投影点的聚类，选取距离该聚类重心点最近的点作为所述植物的第一根节点；步骤S4，基于所述第一根节点，以及预先构建的所述植物对应植物类别的枝干结构生长参数表示模型，并采用所述三维点云数据约束植物生长，构建所述植物的三维树枝结构模型；步骤S5，基于所述三维点云数据，对所述三维树枝结构模型进行特定树叶模型和/或花模型的添加；所述特定树叶模型为预先构建所述植物对应植物类别的树叶模型和/或花模型。在一些优选实施例中，步骤S2中，在“构建所述植物的三维点云数据”之前包括基于颜色和几何一致性的稠密深度估计，其步骤包括：步骤S211，基于颜色一致性对所述采集图像集合中图像序列进行初始深度估计；步骤S212，采用彩色图像分割技术，通过几何相干的方法对所估计的初始深度进行优化。在一些优选实施例中，步骤S211中“进行初始深度估计”的方法为：通过两个相邻图像对应相机参数Ii、Ij之间的转换矩阵，确定Ii中的每个像素点p在Ij中对应的像素点；Ii、Ij之间的转换矩阵为其中，K是相机内参矩阵，R为相机旋转矩阵，C是相机的中心点，Ii、Ij分别表示为{Ki，Ri，Ci}和{Kj，Rj，Cj}，参数v＝-nTX，n为法向量，X为当前三维坐标。在一些优选实施例中，步骤S212中“对所估计的初始深度进行优化”，其方法为：通过标准图割方法来最小化如下函数来确定图像中每个像素点的深度d，其中，d为要计算得到的深度值，n为法向量，dp为代表对像素p可积分，τ为图像颜色一致性系数，λ为图像分割的重要度系数，Ωi为图像分割块，m(p，(d，n))为基于像素点p匹配损失的图片一致性，为在每个分块上的深度损失。在一些优选实施例中，所述三维点云数据的构建方法包括：步骤S221，结合图片一致性和几何相关约束，定义每个像素点给出深度似然性L(p，(di，ni))，L(p，(di，ni))＝∑i′m(p，(di，ni))mv(p，p’，(di’，nj’))其中，mv(p，p’，(di’，ni’))为作为约束条件的几何相关性，di为像素p在图像i上的深度值，ni为像素p在图像i上的法向量，i′为图像i的相邻图像，p’为p在图像i′上的对应像素，di’为pi的深度值，ni’为pi的法向量；步骤S222，通过标准图割方法来最小化如下函数对深度d再次计算，其中，u(p)为一个指示函数。在一些优选实施例中，所述植物对应植物类别的枝干结构生长参数表示模型，其枝干结构生长参数信息包括植物高度、节间距长度、侧倾角、分枝角度、生长速率、半径系数。在一些优选实施例中，所述植物对应植物类别的枝干结构生长参数表示模型中，将所述枝干结构生长参数信息集成于一个基于规则的生长系统中，该系统包括四个本文档来自技高网...

【技术保护点】
1.一种基于多视角图像的过程式植物模型重建方法，其特征在于，包括以下步骤：步骤S1、获取植物的采集图像集合，并进行预处理；所述采集图像集合中包括至少所述植物两个视角的拍摄图像；步骤S2，基于采集图像集合中的图像，构建所述植物的三维点云数据；步骤S3，将所述三维点云数据沿竖直方向投影形成投影点的聚类，选取距离该聚类重心点最近的点作为所述植物的第一根节点；步骤S4，基于所述第一根节点，以及预先构建的所述植物对应植物类别的枝干结构生长参数表示模型，并采用所述三维点云数据约束植物生长，构建所述植物的三维树枝结构模型；步骤S5，基于所述三维点云数据，对所述三维树枝结构模型进行特定树叶模型和/或花模型的添加；所述特定树叶模型为预先构建所述植物对应植物类别的树叶模型和/或花模型。

【技术特征摘要】
1.一种基于多视角图像的过程式植物模型重建方法，其特征在于，包括以下步骤：步骤S1、获取植物的采集图像集合，并进行预处理；所述采集图像集合中包括至少所述植物两个视角的拍摄图像；步骤S2，基于采集图像集合中的图像，构建所述植物的三维点云数据；步骤S3，将所述三维点云数据沿竖直方向投影形成投影点的聚类，选取距离该聚类重心点最近的点作为所述植物的第一根节点；步骤S4，基于所述第一根节点，以及预先构建的所述植物对应植物类别的枝干结构生长参数表示模型，并采用所述三维点云数据约束植物生长，构建所述植物的三维树枝结构模型；步骤S5，基于所述三维点云数据，对所述三维树枝结构模型进行特定树叶模型和/或花模型的添加；所述特定树叶模型为预先构建所述植物对应植物类别的树叶模型和/或花模型。2.根据权利要求1所述的基于多视角图像的过程式植物模型重建方法，其特征在于，步骤S2中，在“构建所述植物的三维点云数据”之前包括基于颜色和几何一致性的稠密深度估计，其步骤包括：步骤S211，基于颜色一致性对所述采集图像集合中图像序列进行初始深度估计；步骤S212，采用彩色图像分割技术，通过几何相干的方法对所估计的初始深度进行优化。3.根据权利要求2所述的基于多视角图像的过程式植物模型重建方法，其特征在于，步骤S211中“进行初始深度估计”的方法为：通过两个相邻图像对应相机参数Ii、Ij之间的转换矩阵，确定Ii中的每个像素点p在Ij中对应的像素点；Ii、Ij之间的转换矩阵为其中，K是相机内参矩阵，R为相机旋转矩阵，C是相机的中心点，Ii、Ij分别表示为{Ki,Ri,Ci}和{Kj,Rj,Cj}，参数v＝-nTX，n为法向量，X为当前三维坐标。4.根据权利要求3所述的基于多视角图像的过程式植物模型重建方法，其特征在于，步骤S212中“对所估计的初始深度进行优化”，其方法为：通过标准图割方法来最小化函数ε1(d,n)来确定图像中每个像素点的深度d，其中，d为要计算得到的深度值，n为法向量，dp为代表对像素p可积分，τ为图像颜色一致性系数，λ为图像分割的重要度系数，Ωi为图像分割块，m(p,(d,n))为基于像素点p匹配损失的图片一致性，为在每个分块上的深度损失。5.根据权利要求4所述的基于多视角图像的过程式植物模型重建方法，其特征在于，所述三维点云数据的构建方法包括：步骤S221，结合图片一致性和几何相关约束，定义每个像素点给出深度似然性L(p,(d...

【专利技术属性】
技术研发人员：郭建伟，徐士彪，严冬明，孟维亮，张晓鹏，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11