用于多视图植物三维重建的生成模型的构建方法技术

本发明专利技术公开了一种用于多视图植物三维重建的生成模型的构建方法，该方法包括：利用贝叶斯概率框架构建植物生长模型，通过对支取生长模型赋予带参先验概率，构建植物骨架生长的概率表示；通过在根节点上指定初始生长因子和分叉代数限制，植物生长模型通过随机采样生成实例化的骨架；获取同种植物的图像集，植物生长模型利用矢量场方法对图像集中的每个单图像计算一个2D骨架，通过对2D骨架聚类分析，提取出图像集的形态基元，利用形态基元的模型与训练集中的骨架拟合，使用高斯‑牛顿梯度下降方法求取植物生长模型参数的最优解。该方法能够反映植物生长姿态特性的贝叶斯概率模型，可作为植物表示的一般框架，能用于多视图植物重建。

【技术实现步骤摘要】
用于多视图植物三维重建的生成模型的构建方法
本专利技术涉及三维重建
，特别涉及一种用于多视图植物三维重建的生成模型的构建方法。
技术介绍
植物是城市和自然景观环境的常见元素，植物模型在于农业、生物、建筑、游戏、电影行业中运用广泛。然而植物模型的创建仍然是繁琐昂贵的工作。已有的植物生成系统需要微调参数或手工建模以获得所需的树形，不便于获取大量的不同的树实例。现有的植物重建技术或者利用激光扫描的点云来重建树的骨架，或者使用多视图来恢复特定的某棵树的形态，其无法学习树的生长模式并生成新的不同的树的实例。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种用于多视图植物三维重建的生成模型的构建方法，该方法能够反映植物生长姿态特性的贝叶斯概率模型，可作为植物表示的一般框架，能用于多视图植物重建。为达到上述目的，本专利技术一方面实施例提出了一种用于多视图植物三维重建的生成模型的构建方法，包括：利用贝叶斯概率框架构建植物生长模型，通过对所述支取生长模型赋予带参先验概率，构建植物骨架生长的概率表示；通过在根节点上指定初始生长因子和分叉代数限制，所述植物生长模型通过随机采样生成实例化的骨架；获取同种植物的图像集，所述植物生长模型利用矢量场方法对所述图像集中的每个单图像计算一个2D骨架，通过对2D骨架聚类分析，提取出所述图像集的形态基元，利用所述形态基元的模型与训练集中的骨架拟合，使用高斯-牛顿梯度下降方法求取所述植物生长模型参数的最优解。本专利技术实施例的用于多视图植物三维重建的生成模型的构建方法，通过植物生长的参数化分形模型，通过对模型赋予带参先验概率，构建植物骨架生长的概率表示。生长模型的构建可以重构植物在不同年龄阶段的形态，它们构成了模型的形态空间。给定同株植物的单视图或多视图图像，利用深度学习方法可提取出该植物的分支概率图像，使用该图像可以对生成模型的参数进行优化，并推理补全植物被遮挡部分的后验概率。使用同种植物的图片训练该模型将使该模型特化到该种植物上，对模型的采样将能够实例化该种植物的不同的随机形态，在形态空间中进行插值将实现不同形态的平滑过渡。能够反映植物生长姿态特性的贝叶斯概率模型，可作为植物表示的一般框架，能用于多视图植物重建。另外，根据本专利技术上述实施例的用于多视图植物三维重建的生成模型的构建方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，在所述植物生长模型中，植物骨架的每个分叉定义了枝干间的父子关系，每个分叉可以定义分叉数、分叉形态、生长因子的参数化局部概率，生长因子为由该分叉传递至下一分叉的生长信息，其将影响后续分叉的条件概率，植物局部概率的参数将决定模型所描述的植物的形态特征。进一步地，在本专利技术的一个实施例中，在输入为多视图图像时，分割出图像中的单棵植株，利用Pix2Pix网络将每幅图像转换为分支概率图像，再将分支概率反投影到3D体素坐标中，形成3D概率分支结构，使用贪婪搜索生成多个概率候选结构，为每个候选结构使用MetropolisHasting采样优化最优候选，形成后验分布的离散近似，通过采样实现分支骨架的重建。进一步地，在本专利技术的一个实施例中，通过对输入图像进行细分和聚类，提取出图像中的纹理簇，利用所述纹理簇在输入图像叶子的反投影区域创建叶片，对未被源图像的覆盖的区域，将额外合成叶子以确保均匀分布的叶片密度。进一步地，在本专利技术的一个实施例中，通过访问修改并指定所述植物生长模型中某个分支的局部参数，该分支涉及的子树将被重新优化计。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的用于多视图植物三维重建的生成模型的构建方法流程图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的用于多视图植物三维重建的生成模型的构建方法。图1为根据本专利技术一个实施例的用于多视图植物三维重建的生成模型的构建方法流程图。如图1所示，该用于多视图植物三维重建的生成模型的构建方法包括以下步骤：步骤S1，利用贝叶斯概率框架构建植物生长模型，通过对支取生长模型赋予带参先验概率，构建植物骨架生长的概率表示。具体地，植物的生长模型具有合成性和因果性，每个实例经由自下而上的生成过程，后过程与前过程之间具有因果联系，这种联系可用贝叶斯概率框架来刻画。具体地，植物骨架的每个分叉定义了枝干间的父子关系，为每个分叉可以定义分叉数、分叉形态、生长因子的参数化局部概率，生长因子可视为由该分叉传递至下一分叉的生长信息，其将影响后续分叉的条件概率。植物局部概率的参数将决定该模型所描述的植物的形态特征。步骤S2，通过在根节点上指定初始生长因子和分叉代数限制，植物生长模型通过随机采样生成实例化的骨架。具体地，通过在根节点上指定初始生长因子和分叉代数限制，模型可通过随机采样生成实例化的骨架，其由结构树的数据结构加以描述，其允许在后续操作中对结构进行微调和拓扑的改变。所有的结构树构成模型的形态空间，不同的结构树间可进行结构匹配实现结构的连续变化。对于多视图图像输入，首先使用Pix2Pix网络将每幅图像转换为分支概率图像，然后将分支概率反投影到3D体素坐标中，形成3D概率分支结构，使用贪婪搜索生成多个概率候选结构，为每个候选结构使用MetropolisHasting采样优化最有前途的候选，从而形成后验分布的离散近似，最后通过采样实现分支骨架的重建。这种方法对输入图像的数量没有要求。对于植物叶片，由于植物叶片繁多且具有严重的相互遮挡，因此并不精确地对叶片进行建模，作为替代，通过对图像进行细分和聚类，可以提取出所给图像的纹理簇，使用这些纹理可在输入图像叶子的反投影区域创建叶片。对未被源图像的覆盖的区域，将额外合成叶子以确保均匀分布的叶片密度。步骤S3，获取同种植物的图像集，植物生长模型利用矢量场方法对图像集中的每个单图像计算一个2D骨架，通过对2D骨架聚类分析，提取出图像集的形态基元，利用形态基元的模型与训练集中的骨架拟合，使用高斯-牛顿梯度下降方法求取植物生长模型参数的最优解。具体地，使用生成模型的优势在于其学习过程将不受数据集大小的限制并可以进行不同程度的特化。针对同种植物的训练，可为生长模型定义基本的形态“基元”，形态基元描述了该种植物特有的分叉生长模式。给定同种植物的图像集(不一定是对同一株植物)，使用矢量场方法可为每副图像建立一个2D骨架，该2D骨架为植物的3D分叉提供后验，通本文档来自技高网...

【技术保护点】
1.一种用于多视图植物三维重建的生成模型的构建方法，其特征在于，包括以下步骤：/n利用贝叶斯概率框架构建植物生长模型，通过对所述支取生长模型赋予带参先验概率，构建植物骨架生长的概率表示；/n通过在根节点上指定初始生长因子和分叉代数限制，所述植物生长模型通过随机采样生成实例化的骨架；/n获取同种植物的图像集，所述植物生长模型利用矢量场方法对所述图像集中的每个单图像计算一个2D骨架，通过对2D骨架聚类分析，提取出所述图像集的形态基元，利用所述形态基元的模型与训练集中的骨架拟合，使用高斯-牛顿梯度下降方法求取所述植物生长模型参数的最优解。/n

【技术特征摘要】
1.一种用于多视图植物三维重建的生成模型的构建方法，其特征在于，包括以下步骤：
利用贝叶斯概率框架构建植物生长模型，通过对所述支取生长模型赋予带参先验概率，构建植物骨架生长的概率表示；
通过在根节点上指定初始生长因子和分叉代数限制，所述植物生长模型通过随机采样生成实例化的骨架；
获取同种植物的图像集，所述植物生长模型利用矢量场方法对所述图像集中的每个单图像计算一个2D骨架，通过对2D骨架聚类分析，提取出所述图像集的形态基元，利用所述形态基元的模型与训练集中的骨架拟合，使用高斯-牛顿梯度下降方法求取所述植物生长模型参数的最优解。


2.根据权利要求1所述的用于多视图植物三维重建的生成模型的构建方法，其特征在于，在所述植物生长模型中，植物骨架的每个分叉定义了枝干间的父子关系，每个分叉可以定义分叉数、分叉形态、生长因子的参数化局部概率，生长因子为由该分叉传递至下一分叉的生长信息，其将影响后续分叉的条件概率，植物局部概率的参数将决定模型所描述的植物...

【专利技术属性】
技术研发人员：刘烨斌，钟源，王松涛，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11