花朵开放过程的重建方法及装置制造方法及图纸

本发明专利技术公开了一种花朵开放过程的重建方法及装置，其中，该方法包括：采集整个花朵开放过程的四维点云数据；选择一帧包括所有花瓣信息的点云数据，并根据所选点云数据创建花朵网格模板，花朵网格模板包括多个花瓣网格模板；基于花朵网格模板与点云数据的对应关系，驱动花朵网格模板进行网格形变以跟踪点云数据，分别得到每一帧点云数据对应的花朵网格模板，在网格形变过程中对各花瓣网格模板进行形状约束、碰撞约束和固定根约束；将得到的所有花朵网格模板按照花朵开放顺序排列，得到花朵开放的动态过程。本发明专利技术基于采集的真实点云数据及创建的花朵网格模板，以数据驱动的方式进行花朵网格模板的有效形变，能够重建出精确逼真的花朵开放过程。

【技术实现步骤摘要】

本专利技术涉及仿真建模
，尤其涉及一种花朵开放过程的重建方法及装置。
技术介绍
在生物科学领域，对于花朵开放过程的研究已经有了很长的历史。传统意义上，这样的研究依赖于手动记录下的过程，或者用相机间隔的拍照，然后在图片上进行测量。这样的工作流程是繁琐并且低效的，容易出现测量偏差。三维(3D)扫描技术的进步为精确测量花朵开放过程提供了新的机会和方法。3D扫描主要用于对物体空间外形、结构及色彩进行扫描，以获得物体表面的空间坐标。3D扫描的重要意义在于能够将实物的立体信息转换为计算机能直接处理的数字信号，为实物数字化提供了相当方便快捷的手段。扫描过程中采集的数据一般为创建物体几何表面的点云，这些点可用来插补成物体的表面形状，越密集的点云可以创建更精确的模型，这个过程称为三维重建。三维扫描仪的原始输出如果受到外界环境影响会有各种缺陷，包括噪声、丢失的数据和异常值。现在已经有不少方法用于改善相应的重构模型的质量，例如，基于图片的建模方法以及基于点云的重建方法。其中，基于图片的建模方法，从大量相同物体不同视角下的图片中，建立优化方程，直接并且同时求解出相机位置和物体的三维坐标，这种方法被称为StructureFromMotion。基于点云的重建方法直接从采集到的点云重建出高质量网格模型，例如，比较著名的泊松重建方法，用隐式曲面来表达重建的网格，将空间划分为三个部分：在曲面上、在曲面外部以及在曲面内部，通过求解隐式方程得到网格的位置。然而，这些方法都是在假设扫描对象是静态的前提下，通过分解出摄像头的运动以及合并扫描多视角的数据，从而得到完整的重建模型。随着3D扫描技术的日渐成熟，将扫描技术运用在动态物体捕捉上的应用越来越多，重建技术例如已经广泛用到人体运动、人脸表情以及其它可变形物体的动态捕捉上。扫描动态物体得到的数据是记录了物体变形信息的点云序列，可用于生成完整的网格变形序列。这个过程被称为四维(4D)重建。常用的方法是用一个与扫描物体几何性质一致的、预定义好的形状模板来表示物体形态。由于扫描的间隔一般很小，物体只有少量的形变，所以能够在连续的帧之间建立足够的特征匹配，从而获得完整的模板变形序列。但是花朵是自身几何特征复杂、自遮挡严重的物体，现有的3D扫描技术并不能获得花朵完整的物体数据。同时，花朵开放过程中，花朵的变形比较复杂，无法建立有效的特征匹配关系。针对类似于花朵这样的物体，拥有复杂的几何形态，自遮挡严重的情况下，目前尚未提出比较精确逼真的4D重建技术。植物的建模一直备受计算机图形学的关注。虽然目前可以制作非常逼真的植物，但是我们感兴趣的是实际的植物生长过程的状态情况，并且分析真正的生长数据可以反过来用于重新创建高质量几何形状或动画。对于花朵开放过程，现有的建模方法是基于物理模拟的方法，利用物理模型，尤其是力学原理，对已有的花瓣模型施加虚拟的力，推动花瓣的变化，从而使整个花朵达到开放的状态。然而这种基于物理模拟的方法，并不能真实地反应实际的开花过程，花瓣的运动显得过于简单和规整。
技术实现思路
本专利技术提供了一种花朵开放过程的重建方法及装置，通过该方法得到的花朵开放过程，相较于现有技术得到的花朵开放过程，结果更加逼真精确。根据本专利技术的一个方面，提供了一种花朵开放过程的重建方法，包括：采集整个花朵开放过程的四维点云数据；从所述点云数据中选择一帧包括所有花瓣信息的点云数据，并根据所选点云数据创建花朵网格模板，其中所述花朵网格模板包括多个花瓣网格模板；基于所述花朵网格模板与所述点云数据的对应关系，驱动所述花朵网格模板进行网格形变以跟踪所述点云数据，分别得到每一帧点云数据对应的花朵网格模板，其中，在网格形变过程中对各花瓣网格模板进行形状约束、碰撞约束和固定根约束；将得到的所有花朵网格模板按照花朵开放的顺序排列，得到花朵开放的动态过程。在一个实施例中，基于所述花朵网格模板与所述点云数据的对应关系，驱动所述花朵网格模板进行网格形变以跟踪所述点云数据，分别得到每一帧点云数据对应的花朵网格模板，包括：针对所选点云数据及其之前的各帧点云数据，从后往前逐帧执行步骤A1和步骤A2，直到得到所选点云数据之前的每一帧点云数据对应的花朵网格模板；步骤A1，根据当前帧点云数据对应的花朵网格模板的几何特征，对所述当前帧点云数据的上一帧点云数据进行分割，得到花朵网格模板与所述上一帧点云数据的对应关系；步骤A2，基于所述上一帧点云数据和所述对应关系，对所述当前帧点云数据对应的花朵网格模板进行网格形变，得到与所述上一帧点云数据所展现的几何形态一致的花朵网格模板；和/或，针对所选点云数据及其之后的各帧点云数据，从前往后逐帧执行步骤B1和步骤B2，直到得到所选点云数据之后的每一帧点云数据对应的花朵网格模板；步骤B1，根据当前帧点云数据对应的花朵网格模板的几何特征，对所述当前帧点云数据的下一帧点云数据进行分割，得到花朵网格模板与所述下一帧点云数据的对应关系；步骤B2，基于所述下一帧点云数据和所述对应关系，对所述当前帧点云数据对应的花朵网格模板进行网格形变，得到与所述下一帧点云数据所展现的几何形态一致的花朵网格模板。在一个实施例中，对于从后往前逐帧处理的情况，根据当前帧点云数据对应的花朵网格模板的几何特征，对所述当前帧点云数据的上一帧点云数据进行分割，包括：针对所述上一帧点云数据中的每个采集点，分别计算该采集点到所述当前帧点云数据对应的花朵网格模板中每个花瓣网格模板的距离；将该采集点对应的距离值由大到小进行排序，选取排在最后的两个距离值，并计算这两个距离值的比值；如果比值小于预设阈值，确定该采集点属于最小距离值对应的花瓣网格模板；如果比值大于或等于所述预设阈值，确定该采集点不属于任何花瓣网格模板；对于从前往后逐帧处理的情况，根据当前帧点云数据对应的花朵网格模板的几何特征，对所述当前帧点云数据的下一帧点云数据进行分割，包括：针对所述下一帧点云数据中的每个采集点，分别计算该采集点到所述当前帧点云数据对应的花朵网格模板中每个花瓣网格模板的距离；将该采集点对应的距离值由大到小进行排序，选取排在最后的两个距离值，并计算这两个距离值的比值；如果比值小于预设阈值，确定该采集点属于最小距离值对应的花瓣网格模板；如果比值大于或等于所述预设阈值，确定该采集点不属于任何花瓣网格模板。在一个实施例中，分别计算该采集点到所述当前帧点云数据对应的花朵网格模板中每个花瓣网格模板的距离，包括：针对每个花瓣网格模板，计算该采集点到该花瓣网格模板中每个顶点的距离，并计算最近距离，将该最近距离作为该采集点到该花瓣网格模板的距离。在一个实施例中，得到花瓣网格模板与点云数据的对应关系，包括：针对每一个花瓣网格模板，计算该花瓣网格模板上的每一个顶点与属于该花瓣网格模板的每一个采集点之间的匹配概率，花朵网格模板和所有采集点之间的匹配概率用关联矩阵Z表示，关联矩阵Z中的元素Zij∈[0,1]；其中，mi表示花朵网格模板M上的第i个顶点，mi属于第k个花瓣网格模板，第k个花瓣网格模板用Mk，Qk表示与Mk对应的点云数据，qj表示点云数据Q中的第j个采集点，p(qj|mi)为似然概率，表示在花朵网格模板M的顶点mi下观测点云数据Q的采集点qj的概率。在一个实施例中，对所述当前帧点云数据对应本文档来自技高网...

【技术保护点】
一种花朵开放过程的重建方法，其特征在于，包括：采集整个花朵开放过程的四维点云数据；从所述点云数据中选择一帧包括所有花瓣信息的点云数据，并根据所选点云数据创建花朵网格模板，其中所述花朵网格模板包括多个花瓣网格模板；基于所述花朵网格模板与所述点云数据的对应关系，驱动所述花朵网格模板进行网格形变以跟踪所述点云数据，分别得到每一帧点云数据对应的花朵网格模板，其中，在网格形变过程中对各花瓣网格模板进行形状约束、碰撞约束和固定根约束；将得到的所有花朵网格模板按照花朵开放的顺序排列，得到花朵开放的动态过程。

【技术特征摘要】
1.一种花朵开放过程的重建方法，其特征在于，包括：采集整个花朵开放过程的四维点云数据；从所述点云数据中选择一帧包括所有花瓣信息的点云数据，并根据所选点云数据创建花朵网格模板，其中所述花朵网格模板包括多个花瓣网格模板；基于所述花朵网格模板与所述点云数据的对应关系，驱动所述花朵网格模板进行网格形变以跟踪所述点云数据，分别得到每一帧点云数据对应的花朵网格模板，其中，在网格形变过程中对各花瓣网格模板进行形状约束、碰撞约束和固定根约束；将得到的所有花朵网格模板按照花朵开放的顺序排列，得到花朵开放的动态过程。2.根据权利要求1所述的方法，其特征在于，基于所述花朵网格模板与所述点云数据的对应关系，驱动所述花朵网格模板进行网格形变以跟踪所述点云数据，分别得到每一帧点云数据对应的花朵网格模板，包括：针对所选点云数据及其之前的各帧点云数据，从后往前逐帧执行步骤A1和步骤A2，直到得到所选点云数据之前的每一帧点云数据对应的花朵网格模板；步骤A1，根据当前帧点云数据对应的花朵网格模板的几何特征，对所述当前帧点云数据的上一帧点云数据进行分割，得到花朵网格模板与所述上一帧点云数据的对应关系；步骤A2，基于所述上一帧点云数据和所述对应关系，对所述当前帧点云数据对应的花朵网格模板进行网格形变，得到与所述上一帧点云数据所展现的几何形态一致的花朵网格模板；和/或，针对所选点云数据及其之后的各帧点云数据，从前往后逐帧执行步骤B1和步骤B2，直到得到所选点云数据之后的每一帧点云数据对应的花朵网格模板；步骤B1，根据当前帧点云数据对应的花朵网格模板的几何特征，对所述当前帧点云数据的下一帧点云数据进行分割，得到花朵网格模板与所述下一帧点云数据的对应关系；步骤B2，基于所述下一帧点云数据和所述对应关系，对所述当前帧点云数据对应的花朵网格模板进行网格形变，得到与所述下一帧点云数据所展现的几何形态一致的花朵网格模板。3.根据权利要求2所述的方法，其特征在于，对于从后往前逐帧处理的情况，根据当前帧点云数据对应的花朵网格模板的几何特征，对所述当前帧点云数据的上一帧点云数据进行分割，包括：针对所述上一帧点云数据中的每个采集点，分别计算该采集点到所述当前帧点云数据对应的花朵网格模板中每个花瓣网格模板的距离；将该采集点对应的距离值由大到小进行排序，选取排在最后的两个距离值，并计算这两个距离值的比值；如果比值小于预设阈值，确定该采集点属于最小距离值对应的花瓣网格模板；如果比值大于或等于所述预设阈值，确定该采集点不属于任何花瓣网格模板；对于从前往后逐帧处理的情况，根据当前帧点云数据对应的花朵网格模板的几何特征，对所述当前帧点云数据的下一帧点云数据进行分割，包括：针对所述下一帧点云数据中的每个采集点，分别计算该采集点到所述当前帧点云数据对应的花朵网格模板中每个花瓣网格模板的距离；将该采集点对应的距离值由大到小进行排序，选取排在最后的两个距离值，并计算这两个距离值的比值；如果比值小于预设阈值，确定该采集点属于最小距离值对应的花瓣网格模板；如果比值大于或等于所述预设阈值，确定该采集点不属于任何花瓣网格模板。4.根据权利要求3所述的方法，其特征在于，分别计算该采集点到所述当前帧点云数据对应的花朵网格模板中每个花瓣网格模板的距离，包括：针对每个花瓣网格模板，计算该采集点到该花瓣网格模板中每个顶点的距离，并计算最近距离，将该最近距离作为该采集点到该花瓣网格模板的距离。5.根据权利要求2所述的方法，其特征在于，得到花朵网格模板与点云数据的对应关系，包括：针对每一个花瓣网格模板，计算该花瓣网格模板上的每一个顶点与属于该花瓣网格模板的每一个采集点之间的匹配概率，花朵网格模板和所有采集点之间的匹配概率用关联矩阵Z表示，关联矩阵Z中的元素Zij∈[0,1]；其中，mi表示花朵网格模板M上的第i个顶点，mi属于第k个花瓣网格模板，第k个花瓣网格模板用Mk表示，Qk表示与Mk对应的点云数据，qj表示点云数据Q中的第j个采集点，p(qj|mi)为似然概率，表示在花朵网格模板M的顶点mi下观测点云数据Q的采集点qj的概率。6.根据权利要求2所述的方法，其特征在于，对所述当前帧点云数据对应的花朵网格模板进行网格形变，包括：采用期望最大化迭代算法求解最大后验估计的能量方程：argmin(-logp(M|Q,Z)-logp(M))；对于从后往前逐帧处理的情况，求解该能量方程得到所述当前帧点云数据对应的花朵网格模板中各顶点对应于上一帧点云数据的新位置；对于从前往后逐帧处理的情况，求解该能量方程得到所述当前帧点云数据对应的花朵网格模板中各顶点对应于下一帧点云数据的新位置；其中，-logp(M|Q,Z)为数据项，表示花朵网格模板M与点云数据Q之间的符合程度；关联矩阵Z表示花朵网格模板M和所有采集点之间的匹配概率；p(M|Q,Z)为似然概率...

【专利技术属性】
技术研发人员：黄惠，郑倩，范晓晨，奥利夫·马丁·多伊森，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44