三维模型的捕捉及重建方法和系统技术方案

本发明专利技术提出一种动态三维模型的捕捉及重建方法，包括以下步骤：获取静态三维模型；将静态三维模型的表面模型转换为体模型，并将其作为运动跟踪的默认场景表示；获取模型顶点在下一时刻的初始三维运动；根据预定的空时约束条件从获取的顶点中选择精确的顶点作为体变形的位置约束；根据所述位置约束驱动拉普拉斯体变形框架更新动态三维模型。另外，本发明专利技术还提出了一种动态三维模型的捕捉及重建系统。

【技术实现步骤摘要】

本专利技术涉及计算机视频处理
，特别涉及一种三维模型的捕捉及重建方法和系统。
技术介绍
对于动态场景的三维重建问题，很多工作将其看成静态场景重建问题在时间维度上的简单累加，即并不利用时间信息辅助场景重建，每一帧单独进行静态三维建模。但是这种方法复杂度高、存储量大，不能保证帧与帧之间模型的拓扑一致性，容易产生抖动现象。 此外采用上述方法进行三维建模无法对非刚体模型的运动情况进行有效分析，也无法通过时域上的插值获得任意时刻的模型。通过对这类问题进行研究，现有技术提出了联合求解 3D场景流以及几何模型的重建方法。进一步还提出了使用变分方法统一动态场景几何和运动的重建，然而由于几何重建和运动重建是迭代进行的，即通过某时刻的几何重建作为运动重建的初始值推导下一时刻的模型重建，因此这种方法的时空联合重建效率仍然不高， 实际效果也并不尽人意。因此，为了避免时空联合重建难度大、质量一般的问题，另一类基于视频的动态三维重建方法则以初始帧的静态三维重建结果作为场景表示，然后应用三维运动跟踪算法求解该三维物体的运动，并应用合适的变形算法驱动静态模型运动，从而获得动态三维重建结果。目前，基于视频的三维运动跟踪可以分为两类带标记的三维运动跟踪和无标记的三维运动跟踪。其中，带标记的三维运动跟踪方法准确，但是需要被捕捉动作者穿上带有标记的紧身服装，从而限制了对形状和纹理的捕捉。而无标记的三维运动跟踪方法则克服了以上的缺陷。一种无标记的三维运动跟踪方法是通过联合运动学模型和衣服模型来捕捉穿着更加一般服装的人体的运动，但是这种方法无法捕捉到运动对象的精确几何结构。另一种无标记的三维运动跟踪方法则可同时捕捉对象骨架和形状的运动，然而由于一些局部表面并没有随时间做出应有的改变，因此该方法仍然无法有效地进行三维运动跟踪。此外，因为该方法仅仅依靠轮廓信息，所以对轮廓误差非常敏感。虽然这种无标记的方法灵活性提高了，但是很难达到与带标记方法相同的精度。此外，大多数三维运动跟踪方法都需要通过提取运动学骨架来帮助捕捉运动，而运动学骨架只能跟踪刚体运动，所以这种方法往往需要其他扫描技术来辅助捕捉时变的形状。最后，以上所有方法都不能跟踪穿着任意服饰人的运动。近年来，在计算机图形学中，新的动画捕捉与设计、动画编辑以及变形传递方法不断涌现。这些方法不再依赖于运动学骨架和运动参数，而是基于表面模型和一般的形状变形方法，从而可以捕捉刚体以及非刚体的变形。但是，所有这种基于多视角视频的运动捕捉及恢复方法，初始帧的静态三维重建都需要采用激光扫描仪进行。虽然激光扫描仪可以获得高精度的三维重建结果，但是激光扫描仪昂贵、费时费力，扫描期间人必须处于完全静止不动状态。而且为了后续工作的方便，人通常是两手握拳站立的，所拍摄的多视角视频也是双手握拳做动作。另外，以激光扫描仪的重建结果作为初始场景表示的方法，所恢复的整个5动态三维序列中都一直保留着扫描时模型上的一些表面特征，如衣服的褶皱等。
技术实现思路
本专利技术的目的旨在至少解决上述技术缺陷，本专利技术提出了一种静态和动态三维模型的捕捉及重建方法和系统。为达到上述目的，本专利技术一方面提出了一种静态三维模型的捕捉及重建方法，包括以下步骤对环形场中的运动物体进行图像采集；获取可视外壳模型；根据各个视角图像、所述可视外壳模型以及预设的约束条件获得各个视角的深度点云；对获得的所述各个视角的深度点云进行融合得到静态三维模型。本专利技术另一方面还提出了一种静态三维模型的捕捉及重建系统，包括围绕环形场的多个摄像机，用于对环形场中的运动物体进行图像采集；静态三维模型重建装置，用于获取可视外壳模型，并根据各个视角图像、所述可视外壳模型以及预设的约束条件获得各个视角的深度点云，以及对获得的所述各个视角的深度点云进行融合得到静态三维模型。本专利技术再一方面还提出了一种动态三维模型的捕捉及重建方法，包括以下步骤 获取静态三维模型；将静态三维模型的表面模型转换为体模型，并将其作为运动跟踪的默认场景表示；获取模型顶点在下一时刻的初始三维运动；根据预定的空时约束条件从获取的顶点中选择精确的顶点作为体变形的位置约束；根据所述位置约束驱动拉普拉斯体变形框架更新动态三维模型。本专利技术再一方面还提出了一种动态三维模型的捕捉及重建系统，包括围绕环形场的多个摄像机，用于对环形场中的运动物体进行图像采集；静态三维模型获取装置，用于获取静态三维模型；动态三维模型重建装置，用于将静态三维模型的表面模型转换为体模型，并将其作为运动跟踪的默认场景表示，并获取模型顶点在下一时刻的初始三维运动，以及根据预定的空时约束条件从获取的顶点中选择精确的顶点作为体变形的位置约束，根据所述位置约束驱动拉普拉斯体变形框架更新动态三维模型。通过本专利技术能够保证静态三维模型重建形状的精确性和完整性，另外本专利技术基于稀疏表示理论设计了新的三维运动估计方法，以及基于体模型的变形优化框架，因此能够得到优质的动态重建结果。另外，本专利技术可以不依赖于三维扫描仪和光学标记，因此成本不高，而且能够跟踪穿着任意服饰人的运动。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中图1为本专利技术实施例的静态三维模型的捕捉及重建方法流程图；图2为本专利技术实施例20个摄像机呈环形分布环绕待采集的场景；图3为本专利技术实施例的动态三维模型的捕捉及重建方法流程图；图4为本专利技术实施例整个动态三维重建方法的示意框图；以及图5为对两个长时序列采用本专利技术方法得到的动态三维模型结果。具体实施例方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。本专利技术实施例分别提出了静态三维模型和动态三维模型的捕捉及重建方法，但是需要说明的是动态三维模型的捕捉及重建可以以通过本专利技术获得的静态三维模型为基础， 也可以以通过其他手段获得的静态三维模型为基础，例如现有的三维扫描仪等，这些均应包含在本专利技术的保护范围之内。如图1所示，为本专利技术实施例的静态三维模型的捕捉及重建方法流程图，包括以下步骤步骤s101，对环形场中的运动物体进行图像采集。例如，在环形场中设有20个摄像机，每个摄像机的帧率为30帧/秒，控制各组摄像机对环形场中的运动物体进行采集。当然本领域技术人员也可选择更多的摄像机以获得更多的视角图像，当然也可减少摄像机的数量，这些均应包含在本专利技术的保护范围之内。本专利技术的一个示例，如图2所示，为本专利技术实施例20个摄像机呈环形分布环绕待采集的场景。其中，Ci表示第i号摄像机。摄像机采集图像的分辨率为10mx768。所采集人物站于环形中心。步骤S102，获取初始时刻的可视外壳模型(visual hull)。步骤s103，根据各个视角图像、所述可视外壳模型以及预设的约束条件获得各个视角的深度点云。具体可包括步骤s201，将各个视角图像与获取的所述可视外壳模型求交以获取各个视角的可见点云。步骤s202，将各个视角的可见点云投影到该视角图像，获得初始深度点云估计，即 d本文档来自技高网...

【技术保护点】
１．一种动态三维模型的捕捉及重建方法，其特征在于，包括以下步骤：获取静态三维模型；将静态三维模型的表面模型转换为体模型，并将其作为运动跟踪的默认场景表示；获取模型顶点在下一时刻的初始三维运动；根据预定的空时约束条件从获取的顶点中选择精确的顶点作为体变形的位置约束；根据所述位置约束驱动拉普拉斯体变形框架更新动态三维模型。

【技术特征摘要】

【专利技术属性】
技术研发人员：戴琼海，李坤，徐文立，
申请(专利权)人：清华大学，
类型：发明
国别省市：11