一种基于多深度图的非刚体三维重建方法及系统技术方案

本发明专利技术提出一种基于多深度图的非刚体三维重建方法，包括以下步骤：对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图；将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对；对每个匹配点进行位置变换，并求取位置变换后的每个匹配点对应的变换参数；对所有变换参数进行拼接，并根据拼接结果建立能量函数；对能量函数进行求解，以根据求解结果重建非刚体的三维模型。根据本发明专利技术的方法，所需输入信息简单易采集，并可得到高精度的完整三维模型。该方法求解准确鲁棒，消除了累加误差所会带来的影响，且运行速度快，拥有广阔的应用前景。本发明专利技术还提出了一种基于多深度图的非刚体三维重建系统。

【技术实现步骤摘要】

本专利技术涉及计算机视觉
，特别涉及一种基于多深度图的非刚体三维重建方法及系统。
技术介绍
三维重建是计算机视觉领域的重点问题。高质量的三维模型在影视娱乐、文物保护、机械加工等各个领域都有着重要的应用价值。但是高质量三维模型的获取通常依靠价格昂贵的激光扫描仪实现，虽然精度得以保证，但是也存在着两个缺点:第一、激光扫描仪在扫描过程中要求被扫物体绝对静止，微小的移动就会导致扫描结果存在明显的误差；第二，激光扫描仪价格不菲，很难普及从而扩大民用价值。
技术实现思路
本专利技术旨在至少解决上述技术问题之一。为此，本专利技术的一个目的在于提出一种基于多深度图的非刚体三维重建方法。该方法求解准确鲁棒，消除了累加误差所会带来的影响，且运行速度快，拥有广阔的应用前本专利技术的另一目的在于提出一种基于多深度图的非刚体三维重建系统。为了实现上述目的，本专利技术第一方面的实施例提出了一种基于多深度图的非刚体三维重建方法，包括以下步骤:对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图；将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对；对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数；对所有变换参数进行拼接，并根据拼接结果建立能量函数；以及对所述能量函数进行求解，以根据求解结果重建所述非刚体的三维模型。根据本专利技术实施例的基于多深度图的非刚体三维重建方法，利用深度相机对同一非刚性物体不同角度、不同姿态拍摄采集到的深度图，并基于上述深度图完成对非刚体的三维几何建模的功能。该方法需求的输入信息简单易采集，并可得到高精度的完整三维模型。该方法求解准确鲁棒，消除了累加误差所会带来的影响。另外，该方法简单易行，且运行速度快，拥有广阔的应用前景，可以在普通PC机或工作站等硬件系统上实现。另外，根据本专利技术上述实施例的基于多深度图的非刚体三维重建方法还可以具有如下附加的技术特征:在一些示例中，通过深度相机对所述非刚体进行拍摄以得到所述多个深度图。在一些示例中，所述将每个深度图变换为一组三维点云，进一步包括:获取所述深度相机的内参矩阵；根据所述内参矩阵将所述每个深度图变换为一组三维点云。在一些示例中，所述变换的变换公式为:pj =其中，U，V为像素坐标，dc(u, V)为第c张深度图上像素(U，V)位置上的深度值,所述K为内参矩阵。在一些示例中，所述对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数，进一步包括:计算所述每个匹配点的旋转矩阵和偏移向量；根据所述旋转矩阵和偏移向量得到所述每个匹配点的位置变换方程；根据所述的位置变换方程得到所述每个匹配点对应的变换参数。在一些示例中，所述位置变换方程为:P' =Rp+t,其中,P为匹配点,R为旋转矩阵，t为偏移向量。在一些示例中，所述能量函数为:X=argminxa eEe+a fEf+a nEn,其中，EeS拓扑约束，Ef为特征约束，En为最近点约束，a e、a f、a ^分别为Ee、Ef和En的权重系数。本专利技术第二方面的实施例提供了一种基于多深度图的非刚体三维重建系统，包括:深度相机，所述深度相机用于对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图；匹配模块，用于将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对；变换模块，用于对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数；拼接模块，用于对所有变换参数进行拼接，并根据拼接结果建立能量函数；以及三维重建模块，用于对所述能量函数进行求解，以根据求解结果重建所述非刚体的三维模型。根据本专利技术实施例的基于多深度图的非刚体三维重建系统，利用深度相机对同一非刚性物体不同角度、不同姿态拍摄采集到的深度图，并基于上述深度图完成对非刚体的三维几何建模的功能。该系统需求的输入信息简单易采集，并可得到高精度的完整三维模型。该系统求解准确鲁棒，消除了累加误差所会带来的影响。另外，该系统成本低，且运行速度快，拥有广阔的应用前景，可以在普通PC机或工作站等硬件系统上实现。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中:图1是根据本专利技术一个实施例的基于多深度图的非刚体三维重建方法的流程图；以及图2是根据本专利技术一个实施例的基于多深度图的非刚体三维重建系统的结构图。具体实施例方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置 关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。以下结合附图描述根据本专利技术实施例的基于多深度图的非刚体三维重建方法及系统。图1是根据本专利技术一个实施例的基于多深度图的非刚体三维重建方法的流程图。如图1所示，该方法包括如下步骤:步骤SlOl:对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图。具体地，可通过深度相机对非刚体进行拍摄以得到多个深度图。即利用深度相机对同一非刚性物体(非刚体)以不同角度、不同姿态进行拍摄多个深度图，并采集上述多个深度图。·步骤S102:将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对。在本专利技术的一个示例中，将每个深度图变换为一组三维点云包括:I)获取深度相机的内参矩阵。2)根据内参矩阵将每个深度图变换为一组三维点云。其中，变换的变换公式为:Pc! = /i_1(u,v,c^(u,v))T，其中，U，V为像素坐标，dc(u, V)为第c张深度图上像素(u, V)位置上的深度值，所述K为内参矩阵。具体地说，例如:存在Nf张深度图，则输入Nf张深度图d。(U，V)，c=l, 2，-,Nf,给定深度相机内参矩阵K，每张深度图即可变换为一组三维点云，通过上述变换公式进行变换。开始需要用户手工指定点云间特征点的对应关系(匹配点对)。这是由于点云特征较少，相同几何分布的区域很多，如果利用全自动的匹配算法几乎很难实现。因此，本专利技术实施例的方法只需要用户手工指定少量特征对应点，即可实现后续准确高质量的三维重建效果。对应点对集合表示为:F = Ifi Ifi = (ρ本文档来自技高网...

【技术保护点】
一种基于多深度图的非刚体三维重建方法，其特征在于，包括以下步骤：对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图；将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对；对每个匹配点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数；对所有变换参数进行拼接，并根据拼接结果建立能量函数；以及对所述能量函数进行求解，以根据求解结果重建所述非刚体的三维模型。

【技术特征摘要】

【专利技术属性】
技术研发人员：戴琼海，叶亘之，刘烨斌，
申请(专利权)人：清华大学，
类型：发明
国别省市：