大动作运动物体的多视角非同时采集与重建方法技术

本发明专利技术涉及三维重建技术，为提出一种大动作运动物体的多视角非同时采集与重建方法。即使在视角数目相对稀疏的情况下，本方法亦能重建出精确的完整三维模型。为此，本发明专利技术采取的技术方案是，大动作运动物体的多视角非同时采集与重建方法,通过不断地迭代以下两大步骤得到各视角最终变换后的模型：(1)在每次各视角模型变形后，从相邻视角的重叠区域寻找更多的对应点；(2)通过优化能量方程，求解出在各相邻视角下所有对应点之间的变换矩阵。本发明专利技术主要应用于三维重建场合。

Multi-view non-simultaneous acquisition and reconstruction of large motion objects

The invention relates to three-dimensional reconstruction technology, and proposes a multi-view non-simultaneous acquisition and reconstruction method for large moving objects. Even when the number of views is relatively sparse, this method can reconstruct a complete and accurate three-dimensional model. To this end, the technical scheme adopted by the present invention is that the multi-view non-simultaneous acquisition and reconstruction method of large-action moving object obtains the final transformed model of each view angle by iterating the following two steps: (1) after each deformation of the model of each view angle, more corresponding points are found from the overlapping area of the adjacent view angle; (2) by optimizing the energy equation, the model can be solved under each adjacent view angle. There is a transformation matrix between the corresponding points. The invention is mainly applied to three-dimensional reconstruction occasion.

【技术实现步骤摘要】
大动作运动物体的多视角非同时采集与重建方法
本专利技术属于计算机应用领域，具体讲，涉及一种大动作运动物体的多视角非同时采集与重建方法。
技术介绍
三维重建旨在对三维场景建立适合计算机表示和处理的数学模型，是计算机对三维场景进行操作和分析的前提，因此该技术一直以来都是计算机视觉和计算机图形学领域的重点研究课题。随着商用深度相机的出现，比如微软的Kinect，三维重建技术变得越来越便捷，而且其成本也越来越低廉。如今，该技术已经应用到现实的很多领域中，比如3D打印、游戏开发和影视制作。三维重建的数据采集一般基于多相机系统或单相机系统。基于多相机采集系统的三维重建方法，存在着设备成本高、算法复杂度高和系统校准难度大等问题，因此在实际应用中有着很大的困难。例如，Li等人(LiK,DaiQ,XuW.Markerlessshapeandmotioncapturefrommultiviewvideosequences[J].IEEETransactionsonCircuits&SystemsforVideoTechnology,2011,21(3):320-334.)在清华大学利用20个相机搭建了一个圆顶状的多相机系统，并采用分离融合策略和体变形方法实现对目标物体的形状恢复和运动捕捉。Collet等人(ColletA,ChuangM,SweeneyP,etal.High-qualitystreamablefree-viewpointvideo[J].ACMTransactionsonGraphics,2015,34(4):1-13.)利用108个高频的彩色相机和红外相机设计了一个密集的采集系统，其首先融合颜色、红外和轮廓的信息以恢复关键的几何细节，然后通过模型追踪来生成时域一致的彩色模型序列，最后将该序列编码成视频流。为了克服多相机系统带来的不便，微软公司推出了Kinect相机，其凭借低成本和多传感的优势，在三维重建领域得到了广泛的应用。Izadi等人(IzadiS,KimD,HilligesO,etal.Kinectfusion:real-time3Dreconstructionandinteractionusingamovingdepthcamera[C].ACMUserInterfaceSoftwareandTechnologySymposium,2011,pp.559-568.)提出一种实时地重建目标物体的方法，但是目标物体需要在采集过程中保持不动。随后，Newcombe等人(NewcombeR,FoxD,SeitzS.DynamicFusion:Reconstructionandtrackingofnon-rigidscenesinreal-time[C].IEEEInternationalConferenceonComputerVisionandPatternRecognition,2015,pp.343-352.)创造性地提出一种实时地重建动态场景的技术，从而弥补了Izadi等人方法的不足，达到实时地重建动态目标物体的目的。但是由于配准误差的累积，在重建静态场景或动态场景的过程中都容易产生严重的漂移问题。为了避免这一问题，等人(M,NieβnerM,IzadiS,etal.Real-timenon-rigidreconstructionusinganRGB-Dcamera[J].ACMTransactionsonGraphics,2014,33(4):1-12.)首先采集一个目标物体的模板，然后逐一地将该模板配准到输入的每一帧深度图，从而重建出目标物体每一帧的形状与姿势。此外，Yu等人(YuT,ZhengZ,GuoK,etal.DoubleFusion:Real-timecaptureofhumanperformanceswithinnerbodyshapesfromasingledepthsensor[C].IEEEInternationalConferenceonComputerVisionandPatternRecognition,2018.)提出一种不依赖模板的三维重建方法，其利用单个Kinect相机重建出目标物体的几何细节，非刚性运动和内在形状，并以参数化模型和逐渐融合的模型表示重建结果。令人遗憾的是，以上的非刚性重建方法都限制了相邻视角之间的动作幅度。以上方法很难解决大动作运动物体的多视角非同时采集与重建。基于以上的问题，我们提出了一种新的基于单个深度相机的全局非刚性表面配准方法。该方法允许各视角间的目标物体可以存在较大变形，并能够在形变中保持模型的局部几何细节。而且，即使在视角数量相对稀疏的情况下，我们的方法同样能够实现精确的配准和高质量的重建。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出一种大动作运动物体的多视角非同时采集与重建方法。即使在视角数目相对稀疏的情况下，本方法亦能重建出精确的完整三维模型。为此，本专利技术采取的技术方案是，大动作运动物体的多视角非同时采集与重建方法,通过不断地迭代以下两大步骤得到各视角最终变换后的模型：(1)在每次各视角模型变形后，从相邻视角的重叠区域寻找更多的对应点；(2)通过优化能量方程，求解出在各相邻视角下所有对应点之间的变换矩阵。具体地，对于一组包含n个视角的模型序列{u(1),u(2),......,u(n)}，而且每个模型u(m)包含Nm个顶点，即其中表示三维顶点的齐次坐标，每相邻模型u(m)和u(m+1)之间的对应点存在映射关系fm→m+1，设置u(n+1)＝u(1)，在第一次迭代中，先寻找所有相邻模型之间的初始对应点，再计算对应点之间的变换矩阵来实现模型的初步变形；在接下来的迭代中，通过K最邻近点算法寻找更多的对应点，使其参与到下一步的非刚性变换，从而实现所有模型之间的精确对齐。进一步地，表示顶点的变换矩阵，表示模型u(m)上所有顶点的变换矩阵，它是一个4Nm×3的矩阵，而表示所有模型顶点的变换矩阵；为求解每次迭代的非刚性变换矩阵，构建以下能量方程：E(X；f)＝Edata(X；f)+αEsmooth(X)+βErigid(X)+λEarap(X)+γEacap(X)其中，Edata(X；f)为数据项，评估配准的精确度；Esmooth(X)为平滑约束项，评估变换的局部平滑度；Erigid(X)为正交约束项，确保局部变换的刚性；Earap(X)为尽可能刚性约束项，确保变换前后模型三角面片的边长尽量保持不变；最后，Eacap(X)为尽可能保形约束项，确保变换中模型三角面片的角度尽量保持不变，α，β，λ和γ分别为各个约束项的权重；(1)数据项Edata(X；f)：将作为模型u(m)所包含对应点的集合，即该数据项通过惩罚点到点和点到面的双重距离以最小化对应点之间的拟合误差，顶点为模型u(m)的第k个对应点，为每个对应点设计随迭代更新的权重由此构建如下数据项：其中，αpoint和αplane表示用以平衡点到点和点到面两种距离约束的权重，而权重定义为为了便于计算，以上式子写成：Edata(X；f)＝||WDHX||1WD＝diag(WD(1),…,WD(n))其中，Km表示模型u(m)所包含对应点的数目，和分别表示大小为Km×4Nm和Km本文档来自技高网...

【技术保护点】
1.一种大动作运动物体的多视角非同时采集与重建方法，其特征是，通过不断地迭代以下两大步骤得到各视角最终变换后的模型：(1)在每次各视角模型变形后，从相邻视角的重叠区域寻找更多的对应点；(2)通过优化能量方程，求解出在各相邻视角下所有对应点之间的变换矩阵。

【技术特征摘要】
1.一种大动作运动物体的多视角非同时采集与重建方法，其特征是，通过不断地迭代以下两大步骤得到各视角最终变换后的模型：(1)在每次各视角模型变形后，从相邻视角的重叠区域寻找更多的对应点；(2)通过优化能量方程，求解出在各相邻视角下所有对应点之间的变换矩阵。2.如权利要求1所述的大动作运动物体的多视角非同时采集与重建方法，其特征是，具体地，对于一组包含n个视角的模型序列{u(1),u(2),......,u(n)}，而且每个模型u(m)包含Nm个顶点，即其中表示三维顶点的齐次坐标，每相邻模型u(m)和u(m+1)之间的对应点存在映射关系fm→m+1，设置u(n+1)＝u(1)，在第一次迭代中，先寻找所有相邻模型之间的初始对应点，再计算对应点之间的变换矩阵来实现模型的初步变形；在接下来的迭代中，通过K最邻近点算法寻找更多的对应点，使其参与到下一步的非刚性变换，从而实现所有模型之间的精确对齐。3.如权利要求2所述的大动作运动物体的多视角非同时采集与重建方法，其特征是，进一步地，表示顶点的变换矩阵，表示模型u(m)上所有顶点的变换矩阵，它是一个4Nm×3的矩阵，而表示所有模型顶点的变换矩阵；为求解每次迭代的非刚性变换矩阵，构建以下能量方程：E(X；f)＝Edata(X；f)+αEsmooth(X)+βErigid(X)+λEarap(X)+γEacap(X)其中，Edata(X；f)为数据项，评估配准的精确度；Esmooth(X)为平滑约束项，评估变换的局部平滑度；Erigid(X)为正交约束项，确保局部变换的刚性；Earap(X)为尽可能刚性约束项，确保变换前后模型三角面片的边长尽量保持不变；最后，Eacap(X)为尽可能保形约束项，确保变换中模型三角面片的角度尽量保持不变，α，β，λ和γ分别为各个约束项的权重；(1)数据项Edata(X；f)：将作为模型u(m)所包含对应点的集合，即该数据项通过惩罚点到点和点到面的双重距离以最小化对应点之间的拟合误差，顶点为模型u(m)的第k个对应点，为每个对应点设计随迭代更新的权重由此构建如下数据项：其中，αpoint和αplane表示用以平衡点到点和点到面两种距离约束的权重，而权重定义为为了便于计算，以上式子写成：Edata(X；f)＝||WDHX||1WD＝diag(WD(1),…,WD(n))其中，Km表示模型u(m)所包含对应点的数目，和分别表示大小为Km×4Nm和Km×4Nm+1的矩阵，和的第k行分别存放顶点和其中和的定义为：(2)平滑约束项Esmooth(X)：假定模型u(m)上的顶点与其邻近点有着相似的变换矩阵，于是定义邻域包含的所有邻近点，...

【专利技术属性】
技术研发人员：李坤，吴振超，杨敬钰，来煜坤，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12