基于单个RGBD相机的三维人体自画像重建方法及系统技术方案

本发明专利技术提出了基于单个RGBD相机的三维人体自画像重建方法，该方法首先输入人体面对相机的第一帧图像，通过神经网络推测出形状先验，基于该形状先验实现双层非刚性运动跟踪，生成局部扫描，最后通过轻量级捆绑调整算法生成几何细节丰富、且具有纹理的三维人体自画像。该方法所需的输入信息非常容易采集，并且可以快速地获取三维人体自画像。该方法求解准确、快速，简单易行，可以在PC机或工作站等硬件系统上快速实现，还可以为用户提供良好的交互式三维重建体验，拥有广阔的应用前景。本发明专利技术还提出了基于单个RGBD相机的三维人体自画像重建系统，该系统包括单个RGBD相机、深度神经网络模块、运动跟踪模以及捆绑调整模块。

Method and system of 3D human self portrait reconstruction based on single rgbd camera

【技术实现步骤摘要】
基于单个RGBD相机的三维人体自画像重建方法及系统
本专利技术涉及到计算机视觉与计算机图形学
，尤其涉及到基于单个RGBD相机的三维人体自画像重建方法及系统。
技术介绍
三维人体自画像重建是计算机图形学和计算机视觉领域的重点问题。高质量的人体三维模型在影视娱乐、人口数据统计分析等领域有着广泛的应用前景和重要的应用价值。但是高质量人体三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，虽然精度较高，但是也显著存在着一些缺点：第一，设备复杂，这些方法往往需要多相机阵列的搭建；第二，速度慢，往往重建一个三维人体模型需要至少10分钟到数小时的时间。
技术实现思路
本专利技术的目的是为了克服现有技术的不足，提供了基于单个RGBD相机的三维人体自画像重建方法及系统。本专利技术是通过以下技术方案实现：首先，本专利技术提供了基于单个RGBD相机的三维人体自画像重建方法，该基于单个RGBD相机的三维人体自画像重建方法包括以下步骤：S1：通过单个RGBD相机对单个人体拍摄RGBD图像序列；S本文档来自技高网...

【技术保护点】
1.基于单个RGBD相机的三维人体自画像重建方法，其特征在于，包括以下步骤：/nS1：通过单个RGBD相机对单个人体拍摄RGBD图像序列；/nS2：通过深度神经网络模块从RGBD图像序列第一帧推测出形状先验；/nS3：基于形状先验构建双层对应点对，通过运动跟踪模块最优化求解出每个顶点的非刚性变换参数，并融合出一系列局部扫描；/nS4：构建闭环、深度以及轮廓项，通过捆绑调整模块最优化更新局部扫描，最后将局部扫描融合在一起生成完整的三维模型，并通过投影计算顶点颜色。/n

【技术特征摘要】
1.基于单个RGBD相机的三维人体自画像重建方法，其特征在于，包括以下步骤：
S1：通过单个RGBD相机对单个人体拍摄RGBD图像序列；
S2：通过深度神经网络模块从RGBD图像序列第一帧推测出形状先验；
S3：基于形状先验构建双层对应点对，通过运动跟踪模块最优化求解出每个顶点的非刚性变换参数，并融合出一系列局部扫描；
S4：构建闭环、深度以及轮廓项，通过捆绑调整模块最优化更新局部扫描，最后将局部扫描融合在一起生成完整的三维模型，并通过投影计算顶点颜色。


2.如权利要求1所述的基于单个RGBD相机的三维人体自画像重建方法，其特征在于，步骤S3中，将每张深度图投影到三维空间得到三维点云，寻找点云与重建模型顶点及形状先验之间的对应点，以此构建双层对应点对，并根据对应点建立能量函数。


3.如权利要求2所述的基于单个RGBD相机的三维人体自画像重建方法，其特征在于，所述能量函数的表达式为：

；
其中，为双层数据项，表达式为：；分别是融合的表面模型以及形状先验与深度点云之间的对应点集合，和分别表示经过非刚性运动后的模型或形状先验顶点坐标及其法向，为与之对应的对应点坐标；

为正则项，表达式为：；是结点的相邻结点；

分别为各项权重系数。


4.如权利要求3所述的基于单个RGBD相机的三维人体自画像重建方法，其特征在于，基于融合表面对内部形状先验进行更新，得到和融合表面匹配的形状先验，从而为下一帧跟踪提供更精确的对应点，依此能量函...

【专利技术属性】
技术研发人员：李哲，戴翘楚，于涛，
申请(专利权)人：北京未澜科技有限公司，
类型：发明
国别省市：北京;11