一种大范围实时人体三维重建方法技术

一种大范围实时人体三维重建方法，该方法包括数据采集、运动变形和数据融合三个步骤，所述数据采集，通过多台相机采集场景中的人体图像；所述运动变形，根据下一帧模型的变化对上一帧生成的模型进行变形，直到上一帧生成的模型变形到与下一帧模型相同时停止运动变形；所述数据融合，将变形后的模型关键帧与模型当前帧数据进行融合，得到制作完成的模型，通过模型变化展示动作。本发明专利技术通过多帧数据的累积，大大消除了模型当前帧的噪声，补充了模型当前帧数据的缺陷，提高了每一帧数据的质量并具有良好的连续性。

【技术实现步骤摘要】
一种大范围实时人体三维重建方法
本专利技术涉及三维图像重建
，具体的说是一种大范围实时人体三维重建方法。
技术介绍
在过去的十年中，智能化的通讯和交互技术得到了快速地发展。随着智能手机的普及和广泛应用，使得人们对交互的方式有了更新的认识和更高的要求，人们开始探求如何能让交互方式变得更加真实，虚拟现实技术应运而生。2015年9月，在AltspaceVR的发布会上，Altspace宣布将支持三星GearVR头盔，然而它并没有直播创始人兼CEO恩里克·罗莫的演讲，而是罗莫的虚拟形象与一群记者的虚拟形象在一个虚拟的环境中一起交谈，其中虚拟形象的动作是由罗莫和这群记者动作的映射而来的。同样，2016年10月，在OculusConnect3的开发者大会上，扎克伯格和他的同事带上了OculusRift头盔和OculusTouch手柄在虚拟环境中做了一段VR社交的实际操作演示。这些VR社交的技术都是针对社交对象的位置、方向、基本姿态、表情等的跟踪，并不能让真实的人体对象在虚拟三维场景当中重现。关于人体三维重建，目前主要分为多个RGB-D传感器配准融合的方法和单个RGB-D传感器移动扫描的方法。第一种，比如Cyberware公司研制的两款全身彩色三维扫描仪产品WB4和WBX，通过四个扫描头从头到脚进行三维测量，在几十秒的时间内创建一个准确的三维数据集；第二种，比如微软AlexanderWeiss等人研发的基于红外线的深度传感器Kinect，通过移动单个Kinect传感器扫描人体来获取整个三维人体模型。这两种方法都是可以实现对人体模型的重建，但不能实时重建动态的人体。目前，针对大范围场景如人体及周围环境的三维重建主要以局部扫描并重建、先多次扫描并拼接之后合成重建等过程，因为数据量庞大、处理复杂度高，因此，很难做到实时采集、处理并且在实时的情况下很难保证生成模型的质量。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种大范围实时人体三维重建方法，能够让真实的人体对象在虚拟三维场景中重现，并且能很好地解决在VR社交中看不到真实社交对象的问题，实现实时生成多角度的三维数据后，进行拼接融合，并生成高质量的人体模型。本专利技术为解决上述技术问题采用的技术方案为：一种大范围实时人体三维重建方法，该方法包括如下步骤：步骤一、数据采集：通过多台相机采集场景中的人体图像，并且对采集的人体图像进行如下处理：（1）、通过计算视差获得整个场景各个角度的深度信息，通过深度信息计算出当前帧数据，并在当前帧数据中提取用于变形的关键帧数据，之后采用MarchingCube方法计算当前帧数据和提取的关键帧数据得到当前帧模型和关键帧模型；（2）、生成RGB对应信息，RGB对应信息用于描述相邻两帧RGB图像中的对应点；（3）、计算生成前景部分和背景部分的分割图，用于生成可视壳模型；步骤二、运动变形：根据下一帧当前帧模型的变化对上一帧生成的关键帧模型进行变形，直到上一帧生成的关键帧模型变形到与下一帧当前帧模型的姿态相同时停止运动变形；所述运动变形包括如下步骤：S1、对步骤一得到的关键帧模型的顶点采样得到变形点；S2、对变形点变形参数初始化，得初始化之后的变形参数；S3、采用高斯牛顿法将初始化之后的变形参数通过变形能量函数进行优化；S4、采用优化后的变形参数对关键帧数据进行非刚性对齐和变形；步骤三、数据融合：将步骤二变形后的关键帧数据与当前帧数据进行融合，并采用MarchingCube方法对融合后的数据进行计算，得到制作完成的模型，通过模型变化展示动作。作为一种优选方案，步骤一中的多台相机均为高清红外工业相机。作为一种优选方案，步骤一所述通过深度信息计算出当前帧数据的具体实现步骤如下：T1、将深度信息转化为相对于相机坐标系下的光线尺寸信息，所述光线尺寸信息为相机光心到每个像素所对应的物体表面的距离信息；T2、建立空间距离信号场SDF，将光线尺寸信息投射到SDF中，在每个空间位置产生一个距离误差信息，所述距离误差信息为光线尺寸信息与光心到SDF对应位置的距离之差，之后通过阈值截断不符合要求的距离误差信息，并把保留下来的距离误差信息填充到SDF对应的位置，此时的SDF即为当前帧数据；T3、对步骤T2得到的当前帧数据中第一帧以及之后时序中上一个关键帧数据变形点少于阈值要求的当前帧数据进行记录，将其存储为关键帧数据。作为一种优选方案，步骤S3所述变形能量函数的优化过程包括如下步骤：S31、运动变形模块初始化；S32、计算变形能量误差，所述变形能量误差S33、通过对不同的变形能量误差附以不同的权重生成变形能量函数：其中，为关键帧模型中每个顶点与当前帧模型中每个对应顶点的空间距离误差，为每个变形点中变形矩阵G的正则化误差，为变形点与相邻k个变形点之间的分布平滑度误差，为关键帧模型中每个顶点分布在可视壳外部所产等的误差，为rgb图像中前一帧和当前帧模型对应点投射到空间所产生的距离误差。作为一种优选方案，步骤一所述可视壳模型的生成方法为计算相机坐标系下的光线轨迹，筛选掉分割图中属于背景部分的光线所经过的空间区域，获得空间中属于前景部分的空间区域，得可视壳模型。作为一种优选方案，本方法所述计算均采用GPU并行计算。与现有技术相比，本专利技术具有以下有益效果：（1）本专利技术提供了一种大范围实时人体三维重建方法，为了获得更高精度的三维数据，通过多台高清红外工业相机同时采集，再通过两两相机间标定相机参数计算视差获得整个场景各个角度的深度信息，这种方法获得的三维数据具有数据量大、精度高等优点，对后续重建出的模型质量具有很大的提升效果，且每台相机的像素数为400万，采用八组相机每组生成400万个深度数据，拼接合成后生成三维数据的数据量为200万，通过实际测量，每个三维数据的精度可以达到2毫米以内；（2）本专利技术提供了一种大范围实时人体三维重建方法，有别于现有技术手段直接通过三维数据合成三维模型，制作出的模型含有大量噪声，实时生成的模型间没有关联，模型连续性差；本专利技术通过下一帧模型的变化对上一帧生成的模型进行变形，直到上一帧生成的模型变形到与下一帧模型相同时停止运动变形，之后将变形后的数据与当前帧数据进行融合，通过多帧数据的融合，大大消除了当前帧模型的噪声，补充了当前帧模型的缺陷，提高了每一帧数据的质量并具有良好的连续性；（3）本专利技术提供了一种大范围实时人体三维重建方法，运动变形的计算过程中采用GPU并行计算进行加速，使得运动变形中的计算满足每秒生成30帧数据实时性要求。附图说明图1为本专利技术流程图；图2为本专利技术步骤一生成的RGB对应图；图3为本专利技术步骤一深度信息示意图；图4为本专利技术步骤一生成的分割图；图5为本专利技术步骤S2对关键帧模型采样得到的变形点示意图；图6为本专利技术步骤二变形后的关键帧模型示意图。具体实施方式下面结合具体实施例对本专利技术作详细说明，本实施例以本专利技术技术方案为前提，给出了详细的实施方式和具体的操作过程。如图1所示，一种大范围实时人体三维重建方法，该方法包括如下步骤：步骤一、数据采集：通过多台相机采集场景中的人体图像，作为优选的，不同于现有技术中直接采用RGBD相机的技术手段，为了获得更高精度的三维数据，本专利技术采用的多台相机均为400万像素高清红外工业相机，且采用八组相机每组本文档来自技高网...

【技术保护点】
一种大范围实时人体三维重建方法，其特征在于：该方法包括如下步骤：步骤一、数据采集：通过多台相机采集场景中的人体图像，并且对采集的人体图像进行如下处理：（1）、通过计算视差获得整个场景各个角度的深度信息，通过深度信息计算出当前帧数据，并在当前帧数据中提取用于变形的关键帧数据，之后采用Marching Cube方法计算当前帧数据和提取的关键帧数据得到当前帧模型和关键帧模型；（2）、生成RGB对应信息，RGB对应信息用于描述相邻两帧RGB图像中的对应点；（3）、计算生成前景部分和背景部分的分割图，用于生成可视壳模型；步骤二、运动变形：根据下一帧当前帧模型的变化对上一帧生成的关键帧模型进行变形，直到上一帧生成的关键帧模型变形到与下一帧当前帧模型的姿态相同时停止运动变形；所述运动变形包括如下步骤：S1、对步骤一得到的关键帧模型的顶点采样得到变形点；S2、对变形点变形参数初始化，得初始化之后的变形参数；S3、采用高斯牛顿法将初始化之后的变形参数通过变形能量函数进行优化；S4、采用优化后的变形参数对关键帧数据进行非刚性对齐和变形；步骤三、数据融合：将步骤二变形后的关键帧数据与模型当前帧数据进行融合，并采用Marching Cube方法对融合后的数据进行计算，得到制作完成的模型，通过模型变化展示动作。...

【技术特征摘要】
1.一种大范围实时人体三维重建方法，其特征在于：该方法包括如下步骤：步骤一、数据采集：通过多台相机采集场景中的人体图像，并且对采集的人体图像进行如下处理：（1）、通过计算视差获得整个场景各个角度的深度信息，通过深度信息计算出当前帧数据，并在当前帧数据中提取用于变形的关键帧数据，之后采用MarchingCube方法计算当前帧数据和提取的关键帧数据得到当前帧模型和关键帧模型；（2）、生成RGB对应信息，RGB对应信息用于描述相邻两帧RGB图像中的对应点；（3）、计算生成前景部分和背景部分的分割图，用于生成可视壳模型；步骤二、运动变形：根据下一帧当前帧模型的变化对上一帧生成的关键帧模型进行变形，直到上一帧生成的关键帧模型变形到与下一帧当前帧模型的姿态相同时停止运动变形；所述运动变形包括如下步骤：S1、对步骤一得到的关键帧模型的顶点采样得到变形点；S2、对变形点变形参数初始化，得初始化之后的变形参数；S3、采用高斯牛顿法将初始化之后的变形参数通过变形能量函数进行优化；S4、采用优化后的变形参数对关键帧数据进行非刚性对齐和变形；步骤三、数据融合：将步骤二变形后的关键帧数据与模型当前帧数据进行融合，并采用MarchingCube方法对融合后的数据进行计算，得到制作完成的模型，通过模型变化展示动作。2.如权利要求1所述的一种大范围实时人体三维重建方法，其特征在于：步骤一中的多台相机均为高清红外工业相机。3.如权利要求1所述的一种大范围实时人体三维重建方法，其特征在于：步骤一所述通过深度信息计算出当前帧数据的具体实现步骤如下：T1、将深度信息转化为相对...

【专利技术属性】
技术研发人员：向宇，
申请(专利权)人：洛阳中科众创空间科技有限公司，
类型：发明
国别省市：河南,41