一种基于分段三维重建的人体参数测量系统及方法技术方案

本发明专利技术涉及一种基于分段三维重建的人体参数测量系统及方法。该系统包括水平电动转台、深度传感器和笔记本电脑。该方法的操作步骤为：（1）采集深度图像，（2）分段重建三维模型，（3）模型可视化，（4）消除折痕，（5）数据测量与计算。本发明专利技术通过构建人体的三维模型，将人体体积及不同部位周长的测量转化成体素进行计算处理。该方法操作简便，计算结果精确，可以较好解决目前人工手动接触测量人体参数存在的繁杂和测量偏差较大的问题，节省了测量人员的时间，同时避免了由于结果不准确而进行的反复测量。本发明专利技术拥有直观漂亮的界面，给相关检测部门提供了很大便利。

【技术实现步骤摘要】
一种基于分段三维重建的人体参数测量系统及方法
本专利技术涉及一种对以人体为代表的物体分段三维重建及测量的方法，具体涉及一种基于分段重建的人体参数测量系统及方法，通过Kinect对人体进行分段扫描，分若干线程完成图像配准和融合，推荐分为三段，然后拟合多段数据消除边界折痕，建立保留细节、无空洞的三维模型。并扩展了利用体元计算模型体积的功能，以及结合人体骨骼测量身高、臂长、围长等数据的功能。搭建了以深度传感器和笔记本电脑交互界面组成的系统。
技术介绍
在计算机视觉和计算机图形学中，三维重构技术是通过二维图像来获取三维空间中真实物体的形状和外观的过程，这个过程可以通过主动或者被动的方法来完成。Kinect系列相机通过主动对物体发射结构光再接受反射可以获得物体的深度图像，本专利技术使用的是Kinectv2相机。相机还能够直接返回包括人体骨骼在内的数据，已经被应用在包括虚拟试衣，三维重建，机器人视觉等众多方面。KinectFusion算法的主要工作是根据深度相机采集到的截断有向距离函数(TSDF)，通过迭代最近点(ICP)的办法完成三维模型和多帧数据之间的配准，在静态场景中能够获得比较高的重建效果。然而传统基于KinectFusion算法的重建设备主要针对静态场景的三维重构，理论上只能允许物体在场景中平稳、匀速旋转而不丢失跟踪，满足重建要求。但是在特定的应用场景下，例如对人体进行重建，人在相机前旋转的过程中很难不丢失跟踪，获得的物体模型质量比较差。此外，算法中相机位姿的估计对于场景中物体的几何特征比较依赖，相机跟踪难度也会增加。
技术实现思路
本专利技术的目的在于针对已有技术存在的不足，提出一种基于分段三维重建的人体参数测量系统及方法。该系统能够不丢失跟踪，获得完整的人体三维模型，并测量人体身高、臂长、围长、体积等数据。在被测者自主旋转情况下，由于腿部和头部为非刚体运动，测量的是人体躯干部分的数据。配合转台，可进行全身的测量。整体框架见图1。为达到上述目的，本专利技术的构思是：1.深度图像采集，测试对象在Kinectv2相机前原地旋转360°，由相机扫描并采集深度图像和人体骨骼数据，建立合适的工作空间。2.分段重建三维模型，采用KinectFusion算法将采集到的图像数据拆分为n个线程并行进行基于体素数据的三维模型重建，推荐为3个线程。3.融合多视角下的数据。由于每个部分的最后一个视点估计是不值得信赖的，所以在模型上会产生粗糙的折叠曲面，需要处理消除模型的边界折痕。4、根据Kinect获得的人体骨骼数据，计算人体的身高、臂长、肩宽等参数。5、根据骨骼数据，截取胸部、腰部、臀部相应高度的二维TSDF图，筛选轮廓点，计算围长。遍历场景中的体元，根据每个体元中八个体素的TSDF值计算该体元中物体所占的体积，累加获得所有的体元中物体所占的体积，即三维模型的体积。一种分段三维重建和人体测量的系统，根据上述专利技术构思，本专利技术采用下述技术方案：包括笔记本电脑、深度传感器Kinectv2、水平转台(可选),结构如图2所示。在笔记本电脑上搭建了如图11的用户交互界面，右下角有两个按钮。点击“capture”按钮，用户根据提示在Kinectv2相机前原地旋转360°，在20秒内获得被测者的300幅深度图像。Kinectv2通过数据传输线连接到笔记本电脑中。单击交互界面“calculate”按钮，笔记本电脑进行基于KinectFusion的算法进行三个线程并行的三维重建，然后依赖相机捕捉到的人体骨骼信息，测量身高、臂长、肩宽等身体数据。同时根据体素网格，统计出有效的实体元体积和边界体元中属于物体的体积，以测量模型的体积，即人体体积。一种分段三维重建和测量人体体积的办法，采用上述的测量系统进行操作，其特征和具体操作步骤如下：根据上述专利技术构思，本专利技术采用下述技术方案：一种基于分段三维重建的测量人体数据系统和方法，包括水平电动转台(1)、深度传感器(2)和笔记本电脑(3)，其特征在于：所述深度传感器(2)安置在水平电动转台(1)附近，使其能对竖立于水平电动台(1)上的待测人体(4)进行扫描，而其输出连接至电脑(3)。根据深度传感器(2)获得的人体骨骼数据测量身高、臂长，确定周长测量的切割高度，计算人体周长，根据体素网格，统计出有效的实体元和边界体元中属于物体的体积，以测量模型的体积，即人体体积。所述深度传感器(2)采用相机Kinectv2，所述电脑(3)采用笔记本电脑。一种基于分段三维重建的测量人体数据系统和方法，采用上述的系统进行操作，其特征在于操作步骤如下：①深度图像采集：将Kinect相机和笔记本电脑连接好，被测者站在距离相机1.2～1.5米左右处，保证相机可以完整拍摄到需要重建的部分。进入捕捉过程，根据界面提示，在20秒的时间内匀速、平稳旋转一周。在此期间，Kinectv2匀速对被测人体进行拍摄，每秒采集15帧深度图像及彩色图像，共采集300幅图像分辨率为512×424的深度图像，同时相机可以获取人体的骨骼数据，通过数据传输线连接到笔记本电脑中。②分段重建三维模型：获取的人体图像数据传输到笔记本电脑后，在笔记本电脑中采用KinectFusion算法对每一线程独立进行frame-to-model的三维重建。该算法主要包括四部分：双边滤波、迭代最近点(ICP)、截断有向距离函数(TSDF)、场景渲染(Ray-cast)。分段模型将在后续步骤中融合。③模型可视化：重建的3D模型是3D点云的形式，工作空间内的每一个点包含了RGB值和深度信息，视觉上不够直观。为了使最终的三维数据能够形象地展示在用户眼前，本设计中加入了曲面拟合步骤，采用的是移动立方体(MarchingCubes)算法。主要是根据体元中各体素的虚实情况寻找近似的小三角形拟合物体分界面，得到直观、形象的3D模型。④消除折痕：每个线程都可以得到一个3D模型，故可以获得如图6的三个不同角度的模型，需要拟合为一个完整的模型。由于每个模型最后的单个视点可靠性很差，拟合后的模型拼接处存在粗糙折痕，如图9。本设计通过优化前一阶段的最后一个视点的位姿(同时是后一个阶段的参考视点)来消除模型的折痕现象。算法中我们从该视点出发利用光线追踪算法(ray-tracing)向场景中投射光线，根据两个阶段融合的SDF模型分别拟合出两幅点云。然后，通过迭代最近点算法(ICP)配准两幅点云，从而非线性优化该视点的位姿，获得无折痕的最终模型，如图8。⑤数据测量与计算：身高、臂长等数据通过Kinect相机获得的骨骼数据可测。围长和体积数据通过建立的三维模型体素获得。围长是对应高度处轮廓点的欧式距离之和。体积的计算是遍历所有的体元，在遍历过程中累加模型内部体元的体积和在模型表面体元中属于模型部分的体积，得到模型的总体积，即可得到被测人体的体积。所述步骤(1)中采集的人体骨骼数据用于建立合适的工作空间。工作空间是由许多未切割的体素网格组成的长方体，理想的工作空间应包裹待重建的部分，并保留适当的冗余。本设计的设置如下：假设人体在第一帧时正面面对Kinect相机，设置X方向为两侧肩膀的走向，工作空间为左肩膀左侧10cm处至右肩膀右侧10cm处；Y方向为人体直立的方向，躯干测量中，工作空间取脖子到腿部的部分，不设置冗余量；Z方向本文档来自技高网...

【技术保护点】
一种基于分段三维重建并测量人体数据系统，包括水平电动转台（1）、深度传感器Kinect v2（2）和电脑（3），其特征在于：所述深度传感器（2）安置在水平电动转台（1）附近，使其能对竖立于水平电动转台（1）上的待测人体（4）进行扫描，而其输出连接至电脑（3），根据深度传感器（2）相机获得的人体骨骼数据测量身高、臂长，确定围长测量的切割高度，计算人体围长，根据体素网格，统计出有效的实体元体积和边界体元中属于物体的体积，以测量模型的体积，即人体体积。

【技术特征摘要】
1.一种基于分段三维重建并测量人体数据系统，包括水平电动转台（1）、深度传感器Kinectv2（2）和电脑（3），其特征在于：所述深度传感器（2）安置在水平电动转台（1）附近，使其能对竖立于水平电动转台（1）上的待测人体（4）进行扫描，而其输出连接至电脑（3），根据深度传感器（2）相机获得的人体骨骼数据测量身高、臂长，确定围长测量的切割高度，计算人体围长，根据体素网格，统计出有效的实体元体积和边界体元中属于物体的体积，以测量模型的体积，即人体体积。2.根据权利要求1所述的基于分段三维重建的测量人体数据系统其特征在于：所述深度传感器（2）采用相机Kinectv2，所述电脑（3）采用笔记本电脑。3.一种基于分段三维重建的测量人体数据方法，采用根据权利要求1所述的基于三维重建的人体测量系统进行操作，其特征在于具体操作步骤如下：深度图像采集：用Kinectv2对待测人体（4）进行360°扫描，采集其深度图像和骨骼数据，分若干线程处理；分段重建三维模型：通过KinectFusion算法对每一线程独立进行frame-to-model的三维重建；模型可视化：采用的是移动立方体MarchingCubes算法进行曲面拟合，获得形象直观的三维模型；消除折痕：优化前一阶段的最后一个视点的位姿——同时是后一个阶段的参考视点，消除三维模型的折痕现象；数据测量与计算：通过相机Kinectv2获得的骨骼数据测量身高和臂长，在胸部、腰部、臀部相应高度的体素网格中以体元为单位筛选轮廓点，计算围长，遍历体元，累加全部有效体积値，计算获得模型体积，即人体体积。4.根据权利要求3所述的基于分段三维重建的人体数据量方法，其特征在于所述步骤分段重建三维模型中使用KinectFusion算法框架进行三维重建得到带有有向距离函数的体素网格。5.根据权利要求3所述的基于分段三维重建的测量人体数据方法，其特征在于所述步骤分段重建三...

【专利技术属性】
技术研发人员：张之江，何沁祝，刘东生，费点，杨科，季毅君，曾丹，沈为，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31