基于服装建模与仿真的视频人体三维重建方法及装置制造方法及图纸

本发明专利技术公开了一种基于服装建模与仿真的视频人体三维重建方法及装置，其中，方法包括：利用摄像机采集人体运动，通过图像提取人体的姿态和体态信息，并提取出人物不同衣物的分割信息，从而对人体和表面衣物进行建模，并根据人体的运动姿态对于表面衣物进行物理模拟和纹理仿真。人体模型重建方法基于人体模板匹配的方法，根据已有的基于单RGB图像估计人体模型的方法进行人体姿态和体型求解；衣物模拟主要利用粒子模拟方法，通过加入外力和内力约束来进行物理模拟并建模。该方法通过物理模拟方法，可以使得人体和衣物的联合运动能够得到比较好的重建，并适用于单RGB采集人体运动的人体和衣物重建。

Method and Device of Video Human 3D Reconstruction Based on Clothing Modeling and Simulation

【技术实现步骤摘要】
基于服装建模与仿真的视频人体三维重建方法及装置
本专利技术涉及计算机视觉
，特别涉及一种基于服装建模与仿真的视频人体三维重建方法及装置。
技术介绍
三维重建在计算机视觉这个领域里，是目前一个科研和工业界都重点关注的技术。经过三维重建得到的模型在影音游戏、建筑学、基础工业等领域都有较高的研究和实用价值。然而，关于人体三维及服装重建方法，由于人体动作和衣物材质较为丰富，因此是三维重建领域的一个较大的难题。现有的人体重建技术大部分是将人体和衣物作为一个完整模型进行重建，因此无法对衣物进行真实的物理仿真和建模。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于服装建模与仿真的视频人体三维重建方法，该方法通过物理模拟方法，可以使得人体和衣物的联合运动能够得到比较好的重建，并可以适用于单RGB采集人体运动的人体和衣物重建。本专利技术的另一个目的在于提出一种基于服装建模与仿真的视频人体三维重建装置。为达到上述目的，本专利技术一方面实施例提出了一种基于服装建模与仿真的视频人体三维重建方法，包括：通过单RGB采集人体运动数据，并对所述人体运动数据进行前背景分割，并通过单RGB估计人体模板的方法多帧联合估计人体姿态和人体体型；根据所述人体体型使用人体模板对人体初始姿态进行建模，并将衣物初始二维布料模拟仿真以缝合并穿到初始姿态的人体身上；根据外力下衣物与人体之间的碰撞信息调整衣物参数，并使得三维模拟下的衣物满足合身条件；将人物姿态过渡变换到视频中第1帧的姿态下，同时对三维的衣物进行联合物理模拟；对视频的当前帧进行不同衣物的分割，并基于参数建模的衣物拟合衣物的分割图使得三维模拟下的衣物与所述视频中当前帧衣物的边缘部分达到吻合条件，并且对于所述视频中k帧关键，通过多帧信息优化求解衣物参数；根据所述衣物参数和所述人体姿态对所述视频里各帧进行人体姿态和衣物联合模拟建模；通过相机投影关系和原视频中的RGB信息，对建模的衣物进行纹理计算和贴图，并通过重光照重新渲染整个运动序列，得到体三维重建结果。本专利技术实施例的基于服装建模与仿真的视频人体三维重建方法，可以利用服装的二维布料参数信息，对衣物进行人物穿戴和运动模拟，并拟合视频里采集的真实图像，从而可以对单RGB视频中的人物和衣物同时进行建模和仿真，进而通过物理模拟方法，可以使得人体和衣物的联合运动能够得到比较好的重建，并可以适用于单RGB采集人体运动的人体和衣物重建。另外，根据本专利技术上述实施例的基于服装建模与仿真的视频人体三维重建方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，其中，每件衣物的分割图为和原始视频分辨率相同大小的二值图像。进一步地，在本专利技术的一个实施例中，参数调整和优化过程中，衣物始终和人体进行联合模拟。进一步地，在本专利技术的一个实施例中，所述通过多帧信息优化求解衣物参数，包括：对二值图像做距离变换操作，求出每个像素点到所述二值图像边界的二范数距离，并构成图像；对构成的所述图像作阈值处理。进一步地，在本专利技术的一个实施例中，优化项为渲染图像和分割图像的偏差：其中，为在参数xi下、第i件衣物的渲染图像，为分割图像；优化参数的计算公式为：其中，Δxi为每个参数的单独变化量。为达到上述目的，本专利技术另一方面实施例提出了一种基于服装建模与仿真的视频人体三维重建装置，包括：采集模块，用于通过单RGB采集人体运动数据，并对所述人体运动数据进行前背景分割，并通过单RGB估计人体模板的方法多帧联合估计人体姿态和人体体型；第一建模模块，用于根据所述人体体型使用人体模板对人体初始姿态进行建模，并将衣物初始二维布料模拟仿真以缝合并穿到初始姿态的人体身上；调整模块，用于根据外力下衣物与人体之间的碰撞信息调整衣物参数，并使得三维模拟下的衣物满足合身条件；变换模块，用于将人物姿态过渡变换到视频中第1帧的姿态下，同时对三维的衣物进行联合物理模拟；求解模块，用于对视频的当前帧进行不同衣物的分割，并基于参数建模的衣物拟合衣物的分割图使得三维模拟下的衣物与所述视频中当前帧衣物的边缘部分达到吻合条件，并且对于所述视频中k帧关键，通过多帧信息优化求解衣物参数；第二建模模块，用于根据所述衣物参数和所述人体姿态对所述视频里各帧进行人体姿态和衣物联合模拟建模；重建模块，用于通过相机投影关系和原视频中的RGB信息，对建模的衣物进行纹理计算和贴图，并通过重光照重新渲染整个运动序列，得到体三维重建结果。本专利技术实施例的基于服装建模与仿真的视频人体三维重建装置，可以利用服装的二维布料参数信息，对衣物进行人物穿戴和运动模拟，并拟合视频里采集的真实图像，从而可以对单RGB视频中的人物和衣物同时进行建模和仿真，进而通过物理模拟方法，可以使得人体和衣物的联合运动能够得到比较好的重建，并可以适用于单RGB采集人体运动的人体和衣物重建。另外，根据本专利技术上述实施例的基于服装建模与仿真的视频人体三维重建装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，其中，每件衣物的分割图为和原始视频分辨率相同大小的二值图像。进一步地，在本专利技术的一个实施例中，参数调整和优化过程中，衣物始终和人体进行联合模拟。进一步地，在本专利技术的一个实施例中，所述求解模块进一步用于对二值图像做距离变换操作，求出每个像素点到所述二值图像边界的二范数距离，并构成图像，并对构成的所述图像作阈值处理。进一步地，在本专利技术的一个实施例中，优化项为渲染图像和分割图像的偏差：其中，为在参数xi下、第i件衣物的渲染图像，为分割图像；优化参数的计算公式为：其中，Δxi为每个参数的单独变化量。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的基于服装建模与仿真的视频人体三维重建方法的流程图；图2为根据本专利技术实施例的基于服装建模与仿真的视频人体三维重建装置的结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的基于服装建模与仿真的视频人体三维重建方法及装置，首先将参照附图描述根据本专利技术实施例提出的基于服装建模与仿真的视频人体三维重建方法。图1是本专利技术一个实施例的基于服装建模与仿真的视频人体三维重建方法的流程图。如图1所示，该基于服装建模与仿真的视频人体三维重建方法包括以下步骤：在步骤S101中，通过单RGB采集人体运动数据，并对人体运动数据进行前背景分割，并通过单RGB估计人体模板的方法多帧联合估计人体姿态和人体体型。可以理解的是，本专利技术实施例可以通过单RGB采集人体运动数据，并对采集数据进行前背景分割，并通过现有的单RGB估计人体模板的方法多帧联合估计人体的姿态和体型。在步骤S102中，根据人体体型使用人体模板对人体初始姿态进行建模，并将衣物初始二维布料模拟仿真以缝合并穿到初始姿态的人体身上。可以理解的是本文档来自技高网...

【技术保护点】
1.一种基于服装建模与仿真的视频人体三维重建方法，其特征在于，包括：通过单RGB采集人体运动数据，并对所述人体运动数据进行前背景分割，并通过单RGB估计人体模板的方法多帧联合估计人体姿态和人体体型；根据所述人体体型使用人体模板对人体初始姿态进行建模，并将衣物初始二维布料模拟仿真以缝合并穿到初始姿态的人体身上；根据外力下衣物与人体之间的碰撞信息调整衣物参数，并使得三维模拟下的衣物满足合身条件；将人物姿态过渡变换到视频中第1帧的姿态下，同时对三维的衣物进行联合物理模拟；对视频的当前帧进行不同衣物的分割，并基于参数建模的衣物拟合衣物的分割图使得三维模拟下的衣物与所述视频中当前帧衣物的边缘部分达到吻合条件，并且对于所述视频中k帧关键，通过多帧信息优化求解衣物参数；根据所述衣物参数和所述人体姿态对所述视频里各帧进行人体姿态和衣物联合模拟建模；以及通过相机投影关系和原视频中的RGB信息，对建模的衣物进行纹理计算和贴图，并通过重光照重新渲染整个运动序列，得到体三维重建结果。

【技术特征摘要】
1.一种基于服装建模与仿真的视频人体三维重建方法，其特征在于，包括：通过单RGB采集人体运动数据，并对所述人体运动数据进行前背景分割，并通过单RGB估计人体模板的方法多帧联合估计人体姿态和人体体型；根据所述人体体型使用人体模板对人体初始姿态进行建模，并将衣物初始二维布料模拟仿真以缝合并穿到初始姿态的人体身上；根据外力下衣物与人体之间的碰撞信息调整衣物参数，并使得三维模拟下的衣物满足合身条件；将人物姿态过渡变换到视频中第1帧的姿态下，同时对三维的衣物进行联合物理模拟；对视频的当前帧进行不同衣物的分割，并基于参数建模的衣物拟合衣物的分割图使得三维模拟下的衣物与所述视频中当前帧衣物的边缘部分达到吻合条件，并且对于所述视频中k帧关键，通过多帧信息优化求解衣物参数；根据所述衣物参数和所述人体姿态对所述视频里各帧进行人体姿态和衣物联合模拟建模；以及通过相机投影关系和原视频中的RGB信息，对建模的衣物进行纹理计算和贴图，并通过重光照重新渲染整个运动序列，得到体三维重建结果。2.根据权利要求1所述的方法，其特征在于，其中，每件衣物的分割图为和原始视频分辨率相同大小的二值图像。3.根据权利要求1所述的方法，其特征在于，参数调整和优化过程中，衣物始终和人体进行联合模拟。4.根据权利要求1所述的方法，其特征在于，所述通过多帧信息优化求解衣物参数，包括：对二值图像做距离变换操作，求出每个像素点到所述二值图像边界的二范数距离，并构成图像；对构成的所述图像作阈值处理。5.根据权利要求4所述的方法，其特征在于，优化项为渲染图像和分割图像的偏差：其中，为在参数xi下、第i件衣物的渲染图像，为分割图像；优化参数的计算公式为：其中，Δxi为每个参数的单独变化量。6.一种基于服装建模与仿真的视频人体三维重建装...

【专利技术属性】
技术研发人员：刘烨斌，苏肇祺，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11