基于单手机的人体三维建模数据采集与重建方法及系统技术方案

本发明专利技术公开了一种基于单手机的人体三维建模数据采集与重建方法及系统，本发明专利技术在数据采集方面可仅使用单个智能手机，利用增强现实技术引导用户采集对重建算法而言高质量的视频数据输入，以确保后续的人体重建算法能够稳健地得到高质量三维人体模型。在重建算法方面，本发明专利技术设计了可变形隐式神经辐射场。隐式空间变形场估计模型的使用解决了单手机采集数据过程中被摄存在微小运动的问题；使用隐式带符号距离场来表示人体几何，表达能力丰富，提高了三维人体模型重建的精度。综合数据采集和重建算法，本发明专利技术实现了可靠的基于单手机的人体高质量三维建模数据采集与重建。人体高质量三维建模数据采集与重建。人体高质量三维建模数据采集与重建。

【技术实现步骤摘要】
基于单手机的人体三维建模数据采集与重建方法及系统


[0001]本专利技术属于计算机视觉领域，尤其涉及一种基于单手机的人体三维建模数据采集与重建方法及系统。

技术介绍

[0002]人体重建是虚拟现实与增强现实内容创作、影视创作和虚拟穿衣等交互沉浸式应用的基础。高质量的人体重建是虚拟现实与增强现实中数字人相关的众多应用场景的前提。目前的人体采集与重建方案主要分为两种：借助专业多相机采集系统对人体进行扫描来采集数据，此种采集系统非常昂贵且占地面积大，限制了高精度人体重建的大规模使用和商业化。另一类方法使用单个便携设备例如智能手机代替专业设备进行图像采集，使用基于多视图立体重建方法进行人体重建。这一类方法对于人体纹理稀疏部分的处理能力弱，且无法建模人体在采集过程中的微小动作，容易导致重建结果完整度低，完全无法满足高精度人体重建的要求。

技术实现思路

[0003]本专利技术的目的是提供一种基于单手机的人体三维建模数据采集与重建方法及系统，以解决上述传统静止人体模型重建方案中所存在的问题。
[0004]本专利技术的目的是通过以下技术方案实现的：根据本专利技术的第一方面，提供一种基于单手机的人体三维建模数据采集与重建方法，包括以下步骤：S1，基于增强现实技术的数据采集，包括：S1.1，被摄站立于场景中，用户通过手机环绕被摄一周，根据多视角下拍摄到的被摄的体型和姿态拟合人体参数化模板网格，并利用增强现实技术将所述人体参数化模板网格渲染在被摄所站立的场景位置，近似达到人体参数化模板网格与被摄重合的视觉效果；S1.2，利用拟合得到的人体参数化模板网格指引用户数据采集过程，数据采集过程中，判断所述人体参数化模板网格上单个面片在当前视角下的观测是否有效，当单个面片被足够数量的视角有效观测到时，更改此面片的颜色标记，指示用户此面片位置已采集完成，用户将视角移动到还未足够观测的人体参数化模板网格部分；S2，基于可变形隐式神经辐射场的三维人体模型重建，包括：S2.1，将S1.2采集的视频抽帧为一系列环绕人体拍摄的图像序列，根据图像间特征点的匹配关系，估计出拍摄图像所对应的相机位姿和相机内参；S2.2，使用可变形隐式神经辐射场对人体进行三维建模，利用体渲染的方式对隐式空间变形场估计模型、隐式带符号距离场估计模型和隐式颜色估计模型进行优化，得到三维人体模型。
[0005]进一步地，步骤S1.1中，要求被摄处于场景中心站立，保持一展开人体表面的利于重建的姿态不动，用户通过手机环绕被摄一周。
[0006]进一步地，步骤S1.1具体为：运行定位与建图算法，实时得到数据采集时的相机位姿；运行人体关键点检测算法，实时得到所摄图像上的人体关键点位置；根据得到的相机位姿和人体关键点位置，拟合人体参数化模板网格至被摄位置，达到视觉上人体参数化模板网格与被摄重合的视觉效果，用户将根据人体参数化模板网格的指引完成数据采集。
[0007]进一步地，步骤S1.2中，判断单个面片在当前视角下的观测是否有效包括：基于对相机的实时定位结果，计算相机光心与面片中心点的距离，若此距离小于设定距离阈值，则认为当前视角下此面片符合有效观测的距离标准；基于对相机的实时定位结果，计算相机光心与面片中心点的连线，若此连线与面片法向量的夹角小于设定视线角度阈值，则认为当前视角下此面片符合有效观测的视线角度标准。
[0008]进一步地，步骤S1.2中，若面片在某一视角的观测下，同时满足有效观测的距离标准和视线角度标准，则此面片的有效观测计数加一，若面片的有效观测计数达到设定数量阈值，则认为此面片已经有足够数量的观测，更改此面片的颜色标记，指示用户此面片位置已采集完成，移动相机向还未足够观测的区域采集，当人体参数化模板网格上的全部面片变色后，数据采集过程完成。
[0009]进一步地，步骤S2.1具体为：通过运动恢复结构方法对图像序列进行稀疏重建，运动恢复结构方法的输入是围绕人体使用手机拍摄的一系列图像帧，输出是这些图像对应的相机位姿和相机内参以及根据这些图像重建得到的稀疏点云。
[0010]进一步地，步骤S2.2具体为：利用神经网络建立基准空间中表达基准形状的隐式带符号距离场估计模型；利用神经网络建立基准空间中从特定方向观测三维点的颜色的隐式颜色估计模型；利用神经网络建立从每一个图像帧对应的观测帧坐标系到基准空间的隐式空间变形场估计模型；基于S2.1得到的图像对应的相机位姿和相机内参，在输入图像集合上利用体渲染的方式对隐式空间变形场估计模型、隐式带符号距离场估计模型和隐式颜色估计模型进行优化，得到隐式三维人体模型；通过等值面提取方法对可变形隐式神经辐射场的隐式带符号距离场进行后处理，得到显式三维人体模型。
[0011]进一步地，步骤S2.2中，所述隐式空间变形场估计模型的输入为观测帧坐标系下的三维点坐标，输出为基准坐标系下的三维点坐标；所述隐式带符号距离场估计模型的输入为基准空间中三维点坐标，输出为三维点的带符号距离和几何特征，表征此三维点到人体表面的距离；所述隐式颜色估计模型的输入为隐式带符号距离场估计模型输出的三维点的几何特征以及表征视线的向量，输出为模型估计的沿特定视线方向每个采样点的颜色；根据每个采样点的带符号距离计算得到采样点密度，根据采样点密度和颜色通过
体渲染技术得到渲染结果。
[0012]进一步地，步骤S2.2中，根据图像真实度损失函数和带符号距离场正则化损失函数，反向传播更新每一个观测帧的形变编码和隐式空间变形场估计模型、隐式带符号距离场估计模型、隐式颜色估计模型。
[0013]根据本专利技术的第二方面，提供一种基于单手机的人体三维建模数据采集与重建系统，该系统包括数据采集模块和重建模块；数据采集模块：通过增强现实技术在采集场景中虚拟放置人体参数化模板网格，用户跟随所述人体参数化模板网格上的视觉指引采集视频数据，并从视频数据抽取图像帧后送入重建模块；重建模块：估计所有图像帧所对应的相机位姿和相机内参，使用可变形隐式神经辐射场对人体进行三维建模，利用体渲染的方式对隐式空间变形场估计模型、隐式带符号距离场估计模型和隐式颜色估计模型进行优化，得到三维人体模型。
[0014]本专利技术的有益效果是：1）本专利技术在数据采集方面可仅使用单个智能手机，利用增强现实技术引导用户采集对重建算法而言高质量的视频数据输入，以确保后续的人体重建算法能够稳健地得到高质量三维人体模型。
[0015]2）在重建算法方面，本专利技术设计了可变形隐式神经辐射场。隐式空间变形场估计模型的使用解决了单手机采集数据过程中被摄存在微小运动的问题；使用隐式带符号距离场来表示人体几何，表达能力丰富，提高了三维人体模型重建的精度。
[0016]综合数据采集和重建算法，本专利技术实现了可靠的基于单手机的人体高质量三维建模数据采集与重建。
附图说明
[0017]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单手机的人体三维建模数据采集与重建方法，其特征在于，包括以下步骤：S1，基于增强现实技术的数据采集，包括：S1.1，被摄站立于场景中，用户通过手机环绕被摄一周，根据多视角下拍摄到的被摄的体型和姿态拟合人体参数化模板网格，并利用增强现实技术将所述人体参数化模板网格渲染在被摄所站立的场景位置，近似达到人体参数化模板网格与被摄重合的视觉效果；S1.2，利用拟合得到的人体参数化模板网格指引用户数据采集过程，数据采集过程中，判断所述人体参数化模板网格上单个面片在当前视角下的观测是否有效，当单个面片被足够数量的视角有效观测到时，更改此面片的颜色标记，指示用户此面片位置已采集完成，用户将视角移动到还未足够观测的人体参数化模板网格部分；S2，基于可变形隐式神经辐射场的三维人体模型重建，包括：S2.1，将S1.2采集的视频抽帧为一系列环绕人体拍摄的图像序列，根据图像间特征点的匹配关系，估计出拍摄图像所对应的相机位姿和相机内参；S2.2，使用可变形隐式神经辐射场对人体进行三维建模，利用体渲染的方式对隐式空间变形场估计模型、隐式带符号距离场估计模型和隐式颜色估计模型进行优化，得到三维人体模型。2.根据权利要求1所述的基于单手机的人体三维建模数据采集与重建方法，其特征在于，步骤S1.1中，要求被摄处于场景中心站立，保持一展开人体表面的利于重建的姿态不动，用户通过手机环绕被摄一周。3.根据权利要求1所述的基于单手机的人体三维建模数据采集与重建方法，其特征在于，步骤S1.1具体为：运行定位与建图算法，实时得到数据采集时的相机位姿；运行人体关键点检测算法，实时得到所摄图像上的人体关键点位置；根据得到的相机位姿和人体关键点位置，拟合人体参数化模板网格至被摄位置，达到视觉上人体参数化模板网格与被摄重合的视觉效果，用户将根据人体参数化模板网格的指引完成数据采集。4.根据权利要求1所述的基于单手机的人体三维建模数据采集与重建方法，其特征在于，步骤S1.2中，判断单个面片在当前视角下的观测是否有效包括：基于对相机的实时定位结果，计算相机光心与面片中心点的距离，若此距离小于设定距离阈值，则认为当前视角下此面片符合有效观测的距离标准；基于对相机的实时定位结果，计算相机光心与面片中心点的连线，若此连线与面片法向量的夹角小于设定视线角度阈值，则认为当前视角下此面片符合有效观测的视线角度标准。5.根据权利要求4所述的基于单手机的人体三维建模数据采集与重建方法，其特征在于，步骤S1.2中，若面片在某一视角的观测下，同时满足有效观测的距离标准和视线角度标准，则此面片的有效观测计数加一，若面片的有效观测计数达到设定数量阈值，则认为此面片已经有足够数量的观测，更改此面片的颜色...

【专利技术属性】
技术研发人员：鲍虎军，孙佳明，罗运升，余致远，赵洪城，周晓巍，
申请(专利权)人：杭州像衍科技有限公司，
类型：发明
国别省市：