一种人脸重建方法及系统技术方案

本申请实施例公开了一种人脸重建方法及系统，基于执行该人脸重建方法，响应于人脸重建请求，获取待重建对象对应的多张深度图，并将待重建对象对应的深度图转换为点云数据，而后对点云数据进行点云配准和点云融合处理得到全景点云数据，并根据该全景点云数据再进行人脸重建，其中，实时采集待重建对象的深度图转换为点云数据进行处理，实现了人脸的等比例处理，基于对点云数据进行点云配准和点云融合处理克服了不同视角的点云因结构不同导致难以配准的问题，并且保留非重叠区域的点云，消除了不同角度相机标识对应的点云数据融合时的叠层现象，使点云整体更平整光滑，如此，实现了人脸重建的实时采集、处理、等比例重建，提高了人脸重建的精细度。了人脸重建的精细度。了人脸重建的精细度。

【技术实现步骤摘要】
一种人脸重建方法及系统


[0001]本申请涉及计算机视觉处理
，更具体的说，涉及一种人脸重建方法及系统。

技术介绍

[0002]人脸重建在影视、游戏、动画、AR和VR等领域具有重要应用，目前人脸重建有以下几种方法：基于模型的人脸重建和基于深度学习的端到端人脸重建。其中，基于模型的人脸重建如三维人脸标准模型CANDIDE和三维人脸统计模型3DMM，则需要构建一个人脸数据库，重建出来的人脸往往与数据库中包含的人脸比较像，难以做到真正的等比例精细重建。基于深度学习的端到端的人脸重建一般采用深度学习算法重建，如回归模型3DMM CNN、3D密集脸部对齐算法3DDFA和人脸对齐算法PRNet等，然而重建出来的人脸也存在着与训练数据比较像，难以做到真正的等比例精细重建的问题。可见，现有方案中采用的基于模型的人脸重建和基于深度学习的端到端人脸重建方法存在重建结果与训练数据比较像，重建的人脸精细度低的问题。

技术实现思路

[0003]本申请的目的是提供了一种人脸重建方法及系统，基于执行该人脸重建方法，人脸重建能够基于待重建对象实时采集、处理、等比例重建，提高了人脸重建的精细度。
[0004]为实现上述目的，本申请提供了一种人脸重建方法，所述方法包括：
[0005]响应于人脸重建请求，获取待重建对象对应的多张深度图；其中，所述多张深度图通过预设数量的相机获取，所述多张深度图中每张深度图均包括相机标识；
[0006]对所述多张深度图进行分类，确定目标深度图集合；所述目标深度图集合中包括预设数量的目标深度图，且所述目标深度图集合中每个目标深度图对应的相机标识不同；
[0007]获取预设相机参数，并根据所述预设相机参数和所述目标深度图集合生成目标点云数据集合；
[0008]对所述目标点云数据集合中包括的多个点云数据进行点云配准和点云融合处理，得到所述待重建对象的全景点云数据；
[0009]基于预设算法对所述待重建对象的全景点云数据进行处理，得到所述待重建对象对应的重建人脸网格数据。
[0010]可选地，所述多张深度图中每张深度图还包括时间戳；所述对所述多张深度图进行分类，确定目标深度图集合，包括：
[0011]根据所述每张深度图的时间戳和相机标识，对所述多张深度图进行分类，确定目标深度图集合。
[0012]可选地，所述根据所述每张深度图的时间戳和相机标识，对所述多张深度图进行分类，确定目标深度图集合，包括：
[0013]根据所述相机标识，对所述多张深度图进行分类，确定多个初始深度图集合；所述
多个初始深度图集合中每个初始深度图集合与所述相机标识相对应；
[0014]获取第一初始深度图集合中第一深度图对应的第一时间戳；所述第一初始深度图集合为所述多个初始深度图集合中任意一个初始深度图集合；所述第一深度图为所述第一初始深度图集合包括的多个深度图中任意一个深度图；
[0015]根据所述第一时间戳及预设时间段，从所述多个初始深度图集合中确定目标深度图集合。
[0016]可选地，所述预设相机参数包括相机标识对应的相机内参和所述相机标识对应的相机外参，所述获取预设相机参数，并根据所述预设相机参数和所述目标深度图集合生成目标点云数据集合，包括：
[0017]获取基准相机标识对应的基准相机内参以及每个相机标识对应的相机内参；所述基准相机标识为预设基准相机对应的标识；
[0018]根据所述基准相机内参以及每个相机标识对应的相机内参，对所述目标深度图集合包括的多个目标深度图进行转换，生成目标点云数据集合；所述目标点云数据集合中包括的每个点云数据与相机标识相对应。
[0019]可选地，所述对所述目标点云数据集合中包括的多个点云数据进行点云配准和点云融合处理，得到所述待重建对象的全景点云数据，包括：
[0020]根据每个相机标识对应的相机外参，对所述目标点云数据集合中包括的多个点云数据进行点云粗配准，得到粗配准目标点云数据集合；
[0021]对所述粗配准目标点云数据集合中包括的多个粗配准点云数据进行点云细配准和点云融合处理，得到所述待重建对象的全景点云数据。
[0022]可选地，所述根据每个相机标识对应的相机外参，对所述目标点云数据集合中包括的多个点云数据进行点云粗配准，得到粗配准目标点云数据集合，包括：
[0023]获取基准相机标识对应的基准相机外参以及每个相机标识对应的相机外参；所述基准相机标识为预设基准相机对应的标识；
[0024]根据所述基准相机外参和所述每个相机标识对应的相机外参，分别确定所述基准相机标识与所述每个相机标识之间对应的旋转矩阵和偏移矩阵；
[0025]根据所述基准相机标识与所述每个相机标识之间对应的旋转矩阵和偏移矩阵，分别对所述目标点云数据集合包括的多个点云数据进行转换，得到所述粗配准目标点云数据集合；所述粗配准目标点云数据集合包括所述预设数量的粗配准点云数据。
[0026]可选地，所述对所述粗配准目标点云数据集合中包括的多个粗配准点云数据进行点云细配准和点云融合处理，得到所述待重建对象的全景点云数据，包括：
[0027]获取所述粗配准目标点云数据集合中基准点云数据和第一点云数据，其中，所述基准点云数据和所述第一点云数据为所述粗配准目标点云数据集合中相邻的两个粗配准点云数据，所述基准点云数据为所述基准相机标识对应的点云数据；
[0028]根据所述基准点云数据和所述第一点云数据确定第一转换矩阵；
[0029]根据所述转换矩阵对所述第一点云数据进行细配准，得到细配准后的第一点云数据；
[0030]对所述基准点云数据和所述细配准后的第一点云数据进行点云融合处理，得到更新后的基准点云数据；
[0031]根据所述更新后的基准点云数据和所述粗配准目标点云数据集合中剩余粗配准点云数据，生成临时融合点云数据集合；所述剩余粗配准点云数据为所述粗配准目标点云数据集合中未经过细配准和点云融合处理的粗配准点云数据；
[0032]依次对所述更新后的基准点云数据和所述临时融合点云数据集合包括的临时融合点云数据进行点云细配准和点云融合处理，当所述临时融合点云数据集合包括的临时融合点云数据为1时，得到所述待重建对象的全景点云数据。
[0033]可选地，所述基于预设算法对所述待重建对象的全景点云数据进行处理，得到所述待重建对象对应的重建人脸网格数据，包括：
[0034]基于泊松重建算法对所述待重建对象的全景点云数据进行处理，得到所述待重建对象对应的重建人脸网格数据。
[0035]可选地，所述预设数量为12。
[0036]本申请还提供了一种人脸重建系统，所述系统包括：
[0037]采集模块，用于响应于人脸重建请求，获取待重建对象对应的多张深度图；其中，所述多张深度图通过预设数量的相机获取，所述多张深度图中每张深度图均包括相机标识；
[0038]帧同步模块，用于对所述多张深度图进行分类，确定目标深度图集合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸重建方法，其特征在于，所述方法包括：响应于人脸重建请求，获取待重建对象对应的多张深度图；其中，所述多张深度图通过预设数量的相机获取，所述多张深度图中每张深度图均包括相机标识；对所述多张深度图进行分类，确定目标深度图集合；所述目标深度图集合中包括预设数量的目标深度图，且所述目标深度图集合中每个目标深度图对应的相机标识不同；获取预设相机参数，并根据所述预设相机参数和所述目标深度图集合生成目标点云数据集合；对所述目标点云数据集合中包括的多个点云数据进行点云配准和点云融合处理，得到所述待重建对象的全景点云数据；基于预设算法对所述待重建对象的全景点云数据进行处理，得到所述待重建对象对应的重建人脸网格数据。2.根据权利要求1所述方法，其特征在于，所述多张深度图中每张深度图还包括时间戳；所述对所述多张深度图进行分类，确定目标深度图集合，包括：根据所述每张深度图的时间戳和相机标识，对所述多张深度图进行分类，确定目标深度图集合。3.根据权利要求2所述方法，其特征在于，所述根据所述每张深度图的时间戳和相机标识，对所述多张深度图进行分类，确定目标深度图集合，包括：根据所述相机标识，对所述多张深度图进行分类，确定多个初始深度图集合；所述多个初始深度图集合中每个初始深度图集合与所述相机标识相对应；获取第一初始深度图集合中第一深度图对应的第一时间戳；所述第一初始深度图集合为所述多个初始深度图集合中任意一个初始深度图集合；所述第一深度图为所述第一初始深度图集合包括的多个深度图中任意一个深度图；根据所述第一时间戳及预设时间段，从所述多个初始深度图集合中确定目标深度图集合。4.根据权利要求1所述方法，其特征在于，所述预设相机参数包括相机标识对应的相机内参和所述相机标识对应的相机外参，所述获取预设相机参数，并根据所述预设相机参数和所述目标深度图集合生成目标点云数据集合，包括：获取基准相机标识对应的基准相机内参以及每个相机标识对应的相机内参；所述基准相机标识为预设基准相机对应的标识；根据所述基准相机内参以及每个相机标识对应的相机内参，对所述目标深度图集合包括的多个目标深度图进行转换，生成目标点云数据集合；所述目标点云数据集合中包括的每个点云数据与相机标识相对应。5.根据权利要求4所述方法，其特征在于，所述对所述目标点云数据集合中包括的多个点云数据进行点云配准和点云融合处理，得到所述待重建对象的全景点云数据，包括：根据每个相机标识对应的相机外参，对所述目标点云数据集合中包括的多个点云数据进行点云粗配准，得到粗配准目标点云数据集合；对所述粗配准目标点云数据集合中包括的多个粗配准点云数据进行点云细配准和点云融合处理，得到所述待重建对象的全景点云数据。6.根据权利要求5所述方法，其特征在于，所述根据每个相机标识对应的相机外参，对
所述目标点云数据集合中包括的多个点云数据进行点云粗配准，得到粗配准目标点云数据集合，包括：获取基准相机标识对应...

【专利技术属性】
技术研发人员：张康，吴红，向钊豫，于洪举，
申请(专利权)人：湖南快乐阳光互动娱乐传媒有限公司，
类型：发明
国别省市：