人脸重建和遮挡区域识别方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种人脸重建和遮挡区域识别方法、装置、设备及存储介质，该方法包括：将人脸图像输入至第一网络结构，通过所述第一网络结构输出所述人脸图像在进行三维重建时的重建参数向量；基于所述重建参数向量进行所述人脸图像的三维重建生成三维人脸信息；对所述三维人脸信息进行渲染和映射处理生成包含网络分割数据的二维人脸信息；获取所述第一网络结构提取的深度特征图，基于所述深度特征图以及所述二维人脸信息构造图结构信息；将所述图结构信息输入至第二网络结构，通过所述第二网络结构输出所述人脸图像对应的遮挡区域。本方案优化了整体的资源部署，能够满足并行任务多且实时性要求高的应用场景，遮挡区域判定的精确性更高。判定的精确性更高。判定的精确性更高。

【技术实现步骤摘要】
人脸重建和遮挡区域识别方法、装置、设备及存储介质


[0001]本申请实施例涉及图像处理
，尤其涉及一种人脸重建和遮挡区域识别方法、装置、设备及存储介质。

技术介绍

[0002]随着虚拟现实技术的发展和普及，人们已不满足于普通二维平面的交互，对3D美型、3D捏脸等立体空间的应用提出迫切需求。当前大多数3D美型、3D风格化等三维人脸重建应用布局于直播、社交等场景下，对实时性和重建效果要求很高。同时，由于实际生产环境比想象复杂得多，输入数据不总是符合包含完整人脸或存在自遮挡、物体遮挡等情况，因此模型需要对多样的输入数据具有鲁棒性。同时，很多时候需要判定实际遮挡区域，从而进行一系列后处理操作。
[0003]相关技术中，通常利用卷积神经网络分别进行3D人脸特征的提取以及2D人脸分割进行遮挡区域判定，其需要开启两项单独任务分别进行预测，由此需要更多的资源部署，无法满足一些并行任务多且实时性要求高的应用场景，该种方式进行的遮挡区域判定鲁棒性差。且现有的大多遮挡区域判定的方式采取传统的语义分割任务进行处理，其遮挡区域判定的精准度低。
专利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.人脸重建和遮挡区域识别方法，其特征在于，包括：将人脸图像输入至第一网络结构，通过所述第一网络结构输出所述人脸图像在进行三维重建时的重建参数向量；基于所述重建参数向量进行所述人脸图像的三维重建生成三维人脸信息；对所述三维人脸信息进行渲染和映射处理生成包含网络分割数据的二维人脸信息；获取所述第一网络结构提取的深度特征图，基于所述深度特征图以及所述二维人脸信息构造图结构信息；将所述图结构信息输入至第二网络结构，通过所述第二网络结构输出所述人脸图像对应的遮挡区域。2.根据权利要求1所述的人脸重建和遮挡区域识别方法，其特征在于，所述重建参数向量包括人脸特征向量、人脸表情向量和三维人脸系数向量，所述基于所述重建参数向量进行所述人脸图像的三维重建生成三维人脸信息，包括：基于所述人脸特征向量、所述人脸表情向量、所述三维人脸系数向量以及预设的平均人脸形状信息进行三维人脸点云的重建，得到点云重建信息；基于所述三维人脸系数向量以及预设的平均人脸纹理信息和人脸基底信息进行人脸纹理的重建，得到人脸纹理信息；基于所述点云重建信息和所述人脸纹理信息生成三维人脸信息。3.根据权利要求1所述的人脸重建和遮挡区域识别方法，其特征在于，所述对所述三维人脸信息进行渲染和映射处理生成包含网络分割数据的二维人脸信息，包括：通过渲染器进行所述三维人脸信息的渲染得到二维人脸图像；基于所述三维人脸信息中的拓扑结构，将所述三维人脸信息中的人脸三维点对数据映射至所述二维人脸图像中生成包含网络分割数据的二维人脸信息。4.根据权利要求1
‑
3中任一项所述的人脸重建和遮挡区域识别方法，其特征在于，所述基于所述深度特征图以及所述二维人脸信息构造图结构信息，包括：基于所述二维人脸信息中的网络分割数据对所述深度特征图进行分割处理得到三角片面分割结果；依据所述三角片面分割结果中的顶点联通关系以及点对距离进行邻接矩阵的构造得到图结构信息。5.根据权利要求1
‑
3中任一项所述的人脸重建和遮挡区域识别方法，其特征在于，所述第二网络结构包括图卷积神经网络，所述通过所述第二网络结构输出所述人脸图像对应的遮挡区域，包括：通过...

【专利技术属性】
技术研发人员：汪叶娇，约翰，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：