一种三维人脸重建方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种三维人脸重建方法、装置、设备及存储介质，该方法包括：检测到人脸图片获取指令时，获取包含人脸的二维图片；基于预设的人脸识别策略识别所述二维图片中的目标人脸，获取所述目标人脸的位置信息；基于所述目标人脸的位置信息剪裁所述二维图片中的目标人脸，得到剪裁后的目标人脸图片；将剪裁后的目标人脸图片输入到目标神经网络模型中，输出目标人脸的三维模型参数；基于所述目标人脸的三维模型参数驱动目标三维模型进行三维重建，得到所述目标人脸的三维人脸模型。如此，快速得到精度高效果优的人脸重建结果，且操作方便简单。

A 3D face reconstruction method, device, device and storage medium

【技术实现步骤摘要】
一种三维人脸重建方法、装置、设备及存储介质
本申请涉及图像处理技术，尤其涉及一种三维人脸重建方法、装置、设备及存储介质。
技术介绍
三维人脸重建技术在各个领域已经被广泛应用，被用户熟知的当属三维人脸表情包的应用。现有技术中对于生成三维人脸表情包的方法多是利用图片或视频直接生成，例如，直接使用视频片段生成感兴趣片段的动态图片，或分析用户消息文本中与表情相关的关键字，利用关键字和表情模板生成表情。这些方法在生成表情包时有些没有与用户互动过程，缺少真实性和趣味性；有些分析二维图片中的人脸表情来驱动动画表情生成，二维图片对于三维模型的动画表情无法很好地进行驱动，会导致三维人脸重建效果不佳。
技术实现思路
为解决上述技术问题，本申请实施例期望提供一种三维人脸重建方法、装置、设备及存储介质。本申请的技术方案是这样实现的：第一方面，提供了一种三维人脸重建方法，该方法包括：检测到人脸图片获取指令时，获取包含人脸的二维图片；基于预设的人脸识别策略识别所述二维图片中的目标人脸，获取所述目标人脸的位置信息；基于所述目标人脸的位置信息剪裁所述二维图片中的目标人脸，得到剪裁后的目标人脸图片；将剪裁后的目标人脸图片输入到目标神经网络模型中，输出目标人脸的三维模型参数；基于所述目标人脸的三维模型参数驱动目标三维模型进行三维重建，得到所述目标人脸的三维人脸模型。第二方面，提供了一种三维人脸重建装置，该装置包括：获取单元，用于检测到人脸获取指令时，获取包含人脸的二维图片；检测单元，用于基于预设的人脸识别策略识别所述二维图片中的目标人脸，获取所述目标人脸的位置信息；裁剪单元，用于基于所述目标人脸的位置信息剪裁所述二维图片中的目标人脸，得到剪裁后的目标人脸图片；重建单元，用于将剪裁后的目标人脸图片输入到目标神经网络模型中，输出目标人脸的三维模型参数；基于所述目标人脸的三维模型参数驱动目标三维模型进行三维重建，得到所述目标人脸的三维人脸模型。第三方面，提供了一种三维人脸重建设备，包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。本申请实施例公开了一种三维人脸重建方法、装置、设备及存储介质，该方法包括：检测到人脸图片获取指令时，获取包含人脸的二维图片；基于预设的人脸识别策略识别所述二维图片中的目标人脸，获取所述目标人脸的位置信息；基于所述目标人脸的位置信息剪裁所述二维图片中的目标人脸，得到剪裁后的目标人脸图片；将剪裁后的目标人脸图片输入到目标神经网络模型中，输出目标人脸的三维模型参数；基于所述目标人脸的三维模型参数驱动目标三维模型进行三维重建，得到所述目标人脸的三维人脸模型。如此，快速得到精度高效果优的人脸重建结果，且操作方便简单。附图说明图1为本申请实施例中三维人脸重建方法的流程示意图；图2为本申请实施例中模型训练方法的流程示意图；图3为本申请实施例中三维人脸重建装置的组成结构示意图；图4为本申请实施例中三维人脸重建设备的组成结构示意图。具体实施方式为了能够更加详尽地了解本申请实施例的特点与
技术实现思路
，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。本申请实施例提供了一种三维人脸重建方法，图1为本申请实施例中三维人脸重建方法的流程示意图，如图1所示，该方法具体可以包括：步骤101：检测到人脸图片获取指令时，获取包含人脸的二维图片；步骤102：基于预设的人脸识别策略识别所述二维图片中的目标人脸，获取所述目标人脸的位置信息；步骤103：基于所述目标人脸的位置信息剪裁所述二维图片中的目标人脸，得到剪裁后的目标人脸图片；步骤104：将剪裁后的目标人脸图片输入到目标神经网络模型中，输出目标人脸的三维模型参数；步骤105：基于所述目标人脸的三维模型参数驱动目标三维模型进行三维重建，得到所述目标人脸的三维人脸模型。这里，建立三维人脸模型的执行主体可以为移动终端或固定终，移动终端获取到二维图片后，利用神经网络模型获取二维图片中人脸的三维模型参数，从而驱动标准三维模型进行三维重建得到三维人脸模型。这里，人脸图片获取指令可以是开启建立三维人脸模型指令，或者拍照指令。通过摄像头获取包含人脸的二维图片，这里，摄像头可以为任何一种能够采集二维图片的摄像头，比如：单目摄像头、彩色摄像头、黑白摄像头等。人脸图片可以为黑白图片或彩色图片。比如，通过手机、相机、可穿戴设备的摄像头采集人脸图片。在一些实施例中，所述基于预设的人脸识别策略识别所述二维图片中的目标人脸，获取所述目标人脸的位置信息，包括：基于预设的人脸识别策略识别所述二维图片中的至少一张人脸，获取至少一张人脸的位置信息；基于预设的筛选策略，从所述至少一张人脸中筛选出所述目标人脸，获取所述目标人脸的位置信息。具体的，所述筛选策略包括：基于所述至少一张人脸的位置信息，确定所述至少一张人脸所占的像素数量；筛选出所占像素数量大于数量阈值的人脸作为目标人脸。将剪裁后的目标人脸图片输入到目标神经网络模型中，目标神经网络模型中设置人脸关键点检测器，利用人脸关键点检测器识别出每张图片中N个人脸关键点，得到人脸的三维模型参数。这里，神经网络模型为轻量级神经网络，在计算资源有限的情况下快速得到精度高效果优的人脸重建结果。也就是说，只有头像的面积大于最低识别面积时才能对人脸进行准确识别，否则，无法准确识别人脸信息，也就无法进行三维重建。进一步地，根据识别到的人脸位置信息对人脸图片进行剪裁，将人脸图片中的背景减掉只保留人脸部分。具体的，在三维人脸重建装置中设置人脸识别器，用于识别人脸图片中的人脸位置，并对人脸进行剪裁，得到剪裁后的人脸图片。剪裁形状可以为正方形、举行、椭圆等。具体的，预设的三维表情模板可以为表情库中保存的通用模板，比如，人物模板、动物模板、动画模板等。也可以是用户自己制作的模板。比如，使用人脸姿态参数和人脸表情参数来驱动动画模板，由于三维动画模板与训练神经网络所用的三维数据具有相同的空间拓扑结构和节点语义信息，因此使用人脸姿态参数可以将三维动画驱动到与用户当前头部相同的姿态，使用人脸表情参数可以将三维动画驱动到与用户当前面部相同的表情。在一些实施例中，所述方法还包括：获取语音采集单元采集的所述目标人脸的语音信息；获取所述目标三维模型对应的音频特征；利用所述目标三维模型对应的音频特征对所述语音信息进行调整，得到所述目标人脸对应的目标音频；保存所述目标人脸的三维人脸模型及其对应的目标音频。也就是说，在三维人脸重建过程中，用户不仅可以根据自己的人脸和预设三维模型生成包含自己人脸信息的三维模型，还可以本文档来自技高网...

【技术保护点】
1.一种三维人脸重建方法，其特征在于，所述方法包括：/n检测到人脸图片获取指令时，获取包含人脸的二维图片；/n基于预设的人脸识别策略识别所述二维图片中的目标人脸，获取所述目标人脸的位置信息；/n基于所述目标人脸的位置信息剪裁所述二维图片中的目标人脸，得到剪裁后的目标人脸图片；/n将剪裁后的目标人脸图片输入到目标神经网络模型中，输出目标人脸的三维模型参数；/n基于所述目标人脸的三维模型参数驱动目标三维模型进行三维重建，得到所述目标人脸的三维人脸模型。/n

【技术特征摘要】
1.一种三维人脸重建方法，其特征在于，所述方法包括：
检测到人脸图片获取指令时，获取包含人脸的二维图片；
基于预设的人脸识别策略识别所述二维图片中的目标人脸，获取所述目标人脸的位置信息；
基于所述目标人脸的位置信息剪裁所述二维图片中的目标人脸，得到剪裁后的目标人脸图片；
将剪裁后的目标人脸图片输入到目标神经网络模型中，输出目标人脸的三维模型参数；
基于所述目标人脸的三维模型参数驱动目标三维模型进行三维重建，得到所述目标人脸的三维人脸模型。


2.根据权利要求1所述的方法，其特征在于，所述基于预设的人脸识别策略识别所述二维图片中的目标人脸，获取所述目标人脸的位置信息，包括：
基于预设的人脸识别策略识别所述二维图片中的至少一张人脸，获取至少一张人脸的位置信息；
基于预设的筛选策略，从所述至少一张人脸中筛选出所述目标人脸，获取所述目标人脸的位置信息。


3.根据权利要求2所述的方法，其特征在于，所述筛选策略包括：
基于所述至少一张人脸的位置信息，确定所述至少一张人脸所占的像素数量；
筛选出所占像素数量大于数量阈值的人脸作为目标人脸。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取语音采集单元采集的所述目标人脸的语音信息；
获取所述目标三维模型对应的音频特征；
利用所述目标三维模型对应的音频特征对所述语音信息进行调整，得到所述目标人脸对应的目标音频；
保存所述目标人脸的三维人脸模型及其对应的目标音频。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练样本集；所述训练样本集包括至少一种人脸表情的二维图片；
对所述训练样本集中的二维图片进行人脸关键点检测，确定所述二维图片中人...

【专利技术属性】
技术研发人员：王多民，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44