【技术实现步骤摘要】
一种动态人脸图像对齐方法、装置、设备及可读存储介质
[0001]本说明书涉及计算机
，尤其涉及一种动态人脸图像对齐方法、装置、设备及可读存储介质。
技术介绍
[0002]随着计算机视觉技术的发展，可以基于拓扑一致性处理方案，利用固定拓扑结构的模板，对采集到的人脸几何数据进行对齐处理，得到动态对齐的人脸网格数据。从而，基于对齐的人脸网格数据进行人脸识别与验证、表情分析、情绪识别、人脸合成等。
[0003]目前，通常采用迭代最近点(Iterative Closest Point，ICP)方法，对于采集到的原始人脸数据中的每个网格点，通过近邻的方式在固定模板中找到最近的点，使用找到的最近点对应得到刚体变换矩阵，从而将原始人脸数据对齐到固定模板上。
[0004]但是，上述方案仅能实现原始人脸数据和固定模板的几何对齐，但是在动态场景下，动态的人脸存在复杂的可见性变化，如睁眼、闭眼、张嘴、抿嘴等，通过上述方案难以实现动态人脸和固定模板的纹理对齐，从而阻碍了对齐后的人脸数据在人脸识别等领域中的应用。
[000...
【技术保护点】
【技术特征摘要】
1.一种动态人脸图像对齐方法，其特征在于，包括：获取第一人脸图像和第二人脸图像，其中，所述第一人脸图像表征的人脸表情和所述第二人脸图像表征的人脸表情不同；获取多个尺度的初始网格模板，并根据所述第一人脸图像对各尺度的初始网格模板进行优化，得到优化后的中间网格模板；获取所述第二人脸图像的人脸点云；根据所述中间网格模板和所述第一人脸图像生成第一渲染图，并以所述第二人脸图像的点云对应的深度图和所述中间网格模板的深度图之间的差异的最小化、所述第二人脸图像的点云对应的法向图和所述中间网格模板的法向图之间的差异的最小化，以及所述第一渲染图和所述第二人脸图像之间的差异的最小化为优化目标，优化所述中间网格模板，得到目标网格模板；根据所述目标网格模板确定第二渲染图。2.如权利要求1所述的方法，其特征在于，所述根据所述第一人脸图像对各尺度的初始网格模板进行优化，得到优化后的中间网格模板，具体包括：获取所述第一人脸图像的人脸点云；依次针对每个尺度的初始网格模板，确定该尺度的上一尺度的初始网格模板，和该尺度的初始网格模板之间的对应关系；其中，该尺度的上一尺度大于该尺度；根据所述对应关系以及优化后的该尺度的上一尺度的初始网格模板，确定该尺度的参考网格模板；以所述第一人脸图像的人脸点云对应的深度图和该尺度的参考网格模板的深度图之间的差异的最小化为优化目标，采用二阶优化算法，优化该尺度的参考网格模板，得到优化后的该尺度的初始网格模板；将优化后的各尺度的初始网格模板中，尺度最小的优化后的初始网格模板，作为优化后的中间网格模板。3.如权利要求1所述的方法，其特征在于，所述根据所述中间网格模板和所述第一人脸图像生成第一渲染图，并以所述第二人脸图像的点云对应的深度图和所述中间网格模板的深度图之间的差异的最小化，以及所述第一渲染图和所述第二人脸图像之间的差异的最小化为优化目标，优化所述中间网格模板，得到目标网格模板，具体包括：迭代执行：对中间网格模板进行下采样，得到当前网格模板，根据所述当前网格模板和所述第一人脸图像生成当前渲染图，根据所述第二人脸图像的点云对应的深度图和所述当前网格模板的深度图之间的差异确定第一损失，根据所述第二人脸图像的点云对应的法向图和所述当前网格模板的法向图之间的差异确定第二损失，并根据所述当前渲染图和所述第二人脸图像之间的差异确定第三损失，根据所述第一损失、所述第二损失和所述第三损失确定总损失，并以所述总损失的最小化为优化目标，采用二阶优化算法，优化当前网格模板，将优化后的当前网格模板作为中间网格模板，重新进行采样，直到优化后的当前网格模板的网格稠密度满足第一预设条件，得到目标网格模板。4.如权利要求3所述的方法，其特征在于，以所述总损失的最小化为优化目标，采用二阶优化算法，优化当前网格模板，具体包括：根据所述总损失，通过二阶优化算法和可微渲染器得到所述当前网格模板包含的各网
格的顶点的拉伸方向和拉伸距离；根据所述当前网格模板包含的各网格的顶点的拉伸方向和拉伸距离，拉伸所述当前网格模板包含的各网格的顶点，得到优化后的当前网格模板；根据优化后的当前网格模板重新确定总损失，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。