基于神经非刚性注册的人脸光流估计方法及装置制造方法及图纸

本发明专利技术公开了一种基于神经非刚性注册的人脸光流估计方法及装置，能够快速、准确、高质量的估计输入前后两帧人脸RGB图片之间的人脸光流。借助于可微的非刚性注册，设计损失函数，通过优化损失函数反向优化光流估计网络和光流置信度估计网络的参数。非刚性注册过程提供的深度和人脸结构先验促进光流估计网络生成更加准确的光流。为了稳定网络训练过程，使用通过3D人脸重建和关键点检测得到的初始对应关系对非刚性注册过程进行引导。进一步引入人脸解析先验，通过给网络提供人脸语义信息，提升光流估计精度。升光流估计精度。升光流估计精度。

【技术实现步骤摘要】
基于神经非刚性注册的人脸光流估计方法及装置


[0001]本专利技术属于人脸图像处理
，尤其涉及一种基于神经非刚性注册的人脸光流估计方法及装置。

技术介绍

[0002]随着近年来图像处理领域技术的发展，单目人脸视频帧间光流估计在例如3D人脸重建、人脸表情识别和帧间插值等应用中需求十分广泛。如何计算精确且鲁棒的光流成为了一个广受关注的问题。
[0003]在过去，光流估计主要有三种方法：基于优化的传统方法(以Lucas
‑
Kanade算法为代表)，基于亮度不变和邻域光流相似假设，构建相应的能量函数，通过采用合适的优化算法，迭代求解得到光流。为了解决快速运动中光流估计问题，有方法提出采用金字塔结构进行逐层求解光流。这类传统方法在一些简单场景下(亮度不变等)仍然被广泛地使用。但基于优化的传统方法对于一些复杂场景下(亮度变化、运动过快)拍摄的图片不鲁棒以及求解速度较慢。基于监督学习的光流估计法通过大量标注或者合成数据，借助监督训练得到一个从前后两帧图片映射到光流的网络。该方法相比于基于优化的传统方法，不需要对每次输入的图片求解复杂的优化问题，且不需要单独对最终的结果做后处理，较为节省人力和时间。然而由于该方法需要对众多成对的帧对
‑
光流数据进行“黑箱式”训练，其最终效果和稳定性依然难以保证。并且该方法依赖大规模标注数据，但光流数据的标注是极其昂贵的，而基于合成数据训练的网络无法有效地泛化到真实数据，缺乏实用性。基于无监督学习的光流估计方法是将监督学习方法中的监督损失函数改成无监督损失函数，这类函数主要度量经过当前光流计算的两张图片的对应点的亮度(或者局部结构)差异。该方法摆脱了对真实光流数据的依赖，具备更好的应用前景。
[0004]人脸光流估计任务面临以下挑战：1)人脸包含大面积相似纹理区域，光流估计容易陷入局部最优解；2)人脸运动复杂(包含人脸姿势变化以及各种表情变化)。之前的解决思路主要分为两种。一种是输入人脸视频序列，将人脸的运动轨迹嵌入到一个低维空间，然后联合优化多帧光流。尽管可以有效保留人脸结构和运动的连续性，但这类方法是极其费时的，并且需要输入整段视频作为输入。另一种方法着重于通过各种方式构造人脸光流数据集，然后基于该数据集进行监督训练。例如有方法通过基于3DMM的3D人脸重建来构造光流，但这种方式构造的光流精度受限于3DMM的表达能力。也有方法通过点云非刚性注册或者图片的注册来构造光流，但若没有进一步的后处理，这类光流的精度也无法得到保证。

技术实现思路

[0005]本专利技术的目的在于针对现有技术的不足，提供一种基于神经非刚性注册的人脸光流估计方法及装置，能够不依赖于带光流标注的数据集，快速、鲁棒地估计人脸光流。
[0006]本专利技术的目的是通过以下技术方案实现的：
[0007]根据本说明书的第一方面，提供一种基于神经非刚性注册的人脸光流估计方法，
该方法包括：
[0008]构建训练数据集：采集人脸RGB
‑
D视频序列，选取若干帧对，对每帧图片进行人脸解析、3D人脸重建、人脸关键点检测，对每个帧对的第一帧构建用于非刚性注册的变形图，形成训练数据集；
[0009]构建光流估计网络以及光流置信度估计网络，将两个网络的输出共同用于可微的3D点云非刚性注册，设计损失函数，在训练数据集上通过优化损失函数，反向优化两个网络的网络参数；
[0010]将源帧source人脸RGB图片和目标帧target人脸RGB图片输入训练好的光流估计网络，得到从源帧source到目标帧target的光流，即每个像素的运动。通过对视频中任意两帧的光流估计，可以辅助实现3D人脸重建、人脸表情识别等任务。
[0011]进一步地，构建训练数据集的过程中，
[0012]所述人脸解析具体为：使用任一基于神经网络的人脸解析技术得到符合相应语义的分割图像，分割要素为：背景区域、面部皮肤、左眉、右眉、左眼、右眼、鼻子、上嘴唇、下嘴唇、嘴巴、左耳、右耳；
[0013]所述3D人脸重建，使用任一基于参数化人脸模型和神经网络的人脸重建技术；
[0014]所述人脸关键点检测，使用任一基于神经网络的人脸关键点检测技术。
[0015]进一步地，所述光流估计网络的输入为前后两帧人脸RGB图片，输出为从源帧source到目标帧target的光流以及光流特征；所述光流置信度估计网络的输入为前后两帧人脸RGB图片、所述光流估计网络输出的从源帧source到目标帧target的光流以及光流特征，输出为光流的置信度。
[0016]进一步地，所述光流估计网络可以采用：基于金字塔结构的光流学习网络PWC
‑
Net、基于循环网络结构的光流学习网络RAFT。
[0017]进一步地，所述光流置信度估计网络为卷积神经网络模型，包括输入层、卷积层、非线性层和输出层。
[0018]进一步地，对非刚性注册的输入进行优化，具体为：对3D人脸重建结果的顶点进行采样，将采样结果和人脸关键点检测结果提供的源帧和目标帧相关像素的初始对应关系，替代所述光流估计网络输出结果中相应像素的光流，同时提高所述光流置信度估计网络输出结果中相应像素的光流置信度，使非刚性注册过程更加鲁棒，从而稳定训练过程。
[0019]进一步地，根据光流、光流置信度、源帧点云、目标帧点云、源帧变形图，进行可微的3D点云非刚性注册；构建三个能量函数，分别拟合光流提供的2D对应关系、拟合相应的深度对应关系、约束变形图变形的光滑性，对三个能量函数进行加权组合并进行优化求解，得到从源帧到目标帧的变形，所述变形由变形图上的旋转平移集合表示。
[0020]进一步地，所述损失函数包括四项：作用于非刚性注册结果的对齐损失、作用于光流估计网络输出的光度损失、作用于光流估计网络输出的人脸解析一致性损失、作用于光流置信度估计网络输出的置信度正则损失；将四项进行加权作为总损失函数。
[0021]进一步地，所述对齐损失，可直接度量3D对齐效果，例如倒角距离损失；也可以先将对齐的源帧点云和原始的目标帧点云渲染到2D平面上，再度量2D渲染图间的差异。
[0022]进一步地，所述人脸解析一致性损失的公式如下：
[0023][0024]其中N
ly
表示光流估计网络输出的包含粗糙光流在内的所有光流的个数，在基于金字塔结构的PWC
‑
Net中，金字塔每层输出一个光流，光流个数即为金字塔层数，在基于循环网络结构的RAFT中，每次循环输出一个光流，光流个数即为循环次数；N
cls
表示所述人脸解析的分割要素个数，分割要素通常采用：背景区域、面部皮肤、左眉、右眉、左眼、右眼、鼻子、上嘴唇、下嘴唇、嘴巴、左耳、右耳，因此N
cls
＝12；m
1j
表示源帧人脸图片I1的人脸解析结果中第j个分割要素的热图，表示根据光流估计网络输出的第i个光流对齐后的目标帧人脸图片I2的人脸解析结果中第j个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经非刚性注册的人脸光流估计方法，其特征在于，包括：构建训练数据集：采集人脸RGB
‑
D视频序列，选取若干帧对，对每帧图片进行人脸解析、3D人脸重建、人脸关键点检测，对每个帧对的第一帧构建用于非刚性注册的变形图，形成训练数据集；构建光流估计网络以及光流置信度估计网络，将两个网络的输出共同用于可微的3D点云非刚性注册，设计损失函数，在训练数据集上通过优化损失函数，反向优化两个网络的网络参数；将源帧人脸RGB图片和目标帧人脸RGB图片输入训练好的光流估计网络，得到从源帧到目标帧的光流，即每个像素的运动。2.根据权利要求1所述的一种基于神经非刚性注册的人脸光流估计方法，其特征在于，所述人脸解析具体为：使用基于神经网络的人脸解析技术得到符合相应语义的分割图像，分割要素为：背景区域、面部皮肤、左眉、右眉、左眼、右眼、鼻子、上嘴唇、下嘴唇、嘴巴、左耳、右耳。3.根据权利要求1所述的一种基于神经非刚性注册的人脸光流估计方法，其特征在于，所述光流估计网络的输入为前后两帧人脸RGB图片，输出为从源帧到目标帧的光流以及光流特征；所述光流置信度估计网络的输入为前后两帧人脸RGB图片、所述光流估计网络输出的从源帧到目标帧的光流以及光流特征，输出为光流的置信度。4.根据权利要求1所述的一种基于神经非刚性注册的人脸光流估计方法，其特征在于，所述光流估计网络采用基于金字塔结构的光流学习网络PWC
‑
Net或基于循环网络结构的光流学习网络RAFT。5.根据权利要求1所述的一种基于神经非刚性注册的人脸光流估计方法，其特征在于，所述光流置信度估计网络为卷积神经网络模型，包括输入层、卷积层、非线性层和输出层。6.根据权利要求1所述的一种基于神经非刚性注册的人脸光流估计方法，其特征在于，对非刚性注册的输入进行优化，具体为：对3D人脸重建结果的顶点进行采样，将采样结果和人脸关键点检测结果提供的源帧和目标帧相关像素的初始对应关系，替代所述光流估计网络输出结果中相应像素的光流，同时提高所述光流置信度估计网络输出结果中相应像...

【专利技术属性】
技术研发人员：彭妆，江博艺，
申请(专利权)人：杭州像衍科技有限公司，
类型：发明
国别省市：