【技术实现步骤摘要】
一种人脸表情的跟踪方法、装置及电子设备
本申请涉及人脸检测
，尤其涉及一种人脸表情的跟踪方法、装置及电子设备。
技术介绍
人脸重建主要分三类，分别为传统三维人脸重建、基于模型的三维人脸重建以及端到端的三维人脸重建。传统重建方法主要基于图像亮度、边缘信息、线性透视、颜色、相对高度、视差等等一种或多种信息进行建模的技术，另外一种情形则是基于多张图片或者视频。现有技术中，提出过基于光照信息进行高频细节的人脸重建；基于模板的传统算法或者深度学习算法进行人脸重建；基于三维人脸数据库面结合人脸形状及人脸纹理，同时考虑人脸的姿态以及光照的因素进行人脸重建；甚至有人提出通过UV位置映射进行三维人脸重建。上述的技术在重建的人脸上其网格会有明显的条纹，出现不平滑的现象。在人脸重建的过程中会对人脸的特征点进行跟踪检测，现有的做法通常会通过卷积神经网络并结合弱监督方式，利用大量的大姿态照片进行模型训练，甚至有人提出通过连续帧时间的光流信息建立视频中特征点之间的检测与跟踪。但是整体来说，其跟踪效果质量较差，常会出现视频抖动现象，制作成本...
【技术保护点】
1.一种人脸表情的跟踪方法，其特征在于，所述方法包括以下步骤：/n获取原始人脸数据集，通过多维度的奇异值算法对所述原始人脸数据集进行分解，生成核心张量；/n采集人脸图像中的特征点数据，结合所述核心张量进行计算，得到对应的目标人脸形状系数及目标内参矩阵；/n对当前人脸图像的每帧图像进行跟踪，采集当前图像帧中的特征点数据及头部动作数据，将所述当前图像帧中的特征点数据及头部动作数据分别与前面连续帧做加权处理；/n结合所述核心张量、目标人脸形状系数、加权后的特征点数据及头部动作数据、内参矩阵计算当前的人脸表情系数，并将所述当前的人脸表情系数迁移到目标模型。/n
【技术特征摘要】
1.一种人脸表情的跟踪方法，其特征在于，所述方法包括以下步骤：
获取原始人脸数据集，通过多维度的奇异值算法对所述原始人脸数据集进行分解，生成核心张量；
采集人脸图像中的特征点数据，结合所述核心张量进行计算，得到对应的目标人脸形状系数及目标内参矩阵；
对当前人脸图像的每帧图像进行跟踪，采集当前图像帧中的特征点数据及头部动作数据，将所述当前图像帧中的特征点数据及头部动作数据分别与前面连续帧做加权处理；
结合所述核心张量、目标人脸形状系数、加权后的特征点数据及头部动作数据、内参矩阵计算当前的人脸表情系数，并将所述当前的人脸表情系数迁移到目标模型。
2.如权利要求1所述的方法，其特征在于，所述原始人脸数据集包括多个人脸的k张图像的图像数据，所述k张图像的图像数据包括多维参数，所述获取原始人脸数据集，通过多维度的奇异值算法对所述原始人脸数据集进行分解，生成核心张量的步骤具体包括：
获取预设的人脸图像数据库中所述多个人脸的k张图像的图像数据，其中，K为大于1的自然数；
通过所述多维度的奇异值算法对与所述k张图像的图像数据对应的多维参数进行分解，得到所述核心张量。
3.如权利要求2所述的方法，其特征在于，所述多维参数包括网格顶点、人脸表情及个体形状，所述通过所述多维度的奇异值算法对与所述k张图像的图像数据对应的多维参数进行分解，得到所述核心张量的步骤具体包括：
将所述k张图像的图像数据进行旋转；
保持所述网格顶点不变，通过所述多维度的奇异值算法对所述人脸表情及所述个体形状进行降序分解，得到对应的个体形状系数及人脸表情系数；
对所述原始人脸数据集、个体形状系数及人脸表情系数做积，得到所述核心张量。
4.如权利要求3所述的方法，其特征在于，所述人脸图像包括不同姿态的人脸图像，所述采集人脸图像中的特征点数据，结合所述核心张量进行计算，得到对应的目标人脸形状系数及目标内参矩阵的步骤具体包括：
拍摄多张所述姿态不同的人脸图像；
对拍摄到的所述姿态不同的人脸图像分别进行特征点数据检测，所述特征点数据包括特征点坐标；
预设内参矩阵，将所述核心张量在所述人脸表情的维度上进行展开得到表情形状基，并结合所述特征点数据的重投影误差最小化构建对应的目标人脸形状系数；
通过最小化能量算法结合所述特征点坐标、表情形状基、目标人脸形状系数进行计算，得到目标内参矩阵。
5.如权利要求3所述的方法，其特征在于，所述对当前人脸图像的每帧图像进行跟踪，采集当前图像帧中的特征点数据及头部动作数据，将所述当前图像帧中的特征点数据及头部动...
【专利技术属性】
技术研发人员：王志全，黄哲，
申请(专利权)人：深圳市三维人工智能科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。