人脸光流估计及光流值预测模型的训练方法和装置制造方法及图纸

本公开实施例公开了一种人脸光流估计及光流值预测模型的训练方法和装置，其中，人脸光流估计方法包括：对在视频中相邻的第一图像帧和第二图像帧分别进行人脸关键点识别，得到第一关键点组和第二关键点组；基于第一关键点组和第二关键点组，确定第一图像帧对应的第一面片组和第二图像帧对应的第二面片组；基于第一面片组中多个第一面片与第二面片组中多个第二面片之间的对应关系，确定每个第一面片中多个第一像素点与第一面片对应的第二面片中多个第二像素点之间的对应关系；基于每个第一像素点和对应的第二像素点之间的位移信息，确定第一图像帧对应的人脸光流值。本实施例得到的人脸光流值精细度高、准确性好。准确性好。准确性好。

【技术实现步骤摘要】
人脸光流估计及光流值预测模型的训练方法和装置


[0001]本公开涉及计算机视觉技术，尤其是一种人脸光流估计及光流值预测模型的训练方法和装置。

技术介绍

[0002]人脸稠密光流估计用于得到人脸图像中每个像素点在帧间的运动，在表情/微表情识别、行为识别等领域有着广泛的应用。近年来随着深度学习技术的发展，基于深度学习的稠密光流估计技术已经超过了传统方法，取得了更好的效果。基于深度学习的有监督光流估计算法往往需要大量的真值进行模型训练，但真实场景的人脸光流真值非常难以获取。

技术实现思路

[0003]为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种人脸光流估计及光流值预测模型的训练方法和装置。
[0004]根据本公开实施例的一个方面，提供了一种人脸光流估计方法，包括：
[0005]对在视频中相邻的第一图像帧和第二图像帧分别进行人脸关键点识别，得到第一关键点组和第二关键点组；
[0006]基于所述第一关键点组中包括的多个第一人脸关键点和所述第二关键点组中包括的多个第二人脸关键点，确定所述第一图像帧对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸光流估计方法，包括：对在视频中相邻的第一图像帧和第二图像帧分别进行人脸关键点识别，得到第一关键点组和第二关键点组；基于所述第一关键点组中包括的多个第一人脸关键点和所述第二关键点组中包括的多个第二人脸关键点，确定所述第一图像帧对应的第一面片组和所述第二图像帧对应的第二面片组；基于所述第一面片组中多个第一面片与所述第二面片组中多个第二面片之间的对应关系，确定每个所述第一面片中多个第一像素点与所述第一面片对应的所述第二面片中多个第二像素点之间的对应关系；基于每个所述第一像素点和对应的所述第二像素点之间的位移信息，确定所述第一图像帧对应的人脸光流值。2.根据权利要求1所述的方法，其中，所述对在视频中相邻的第一图像帧和第二图像帧分别进行人脸关键点识别，得到第一关键点组和第二关键点组，包括：对所述第一图像帧和所述第二图像帧分别进行人脸检测，得到所述第一图像帧对应的第一人脸检测框和所述第二图像帧对应的第二人脸检测框；基于所述第一人脸检测框和所述第二人脸检测框确定最小外接框；分别对所述第一图像帧中的最小外接框和所述第二图像帧中的最小外接框进行人脸关键点识别，得到多个第一人脸关键点的是第一关键点组和包括多个第二人脸关键点的所述第二关键点组。3.根据权利要求2所述的方法，其中，所述分别对所述第一图像帧中的最小外接框和所述第二图像帧中的最小外接框进行人脸关键点识别，得到所述第一关键点组和所述第二关键点组，包括：确定所述第一人脸检测框和所述第二人脸检测框之间的交并比；响应于所述第一人脸检测框和所述第二人脸检测框之间的交并比大于设定比值，分别对所述第一图像帧中的最小外接框和所述第二图像帧中的最小外接框进行人脸关键点识别，得到多个第一人脸关键点的所述第一关键点组和包括多个第二人脸关键点的所述第二关键点组。4.根据权利要求1
‑
3任一项所述的方法，其中，所述基于所述第一关键点组中包括的多个第一人脸关键点和所述第二关键点组中包括的多个第二人脸关键点，确定所述第一图像帧对应的第一面片组和所述第二图像帧对应的第二面片组，包括：基于所述第一关键点组中包括的多个第一人脸关键点，对所述第一图像帧中的人脸进行剖分，得到多个所述第一面片；按照所述第一图像帧中的多个第一面片中对应的第一人脸关键点的顺序连接所述多个第二人脸关键点，确定所述第二图像帧中的多个第二面片；其中，每个所述第二面片对应一个第一面片。5.根据权利要求1
‑
4任一项所述的方法，其中，所述基于所述第一面片组中多个第一面片与所述第二面片组中多个第二面片之间的对应关系，确定每个所述第一面片中多个第一像素点与所述第一面片对应的所述第二...

【专利技术属性】
技术研发人员：于雷，隋伟，张骞，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：