一种表情系数确定方法、装置、设备及存储介质制造方法及图纸

技术编号:40186809 阅读:21 留言:0更新日期:2024-01-26 23:50
本发明专利技术公开了一种表情系数确定方法、装置、设备及存储介质。该方法包括:获取待检测彩色图像,以及与待检测彩色图像对应的待检测深度图像;根据待检测彩色图像、待检测深度图像,以及与待检测彩色图像对应的重构中性表情人脸模型确定三维人脸关键点集和三维人脸点云;根据三维人脸关键点集合、三维人脸点云和重构中性表情人脸模型确定表情系数集合;其中,重构中性表情人脸模型为与待检测彩色图像中包含人脸对应的,仅包含形状特征的三维可变人脸模型。本发明专利技术实施例的技术方案,提升了表情系数确定的精度和准确性,无需复杂表情捕捉设备的使用,降低了表情捕捉的成本。

【技术实现步骤摘要】

本专利技术涉及图像处理,尤其涉及一种表情系数确定方法、装置、设备及存储介质


技术介绍

1、表情捕捉是指通过彩色、深度相机或其他传感器从源人脸捕获表情信息的技术,获取的表情信息通常通过表情基和表情系数的方式来表示,可将获取到的表情信息复现到虚拟角色(如卡通人物、游戏角色等)上,以达到驱动虚拟角色的目的,在电影、游戏、虚拟现实等领域具有重要的应用价值。

2、现有的表情捕捉的技术有人脸关键点拟合和通过深度卷积网络进行预测等方式。其中,基于人脸关键点拟合的方式通常采用先由关键点检测算法检测得到人脸上的若干二维人脸关键点,而后直接将二维人脸关键点与三维可变形人脸模型中的关键点进行对齐,再经由qr分解、最小二乘法等方式对表情系数进行求解。而通过深度卷积网络进行预测的方式则是将人脸图像或二维人脸关键点输入至深度卷积网络模型中,直接对每个表情基的表情系数进行预测。

3、然而,现有表情捕捉方案仅能对简单表情进行捕捉,由于其仅通过二维人脸关键点进行人脸模型中的关键点对齐,故对大幅度表情的捕捉效果较差,同时对如皱眉、撇嘴等细微表情的捕捉精度较低,而专业本文档来自技高网...

【技术保护点】

1.一种表情系数确定方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述待检测彩色图像、所述待检测深度图像,以及与所述待检测彩色图像对应的重构中性表情人脸模型确定三维人脸关键点集和三维人脸点云,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述中间三维人脸关键点集和所述中间三维人脸点云,与所述待检测彩色图像对应的重构中性表情人脸模型间的对应关系,确定三维人脸关键点集和三维人脸点云,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述三维人脸关键点集合、所述三维人脸点云和所述重构中性表情人脸模型确定表情系...

【技术特征摘要】

1.一种表情系数确定方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述待检测彩色图像、所述待检测深度图像,以及与所述待检测彩色图像对应的重构中性表情人脸模型确定三维人脸关键点集和三维人脸点云,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述中间三维人脸关键点集和所述中间三维人脸点云,与所述待检测彩色图像对应的重构中性表情人脸模型间的对应关系,确定三维人脸关键点集和三维人脸点云,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述三维人脸关键点集合、所述三维人脸点云和所述重构中性表情人脸模型确定表情系数集合,包括:

5.根据权利要求4所述的方法,其特征在于,所述依据所述三维人脸关键点集合对所述粗糙表情人脸模型进行表情系数求解,确定所述预设表情基底集合对应的粗糙表情系数集合,包括:

6.根据权利要求4所述的方法,其特征在...

【专利技术属性】
技术研发人员:谢宗生王乃洲朱勋沐
申请(专利权)人:广州视源电子科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1