【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种表情系数确定方法、装置、设备及存储介质。
技术介绍
1、表情捕捉是指通过彩色、深度相机或其他传感器从源人脸捕获表情信息的技术，获取的表情信息通常通过表情基和表情系数的方式来表示，可将获取到的表情信息复现到虚拟角色(如卡通人物、游戏角色等)上，以达到驱动虚拟角色的目的，在电影、游戏、虚拟现实等领域具有重要的应用价值。
2、现有的表情捕捉的技术有人脸关键点拟合和通过深度卷积网络进行预测等方式。其中，基于人脸关键点拟合的方式通常采用先由关键点检测算法检测得到人脸上的若干二维人脸关键点，而后直接将二维人脸关键点与三维可变形人脸模型中的关键点进行对齐，再经由qr分解、最小二乘法等方式对表情系数进行求解。而通过深度卷积网络进行预测的方式则是将人脸图像或二维人脸关键点输入至深度卷积网络模型中，直接对每个表情基的表情系数进行预测。
3、然而，现有表情捕捉方案仅能对简单表情进行捕捉，由于其仅通过二维人脸关键点进行人脸模型中的关键点对齐，故对大幅度表情的捕捉效果较差，同时对如皱眉、撇嘴等细微表情的捕捉精度较低，而专业的表情捕捉设备虽然效果更好，但需要部署昂贵的设备，且由于设备的穿戴会影响面部的运动，应用范围受到了较大限制。
技术实现思路
1、本专利技术提供了一种表情系数确定方法、装置、设备及存储介质，通过将二维彩色图像与三维深度图像相结合，基于三维条件下的关键点实现关键点的对齐和表情系数求解，降低了表情捕捉的成本，提升了对大幅度表情的捕捉准确
2、第一方面，本专利技术实施例提供了一种表情系数确定方法，该方法包括：
3、获取待检测彩色图像，以及与待检测彩色图像对应的待检测深度图像；
4、根据待检测彩色图像、待检测深度图像，以及与待检测彩色图像对应的重构中性表情人脸模型确定三维人脸关键点集和三维人脸点云；
5、根据三维人脸关键点集合、三维人脸点云和重构中性表情人脸模型确定表情系数集合；
6、其中，重构中性表情人脸模型为与待检测彩色图像中包含人脸对应的，仅包含形状特征的三维可变人脸模型。
7、第二方面，本专利技术实施例还提供了一种表情系数确定装置，该表情系数确定装置包括：
8、图像获取模块，用于获取待检测彩色图像，以及与待检测彩色图像对应的待检测深度图像；
9、点集点云确定模块，用于根据待检测彩色图像、待检测深度图像，以及与待检测彩色图像对应的重构中性表情人脸模型确定三维人脸关键点集和三维人脸点云；
10、表情系数确定模块，用于根据三维人脸关键点集合、三维人脸点云和重构中性表情人脸模型确定表情系数集合；
11、其中，重构中性表情人脸模型为与待检测彩色图像中包含人脸对应的，仅包含形状特征的三维可变人脸模型。
12、第三方面，本专利技术实施例还提供了一种表情系数确定设备，该表情系数确定设备包括：
13、至少一个处理器；以及
14、与至少一个处理器通信连接的存储器；其中，
15、存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，使得至少一个处理器能够实现本专利技术任一实施例的表情系数确定方法。
16、第四方面，本专利技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本专利技术任一实施例的表情系数确定方法。
17、本专利技术实施例提供的一种表情系数确定方法、装置、设备及存储介质，通过获取待检测彩色图像，以及与待检测彩色图像对应的待检测深度图像；根据待检测彩色图像、待检测深度图像，以及与待检测彩色图像对应的重构中性表情人脸模型确定三维人脸关键点集和三维人脸点云；根据三维人脸关键点集合、三维人脸点云和重构中性表情人脸模型确定表情系数集合；其中，重构中性表情人脸模型为与待检测彩色图像中包含人脸对应的，仅包含形状特征的三维可变人脸模型。通过采用上述技术方案，在需对获取图像中的人脸进行表情系数确定时，首先将二维的待检测彩色图像、三维的待检测深度图像，以及与待检测彩色图像对应的重构中性表情人脸模型相结合，确定待检测彩色图像中二维条件下的人脸关键点，在三维空间下对应的三维人脸关键点集，进而依据确定出的三维人脸关键点集确定需进行表情系数确定的人脸在三维空间下，与用以帮助进行表情系数确定的重构中性表情人脸模型对应的三维点云数据，进而依据仅包含形状特征的重构中性表情人脸模型，分别对三维人脸关键点集合和三维人脸点云进行表情系数求解，进而依据求解结果确定表情系数集合。解决了仅依赖二维图像中人脸关键点和三维可变人脸模型进行表情系数求解，或仅通过深度卷积神经网络进行表情系数求解时准确度较低，难以对大幅度表情和细微表情同时进行捕捉的问题，提升了表情系数确定的精度和准确性，无需复杂表情捕捉设备的使用，降低了表情捕捉的成本。
18、应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种表情系数确定方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述待检测彩色图像、所述待检测深度图像，以及与所述待检测彩色图像对应的重构中性表情人脸模型确定三维人脸关键点集和三维人脸点云，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述中间三维人脸关键点集和所述中间三维人脸点云，与所述待检测彩色图像对应的重构中性表情人脸模型间的对应关系，确定三维人脸关键点集和三维人脸点云，包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述三维人脸关键点集合、所述三维人脸点云和所述重构中性表情人脸模型确定表情系数集合，包括：
5.根据权利要求4所述的方法，其特征在于，所述依据所述三维人脸关键点集合对所述粗糙表情人脸模型进行表情系数求解，确定所述预设表情基底集合对应的粗糙表情系数集合，包括：
6.根据权利要求4所述的方法，其特征在于，所述依据所述三维人脸点云对所述精细表情人脸模型进行表情系数求解，确定所述预设表情基底集合对应的精细表情系数集合，包括：
7.根据权利要求1
8.根据权利要求7所述的方法，其特征在于，所述依据所述中性人脸关键点集合和所述中性人脸点云，对所述中性表情人脸模型进行形状系数求解，确定所述预设形状基底集合对应的形状系数集合，包括：
9.一种表情系数确定装置，其特征在于，包括：
10.一种表情系数确定设备，其特征在于，所述表情系数确定设备包括：
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-8中任一项所述的表情系数确定方法。
...【技术特征摘要】
1.一种表情系数确定方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述待检测彩色图像、所述待检测深度图像，以及与所述待检测彩色图像对应的重构中性表情人脸模型确定三维人脸关键点集和三维人脸点云，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述中间三维人脸关键点集和所述中间三维人脸点云，与所述待检测彩色图像对应的重构中性表情人脸模型间的对应关系，确定三维人脸关键点集和三维人脸点云，包括：
4.根据权利要求1所述的方法，其特征在于，所述根据所述三维人脸关键点集合、所述三维人脸点云和所述重构中性表情人脸模型确定表情系数集合，包括：
5.根据权利要求4所述的方法，其特征在于，所述依据所述三维人脸关键点集合对所述粗糙表情人脸模型进行表情系数求解，确定所述预设表情基底集合对应的粗糙表情系数集合，包括：
6.根据权利要求4所述的方法，其特征在...
【专利技术属性】
技术研发人员：谢宗生，王乃洲，朱勋沐，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。