【技术实现步骤摘要】
本专利技术涉及面部表情捕捉，具体为一种头戴式无标记点的单目实时面部表情捕捉方法及系统。
技术介绍
1、随着虚拟偶像、虚拟主播、数字人等新型业务崛起，动作捕捉技术得到了更广泛的应用，在其中，面部表情捕捉技术成为了动作捕捉的关键组成部分，通过面部表情捕捉技术，虚拟人能够展现出与现实中人类相媲美的逼真表情，这种丰富的表现力使得虚拟人能够更加生动、更具逼真地与人类进行互动。
2、现有面部表情捕捉技术主要包括：基于深度摄像头的方法，在脸上画颜料标记点的方法，基于单目的方法。
3、基于深度摄像头的方法：需要用深度摄像头设备(如：结构光，tof，双目等)得到3d人脸，基于预设表情基对3d人脸进行表情解算，得到表情数据；在脸上画颜料关键点的方法：需要手动在被捕捉真人脸上画上颜料标记点，用红外摄像头获取人脸图像，并计算标记点图像坐标，根据标记点位置和预设表情基来计算人脸表情数据；基于单目的方法：用单个普通摄像头获取人脸图像，整个人脸区域图像输入到深度学习网络，直接得到表情数据，或得到间接数据，再通过传统解析算法或神经网络算法得到表
【技术保护点】
1.一种头戴式无标记点的单目实时面部表情捕捉系统，其特征在于：构建人脸图像获取模块实时捕捉人脸图像，所述人脸图像获取模块的输出端连接有人脸分区域2D关键点检测组合模块，所述人脸分区域2D关键点检测组合模块的输出端连接有关键点数据噪声滤波模块，所述关键点数据噪声滤波模块的输出端连接有分区域表情解算组合模块，所述分区域表情解算组合模块的输出端连接有表情数据噪声滤波模块，所述表情数据噪声滤波模块的输出端连接有表情数据(BlendShape数据)驱动虚拟人模块。
2.根据权利要求1所述一种头戴式无标记点的单目实时面部表情捕捉方法，其特征在于包括以下步骤：
<...【技术特征摘要】
1.一种头戴式无标记点的单目实时面部表情捕捉系统，其特征在于：构建人脸图像获取模块实时捕捉人脸图像，所述人脸图像获取模块的输出端连接有人脸分区域2d关键点检测组合模块，所述人脸分区域2d关键点检测组合模块的输出端连接有关键点数据噪声滤波模块，所述关键点数据噪声滤波模块的输出端连接有分区域表情解算组合模块，所述分区域表情解算组合模块的输出端连接有表情数据噪声滤波模块，所述表情数据噪声滤波模块的输出端连接有表情数据(blendshape数据)驱动虚拟人模块。
2.根据权利要求1所述一种头戴式无标记点的单目实时面部表情捕捉方法，其特征在于包括以下步骤：
3.根据权利要求2所述一种头戴式无标记点的单目实时面部表情捕捉系统，其特征在于：所述步骤三中分区域的方法，使得在训练某一区域的关键点检测网络时，只需该部位的图像数据集，获取更加简单，数据均衡性更容易满足，因为不用考虑不同区域表情的组合问题(比如眼睛嘴巴表情，有很多种组合，难于做全，而分区域方法只需分开单独做，无需组合)，对深度学习网络的特征提取能力要求更低，也能得到高精度的2d关键点。
4.根据权利要求2所述一种头戴式无标记点的单目实时面部表情捕捉系统，其特征在于：所述步骤六中，具体执行方式为：输入左眼区域(含左眉毛)图像到左眼关键点检测网络回归得到眉毛轮廓、眼睛轮廓、眼球中心、眼球轮廓关键点；输入右眼区域(含右眉毛)图像的镜像到左眼关键点检测网络回归得到眉毛轮廓、眼睛轮廓、眼球中心、眼球轮廓关键点；输入鼻子区域图像到鼻子关键点检测网络回归得到鼻子轮廓、鼻梁关键点；输入嘴巴区域图像到嘴巴关键点检测网络回归得到嘴巴内外轮廓关键点；输入嘴巴区域图像到牙齿关键点检测网络回归得到上下牙齿关键点。
5.根据权利要求2所述一种头戴式无标记点的单目实时面部表情捕...
【专利技术属性】
技术研发人员：邱翔，孙昊，
申请(专利权)人：广州虚拟动力网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。