基于UE引擎的表演捕捉系统技术方案

本发明专利技术涉及计算机图形处理领域，提出了一种基于UE引擎的表演捕捉系统，旨在解决在同时捕捉动作与表情数据，生成角色动作与表情动画中，表情表演与动作表演的干扰问题，该系统包括：面部表演捕捉单元，配置为获取目标对象的面部图像数据，并根据该面部图像数据，确定目标对象的眼球旋转参数，并利用预设的基础表情库确定该目标对象的基础表情权重；动作表演捕捉单元，配置为利用绑缚于目标对象肢体的传感设备获取该目标对象的动作参数；动画生成单元，配置为根据上述基础表情权重、上述眼球旋转参数和上述动作参数确定虚拟角色的表情动画。本发明专利技术实现了表演者动作和表情的捕捉，并根据动作和表情数据赋予虚拟角色真实合理的动作与生动的表情。

Performance capture system based on UE engine

The invention relates to the field of computer graphics processing, and proposes a performance capture system based on UE engine, which aims to solve the problem of interference between expression and action in capturing action and expression data and generating character action and expression animation simultaneously. The system comprises a face performance capture unit configured to acquire a target. According to the facial image data of the object, the eye rotation parameters of the target object are determined, and the basic expression weight of the target object is determined by using the preset basic expression database; the motion performance capture unit is configured to obtain the action of the target object by using a sensor device bound to the target object's limbs. The animation generating unit is configured to determine the expression animation of the virtual character according to the basic expression weight, the eye rotation parameters and the motion parameters. The invention realizes the capture of the action and expression of the performer, and according to the action and expression data, gives the virtual character the real and reasonable action and the vivid expression.

【技术实现步骤摘要】
基于UE引擎的表演捕捉系统
本专利技术涉及了计算机图形学、计算机视觉和虚拟现实领域，特别涉及一种基于UE引擎的表演捕捉系统。
技术介绍
表演捕捉技术包括表演者动作和表情的捕捉，在电影、动画、游戏等领域中具有广泛的应用。通过表演捕捉技术赋予虚拟角色真实合理的动作与生动的表情，可以带给用户优更秀的观感体验。主流的动作捕捉技术包括光学式捕捉与惯性导航式捕捉，前者通过光学相机拍摄表演者，分析计算表演者的关节点，例如kinect等；后者通过表演者身上穿戴的传感器获取关节点的运动状态，分析出表演者当前的姿态，例如诺亦腾、OptiTrack等。当前，表情捕捉的方案有使用Faceware系列软件，对视频设备、网络相机、头盔式相机捕捉人物面部表情进行动画处理，生成虚拟角色面部动画；FaceRig软件通过RGB视频流捕捉表情，可以在软件内使用用户自定义的角色模型生成相应的表情动画；FaceShift基于单个深度相机捕捉表情，提供软件内的角色模型动画预览。但是，主要的表演捕捉技术方案是在表演者全身和脸部贴上标记，通过光学相机捕捉全身动作及面部表情，在后期制作中根据捕捉到的标记点将拍摄的表演者影像替换成虚拟本文档来自技高网...

【技术保护点】
1.一种基于UE引擎的表演捕捉系统，其特征在于，所述系统包括：面部表演捕捉单元，配置为获取目标对象的面部图像数据，并根据所述面部图像数据获取基础表情权重参数及眼球旋转参数；所述基础表情通过预设的基础表情库获取；动作表演捕捉单元，配置为获取所述目标对象的肢体动作参数；动画生成单元，配置为根据所述基础表情权重参数、所述眼球旋转参数和所述肢体动作参数确定虚拟角色的表情动画。

【技术特征摘要】
1.一种基于UE引擎的表演捕捉系统，其特征在于，所述系统包括：面部表演捕捉单元，配置为获取目标对象的面部图像数据，并根据所述面部图像数据获取基础表情权重参数及眼球旋转参数；所述基础表情通过预设的基础表情库获取；动作表演捕捉单元，配置为获取所述目标对象的肢体动作参数；动画生成单元，配置为根据所述基础表情权重参数、所述眼球旋转参数和所述肢体动作参数确定虚拟角色的表情动画。2.根据权利要求1所述的基于UE引擎的表演捕捉系统，其特征在于，所述预设的基础表情库，其生成方法包括：采集所述目标对象的多类面部表情图像；基于所采集的所述面部表情图像，分别拟合出与各类所述面部表情图像对应的用户基础表情，构成基础表情库。3.根据权利要求2所述的基于UE引擎的表演捕捉系统，其特征在于，所述基础表情权重参数，其获取方法包括：基于所述面部图像数据与所述基础表情库中的各基础表情的特征点，确定所述面部图像数据的基础表情权重参数；所述眼球旋转参数，其获取方法包括：计算在所述面部图像数据中所述目标对象眼球的欧拉角参数，并以该参数作为眼球旋转参数。4.根据权利要求1所述的基于UE引擎的表演捕捉系统，其特征在于，所述动作表演捕捉单元包括动作捕捉传感设备和动作参数确定模块；所述动作捕捉传感设备包括多个绑缚于目标对象身体各部位的多个关节点的传感器，该传感器用于获取所述目标对象的关节点的动作数据；所述动作参数确定模块，用于根据所述动作捕捉传感设备的所获得动作数据计算所述目标对象的动作参数。5.根据权利要求4所述的基于UE引擎的表演捕捉系统，其特...

【专利技术属性】
技术研发人员：车武军，吴泽烨，谷卓，徐波，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11