基于UE引擎的无标记表演捕捉系统技术方案

本发明专利技术涉及图像处理领域，提出了一种基于UE引擎的无标记表演捕捉系统，旨在解决同时捕捉表演者的动作与表情以生成角色动画方法中，标记点对表演者造成侵入感，使表演受到干扰的问题。该系统包括：面部表演捕捉模块，配置为采集表演者的面部图像数据，并根据上述面部图像数据计算上述表演者的面部表情的权重参数；动作表演捕捉模块，配置为采集上述表演者的骨骼图像数据，并根据上述骨骼图像数据确定上述表演者的人体姿态参数；动画生成模块，配置为根据上述面部表情的权重参数和上述人体姿态参数，利用UE图形程序生成角色3D模型的动作和表情。本发明专利技术实现了表演者动作和表情的捕捉，并根据动作和表情数据赋予虚拟角色真实合理的动作与生动的表情。

Unmarked performance capture system based on UE engine

The invention relates to the field of image processing, and proposes a tag-free performance capture system based on UE engine, which aims to solve the problem that tag points cause intrusion to performers and interfere with performances in the method of capturing performers'actions and expressions at the same time to generate character animation. The system comprises a facial performance capture module configured to collect the facial image data of the performer and calculate the weight parameters of the facial expression of the performer according to the above facial image data; a motion performance capture module configured to collect the skeletal image data of the performer and to be sure according to the above skeletal image data. The human pose parameters of the performers are determined, and the animation generation module is configured to generate the action and expression of the 3D character model by using the UE graphics program according to the weight parameters of the facial expressions and the human pose parameters. The invention realizes the capture of the action and expression of the performer, and according to the action and expression data, gives the virtual character the real and reasonable action and the vivid expression.

【技术实现步骤摘要】
基于UE引擎的无标记表演捕捉系统
本专利技术涉及了计算机图形学、计算机视觉和虚拟现实领域，特别涉及一种基于UE引擎的无标记表演捕捉系统。
技术介绍
表演捕捉技术用于对表演者的动作和表情进行捕捉，在电影、动画、游戏等领域中具有广泛的应用。通过表演捕捉技术赋予虚拟角色真实合理的动作与生动的表情，可以带给用户优更秀的观感体验。动作捕捉技术包括光学式捕捉与惯性导航式捕捉。光学式捕捉通过光学相机拍摄表演者，分析计算表演者的关节点，例如kinect等；惯性导航式捕捉通过表演者身上穿戴的传感器获取关节点的运动状态，分析出表演者当前的姿态，例如诺亦腾、OptiTrack等。当前，已有表演捕捉技术方案有，在表演者全身和脸部贴上标记，通过光学相机捕捉全身动作及面部表情，在后期制作中根据捕捉到的标记点将拍摄的表演者影像替换成虚拟角色模型。但标记点对表演者造成侵入感，使得自然表演的难度增加。或者，分别进行表情捕捉与动作捕捉，然后进行合成，但是在后期制作中增加了相互间结合的难度，并对用户进行其他角色编辑有所限制。
技术实现思路
为了解决现有技术中的上述问题，即为了解决同时捕捉表演者的动作与表情以生成角色动画方法中本文档来自技高网...

【技术保护点】
1.一种基于UE引擎的无标记表演捕捉系统，其特征在于，所述系统包括：面部表演捕捉模块，配置为采集表演者的面部图像数据，并根据所述面部图像数据计算所述表演者的面部表情的权重参数，并记为第一权重参数；动作表演捕捉模块，配置为采集所述表演者的骨骼图像数据，并根据所述骨骼图像数据确定所述表演者的人体姿态参数；动画生成模块，配置为根据所述第一权重参数和所述人体姿态参数，利用UE图形程序生成所述表演者对应人物角色的3D模型的动作和表情。

【技术特征摘要】
1.一种基于UE引擎的无标记表演捕捉系统，其特征在于，所述系统包括：面部表演捕捉模块，配置为采集表演者的面部图像数据，并根据所述面部图像数据计算所述表演者的面部表情的权重参数，并记为第一权重参数；动作表演捕捉模块，配置为采集所述表演者的骨骼图像数据，并根据所述骨骼图像数据确定所述表演者的人体姿态参数；动画生成模块，配置为根据所述第一权重参数和所述人体姿态参数，利用UE图形程序生成所述表演者对应人物角色的3D模型的动作和表情。2.根据权利要求1所述的基于UE引擎的无标记表演捕捉系统，其特征在于，所述面部表演捕捉模块包括面部图像采集单元和表情计算单元，所述面部图像采集单元，配置为采集所述表演者正面人脸的面部图像数据；所述表情计算单元，配置为对所述面部图像数据进行特征点跟踪，并计算所述表演者的面部表情的权重参数。3.根据权利要求1所述的基于UE引擎的无标记表演捕捉系统，其特征在于，所述动作表演捕捉模块包括骨骼数据采集单元和人体姿态确认单元；所述骨骼图像采集单元包括多台Kinect传感器，配置为从不同的角度采集所述表演者的多帧骨骼图像数据，各帧所述骨骼图像数据包括组成人体骨骼的各关节点的关节点坐标和各所述关节点的跟踪属性，并根据所述跟踪属性为各所述骨骼图像数据的各个关节点分配可信度；所述人体姿态确认单元，配置为根据所述表演者的骨骼图像数据中各关节点坐标和各所述关节点坐标变化确定出所述表演者的人体姿态参数。4.根据权利要求3所述的基于UE引擎的无标记表演捕捉系统，其特征在于，所述人体姿态确认单元进一步配置为：利用预设的坐标转换矩阵对各台Kinect传感器所采集的骨骼图像数据进行坐标系转换，生成参考骨骼数据；根据各参考骨架数据利用加权平均算法合成所述表演者的平均骨架数据。5.根据权利要求4所述的基于UE引擎的无标记表演捕捉系统，其特征在于，“根据各参考骨架数据利用加权平均算法合成所述表演者的平均骨架数据”，包括：确定所述参考骨架数据的关节点的可信度为所述关节点的权重因子；根据各参考骨架数据的任一关节点坐标和所述关节点的权重因子计算所述关节点坐标的平均值；根据组成人体骨架的全部关节点坐标的平均值确定所述表演者的平均骨架数据。6.根据权利要求1所述的基于UE引擎的无标记表演捕捉系统，其特征在于，所述动画生成模块包括骨骼运动控制单元和表情控制单元；所述骨骼运动控制单元，配置为根据所述动作表演捕捉模块确定的人体姿态参数，利用所述UE图形程序生成人物角色的3D模型的动作动画；所述...

【专利技术属性】
技术研发人员：车武军，吴泽烨，谷卓，徐波，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11