一种表情捕捉及动画自动生成系统和方法技术方案

本发明专利技术涉及一种表情捕捉及动画自动生成系统和方法，通过可编程门阵列FPGA向视觉图像传感器发送触发信号进行图像拍摄，上位机接收视觉图像传感器拍摄图像对的数据预处理结果，对提取的特征点进行智能追踪，预测纠错，三维重建和编号标识，使用重建的特征点空间信息作为表情描述符，然后基于表情编码系统FACS对捕捉的表情进行分析及编码，并结合Blendshape技术快速完成表情重定向，实现低成本、高效率、高可靠性和高精度的表情捕捉及动画自动生成。使用多相机视觉采集结构，实现同步对人脸动态特征的采集，准确快速地重现特征点集的三维空间连续运动轨迹，并进行表情分析编码，简化表情语义描述，自动生成精细表情动画预览，可用于影视、游戏和动漫制作等领域。

System and method for automatically generating facial expression and animation

The present invention relates to a system and method for automatically generating a motion capture and animation, through the programmable gate array FPGA image sensor sends a trigger signal to the visual image shooting, the host computer receives the visual image sensor image processing results of pre shooting data of feature extraction for intelligent tracking, prediction error correction, 3D reconstruction and identification number, the use of reconstruction feature point spatial information expression as descriptors, and expression of FACS encoding system to capture the expression based on analysis and encoding, and combined with the rapid completion of the redirection of Blendshape expression technology, realization of automatic generation of low cost and high efficiency, high reliability and high precision motion capture and animation. The use of multi camera vision acquisition structure, realize the synchronization of the dynamic face features of the collection, quickly and accurately reproduce the continuous trajectory of three-dimensional space feature points, and the expression of encoding, simplified expression semantics, automatic generation of fine facial animation preview, can be used for film and television, games and animation etc..

【技术实现步骤摘要】

本专利技术属于面部运动捕捉跟踪和表情重定向
领域，尤其是一种表情捕捉及动画自动生成系统和方法。
技术介绍
面部表情动画精细而多变，之前的制作过程更是需要大量的后期人工，为了简化工作量，节约时间和制作成本，一个非常可行的方式就是使用表情捕捉及动画自动生成技术，对人物的面部动作捕捉，将表情动态进行三维数字化解算，得到三维动作数据，经由表情编码系统分析编码，将结果输出到3d软件中驱动表情动画模型，重现真人的各种精细表情，从本质上提升CG表情动作效果，有效地节约成本。使用表情捕捉及动画自动生成技术可以实时地准确测量和记录面部肌肉在真实三维空间中的运动轨迹或姿态，对数字化捕捉信息进行表情动作分析后，在虚拟三维空间中重建每一时刻面部表情。该技术让CG表情动作制作效率提高数百倍，大大节省了人力成本和制作周期，制作者可以将更多精力投入在CG创意和细节刻画等方面，大幅提升产品的整体制作水平。技术的开发以好莱坞影视圈为主要基地，目前已引入到3D游戏动漫、电影特效、非物质文化创意数字化、虚拟现实、广告创意、人机交互、机器人仿真等诸多领域。标记点式表情捕捉技术在三维制作领域已经有着成熟的应用，该技术具有保持自然特征点形态稳定且排除光照条件的不稳定因素的特点。其原理是利用多相机立体视觉技术，对粘贴于被测对象表面的高亮反光标记进行高速同步拍摄、特征跟踪和实时精确地三维重建，记录和重现关键点的运动轨迹。该方法有着独特的技术优势：可以灵活地对面部任何指定点或感兴趣的部位进行稳定可靠的运动跟踪分析；运动测量精确，精度可达到0.1mm/1m；可实现在线实时的数据自动处理分析，操作简单便捷，无需复杂后处理技术操作，同时保证较高的精度和可靠性。从目前市场应用情况看，表情捕捉及动画自动生成应用相对较少，大部分动作捕捉打造的作品如动画片、游戏等只有肢体动作的真实体验而缺乏表情的体现，这也成为用户对产品普遍诟病的问题。制约该技术应用的主要原因在于现阶段国内的相关技术不成熟，并且没有完整的表情捕捉及动画自动生成流程的系统产品出现，仅有的一些可选方案(国外相关技术软硬件支持)成本过高，导致很多动画制作商对表情捕捉及动画自动生成技术充满期待，却难以找到真正实用的方案。现在国内外并未出现集表情捕捉、分析处理和动画自动生成于一体的系统产品。一些方案在表情捕捉技术上达到可观的效果，但费用十分昂贵且有缺陷。例如，高端动作捕捉品牌Vicon和魔神采用的方案是肢体捕捉的同时，在人脸粘贴标记点，利用高分辨率系统同步捕捉肢体和面部细节的运动。该技术可达到肢体和表情数据高度同步，缺点是由于面部细节标记点过多，适用于肢体捕捉的大视场捕捉对面部稠密标记点跟踪容易失效，导致大量跳点问题发生，后处理十分繁杂，成为实际应用的最大障碍。OptiTrack方案是将采用落地式动作捕捉系统，将捕捉有效范围调整至人脸适合大小，固定朝向人脸进行标记点捕捉。该技术同样存在大量丢点、跳点问题，影响最终的数据稳定性。Vicon推出了Cara表情捕捉方案，采用双目或四目摄像头对面部标记点进行高清采集和三维重建。该技术最大程度上保证了面部肌肉运动捕捉的精细度和准确度，同时也尽可能地避免了对演员表演的约束，但问题是得到的标记点运动数据如何能够在最终的动画制作中有效地使用，并没有形成简单实用的方案，需要依靠后期制作公司的专业处理才能实现较好的效果。
技术实现思路
本专利技术的目的在于克服现有技术的不足之处，提供一种表情捕捉及动画自动生成系统和方法，能够快速、方便、准确地捕捉面部密集的特征点集在三维空间连续运动的轨迹并进行表情分析编码，实现表情重定向动画预览，效率、准确度以及逼真效果比手工制作提高数百倍，同时为表情捕捉及动画自动生成技术在较低成本、较通用技术和简便操作手段的基础上服务于国内市场提供了极大的可能性。本专利技术解决技术问题所采用的技术方案是：一种表情捕捉及动画自动生成系统，包括运动捕捉装置及上位机，所述的运动捕捉装置包括可编程门阵列及视觉图像传感器，所述的上位机分别与可编程门阵列及视觉图像传感器连接，可编程门阵列与视觉图像传感器连接，可编程门阵列接收上位机发送的预设脉冲触发信号和曝光时间，根据预设脉冲触发信号和曝光时间向所述视觉图像传感器发送触发信号，视觉图像传感器接收可编程门阵列发出的触发脉冲信号，曝光采集图像对并数据进行预处理，将处理后的数据传送至上位机，所述的上位机对视觉图像传感器上传的特征点进行提取、预测追踪及三维重建，纠错和编号标识，对捕捉的表情数据进行分析，根据表情编码系统对表情帧编码，提取简化表情描述符，使用简化表情描述符，合成原有表情，实现表情重定向动画预览。而且，所述的图像的预处理是通过可编程门阵列对图像进行分割，只保留高亮标记点周围的小块图像，除去图像大部分区域黑色背景图像数据。而且，所述的视觉图像传感器包括多个光学相机，多个光学相机通过上位机定标，在定标计算方法中加入了镜头畸变数学模型，采用大型稀疏矩阵的非线性快速计算方法解算多目视觉系统内外结构参数。而且，所述的视觉图像传感器包括辅助照明设备，所述的辅助照明设备为环形LED灯，所述环形LED灯同轴安装在相机光学镜头的外沿，通过相机自身的信号输入输出接口与相机连接，该接口输出的闪光灯信号控制LED灯进行与相机采集同步的频闪工作。而且，所述上位机对视觉传感器获得的特征点二维预处理数据进行二维卡尔曼追踪预测，根据立体视觉原理，将二维数据进行三维重建，并进行三维卡尔曼预测，根据刚体结构约束进行纠错，最后进行编号标识。而且，上位机根据表情编码系统，将所有的脸部肌肉动作划分为若干个既相互独立又相互联系的基本运动单元，与基准帧的所有特征观察点位置位移差作为任意帧的特征描述，挑选捕捉的表情数据中某些特定帧的结果特征作为基本运动单元的描述符，将这些单元作为字典索引，使用非线性最小二乘法拟合任意表情帧，求取索引编码，即任意表情帧对应的所有基本运动单元权重系数作为简化表情描述符。而且，所述的表情重定向，具体方法为：结合Blendshape技术，将面部的语义模型定义为一个线性表达，任意表情都由若干blendshape项线性组合而成，则表情重定向转换为求解blendshape项的权重问题，根据blendshape项与基本运动单元之间的映射关系，将表情帧编码系数重新组合，得到blendshape项的权重值，驱动模型，合成表情动画，并可在3d软件中实时输出动画效果。而且，所述的运动捕捉装置通过固定装置固定在能获取面部观察点的位置。一种表情捕捉及动画自动生成系统的生成方法，步骤如下：⑴上位机与视觉图像传感器通讯，检测预先设定的图像采集曝光时间，上位机将上述曝光时间发送至可编程门阵列，可编程门阵列设定脉冲信号输出宽度及触发输出频率；⑵可编程门阵列发送触发信号控制光学元件频闪并控制视觉图像传感器开始曝光采集图像对并进行数据处理；⑶视觉图像传感器将采集图像对中所有特征观察点的圆心位置传送至上位机；⑷上位机使用二维卡尔曼跟踪预测所有图像中的观察点；根据立体视觉原理对极几何理论，对特征观察点进行空间三维重构，并进行三维卡尔曼预测，修正预测偏差；⑸上位机对重建的特征点进行自动识别并编号；⑹对捕捉的表情数据进行分析，根据表情编码系统对任意表情帧编码，提取简化表本文档来自技高网...

【技术保护点】
一种表情捕捉及动画自动生成系统，其特征在于：包括运动捕捉装置及上位机，所述的运动捕捉装置包括可编程门阵列及视觉图像传感器，所述的上位机分别与可编程门阵列及视觉图像传感器连接，可编程门阵列与视觉图像传感器连接，可编程门阵列接收上位机发送的预设脉冲触发信号和曝光时间，根据预设脉冲触发信号和曝光时间向所述视觉图像传感器发送触发信号，视觉图像传感器接收可编程门阵列发出的触发脉冲信号，曝光采集图像对并数据进行预处理，将处理后的数据传送至上位机，所述的上位机对视觉图像传感器上传的特征点进行提取、预测追踪及三维重建，纠错和编号标识，对捕捉的表情数据进行分析，根据表情编码系统对表情帧编码，提取简化表情描述符，使用简化表情描述符，合成原有表情，实现表情重定向动画预览。

【技术特征摘要】
1.一种表情捕捉及动画自动生成系统，其特征在于：包括运动捕捉装置及上位机，所述的运动捕捉装置包括可编程门阵列及视觉图像传感器，所述的上位机分别与可编程门阵列及视觉图像传感器连接，可编程门阵列与视觉图像传感器连接，可编程门阵列接收上位机发送的预设脉冲触发信号和曝光时间，根据预设脉冲触发信号和曝光时间向所述视觉图像传感器发送触发信号，视觉图像传感器接收可编程门阵列发出的触发脉冲信号，曝光采集图像对并数据进行预处理，将处理后的数据传送至上位机，所述的上位机对视觉图像传感器上传的特征点进行提取、预测追踪及三维重建，纠错和编号标识，对捕捉的表情数据进行分析，根据表情编码系统对表情帧编码，提取简化表情描述符，使用简化表情描述符，合成原有表情，实现表情重定向动画预览。2.根据权利要求1所述的表情捕捉及动画自动生成系统，其特征在于：所述的图像的预处理是通过可编程门阵列对图像进行分割，只保留高亮标记点周围的小块图像，除去图像大部分区域黑色背景图像数据。3.根据权利要求1所述的表情捕捉及动画自动生成系统，其特征在于：所述的视觉图像传感器包括多个光学相机，多个光学相机通过上位机定标，在定标计算方法中加入了镜头畸变数学模型，采用大型稀疏矩阵的非线性快速计算方法解算多目视觉系统内外结构参数。4.根据权利要求1所述的表情捕捉及动画自动生成系统，其特征在于：所述的视觉图像传感器包括辅助照明设备，所述的辅助照明设备为环形LED灯，所述环形LED灯同轴安装在相机光学镜头的外沿，通过相机自身的信号输入输出接口与相机连接，该接口输出的闪光灯信号控制LED灯进行与相机采集同步的频闪工作。5.根据权利要求1所述的表情捕捉及动画自动生成系统，其特征在于：所述上位机对视觉传感器获得的特征点二维预处理数据进行二维卡尔曼追踪预测，根据立体视觉原理，将二维数据进行三维重建，并进行三维卡尔曼预测，根据刚体结构约束进行纠错，最后进行编号标识。6.根据权利要求1所述的表情捕捉及动画自动生成系统，其特征在于：上位机根据表情编码系统，将所有的脸部肌肉动作划分为若干个既相互独立又相互联系的基本运动单元，与基准帧的所有特征观察点位置位移差作为...

【专利技术属性】
技术研发人员：杜华，杨英，李仁举，叶成蔚，
申请(专利权)人：天远三维天津科技有限公司，
类型：发明
国别省市：天津;12