面肌运动捕捉分析系统及其分析方法技术方案

本发明专利技术涉及一种面肌运动捕捉分析系统及其分析方法，包括运动捕捉装置及上位机，所述的运动捕捉装置包括可编程门阵列及视觉图像传感器，通过可编程门阵列可编程门阵列向视觉图像传感器发送触发信号，上位机接收视觉图像传感器拍摄图像对的数据处理结果，对该图像对中的特征点提取、追踪及三维重建，自动识别面部观察点进行编号，对追踪计算进行预测和纠错，自动判别错误数据进行修正并根据智能模型自动填补空缺数据，对面部观察点三维运动分析并输出相关报告，从而实现低成本、高效率、高可靠性和高精度的实时运动跟踪、重建和结果分析。

【技术实现步骤摘要】

本专利技术属于运动捕捉跟踪
，涉及面部运动捕捉跟踪，尤其是一种面肌运动捕捉分析系统及其分析方法。
技术介绍
人脸的面部运动细微且复杂，对于面部表情的运动捕捉，由于传感器尺寸和布局方式的限制，以及面部表情对细节特征跟踪测量精度较高的要求，很多传统的运动捕捉技术(如机械式、电磁式、声学式、加速度传感器式等)都已经难以应用，而光学式运动捕捉成为面部运动捕捉最为成熟和广泛应用的技术。具有保持自然特征点形态稳定且排除光照条件的不稳定因素的特点，标记点式面部运动捕捉技术在三维制作领域已经有着成熟的应用。其原理是利用多相机立体视觉技术，对粘贴于被测对象表面的高亮反光标记进行高速同步拍摄、特征跟踪和实时精确地三维重建，记录和重现关键点的运动轨迹。该方法有着独特的技术优势：可以灵活地对面部任何指定点或感兴趣的部位进行稳定可靠的运动跟踪分析；运动测量精确，精度可达到0.1mm/1m；可实现在线实时的数据自动处理分析，操作简单便捷，无需复杂的技术操作，同时保证较高的精度和可靠性。标记点式面部运动捕捉技术大多是肢体动作捕捉技术的延伸，原理与肢体捕捉没有本质区别。一些现有方案在面部捕捉技术上达到可观的效果，但费用十分昂贵且有缺陷。例如，高端动作捕捉品牌Vicon和魔神采用的方案是肢体捕捉的同时，在人脸粘贴标记点，利用高分辨率系统同步捕捉肢体和面部细节的运动。该技术的优点是捕捉效率高，实现简单，肢体和面部运动数据高度同步，缺点是由于面部细节标记点过多，适用于肢体捕捉的大视场捕捉对面部稠密标记点跟踪容易失效，导致大量跳点问题发生，后处理十分繁杂，成为实际应用的最大障碍。OptiTrack方案是将采用落地式动作捕捉系统，将捕捉有效范围调整至人脸适合大小，固定朝向人脸进行标记点捕捉。该技术同样存在大量丢点、跳点问题，影响最终的数据稳定性和精确度。近年来，面部运动捕捉技术已广泛应用于多个领域。面瘫不仅严重影响人的外观，也会造成其社会行为、工作、生活的改变。但缺乏准确、客观的面神经功能评价系统制约着面瘫的诊疗和研究。在面瘫的实际临床工作和临床研究中亦存在较大差异，临床工作一般是定性和灵活的，而临床研究则应是定量的和“板上钉钉”的。基于三维动态图像的分析方法则可提供静态测量以及面肌运动观察点移动距离、方向、速度、加速度等所有动态参数，通过分析这些参数可以反映面肌、面神经的功能。标记式特征点定位和跟踪技术在医学研究感兴趣的面肌关键点(如脸颊上某点)上的立体定量分析中可以发挥其优势，并且该技术可以满足对面部肌肉运动在线实时分析的实测要求，已经被某些面瘫研究者们所使用。
技术实现思路
本专利技术的目的在于克服现有技术的不足之处，提供一种用于医疗的面肌运动捕捉分析系统及其分析方法，能够快速、方便、准确地捕捉面部密集的特征点集在三维空间连续运动的轨迹、实现重建并自动编号，进行数据分析、解算运动参数、打印结果报告，为医学临床研究或医生诊断分析提供客观依据。本专利技术解决技术问题所采用的技术方案是：一种面肌运动捕捉分析系统，包括运动捕捉装置及上位机，所述的运动捕捉装置包括可编程门阵列及视觉图像传感器，所述的上位机分别与可编程门阵列及视觉图像传感器连接，可编程门阵列与视觉图像传感器连接，可编程门阵列接收上位机发送的预设脉冲触发信号和曝光时间，根据预设脉冲触发信号和曝光时间向所述视觉图像传感器发送触发信号，视觉图像传感器接收可编程门阵列发出的触发脉冲信号，曝光采集图像对并数据进行预处理，将处理后的数据传送至上位机，所述的上位机对视觉图像传感器上传的特征点进行提取、预测追踪及三维重建，特征点自动识别编号；自动修补跟踪过程中丢失或遗漏的特征观察点及去除刚体位移；生成面部观察点三维运动捕捉的相关报告。而且，所述的图像的预处理是通过可编程门阵列对图像进行分割，只保留高亮标记点周围的小块图像，除去图像大部分区域黑色背景图像数据。而且，所述的视觉图像传感器包括多个光学相机，多个光学相机通过上位机定标，在定标计算方法中加入了镜头畸变数学模型，采用大型稀疏矩阵的非线性快速计算方法解算多目视觉系统内外结构参数。而且，所述的视觉图像传感器包括辅助照明设备，所述的辅助照明设备为环形LED灯，所述环形LED灯同轴安装在相机光学镜头的外沿，通过相机自身的信号输入输出接口与相机连接，该接口输出的闪光灯信号控制LED灯进行与相机采集同步的频闪工作。而且，所述上位机对特征点自动识别编号过程如下：首先确定观察点中参考点的位置，剩下的具体位置在未确认的观察点中寻找，设耳朵为x轴方向距离最大值的两点，嘴在脸部的最下方，为z轴方向，根据最大最小距离原则确认嘴部四点分别位于长轴或短轴上，在剩下的观察点中最低的三个点里寻找最远距离确定左右鼻翼的位置，中部为鼻尖，由耳朵两点连线中点、鼻尖和下嘴唇三点确定的中平面，剩余点中距离最近的为鼻梁，距离第二近的为眉心，在剩余的观察点中，距离中平面距离最近的为左右内眼角，根据对应的x值判断左右，根据z方向最小值确定左右眉中，再根据对应x值判断左右，距离中平面的最大值为左右外眼角，根据对应的x值判断左右，剩下的观察点中，以鼻尖为基准，左侧寻找z方向的最大最小值确定左上下眼睑，同理右上下眼睑，至此自动识别过程结束。而且，所述上位机自动修补跟踪过程中丢失或遗漏的特征观察点是根据其所属的刚体结构和结构中其他点的三维空间坐标将该点的三维坐标进行还原。而且，所述上位机的去除刚体位移是找寻多个观察点作为参考基准，在整体产生位移时，参考点之间的相对位置不变，根据前后帧参考点的之间的粗略变换关系[R 1|T1]，将整体观察点的三维空间坐标进行同样的变换，去除刚体位移。而且，所述上位机的生成面部观察点三维运动捕捉的相关报告包括观察点的区间最大位移、当前帧速度、加速度。一种面肌运动捕捉分析系统的分析方法，步骤如下：⑴上位机与视觉图像传感器通讯，检测预先设定的图像采集曝光时间，上位机将上述曝光时间发送至可编程门阵列，可编程门阵列设定脉冲信号输出宽度及触发输出频率；⑵可编程门阵列发送触发信号控制光学元件频闪并控制视觉图像传感器开始曝光采集图像对并进行数据处理；⑶视觉图像传感器将采集图像对中所有特征观察点的圆心位置传送至上位机；⑷上位机使用二维卡尔曼跟踪预测所有图像中的观察点；根据立体视觉原理对极几何理论，对特征观察点进行空间三维重构，并进行三维卡尔曼预测，修正预测偏差；⑸上位机对重建的特征点进行自动识别并编号；⑹上位机根据刚体约束自动修补丢失或错误的捕捉结果，根据相对位置固定的参考点，去除捕捉过程中的多余的刚体位移；⑺上位机判断是否已完成所有跟踪预测任务，如果完成，生成面部观察点三维运动捕捉的相关报告。所述步骤⑵的具体流程为：①可编程门阵列向视觉图像传感器发出脉冲触发信号；②光学元件在脉冲信号上升沿通电亮起；③视觉图像传感器在脉冲信号上升沿开始曝光；④视觉图像传感器曝光结束，完成一次图像对采集；⑤光学元件在脉冲下降沿断电熄灭；⑥等待FPGA下一次触发。本专利技术的优点和积极效果是：1、本专利技术基于视觉三维测量原理，对该图像对中的特征点提取、追踪及三维重建，自动识别面部观察点进行编号，采用卡尔曼滤波对追踪计算进行预测和纠错，自动判别错误数据进行修正并根据智能模型自动填补空缺数据，对面部观察点本文档来自技高网...

【技术保护点】
一种面肌运动捕捉分析系统，其特征在于：包括运动捕捉装置及上位机，所述的运动捕捉装置包括可编程门阵列及视觉图像传感器，所述的上位机分别与可编程门阵列及视觉图像传感器连接，可编程门阵列与视觉图像传感器连接，可编程门阵列接收上位机发送的预设脉冲触发信号和曝光时间，根据预设脉冲触发信号和曝光时间向所述视觉图像传感器发送触发信号，视觉图像传感器接收可编程门阵列发出的触发脉冲信号，曝光采集图像对并数据进行预处理，将处理后的数据传送至上位机，所述的上位机对视觉图像传感器上传的特征点进行提取、预测追踪及三维重建，特征点自动识别编号；自动修补跟踪过程中丢失或遗漏的特征观察点及去除刚体位移；生成面部观察点三维运动捕捉的相关报告。

【技术特征摘要】
1.一种面肌运动捕捉分析系统，其特征在于：包括运动捕捉装置及上位机，所述的运动捕捉装置包括可编程门阵列及视觉图像传感器，所述的上位机分别与可编程门阵列及视觉图像传感器连接，可编程门阵列与视觉图像传感器连接，可编程门阵列接收上位机发送的预设脉冲触发信号和曝光时间，根据预设脉冲触发信号和曝光时间向所述视觉图像传感器发送触发信号，视觉图像传感器接收可编程门阵列发出的触发脉冲信号，曝光采集图像对并数据进行预处理，将处理后的数据传送至上位机，所述的上位机对视觉图像传感器上传的特征点进行提取、预测追踪及三维重建，特征点自动识别编号；自动修补跟踪过程中丢失或遗漏的特征观察点及去除刚体位移；生成面部观察点三维运动捕捉的相关报告。2.根据权利要求1所述的面肌运动捕捉分析系统，其特征在于：所述的图像的预处理是通过可编程门阵列对图像进行分割，只保留高亮标记点周围的小块图像，除去图像大部分区域黑色背景图像数据。3.根据权利要求1所述的面肌运动捕捉分析系统，其特征在于：所述的视觉图像传感器包括多个光学相机，多个光学相机通过上位机定标，在定标计算方法中加入了镜头畸变数学模型，采用大型稀疏矩阵的非线性快速计算方法解算多目视觉系统内外结构参数。4.根据权利要求1所述的面肌运动捕捉分析系统，其特征在于：所述的视觉图像传感器包括辅助照明设备，所述的辅助照明设备为环形LED灯，所述环形LED灯同轴安装在相机光学镜头的外沿，通过相机自身的信号输入输出接口与相机连接，该接口输出的闪光灯信号控制LED灯进行与相机采集同步的频闪工作。5.根据权利要求1所述的面肌运动捕捉分析系统，其特征在于：所述上位机对特征点自动识别编号过程如下：首先确定观察点中参考点的位置，剩下的具体位置在未确认的观察点中寻找，设耳朵为x轴方向距离最大值的两点，嘴在脸部的最下方，为z轴方向，根据最大最小距离原则确认嘴部四点分别位于长轴或短轴上，在剩下的观察点中最低的三个点里寻找最远距离确定左右鼻翼的位置，中部为鼻尖，由耳朵两点连线中点、鼻尖和下嘴唇三点确定的中平面，剩余点中距离最近的为鼻梁，距离第二近的为眉心，在剩余的观察点中，距离中平面距离最近的为左右内眼角，根据对应的x值判断左右，根据z方向最小值确定左右...

【专利技术属性】
技术研发人员：杜华，杨英，李仁举，叶成蔚，
申请(专利权)人：天远三维天津科技有限公司，
类型：发明
国别省市：天津;12