基于几何分析提取眼部异常运动特征的方法技术

本发明专利技术公开了基于几何分析提取眼部异常运动特征的方法，首先，使用摄像机或手机，从正面拍摄静坐状态下受试者面部视频图像序列。然后，通过人脸对齐，对视频图像序列中的面部关键点进行几何定位，提取眼部特征点的几何信息，计算眼睛相对开度。接着，通过经验模态分解去噪、闭眼检测等处理，对眼睛相对开度序列进行滤波与修正。随后，使用固定长度滑窗，提取眼睛相对开度序列片段，训练眨眼检测器，对序列中的眨眼运动模式进行识别。最后，结合眨眼与闭眼运动模式识别结果，对眼睛相对开度序列进行统计分析，提取眼部异常运动特征。本发明专利技术实现了眼部异常运动特征的精确客观度量，可用于面部运动障碍疾病严重程度评估，对促进人工智能医学影像辅助诊断技术发展具有重要意义。能医学影像辅助诊断技术发展具有重要意义。能医学影像辅助诊断技术发展具有重要意义。

【技术实现步骤摘要】
基于几何分析提取眼部异常运动特征的方法


[0001]本专利技术涉及人工智能、医学影像、临床医学
，尤其涉及一种使用视频图像序列基于几何分析提取眼部异常运动特征的技术。

技术介绍

[0002]对健康个体而言，眼部运动模式由睁眼、闭眼、眨眼构成，其中前两者可视为静止状态，自然非受迫的眨眼行为更有分析价值。对于存在眼部运动障碍疾病的个体，眼部运动大多表现为受迫的运动状态，如眼睑痉挛、张睑失用、眨眼频率增加，或几者的结合，这些运动模式比较复杂，使用针对健康个体的眨眼检测等通用方法可能难以准确分析。眼部异常运动的特殊性主要体现在个体眼部相对开度变化、眨眼频率等方面。首先，不同个体以上方面差异可能很大；其次，同一个体在不同时间片段中，以上方面差异也可能很明显。所以，对于眼部异常运动的分析，不能仅采用通常的眨眼检测方法。
[0003]目前，针对眼部运动障碍疾病的分析大多由具有丰富临床经验的医生完成，对患者进行一定时间的观察，并结合Jankovic评分标准给出眼部运动障碍严重程度判断，而基于视频的计算机辅助诊断实例较少。Midori H.Osaki等人使用附着在眼睑前部区域的发光二极管和摄像机实现了对面肌痉挛患者观影时眨眼与眼睑异常运动的捕捉与分析，研究了眼部疾病受累眼与健康眼的眨眼共轭程度，与眨眼基础上的高频眼睑抽搐。此外，还对复杂的眼睑运动模式进行了探究。Shinji Miyazaki等人开发了一种适用于现场系统来量化临床部位的眼睑运动，也使用了附着在眼睑边缘的标记物，且样本中眼部未表现出复杂运动模式。Naveen N.Somia等人对健康受试者和面部神经病变患者反射性眼睑运动进行了定量描述，测量了位移、速度、加速度、双侧眨眼程度等参数，从运动学角度评估了眼睑功能。同样地也使用了穿戴设备和眼睑反射标记来辅助测量。这些方法大多停留在眼部运动数据获取和统计分析阶段。针对眼部运动数据获取，前述方法都采用了主动检测方法，即使用了附着于眼部的标记物，具有一定的侵入性，会引起被试者不适。此外，对眼部运动数据的分析也只提供了一些简单的统计结果，并未对数据作进一步分析处理，更多的是在医学方面进行讨论，而未提取出眼部异常运动相对于健康个体的典型特征，以供后续疾病诊断与评估。

技术实现思路

[0004]为解决上述问题，本专利技术公开了一种基于几何分析提取眼部异常运动特征的方法，本专利技术通过采集面部运动障碍疾病患者和健康对照者的面部视频图像序列，使用人脸对齐算法，提取眼部特征点几何信息，计算眼睛的相对开度；使用经验模态分解去噪、闭眼检测等处理，对眼睛相对开度序列进行滤波与修正；提取眼睛相对开度序列片段，训练眨眼检测器，对序列中的眨眼运动模式进行识别；结合眨眼与闭眼运动模式识别结果，对眼睛相对开度序列进行统计分析，提取眼部异常运动特征，如眨眼频率、闭眼占比等；并将这些特征成功用于面部运动障碍疾病的识别分型及其严重程度评估。
[0005]本专利技术的技术方案如下：
[0006]本专利技术公开了一种基于几何分析提取眼部异常运动特征的方法，其以视频图像序列为信息载体，使用智能分析算法，自动测量受试者眼睛的相对开度，精确提取眼部异常运动特征，包括以下步骤：
[0007]步骤1，受试者面部视频采集；
[0008]步骤2，人脸检测与人脸对齐；
[0009]步骤3，眼睛相对开度计算；
[0010]步骤4，经验模态分解去噪；
[0011]步骤5，闭眼检测与序列修正；
[0012]步骤6，眨眼运动模式识别；
[0013]步骤7，眼部异常运动特征提取。
[0014]本专利技术进一步改进在于：步骤1中，使用摄像机或手机，拍摄受试者在静坐状态下的面部运动视频图像序列，其中受试者包括面部运动障碍疾病患者和健康对照者，并由运动障碍疾病诊治专家观看受试者面部运动视频图像，诊断受试者是否患病、患病类型以及患病严重程度。根据患者眼部异常运动的临床表现，将面部运动障碍疾病分为若干亚类，与健康受试者形成对照，构建面部运动障碍疾病视频图像数据集。面部运动障碍疾病视频图像数据集中个体的表现不同于一般的人脸数据集。患者眼部运动状态可能是非正常的，直观上可能存在上、下眼睑不同频率痉挛或张睑受限等眼部受迫现象。
[0015]本专利技术进一步改进在于：步骤2中，对受试者面部视频图像序列，使用多任务卷积神经网络(MTCNN)进行人脸检测，并使用卷积专家约束局部模型(CE
‑
CLM)进行人脸对齐，实现面部特征点定位。
[0016]CE
‑
CLM包括两部分：使用卷积专家网络(CEN)计算响应图；再使用点分布模型(PDM)更新形状参数。第一步，对每一个特征点的位置进行对齐估计，各个特征点的位置相互独立；第二步，将所有特征点的位置一起更新，使用点分布模型对未对齐特征点和不规则形状进行惩罚。CE
‑
CLM模型初始化使用MTCNN实现，即学习了从MTCNN检测器输出的边界框到面部特征点的线性映射。跟踪特征点时，基于前一帧特征点检测结果初始化CE
‑
CLM模型。
[0017]使用CE
‑
CLM模型可以估计视频序列中每一帧图像内面部特征点在相机坐标系下的三维坐标。该方法在面部特征点检测与跟踪方面具有很好的性能，受光照、姿态、表情等变化影响小。
[0018]本专利技术进一步改进在于：步骤3中，将CE
‑
CLM模型估计的面部特征点三维坐标转换到头部坐标系下。由于CE
‑
CLM在内部使用面部特征点的三维表示，并使用正交相机投影到图像上，所以通过解决透视图中的n点问题，可以在得到面部特征点后准确估计头部姿势，获得头部坐标系相关参数。
[0019]头部坐标系原点在相机坐标系下坐标为(x0,y0,z0)
T
，与XYZ三个坐标轴的欧拉角分别为φ，θ，ψ。相机坐标系下特征点(x
i
,y
i
,z
i
)
T
转换到头部坐标系(x
i
′
,y
i
′
,z
i
′
)
T
的过程表述为
[0020][0021]其中，R为旋转矩阵，
[0022][0023]T为平移矩阵
[0024]T＝(x0,y0,z0)
T
[0025]便于后续计算分析，将特征点坐标转换到头部坐标系下。二维坐标系下，点(x,y)绕定点(x
c
,y
c
)旋转角度α，得到坐标(x
′
,y
′
)的计算，
[0026][0027]二维坐标转换用于后续闭眼分类器训练样本(眼部图像)的提取。
[0028]眼部相对开度A的计算公式为
[0029][0030]其中，p1,p2,...,p6为从左眼角开始按顺时针分布的眼部特征点在头部坐标系下的坐标。由此得到眼睛相对开度序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于几何分析提取眼部异常运动特征的方法，其特征在于：以视频图像序列为信息载体，使用智能分析算法，自动测量受试者眼睛的相对开度，精确提取眼部异常运动特征，包括如下步骤：步骤1，受试者面部视频采集；步骤2，人脸检测与人脸对齐；步骤3，眼睛相对开度计算；步骤4，经验模态分解去噪；步骤5，闭眼检测与序列修正；步骤6，眨眼运动模式识别；步骤7，眼部异常运动特征提取。2.根据权利要求1所述的一种基于几何分析提取眼部异常运动特征的方法，其特征在于：步骤1中，使用摄像机或手机，拍摄受试者在静坐状态下的面部运动视频图像序列，其中受试者包括面部运动障碍疾病患者和健康对照者，并由运动障碍疾病诊治专家观看受试者面部运动视频图像，诊断受试者是否患病、患病类型以及患病严重程度；根据患者眼部异常运动的临床表现，将面部运动障碍疾病分为若干亚类，与健康受试者形成对照，构建面部运动障碍疾病视频图像数据集。3.根据权利要求1所述的一种基于几何分析提取眼部异常运动特征的方法，其特征在于，步骤2中，对受试者面部视频图像序列，使用多任务卷积神经网络(MTCNN)进行人脸检测，并使用卷积专家约束局部模型(CE
‑
CLM)进行人脸对齐，实现面部特征点定位；CE
‑
CLM包括两部分：使用卷积专家网络(CEN)计算响应图；再使用点分布模型(PDM)更新形状参数。第一步，对每一个特征点的位置进行对齐估计，各个特征点的位置相互独立；第二步，将所有特征点的位置一起更新，使用点分布模型对未对齐特征点和不规则形状进行惩罚。CE
‑
CLM模型初始化使用MTCNN实现，即学习了从MTCNN检测器输出的边界框到面部特征点的线性映射。跟踪特征点时，基于前一帧特征点检测结果初始化当前帧CE
‑
CLM模型，其中CE
‑
CLM模型可估计视频序列中每一帧图像内面部特征点在相机坐标系下的三维坐标。4.根据权利要求1所述的一种基于几何分析提取眼部异常运动特征的方法，其特征在于：步骤3中，将CE
‑
CLM模型估计的面部特征点三维坐标转换到头部坐标系；由于CE
‑
CLM在内部使用面部特征点的三维表示，并使用正交相机投影到图像上，所以通过解决透视图中的n点问题，可以在得到面部特征点后准确估计头部姿势，获得头部坐标系相关参数；头部坐标系原点在相机坐标系下的坐标为(x0,y0,z0)
T
，与XYZ三个坐标轴的欧拉角分别为φ，θ，ψ；相机坐标系下特征点(x
i
,y
i
,z
i
)
T
转换到头部坐标系(x
′
i
,y
′
i
,z
′
i
)
T
的过程可以表述为其中，R为旋转矩阵，
T为平移矩阵；T＝(x0,y0,z0)
T
；为便于后续计...

【专利技术属性】
技术研发人员：金立左，李皓弘，阎俊，
申请(专利权)人：东南大学，
类型：发明
国别省市：