基于DeepLabCut的自动眨眼检测方法和装置制造方法及图纸

本发明专利技术公开了基于DeepLabCut的自动眨眼检测方法和装置。该方法采用摄像头拍摄待处理的眼部视频数据；使用DeepLabCut深度神经网络模型追踪相关眼部标记点，并自动输出各个标记点在每一帧图像上的X坐标、Y坐标及置信度；然后通过相关公式计算判断眨眼的特征向量；最后采用机器学习的方法获得每一帧图像的眨眼判断结果。本方法步骤简单，在实现自动检测的同时，具备检测灵活，精度高的实用价值。精度高的实用价值。精度高的实用价值。

【技术实现步骤摘要】
基于DeepLabCut的自动眨眼检测方法和装置


[0001]本专利技术涉及视频影像、运动捕捉、人工智能、眼部医学领域，尤其涉及基于DeepLabCut的自动眨眼检测方法和装置。

技术介绍

[0002]眨眼是人潜意识里快速闭合和重新打开眼睑的过程。随着计算机应用和人工智能的迅速发展，眨眼检测所涵盖的科学内容涉及视觉追踪、公共安全、运动脑科学、认知心理学、眼部生物医学等多个领域，具体应用如人脸识别、紧张测试、睡意测定、疲劳追踪、射击表现评价、眼部疾病研究等，具有广泛的应用市场。
[0003]现有的眨眼检测方法通常隐含一定的检出条件，如：相对面部相机姿势（头部方向）、相机帧率、图像分辨率、照明、运动动力学等；这使得对不同的光照、不同的面部表情和适度非正面头部视频序列中的眨眼检测不具备鲁棒性。
[0004]另外，眼部数据的获取和分析，大多数还是基于传统的几何分析来提取眼部特征。通过穿戴设备实现的情况，需要附着于眼部的标记物来辅助测量，具有一定的侵入性和干扰性；通过视频分析处理的情况，一般采用眼部追踪的算法，如基于霍夫变换圆拟合检测的方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DeepLabCut的自动眨眼检测方法，其特征在于，包括以下步骤：（1）通过摄像装置采集眨眼过程的单眼视频，获得视频流数据后，采用视频编辑软件对需处理的眼部视频进行眨眼动作的识别，采用帧数读取并记录眨眼时间点和眨眼时长，制作基于时间序列的眨眼标签；（2）运用DeepLabCut软件进行预处理，所述预处理是DeepLabCut软件通过深度神经网络学习带人眼关键标记点的图像后，得到训练达标的神经网络；之后再将步骤（1）获得的眼部视频输入已训练达标的神经网络，输出在各帧图像中眼部的各个标记点的坐标及置信度，即对视频中眼部标记点进行自动追踪；（3）基于步骤（2）中捕捉到的多个眼部标记点坐标，采用变化率，横纵比公式计算出视频各帧图像中判断眨眼的重要特征向量；所述重要特征向量具体包括上眼睑变化率和眼睛纵横比；（4）利用步骤（3）计算得到的重要特征向量，制作眼部数据集，所述眼部数据集包括带标签的训练数据集；（5）将步骤（4）中获得的训练数据集放入机器学习的分类器中，进行模型训练得到训练达标的模型分类器；最后训练达标的模型分类器对测试数据集进行眨眼的自动判断。2.根据权利要求1所述的基于DeepLabCut的自动眨眼检测方法，其特征在于，所述步骤（1）中视频采集时需将所述摄像装置设置在可采集人眼的位置，从摄像装置中获取事件视频流数据；根据视频被检测者是否存在闭眼情况，若判断为是，则对应当前帧数的前一帧为闭眼，记录为本次闭眼的开始帧数和时长帧数；分析完采集的全部视频后，得到步骤（1）中被检测者眼部视频和基于时间序列的眨眼标签。3.根据权利要求1所述的基于DeepLabCut的自动眨眼检测方法，其特征在于，所述步骤（2）具体为：（2.1）采用K均值聚类算法对视频的所有帧进行分析，并提取J
n
张不同帧的人眼图像进行人眼关键点的标记；从左眼角开始按顺时针的方式标记多样性人眼图像，标记时不同图像上的眼部标记点位置保持一致；（2.2）基于已标记的若干张不同帧的人眼图像结果生成训练数据；（2.3）使用上述训练数据，训练一个Resnet_50深度残差神经网络，经过Nstep个迭代次数或损失函数达到收敛后，形成训练完的神经网络，并根据相应的输出位置坐标来评价训练完成的网络；（2.4）对全部的视频采用上述训练精度已达标的Resnet_50深度残差神经网络进行逐帧预测，即对眼部视频进行标记点的自动追踪，输出全部的人眼关键标记点的X坐标、Y坐标及置信度。4.根据权利要求1所述的基于DeepLabCut的自动眨眼检测方法，其特征在于，所述步骤（3）中的眼部关键标记点为6个，其中4个位于眼睛的上下眼睑，2个位于眼睛的左右眼角；并对每一个眼部关键标记点做标记，其中每个关键点用坐标来表示；然后采用上眼睑变...

【专利技术属性】
技术研发人员：祝婧，王若凡，施钧辉，陈睿黾，李驰野，
申请(专利权)人：之江实验室，
类型：发明
国别省市：