基于眼动及头动参数监测的疲劳检测及促醒系统技术方案

本发明专利技术公开了一种基于眼动及头动参数监测的疲劳检测及促醒系统，包括：眼镜本体；图像采集模块；头动数据采集模块，用于采集佩戴者的头动数据；促醒模块，包括光刺激单元、声音刺激单元和振动刺激单元；电源模块；后台处理模块，其包括眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及主控模块。本发明专利技术的基于眼动及头动参数监测的疲劳检测及促醒系统，通过眼动及头动数据融合评定，能自动判定人体疲劳程度，并依据人体疲劳等级进行预警，并施以声、光、振动相结合的促醒刺激，促使人体疲劳程度降低，使人体警觉度及作业能力提升；本发明专利技术采用基于MRCNN的人眼眨眼分析算法进行数据分析，能提高眨眼状态判断的准确性和效率。

Fatigue Detection and Wake-up Promotion System Based on Eye Movement and Head Movement Parameter Monitoring

The invention discloses a fatigue detection and wake-up system based on eye movement and head movement parameter monitoring, including: glasses body; image acquisition module; head movement data acquisition module, which is used to collect the wearer's head movement data; wake-up module, which includes light stimulation unit, sound stimulation unit and vibration stimulation unit; power module; background processing module, which includes eye movement data analysis module. Block, head movement data analysis module, fatigue degree analysis module and main control module. The fatigue detection and wake-up system based on the monitoring of eye movement and head movement parameters can automatically determine the fatigue degree of human body through the fusion evaluation of eye movement and head movement data, and carry out early warning according to the fatigue level of human body, and apply the wake-up stimulation combined with sound, light and vibration to reduce the fatigue degree of human body and enhance the alertness and operation ability of human body. RCNN blinking analysis algorithm for data analysis can improve the accuracy and efficiency of blinking state judgment.

【技术实现步骤摘要】
基于眼动及头动参数监测的疲劳检测及促醒系统
本专利技术涉及疲劳检测与觉醒刺激
，特别涉及一种基于眼动及头动参数监测的疲劳检测及促醒系统。
技术介绍
随机社会的发展，当前工作的自动化水平在提高，各类工作岗位要求工作人员如飞行员，保持高度的机敏度及充沛的精力和注意力，确保高端设备操作无失误及相关作业的顺利实施，但是持续性、高强度、非时间定式的作业影响工作人员的判断、决策和作战执行能力。因此，准确评价持续作业条件下，时间生物节律及其功能状态对相关作业能力的影响，并给予科学的干预，以提升相关人员作业效能。目前，国内外针对疲劳检测的手段主要分为主观检测和客观检测两种，其中客观检测主要包括行为特征检测(如眨眼，头部动作，嘴部动作等)和生理特征检测(如脑电，眼电，肌电等)；主观检测主要包括评价性检测和生理反应检测。促醒方法主要包括物理调节，化学调节和生物调节。相关研究表明，80％的PRECLOS与人的疲劳程度相关性较大，特定波长的光刺激，特定频率和响度的声音刺激和振动刺激对觉醒度的提高具有较好的作用。目前，市售的相关设备主要集中在驾驶疲劳检测装置的研发上，还没有用于个人作业能力提升等相关领域课题的研究。更没有针对以上需求的、集合觉醒状态评估、预警和刺激于一体的便携式装置。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于眼动及头动参数监测的疲劳检测及促醒系统。为解决上述技术问题，本专利技术采用的技术方案是：一种基于眼动及头动参数监测的疲劳检测及促醒系统，包括：眼镜本体，其用于佩戴到眼部；图像采集模块，其设置于所述眼镜本体上，用于采集佩戴者的眼动数据；头动数据采集模块，其设置于所述眼镜本体上，用于采集佩戴者的头动数据；促醒模块，其设置于所述眼镜本体上，包括光刺激单元、声音刺激单元和振动刺激单元；电源模块，其设置于所述眼镜本体上，用于为上述各模块供电；后台处理模块，其包括眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及主控模块；其中，所述后台处理模块与上述各模块均通信连接，所述疲劳程度分析模块融合所述眼动数据分析模块和头动数据分析模块的分析结果，判定人体疲劳程度，所述主控模块再根据判定结果向所述促醒模块发送光刺激和/或声刺激和/或振动刺激的信号，通过所述促醒模块对人体进行促醒。优选的是，所述眼动数据分析模块采用基于MRCNN的人眼眨眼分析算法进行数据分析，以判断眨眼状态，具体包括以下步骤：1)将所述图像采集模块采集的眼动图像输入到MRCNN网络；2)MRCNN网络对图像进行区域提取后送入Resnet101分类网络，对区域进行分类，检测是否为眼部区域；3)对眼部区域进行MASK预测，即对每一个像素点进行0-1分类得到各个像素点的二分类概率分布图；4)对MASK进行三角拐点提取，对三个拐点进行直线拟合，拟合出两条直线，分别为上眼睑线和下眼睑线；5)通过反三角函数计算两条直线的夹角，作为眼睛闭合度，从而判断眨眼状态。优选的是，所述步骤3)中，MASK所包含的区域为完全眼部区域，即：在眼部上覆盖了一层0-1的掩膜，把眼部贴合式的提取出来。优选的是，所述图像采集模块包括摄像头和红外照明光源，用于实时采集佩戴者的眼部图像，并传输至所述眼动数据分析模块。优选的是，所述头动数据采集模块包括陀螺仪、加速度传感器和与所述后台处理模块通信连接的姿态传感芯片，所述姿态传感芯片采用卡尔曼滤波算法将陀螺仪和加速度传感器采集的数据进行姿态融合，从而测得佩戴者的头动数据，并传输至所述头动数据分析模块。优选的是，所述眼镜本体包括镜片支架及连接在所述镜片支架两侧的左、右支腿。优选的是，所述光刺激单元包括分别设置在所述眼镜的左、右支腿上的两组蓝光光源，用于发出蓝光以刺激眼部；其中，一组蓝光光源与所述红外照明光源集成设置在设有所述摄像头的眼镜支腿上。优选的是，所述声音刺激单元包括设置在所述眼镜的支腿上的蜂鸣器，用于提供不同频率和响度的声音刺激。所述振动刺激单元包括设置在所述眼镜的支腿上的振动马达，用于提供特定序列的振动。优选的是，所述后台处理模块为内嵌有所述眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及主控模块的基于安卓系统的平板电脑，所述平板电脑与所述图像采集模块、头动数据采集模块、促醒模块、红外照明光源通过有线或无线方式建立通信连接。优选的是，所述眼镜的支腿上还设置有USB接口，以与所述平板电脑有线连接。本专利技术的有益效果是：本专利技术的基于眼动及头动参数监测的疲劳检测及促醒系统，通过眼动及头动数据融合评定，能自动判定人体疲劳程度，并依据人体疲劳等级进行预警，并施以声、光、振动相结合的促醒刺激，促使人体疲劳程度降低，使人体警觉度及作业能力提升；本专利技术采用基于MRCNN的人眼眨眼分析算法进行数据分析，能提高眨眼状态判断的准确性和效率；本专利技术的眼镜本体佩戴舒适、功能齐全，可实时监测佩戴人员的疲劳状态，适时给出促醒刺激，能实现提高人员觉醒程度的目的。附图说明图1为本专利技术的基于眼动及头动参数监测的疲劳检测及促醒系统的原理框图；图2为本专利技术的一种实施例中的眼镜的结构示意图。附图标记说明：1—镜片支架；2—左支腿；3—右支腿；4—电源模块；5—蓝光光源；6—蓝光光源和红外照明光源集成模块；7—蜂鸣器；8—振动马达；9—摄像头；10—USB接口；11—头动数据采集模块。具体实施方式下面结合实施例对本专利技术做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。如图1所示，本实施例的一种基于眼动及头动参数监测的疲劳检测及促醒系统，包括：眼镜本体、图像采集模块、头动数据采集模块、促醒模块、电源模块、后台处理模块。眼镜本体用于佩戴到眼部；图像采集模块设置于所述眼镜本体上，用于采集佩戴者的眼动数据；头动数据采集模块设置于所述眼镜本体上，用于采集佩戴者的头动数据；促醒模块设置于所述眼镜本体上，包括光刺激单元、声音刺激单元和振动刺激单元；电源模块设置于所述眼镜本体上，用于为上述各模块供电。后台处理模块包括眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及主控模块；其中，所述后台处理模块与上述各模块均通信连接(无线或有线通信)，所述疲劳程度分析模块融合所述眼动数据分析模块和头动数据分析模块的分析结果，判定人体疲劳程度，所述主控模块再根据判定结果向所述促醒模块发送光刺激和/或声刺激和/或振动刺激的信号，通过所述促醒模块对人体进行促醒；具体的，根据人体疲劳程度得到人体觉醒等级；当觉醒等级低于设定值时，主控模块发出觉醒预警，并控制促醒模块发送光刺激和/或声刺激和/或振动刺激。其中，所述眼动数据分析模块采用基于MRCNN的人眼眨眼分析算法进行数据分析，以判断眨眼状态，具体包括以下步骤：1)将所述图像采集模块采集的眼动图像输入到MRCNN网络；MRCNN网络对图像进行模数转换；2)MRCNN网络对图像进行区域提取后送入Resnet101分类网络，对区域进行分类，检测是否为眼部区域；原始图像经过MRCNN网络多层卷积后产生的FeatureMap图，Resnet101分类网络进行二分类，得到分类结果的概率分布；3)对眼部区域进行M本文档来自技高网...

【技术保护点】
1.一种基于眼动及头动参数监测的疲劳检测及促醒系统，其特征在于，包括：眼镜本体，其用于佩戴到眼部；图像采集模块，其设置于所述眼镜本体上，用于采集佩戴者的眼动数据；头动数据采集模块，其设置于所述眼镜本体上，用于采集佩戴者的头动数据；促醒模块，其设置于所述眼镜本体上，包括光刺激单元、声音刺激单元和振动刺激单元；电源模块，其设置于所述眼镜本体上，用于为上述各模块供电；后台处理模块，其包括眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及主控模块；其中，所述后台处理模块与上述各模块均通信连接，所述疲劳程度分析模块融合所述眼动数据分析模块和头动数据分析模块的分析结果，判定人体疲劳程度，所述主控模块再根据判定结果向所述促醒模块发送光刺激和/或声刺激和/或振动刺激的信号，通过所述促醒模块对人体进行促醒。

【技术特征摘要】
1.一种基于眼动及头动参数监测的疲劳检测及促醒系统，其特征在于，包括：眼镜本体，其用于佩戴到眼部；图像采集模块，其设置于所述眼镜本体上，用于采集佩戴者的眼动数据；头动数据采集模块，其设置于所述眼镜本体上，用于采集佩戴者的头动数据；促醒模块，其设置于所述眼镜本体上，包括光刺激单元、声音刺激单元和振动刺激单元；电源模块，其设置于所述眼镜本体上，用于为上述各模块供电；后台处理模块，其包括眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及主控模块；其中，所述后台处理模块与上述各模块均通信连接，所述疲劳程度分析模块融合所述眼动数据分析模块和头动数据分析模块的分析结果，判定人体疲劳程度，所述主控模块再根据判定结果向所述促醒模块发送光刺激和/或声刺激和/或振动刺激的信号，通过所述促醒模块对人体进行促醒。2.根据权利要求1所述的基于眼动及头动参数监测的疲劳检测及促醒系统，其特征在于，所述眼动数据分析模块采用基于MRCNN的人眼眨眼分析算法进行数据分析，以判断眨眼状态，具体包括以下步骤：1)将所述图像采集模块采集的眼动图像输入到MRCNN网络；2)MRCNN网络对图像进行区域提取后送入Resnet101分类网络，对区域进行分类，检测是否为眼部区域；3)对眼部区域进行MASK预测，即对每一个像素点进行0-1分类得到各个像素点的二分类概率分布图；4)对MASK进行三角拐点提取，对三个拐点进行直线拟合，拟合出两条直线，分别为上眼睑线和下眼睑线；5)通过反三角函数计算两条直线的夹角，作为眼睛闭合度，从而判断眨眼状态。3.根据权利要求2所述的基于眼动及头动参数监测的疲劳检测及促醒系统，其特征在于，所述步骤3)中，MASK所包含的区域为完全眼部区域，即：在眼部上覆盖了一层0-1的掩膜，把眼部贴合式的提取出来。4.根据权利要求1所述的基...

【专利技术属性】
技术研发人员：高宇红，董月芳，姚康，管凯捷，任谊文，张熙，付威威，
申请(专利权)人：中国科学院苏州生物医学工程技术研究所，中国人民解放军总医院，
类型：发明
国别省市：江苏,32