一种基于深度学习计算机视觉的哨兵瞌睡智能监控系统技术方案

本发明专利技术涉及哨兵执勤状态监控系统的技术领域，更具体地，涉及一种基于深度学习计算机视觉的哨兵瞌睡智能监控系统。一种基于深度学习计算机视觉的哨兵瞌睡智能监控系统，其中，包括数据采集单元、数据处理单元、数据分析单元和报警单元，四个单元依次相连。本发明专利技术使用卷积神经网络进行人脸检测和人脸对齐，通过使用丰富的训练数据进行模型训练，能达到实际可用的泛化性能，能鲁棒的识别出眼镜和嘴巴两个特征部位的状态，并且输出头部位置的姿势估计，准确率高。

Intelligent monitoring system for sentinel drowsiness based on deep learning computer vision

The invention relates to the technical field of sentry on-duty status monitoring system, and more specifically relates to an intelligent sentry sleeping monitoring system based on depth learning computer vision. An intelligent sentry sleeping monitoring system based on depth learning computer vision is proposed. The system consists of data acquisition unit, data processing unit, data analysis unit and alarm unit. The four units are connected in turn. The invention uses convolution neural network for face detection and alignment. By using abundant training data for model training, it can achieve practical and usable generalization performance, robustly recognize the state of two characteristic parts of glasses and mouth, and output pose estimation of head position with high accuracy.

【技术实现步骤摘要】
一种基于深度学习计算机视觉的哨兵瞌睡智能监控系统
本专利技术涉及哨兵执勤状态监控系统的
，更具体地，涉及一种基于深度学习计算机视觉的哨兵瞌睡智能监控系统。
技术介绍
现有哨兵防瞌睡系统装置主要基于传统的计算机视觉技术，即从图像中识别人工经验的特征分析图像中的信息。公告号为CN103632485A的中国专利技术专利，利用自然光源在眼球表面形成凸面镜效应，采用递归LBP算子、Gabor特征以及色彩联合进行眼睑状态识别，眼睑状态分析系统对值班员眼球活动状态实时监测。当值班员长时间处于闭眼状态时，系统立即通过声音以及在画面上弹出红色报警信息，进行现场提示和警报。基于人工设计的图像特征识别，泛化性能低，检测精度不高，很有可能因为环境的变化而检测不到眼睑目标。另外，根据生理学分析，人在陷入睡眠前通常会出现睁闭眼交替，点头频繁的瞌睡现象，这个阶段的哨兵已经达不到岗位要求的警惕性，有可能因此酿成执勤事故。现有方案中，当哨兵长时间处于闭眼状态时才激活报警，此时哨兵已经完全进入了睡眠，这样的报警显然是不及时的。上述现有技术的缺陷是：1、鲁棒性不高。主要体现自两个方面：（1）基于传统的机器视觉技术目标识别不准确，现有方案中眼睑状态分析系统利用自然光源在眼球表面形成凸面镜效应，采用递归LBP算子、Gabor特征以及色彩联合进行眼睑状态识别。其中LBP算子的最大缺陷在于它只覆盖了一个固定半径范围内的小区域，这显然不能满足不同尺寸和频率纹理的需要，不适于相貌肤色各不相同的人脸；且哨位一般是室内环境，缺乏自然光源，凸透镜效应不明显，这都导致现有方案对眼睑状态的跟踪不是很稳定，易丢失眼睑目标或者导致误判。（2）检测特征单一，不够鲁棒。人的瞌睡往往伴有哈欠和点头等行为动作，仅仅基于眼睑的闭合来判断是否瞌睡，忽略了嘴巴和头部姿势等有用信息，使得判别鲁棒性不高。2、报警不及时。当哨兵长时间处于闭眼状态时才激活报警，哨兵已经完全进入了睡眠，这样的报警是不及时的。因为哨兵在陷入睡眠前通常会经过一个睁闭眼、点头频繁的瞌睡阶段，这个阶段的哨兵的精神状态已经达不到岗位的要求，可能导致执勤事故发生，更有效的报警应该能识别这个阶段的哨兵精神状态并发出警报。
技术实现思路
本专利技术为克服上述现有技术所述的至少一种缺陷，提供一种基于深度学习计算机视觉的哨兵瞌睡智能监控系统，引入深度卷积神经网络进行人脸检测、人脸对齐和头部姿势估计，能大幅提升系统的鲁棒性；采用隐马尔科夫模型进行状态的时序建模，在哨兵完全陷入睡眠之前识别出瞌睡并发出警报，解决报警不及时的问题。本专利技术的技术方案是：一种基于深度学习计算机视觉的哨兵瞌睡智能监控系统，其中，包括数据采集单元、数据处理单元、数据分析单元和报警单元，四个单元依次相连。进一步的，所述的数据采集单元是一台标清摄像机，安装在执勤人员前上方、可拍摄正面的位置。进一步的，所述数据处理单元是一台配备高性能GPU的主机或者服务器，部署有预先训练好的多任务级联卷积神经网络（MTCNN），能同时实现人脸检测、人脸对齐和头部姿势估计。具体的，此神经网络模型提取多个卷积层的特征做多任务学习，层数较浅的卷积层包含较多的细节、局部信息，用于于关键点定位和姿态估计，对于层数较深的卷积层则包含较多的整体信息，用于人脸检测。构建fusion-CNN将多层的特征信息线性或非线性的结合到一块子空间上，利用该fusion-CNN输出的特征做多任务学习，输出时刻的面部特征和姿势估计。进一步的，所述的数据分析单元部署在同一计算平台上，以数据处理单元的输出作为输入，运行一个训练好的HMM模型，通过一段时间内的输入，时序地分析哨兵的精神状态。进一步的，所述的报警单元由本地报警装置和后台报警装置两部分组成，由同一个控制器控制，当哨兵离岗、瞌睡时，本地报警装置能在现场自动进行声音提示，同事后台报警装置能在监控画面显示红色报警信息，提示值班监控人员及时进行督促。与现有技术相比，有益效果是：本专利技术使用卷积神经网络进行人脸检测和人脸对齐，通过使用丰富的训练数据进行模型训练，能达到实际可用的泛化性能，能鲁棒的识别出眼镜和嘴巴两个特征部位的状态，并且输出头部位置的姿势估计，准确率高。通过预先学习建立的隐马尔科夫模型，能利用神经网络的时序输出，包括眼睛嘴巴以及头部姿势的时序状态，判断当前哨兵是否处于瞌睡状态，在哨兵完全陷入睡眠之前发出报警，确保报警的及时性。附图说明图1是本专利技术整体示意图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。如图1所示，一种基于深度学习计算机视觉的哨兵瞌睡智能监控系统，其中，包括数据采集单元、数据处理单元、数据分析单元和报警单元，四个单元依次相连。数据采集单元包含一个标清摄像机，安装于被监控执勤人员前上方5米内，可从前向拍摄面部。数据处理单元运行一个深度神经网络模型运行，此深度神经网络模型为预先训练好的多任务级联卷积神经网络（MTCNN），并部署在本地的数据处理服务器上。接收实时VGG视频图像作为输入，输出时刻的人脸检测、人脸特征和头部姿势。数据分析单元部署在同一计算平台，运行一个预先训练好的HMM模型，接受数据处理单元的输出作为输入，基于时序状态判断哨兵是否瞌睡、走神，一旦判断瞌睡和走神的概率大于既定阈值，则激活报警装置，现场报警装置将立即发出提示音叫醒哨兵，同时位于值班室的后台报警装置将在视频画面中醒目标注，提示值班人员对哨兵加强监督。显然，本专利技术的上述实施例仅仅是为清楚地说明本专利技术所作的举例，而并非是对本专利技术的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本专利技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本专利技术权利要求的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于深度学习计算机视觉的哨兵瞌睡智能监控系统，其特征在于，包括数据采集单元、数据处理单元、数据分析单元和报警单元，四个单元依次相连。

【技术特征摘要】
1.一种基于深度学习计算机视觉的哨兵瞌睡智能监控系统，其特征在于，包括数据采集单元、数据处理单元、数据分析单元和报警单元，四个单元依次相连。2.根据权利要求1所述的一种基于深度学习计算机视觉的哨兵瞌睡智能监控系统，其特征在于：所述的数据采集单元是一台标清摄像机，安装在执勤人员前上方、可拍摄正面的位置。3.根据权利要求1所述的一种基于深度学习计算机视觉的哨兵瞌睡智能监控系统，其特征在于：所述的数据处理单元是一台配备高性能GPU的主机或者服务器，部署有预先训练好的多任务级联卷积神经网络，能同时实现人脸检测、人脸对齐和头部姿势估...

【专利技术属性】
技术研发人员：桑远超，陈龙，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44