一种电视智能检测用户睡眠状态的系统及方法技术方案

本发明专利技术公开了一种电视智能检测用户睡眠状态的系统及方法，系统包括图像采集模块、人脸检测模块、人脸识别模块、脸部追踪模块、人眼定位模块、睁/闭眼识别模块、疲劳检测模块、电视感应模块；图像采集模块用于采集图像；人脸检测模块用于对采集的第一帧图像进行人脸检测，找到脸部所在位置；人脸识别模块用于对检测到的人脸进行身份识别，获取该人的疲劳参数；脸部追踪模块、人眼定位模块、睁/闭眼识别模块用于对第一帧之后的图像中对人脸部分进行跟踪并找到人眼部位，分割出人眼部位并对其进行睁/闭检测；疲劳检测模块用于统计单位时间内闭眼帧数占总帧的比值，进行疲劳检测；电视感应模块依据不同的精神状态，控制电视做出相应的感应行为。

System and method for intelligently detecting user's sleeping state by television

The invention discloses a system for TV users sleep and intelligent detection method, system including image acquisition module, face detection module and face recognition module, face tracking module, open / closed eye positioning module, identification module, fatigue detection module, TV induction module for image acquisition; image acquisition module; face detection module for face detection in the first frame of image acquisition, face location; face recognition module for the detected face identification, obtain the parameters of the fatigue of people; face tracking module, positioning module, open / closed eye recognition module for image frames in the face after the first part of the tracking and find the eye position, segmentation of the human eye and the open / closed detection; fatigue detection module for statistical unit of time Closed frames ratio of frame, fatigue detection; TV induction module based on the different mental state, make corresponding induction control tv.

【技术实现步骤摘要】
一种电视智能检测用户睡眠状态的系统及方法
本专利技术属于计算机视觉、智能家居
，具体涉及一种基于计算机视觉的睡眠状态估计系统及方法。
技术介绍
智能家居，意为提升家居安全性、便利性、舒适性、艺术性，更加注重人机交互，为客户提供更好的用户体验。而智能电视作为智慧家庭生活的中心，扮演重要角色。目前的智能电视除了观看普通节目，还可以上网、娱乐通信。但这是仅仅是电视功能上的丰富，如何让电视“读懂”人类行为，做出相应“体贴”人类的决策，才是真正的智能电视。目前的疲劳检测技术分成两大类：a)基于生理参数的疲劳检测技术。通过某些设备得出人的有关生理参数，如脑电图(EEG)、眼电图(EOG)、心电图(ECG)等，根据参数变化情况来判断是否有疲劳产生；b)基于视觉特征的疲劳检测技术。利用摄像机和模式识别等技术对视觉特征进行分类识别。当人感到疲劳时会出现眼睑运动速度变慢、眼睛睁开幅度变小、眼睛凝视方向狭窄甚至闭眼等，有的会有频繁点头、打呵欠等，因此可以通过研究眼睑眨动、眼球运动、头部的位移面部表情等视觉特征进行疲劳检测。在基于视觉特征的疲劳检测技术中，有以下难点：a)如何先定位到人脸，进而精确定位本文档来自技高网...

【技术保护点】
一种电视智能检测用户睡眠状态的系统，其特征在于：包括图像采集模块、人脸检测模块、人脸识别模块、脸部追踪模块、人眼定位模块、睁/闭眼识别模块、疲劳检测模块、电视感应模块；所述图像采集模块用于采集图像；所述人脸检测模块用于对采集的第一帧图像进行人脸检测，找到脸部所在位置；所述人脸识别模块用于对检测到的人脸进行身份识别，获取该人的疲劳参数；所述脸部追踪模块、人眼定位模块、睁/闭眼识别模块用于对第一帧之后的图像中对人脸部分进行跟踪并找到人眼部位，分割出人眼部位并对其进行睁/闭检测；所述疲劳检测模块用于统计单位时间内闭眼帧数占总帧的比值PERCLOS，通过PERCLOS与疲劳参数进行比较，进行疲劳检测；...

【技术特征摘要】
1.一种电视智能检测用户睡眠状态的系统，其特征在于：包括图像采集模块、人脸检测模块、人脸识别模块、脸部追踪模块、人眼定位模块、睁/闭眼识别模块、疲劳检测模块、电视感应模块；所述图像采集模块用于采集图像；所述人脸检测模块用于对采集的第一帧图像进行人脸检测，找到脸部所在位置；所述人脸识别模块用于对检测到的人脸进行身份识别，获取该人的疲劳参数；所述脸部追踪模块、人眼定位模块、睁/闭眼识别模块用于对第一帧之后的图像中对人脸部分进行跟踪并找到人眼部位，分割出人眼部位并对其进行睁/闭检测；所述疲劳检测模块用于统计单位时间内闭眼帧数占总帧的比值PERCLOS，通过PERCLOS与疲劳参数进行比较，进行疲劳检测；所述电视感应模块依据不同的精神状态，控制电视做出相应的感应行为。2.根据权利要求1所述的电视智能检测用户睡眠状态的系统，其特征在于：所述图像采集模块为摄像头。3.一种电视智能检测用户睡眠状态的方法，包括以下步骤：步骤1：图像采集；步骤2：人脸检测；步骤3：人脸识别；步骤4：脸部追踪；步骤5：人眼定位；步骤6：睁/闭眼识别；步骤7：疲劳检测；步骤8：电视感应。4.根据权利要求3所述的电视智能检测用户睡眠状态的方法，步骤2的具体实现过程是：采用Viola-Jones人脸检测方法，用一个固定大小的窗口在输入图像进行滑动，窗口框定的区域会被送入到检测器，去判断是人脸窗口还是非人脸窗口；所述检测器采用多个AdaBoost分类器级联组成，其中用于训练的正例样本为人脸图片，负例样本为其他的非人脸的背景图片，样本提取的特征选用的是Haar特征。5.根据权利要求3所述的电视智能检测用户睡眠状态的方法，步骤3的具体实现过程是：采用基于CaffeNet卷积神经网络的人脸识别，CaffeNet卷积神经网络模型共有五组卷积池化层，两组完全连接层，一组SoftMax层；前五组卷积池化层针对所给图片进行特征提取，后面两组全连接层针对所得图片特征进行分类。6.根据权利要求3所述的电视智能检测用户睡眠状态的方法，步骤4的具体实现过程是：以第一帧检测出的人脸部...

【专利技术属性】
技术研发人员：黄靖，姜文，周高景，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北,42