疲劳监测方法及系统、行车记录仪和智能座舱技术方案

本公开提供一种疲劳监测方法及系统、行车记录仪和智能座舱，进一步包括：采集待检测对象的人脸图像，并识别人脸图像中的关键点；根据预设三维模型、人脸图像中的关键点确定待检测对象的头部姿态，并根据头部姿态、关键点确定待检测对象的是否存在疲劳状态；根据一段时间内采集的待检测对象的的疲劳状态，确定疲劳检测结果。本公开提供的方案中，结合头部姿态以及人脸图像中的关键点确定人脸图像中的对象是否处于疲劳状态，能够避免头部姿态改变造成对五官状态识别不准确，进而造成误识别的问题。

【技术实现步骤摘要】
疲劳监测方法及系统、行车记录仪和智能座舱
本公开涉及图像处理技术，尤其涉及一种疲劳监测方法及系统、行车记录仪和智能座舱。
技术介绍
目前，在很多场景中都应用到了疲劳检测技术，例如疲劳驾驶检测，再例如对上课的学生、上班的员工进行疲劳检测。现有技术中的疲劳监测方法是通过图像识别技术，确定被检测对象的眼睛、嘴巴开合状态，进而根据这些状态来确定被检测对象是否存在疲劳状态。例如，通过图像识别技术确定被检测对象打哈欠，则可以认为该用户存在疲劳情况。但是，通过识别被检测对象的眼睛、嘴巴的开合状态，来确定被检测对象是否存在疲劳状态时，需要准确的确定被检测对象的眼睛、嘴巴的开合状态，而影响这一状态的外因较多，导致现有技术中的疲劳检测结果不够准确。
技术实现思路
本公开提供一种疲劳监测方法及系统、行车记录仪和智能座舱，以解决现有技术中疲劳检测结果不够准确的问题。为解决上述技术问题，本公开披露一种可选的实现方式，其提供一种疲劳监测方法，该方法包括：采集待检测对象的人脸图像，并识别所述人脸图像中的关键点；根据预设三维模型、所述人脸图像中的关键点确定待检测对象的头部姿态，并根据所述头部姿态、所述关键点确定待检测对象的是否存在疲劳状态；根据一段时间内采集的所述待检测对象的的所述疲劳状态，确定疲劳检测结果。在另一可选实现方式中披露一种疲劳监测系统，该系统包括图像采集装置，用于采集待检测对象的人脸图像；识别装置，用于识别所述人脸图像中的关键点；数据处理装置，用于根据预设三维模型、所述人脸图像中的关键点确定所述待检测对象的头部姿态，并根据所述头部姿态、所述关键点确定所述待检测对象是否存在疲劳状态；数据分析装置，用于根据一段时间内采集的所述待检测对象的所述疲劳状态，确定疲劳检测结果。在一种可选的实现方式中，披露一种行车记录仪，该行车记录仪包括：前置图像采集装置，用于采集车辆前方的影像；后置图像采集装置，用于采集待检测对象的人脸图像；前述任一实施例披露的疲劳监测系统，用于根据所述头部姿态和所选取的面部器官关键点间纵横距离的比值来判断所述待检测对象是否存在疲劳状态。在一种可选的实现方式中，披露一种智能座舱，该智能座舱包括：车载摄像头，用于采集座舱内的驾驶员和/或乘客的人脸图像；前述任一实现方式披露的疲劳监测系统，该疲劳监测系统设置于车机端，用于监测座舱内的驾驶员和/或乘客的疲劳状态。与现有技术相比，本公开披露的疲劳监测的技术方案具有如下技术效果：通过实施本公开的技术方案，可根据采集的人脸图像进行检测，先确定出待识别对象的头部姿态，再结合头部姿态以及人脸图像中的关键点，确定人脸图像中的对象是否处于疲劳状态，进而根据一段时间内采集的人脸图像对应的疲劳状态，确定最终的疲劳检测结果。其中，结合头部姿态以及人脸图像中的关键点确定人脸图像中的对象是否处于疲劳状态，能够避免头部姿态改变造成对五官状态识别不准确，进而造成误识别的问题。附图说明图1为本公开一示例性实施例示出的系统架构示意图；图2为本公开一示例性实施例示出的应用场景示意图；图3为本公开一示例性实施例示出的疲劳监测方法的流程示意图；图4为本公开另一示例性实施例示出的疲劳监测方法的流程示意图；图4A为本公开一示例性实施例示出的头部姿态示意图；图4B为本公开一示例性实施例示出的关键点的示意图；图5为本公开一示例性实施例示出的疲劳监测系统的结构示意图；图6为本公开一示例性实施例示出的行车记录仪的结构示意图；以及，图7为本公开一示例性实施例示出的智能座舱车机端的结构示意图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。本公开实施例为解决现有技术中进行疲劳状态检测时，由于人的头部姿态改变，而导致无法有效且准确地识别人的疲劳状态的问题，提出一种疲劳检测的技术方案，本方案中结合头部姿态以及人脸图像中的关键点，对疲劳状态进行检测，能够提高识别准确率。为便于理解本公开的技术方案，这里结合图1对本公开涉及的设备进行一下说明，图1为本公开一示例性实施例示出的设备架构示意图。如图1所示，本实施例提供的方案可以应用在如图1所示的设备中。该设备可以应用在教室中、办公场所以及车辆等场景中。当该设备应用在教室或者办公场所时，该设备主要包括至少一个图像采集装置11，还可以包括一电子装置12，其中，图像采集装置11与电子装置12可以通过有线或无线的方式连接。另外，当该设备应用在车辆等小型空间时，该设备主要包括一图像采集装置11和一电子装置12，该图像采集装置11可以设置(内嵌或者外部设置)在电子装置12上(图中未示出)，即作为一个整体设备来使用。作为一种可选的实现方式，图像采集装置12可以将采集的人脸图像发送到电子装置12中，电子装置12可以根据接收的图像进行疲劳检测。图2为本公开一示例性实施例示出的应用场景图。以驾驶员疲劳监测为例，在驾驶过程中存在的疲劳状态，通常包括两种疲劳状态：精神疲劳和肌体疲劳。其中，精神疲劳通常是指驾驶员因为长时间驾驶造成的精神困意，主要表现为打哈欠、频繁点头、眼睛疲劳(闭眼睡觉)等。肌体疲劳通常是指因为长期开车造成的腰酸背痛等肌体表现。而可采用的检测疲劳的方法主要有两类：接触式和非接触式。接触式方法主要通过脑电图、心电图，通过跟身体接触的信号来分析测试。非接触式方法主要是通过人的面目表情特征及车辆行为判别来进行检测。人的面部表情特征主要是指：人在困乏时，眨眼频率增加、眨眼速度变慢、眼球活性降低、打哈欠、点头等特征，都可以表露出一定的疲劳。车辆行为判别主要通过打方向盘的异常行为及车辆异常的行驶轨迹进行疲劳判别。本公开所提到的驾驶员疲劳检测主要是针对精神疲劳的检测，所使用的方法为通过非接触式的人的面目表情特征方法进行疲劳检测。其中，非接触式的面部表情特征方法是一种基于人脸面部关键点的疲劳监测方法，检测打哈欠和眼睛疲劳的状态，通过研究眼睛及嘴巴的开闭状态来进行评判是否发生打哈欠及眼睛疲劳的状态，开闭状态可以通过人脸关键点眼睛部件和嘴巴部件的横纵比进行表示。对于非接触式检测方法，基于人脸面部关键点的疲劳检测，但即便人脸关键点特征精度非常高的状态下，要通过眼睛或嘴巴的横纵比来确定开闭状态，依然存在非常大的挑战，其中头部姿态变换就对横纵比造成极大的影响。本公开下面披露的技术方案旨在提出一种能够适应不同头部姿态的横纵比方法，从而达到疲劳检测自适应的目的。这里，如图2所示，当该设备应用在车辆上以检测驾驶人员是否存在疲劳时，可以将该设备作为一个整体设置在车辆的前侧，以能够在不影响驾驶员开车本文档来自技高网...

【技术保护点】
1.一种疲劳监测方法，其特征在于，包括：/n采集待检测对象的人脸图像，并识别所述人脸图像中的关键点；/n根据预设三维模型、所述人脸图像中的关键点确定所述待检测对象的头部姿态，并根据所述头部姿态、所述关键点确定所述待检测对象是否存在疲劳状态；/n根据一段时间内采集的所述待检测对象的所述疲劳状态，确定疲劳检测结果。/n

【技术特征摘要】
1.一种疲劳监测方法，其特征在于，包括：
采集待检测对象的人脸图像，并识别所述人脸图像中的关键点；
根据预设三维模型、所述人脸图像中的关键点确定所述待检测对象的头部姿态，并根据所述头部姿态、所述关键点确定所述待检测对象是否存在疲劳状态；
根据一段时间内采集的所述待检测对象的所述疲劳状态，确定疲劳检测结果。


2.根据权利要求1所述的方法，其特征在于，所述根据预设三维模型、所述人脸图像中的关键点确定所述待检测对象的头部姿态，进一步包括：
根据所述关键点中的第一预设关键点，建立所述人脸图像与所述预设三维模型的映射矩阵；
根据所述映射矩阵调整所述预设三维模型得到实际三维模型；
根据所述实际三维模型确定所述待检测对象的头部姿态。


3.根据权利要求1或2所述的方法，其特征在于，所述根据所述实际三维模型确定所述头部姿态，包括：
比对所述实际三维模型与所述预设三维模型，根据比对结果确定所述待检测对象的头部姿态；
其中，所述待检测对象的头部姿态至少包括：所述待检测对象头部的俯仰角和偏航角。


4.根据权利要求1或2任一项所述的方法，其特征在于，根据所述头部姿态、所述关键点确定是否存在疲劳状态，包括：
根据所述关键点中的第二预设关键点确定点间横向距离、点间纵向距离；
根据所述点间横向距离、所述点间纵向距离、所述头部姿态确定关键面部器官的纵横比值；
将所述纵横比值与纵横比阈值进行比较，并根据比对结果确定被监测对象是否存在疲劳状态。


5.根据权利要求4所述的方法，其特征在于，根据所述点间横向距离、所述点间纵向距离、所述头部姿态确定关键面部器官的纵横比值，进一步包括：
根据所述点间纵向距离、所述俯仰角，确定纵向中间值；
根据所述点间横向距离、所述偏航角，确定横向中间值；
根据所述纵向中间值、所述横向中间值，确定纵横比值。


6.根据权利要求1、2、5任一项所述...

【专利技术属性】
技术研发人员：刘涛，陶永俊，
申请(专利权)人：北京四维图新科技股份有限公司，
类型：发明
国别省市：北京;11