驾驶员状态实时检测方法和装置制造方法及图纸

本公开的实施例公开了一种驾驶员状态实时检测方法，包括从摄像机拍摄的驾驶员视频图像检测脸部区域，从脸部区域检测眼部区域和嘴部区域，将所检测的眼部区域和嘴部区域归一化并与预先训练的眼部和嘴部模板匹配以确定驾驶员疲劳状态，利用局部约束模型从实时脸部区域检测面部特征点，将所检测的面部特征点利用世界坐标系、摄像机坐标系、图像物理坐标系和图像像素坐标系之间的转换进行三维建模以确定驾驶员头部姿态以及基于驾驶员疲劳状态和头部姿态判断驾驶员状态是否为疲劳。

【技术实现步骤摘要】

本公开属于计算机视觉和图像处理
，尤其是涉及一种驾驶员状态实时检测的方法和装置。
技术介绍
随着科技经济的发展，人们的生活水平日益提高，汽车已经成为人们生活中不可或缺的一部分，但与此同时交通事故数量也在不断增加，给人们的生命和财产造成了巨大的损失。其中驾驶员的疲劳驾驶和行驶时注意力不集中是引发交通事故的重要原因。疲劳是日常生活中常见的生理现象，是因人长时间的劳作无法得到充足的休息而引起的，但是由于疲劳驾驶造成的交通事故每年都给全世界各国造成了不可估量的损失。有如下几种关于驾驶员的状态检测这方面的工作。首先D’Orazio等在文献“T.D’Orazio,M.Leo,C.Guaragnella,andA.Distante,Avisualapproachfordriverinattentiondetection.PatternRecognition,pp.2341-2355,2007.”中通过关注眼部行为来决定驾驶员的疲劳状况。打哈欠也是疲劳信号的一种，Abtahi等人在文献“S.Abtahi,B.Hariri,andS.Shirmohammadi,Driverdrowsinessmonitoringbasedonyawningdetection.IEEEConferenceonInstrumentationandMeasurementTechnology,pp.1-4,2007.”中通过打哈欠的频率和嘴巴张开的程度来进行检测。此外Murphy-Chutorian等人在“E.Murphy-ChutorianandM.Trivedi,Headposeestimationandaugmentedrealitytracking:Anintegratedsystemandevaluationformonitoringdriverawareness.IEEETransactionsonIntelligentTransportationSystems,pp.300-311,2010.”中使用了头部运动检测对于驾驶员进行监控和检测。但是现有技术中的驾驶员状态检测依然存在鲁棒性不足、检测出错率高、检测速度慢等一些问题。
技术实现思路
本公开的实施例公开了一种驾驶员状态实时检测方法，包括从摄像机拍摄的驾驶员视频图像检测脸部区域，从脸部区域检测眼部区域和嘴部区域，将所检测的眼部区域和嘴部区域归一化并与预先训练的眼部和嘴部模板匹配以确定驾驶员疲劳状态，利用局部约束模型从实时脸部区域检测面部特征点，将所检测的面部特征点利用世界坐标系、摄像机坐标系、图像物理坐标系和图像像素坐标系之间的转换进行三维建模以确定驾驶员头部姿态以及基于驾驶员疲劳状态和头部姿态判断驾驶员状态是否为疲劳。在一些实施例中，检测脸部区域包括利用编码了不同视角的拓扑变化并在树之间具有部分共享池的混合树来检测脸部区域。在一些实施例中，检测脸部区域还包括将视频图像转换到YCbCr颜色空间以及使用经验阈值进行肤色分割。在一些实施例中，检测眼部区域包括使用边缘检测来检测眼部区域。在一些实施例中，检测嘴部区域包括使用聚类和面部区域的空间关系来检测嘴部区域。在一些实施例中，将所检测的眼部区域和嘴部区域与预先训练的模板匹配包括使用去均值相关系数放大相关性进行匹配。在一些实施例中，所确定的头部姿态包括驾驶员注意力的方向。在一些实施例中，利用局部约束模型检测面部特征点包括使用平均形状估计特征点位置，对于所估计的特征点位置提取形状变化，基于所提取的形状变化使用线性支持向量机获取响应图，在响应图取最大值处拟合将均方差最小化的二次曲线从而得到关于特征点位置的代价函数。在一些实施例中，基于线性支持向量机的输出的局部约束模型的形状约束以及代价函数来得到用于特征点查找的目标函数，以及通过迭代更新目标函数直至收敛到最大值来检测面部特征点。本公开的实施例公开了一种驾驶员状态实时检测装置，包括摄像机、存储器、处理器和警报器，其中摄像机用于拍摄驾驶员的视频图像，存储器用于存储所拍摄的视频图像，警报器用于向驾驶员发送警报以及处理器用于从所拍摄的驾驶员视频图像检测脸部区域，从脸部区域检测眼部区域和嘴部区域，将所检测的眼部区域和嘴部区域归一化并与预先训练的眼部和嘴部模板匹配以确定驾驶员疲劳状态，从实时脸部区域检测面部特征点，将所检测的面部特征点利用世界坐标系、摄像机坐标系、图像物理坐标系和图像像素坐标系之间的转换进行三维建模以确定驾驶员头部姿态，基于驾驶员疲劳状态和头部姿态判断驾驶员状态是否为疲劳；以及在驾驶员状态被判断为疲劳时指示警报器警告驾驶员。本公开的实施例联合了基于人眼部和嘴部区域检测的眨眼和打哈欠状态的检测以及基于头部姿态检测的驾驶员注意力方向，能够结合驾驶员状态和注意力方向的确定结果对驾驶员是否疲劳驾驶进行综合分析，有助于提高检测的准确性和鲁棒性，从而防止驾驶员因注意力不集中发生事故。附图说明本公开提供了附图以便于所公开内容的进一步理解，附图构成本申请的一部分，但仅仅是用于图示出体现专利技术概念的一些专利技术的非限制性示例，而不是用于做出任何限制。图1是根据本公开一些实施例的驾驶员状态实时检测方法的流程图。图2是根据本公开一些实施例的局部约束模型的示意图。图3是根据本公开一些实施例的驾驶员状态检测结果的图。图4是根据本公开一些实施例的驾驶员注意力检测结果的图。图5是根据本公开一些实施例的驾驶员状态实时检测装置的框图。具体实施方式下文将使用本领域技术人员向本领域的其它技术人员传达他们工作的实质所通常使用的术语来描述本公开的专利技术概念。然而，这些专利技术概念可体现为许多不同的形式，因而不应视为限于本文中所述的实施例。提供这些实施例是为了使本公开内容更详尽和完整，并且向本领域的技术人员完整传达其包括的范围。也应注意这些实施例不相互排斥。来自一个实施例的组件、步骤或元素可假设成在另一实施例中可存在或使用。在不脱离本公开的实施例的范围的情况下，可以用多种多样的备选和/或等同实现方式替代所示出和描述的特定实施例。本申请旨在覆盖本文论述的实施例的任何修改或变型。对于本领域的技术人员而言明显可以仅使用所描述的方面中的一些方面来实践备选实施例。本文出于说明的目的，在实施例中描述了特定的数字、材料和配置，然而，领域的技术人员在没有这些特定细节的情况下，也可以实践备选的实施例。在其它情况下，可能省略或简化了众所周知的特征，以便不使说明性的实施例难于理解。此外，下文为有助于理解说明性的实施例，将各种操作依次描述为了多个离散的操作；然而，所描述的顺序不应当被认为是意味着这些操作必须依赖于该顺序执行。而是不必以所呈现的顺序来执行这些操作。下文中的“在一些实施例中”，“在一个实施例中”等短语可以或可以不指相同的实施例。术语“包括”、“具有”和“包含”是同义的，除非上下文中以其它方式规定。短语“A和/或B”意味着(A)、(B)或(A和B)。短语“A/B”意味着(A)、(B)或(A和B)，类似于短语“A和/或B”。短语“A、B和C中的至少一个”意味着(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。短语“(A)B”意味着(B)或(A和B)，即A是可选的。图1示出了根据本公开一些实施例的驾驶员状本文档来自技高网...

【技术保护点】
一种驾驶员状态实时检测方法，包括：从摄像机拍摄的驾驶员视频图像检测脸部区域；从所述脸部区域检测眼部区域和嘴部区域；将所检测的眼部区域和嘴部区域归一化并与预先训练的眼部和嘴部模板匹配以确定驾驶员疲劳状态；利用局部约束模型从所述实时脸部区域检测面部特征点；将所检测的面部特征点利用世界坐标系、摄像机坐标系、图像物理坐标系和图像像素坐标系之间的转换进行三维建模以确定驾驶员头部姿态；以及基于所述驾驶员疲劳状态和头部姿态判断驾驶员状态是否为疲劳。

【技术特征摘要】
1.一种驾驶员状态实时检测方法，包括：从摄像机拍摄的驾驶员视频图像检测脸部区域；从所述脸部区域检测眼部区域和嘴部区域；将所检测的眼部区域和嘴部区域归一化并与预先训练的眼部和嘴部模板匹配以确定驾驶员疲劳状态；利用局部约束模型从所述实时脸部区域检测面部特征点；将所检测的面部特征点利用世界坐标系、摄像机坐标系、图像物理坐标系和图像像素坐标系之间的转换进行三维建模以确定驾驶员头部姿态；以及基于所述驾驶员疲劳状态和头部姿态判断驾驶员状态是否为疲劳。2.权利要求1所述的方法，其中检测脸部区域包括利用编码了不同视角的拓扑变化并在树之间具有部分共享池的混合树来检测脸部区域。3.权利要求1所述的方法，其中检测脸部区域还包括将视频图像转换到YCbCr颜色空间以及使用经验阈值进行肤色分割。4.权利要求1所述的方法，其中检测眼部区域包括使用边缘检测来检测眼部区域。5.权利要求1所述的方法，其中检测嘴部区域包括使用聚类和面部区域的空间关系来检测嘴部区域。6.权利要求1所述的方法，其中将所检测的眼部区域和嘴部区域与预先训练的模板匹配包括使用去均值相关系数放大相关性进行匹配。7.权利要求1所述的方法，其中所确定的头部姿态包括驾驶员注意力的方向。8.权利要求1所述的方法，...

【专利技术属性】
技术研发人员：朱少岚，
申请(专利权)人：宁波傲视智绘光电科技有限公司，
类型：发明
国别省市：浙江;33