一种操作对象状态识别方法及装置制造方法及图纸

本申请涉及状态识别技术领域，尤其涉及一种操作对象状态识别方法及装置，从待识别视频中获得包含有操作对象的人脸的各人脸区域图像；分别针对所述各人脸区域图像中的任意一人脸区域图像，确定该人脸区域图像中特定的两个像素点之间的连线，并通过计算连线与预设的标准水平连线之间的夹角，获得该人脸区域图像的偏转角度；基于偏转角度，对该人脸区域图像进行角度校正；识别角度校正后的人脸区域图像中操作对象的面部状态类别；根据各人脸区域图像中操作对象的面部状态类别，确定所述待识别视频中的操作对象是否处于疲劳状态，这样，基于校正后的人脸区域图像识别操作对象的状态，能够防止因人脸角度过大导致识别精度不高的问题。

【技术实现步骤摘要】
一种操作对象状态识别方法及装置
本申请涉及状态识别
，尤其涉及一种操作对象状态识别方法及装置。
技术介绍
目前，在车辆行驶过程中，驾驶员疲劳是造成恶性交通事故的重要原因之一，严重危害交通安全，因此，如何能够实现对驾驶员的疲劳状态的识别，成为了一个亟待解决的问题。为了解决上述问题，现有技术中，通常是拍摄驾驶员的图像，并根据拍摄到的图像，识别驾驶员的疲劳状态，但是，如果将摄像头安装在驾驶员的正前方，会遮挡驾驶员的行驶视线，并且，如果将摄像头安装在驾驶员正前方的方向盘时，驾驶员会遮挡住摄像头，导致不能更好地获取到驾驶员的图像，因此，摄像头往往安装在车辆的左侧A柱，但是，由于摄像头设置在车辆的A柱，因此获取到的驾驶员的人脸图像角度很大，那么，在进行人脸关键点检测时，检测精度较低，很难精确定位人脸关键点，这样，就会降低驾驶员的疲劳状态识别的准确度。
技术实现思路
本申请实施例提供一种操作对象状态识别方法及装置，以提高驾驶员的疲劳状态识别的准确度。本申请实施例提供的具体技术方案如下：一种操作对象状态识别方法，包括：分别对目标摄像头采集的待识别视频中包含的各待识别图像进行人脸检测，获得包含有操作对象的人脸的各人脸区域图像，其中，所述目标摄像头表征车辆的前挡风玻璃与前车门之间的柱子上设置的摄像头；分别针对所述各人脸区域图像中的任意一人脸区域图像执行以下步骤，获得每张人脸区域图像中操作对象的状态类别：确定该人脸区域图像中特定的两个像素点之间的连线，并通过计算所述连线与预设的标准水平连线之间的夹角，获得该人脸区域图像的偏转角度；基于所述偏转角度，对该人脸区域图像进行角度校正，获得角度校正后的人脸区域图像；识别所述角度校正后的人脸区域图像中操作对象的面部状态类别；根据所述各人脸区域图像中操作对象的面部状态类别，确定所述待识别视频中的操作对象是否处于疲劳状态。可选的，根据如下方式获得包含有操作对象的人脸的各人脸区域图像：获取目标摄像头采集的待识别视频；分别针对所述待识别视频中包含的各待识别图像中的任意一待识别图像，基于已训练的人脸检测模型，以该待识别图像为输入参数，对该待识别图像进行人脸检测，确定所述操作对象的人脸在该待识别图像上的位置信息，并基于所述位置信息，获得包含有所述操作对象的人脸的人脸区域图像，其中，所述人脸检测模型为根据人脸区域图像样本集进行迭代训练获得的，所述人脸区域图像样本集中包含有多个人脸区域图像样本。可选的，若特定的两个像素点分别为左眼中心点和右眼中心点，则确定该人脸区域图像中特定的两个像素点之间的连线，并通过计算所述连线与预设的标准水平连线之间的夹角，获得该人脸区域图像的偏转角度，具体包括：确定该人脸区域图像中的左眼中心点和右眼中心点之间的双眼连线；计算所述双眼连线与预设的水平双眼连线之间的夹角，并将所述夹角作为该人脸区域图像的偏转角度。可选的，基于所述偏转角度，对该人脸区域图像进行角度校正，获得角度校正后的人脸区域图像，具体包括：以所述偏转角度为预设的仿射变换矩阵的参数，分别将该人脸区域图像中的各像素点对应的坐标与所述仿射变换矩阵相乘，获得校正后的各像素点的坐标；基于所述校正后的各像素点的坐标，获得角度校正后的人脸区域图像。可选的，识别角度校正后的人脸区域图像中操作对象的面部状态类别，具体包括：基于已训练的人脸关键点检测模型，以角度校正后的人脸区域图像为输入参数，对所述角度校正后的人脸区域图像进行人脸关键点检测，获得所述角度校正后的人脸区域图像的各人脸关键点图像；根据所述各人脸关键点图像中的特定的人脸关键点图像，识别所述操作对象的面部状态类别。可选的，若特定的人脸关键点图像为左眼关键点图像和右眼关键点图像，则根据所述各人脸关键点图像中的特定的人脸关键点图像，识别所述操作对象的面部状态类别，具体包括：基于已训练的第一识别模型，以所述左眼关键点图像和所述右眼关键点图像为输入参数，确定所述左眼关键点图像的左眼状态类别，并确定所述右眼关键点图像的右眼状态类别；根据所述左眼状态类别和所述右眼状态类别，确定所述操作对象的面部状态类别。可选的，若特定的人脸关键点图像为嘴巴关键点图像，则根据所述各人脸关键点图像中的特定的人脸关键点图像，识别所述操作对象的面部状态类别，具体包括：基于已训练的第二识别模型，以所述嘴巴关键点图像为输入参数，确定所述嘴巴关键点图像的嘴巴状态类别；根据所述嘴巴状态类别，确定所述操作对象的面部状态类别。可选的，若所述面部状态类别为疲劳状态类别和未疲劳状态类别，则根据所述各人脸区域图像中操作对象的面部状态类别，确定所述待识别视频中的操作对象是否处于疲劳状态，具体包括：若确定连续N个人脸区域图像中操作对象的面部状态类别为疲劳状态类别，则确定所述待识别视频中的操作对象处于疲劳状态，其中，所述N大于等于预设阈值，并N为正整数。一种操作对象状态识别装置，包括：检测模块，用于分别对目标摄像头采集的待识别视频中包含的各待识别图像进行人脸检测，获得包含有操作对象的人脸的各人脸区域图像，其中，所述目标摄像头表征车辆的前挡风玻璃与前车门之间的柱子上设置的摄像头；处理模块，用于分别针对所述各人脸区域图像中的任意一人脸区域图像执行以下步骤，获得每张人脸区域图像中操作对象的状态类别：确定该人脸区域图像中特定的两个像素点之间的连线，并通过计算所述连线与预设的标准水平连线之间的夹角，获得该人脸区域图像的偏转角度；基于所述偏转角度，对该人脸区域图像进行角度校正，获得角度校正后的人脸区域图像；识别所述角度校正后的人脸区域图像中操作对象的面部状态类别；确定模块，用于根据所述各人脸区域图像中操作对象的面部状态类别，确定所述待识别视频中的操作对象是否处于疲劳状态。可选的，获得包含有操作对象的人脸的各人脸区域图像时，检测模块具体用于：获取目标摄像头采集的待识别视频；分别针对所述待识别视频中包含的各待识别图像中的任意一待识别图像，基于已训练的人脸检测模型，以该待识别图像为输入参数，对该待识别图像进行人脸检测，确定所述操作对象的人脸在该待识别图像上的位置信息，并基于所述位置信息，获得包含有所述操作对象的人脸的人脸区域图像，其中，所述人脸检测模型为根据人脸区域图像样本集进行迭代训练获得的，所述人脸区域图像样本集中包含有多个人脸区域图像样本。可选的，若特定的两个像素点分别为左眼中心点和右眼中心点，则确定该人脸区域图像中特定的两个像素点之间的连线，并通过计算所述连线与预设的标准水平连线之间的夹角，获得该人脸区域图像的偏转角度时，处理模块具体用于：确定该人脸区域图像中的左眼中心点和右眼中心点之间的双眼连线；计算所述双眼连线与预设的水平双眼连线之间的夹角，并将所述夹角作为该人脸区域图像的偏转角度。可选的，基于所述偏转角度，对该人脸区域图像进行角度校正，获得角度校正后的人脸区域图像时，处理模本文档来自技高网...

【技术保护点】
1.一种操作对象状态识别方法，其特征在于，包括：/n分别对目标摄像头采集的待识别视频中包含的各待识别图像进行人脸检测，获得包含有操作对象的人脸的各人脸区域图像，其中，所述目标摄像头表征车辆的前挡风玻璃与前车门之间的柱子上设置的摄像头；/n分别针对所述各人脸区域图像中的任意一人脸区域图像执行以下步骤，获得每张人脸区域图像中操作对象的状态类别：确定该人脸区域图像中特定的两个像素点之间的连线，并通过计算所述连线与预设的标准水平连线之间的夹角，获得该人脸区域图像的偏转角度；基于所述偏转角度，对该人脸区域图像进行角度校正，获得角度校正后的人脸区域图像；识别所述角度校正后的人脸区域图像中操作对象的面部状态类别；/n根据所述各人脸区域图像中操作对象的面部状态类别，确定所述待识别视频中的操作对象是否处于疲劳状态。/n

【技术特征摘要】
1.一种操作对象状态识别方法，其特征在于，包括：
分别对目标摄像头采集的待识别视频中包含的各待识别图像进行人脸检测，获得包含有操作对象的人脸的各人脸区域图像，其中，所述目标摄像头表征车辆的前挡风玻璃与前车门之间的柱子上设置的摄像头；
分别针对所述各人脸区域图像中的任意一人脸区域图像执行以下步骤，获得每张人脸区域图像中操作对象的状态类别：确定该人脸区域图像中特定的两个像素点之间的连线，并通过计算所述连线与预设的标准水平连线之间的夹角，获得该人脸区域图像的偏转角度；基于所述偏转角度，对该人脸区域图像进行角度校正，获得角度校正后的人脸区域图像；识别所述角度校正后的人脸区域图像中操作对象的面部状态类别；
根据所述各人脸区域图像中操作对象的面部状态类别，确定所述待识别视频中的操作对象是否处于疲劳状态。


2.如权利要求1所述的方法，其特征在于，根据如下方式获得包含有操作对象的人脸的各人脸区域图像：
获取目标摄像头采集的待识别视频；
分别针对所述待识别视频中包含的各待识别图像中的任意一待识别图像，基于已训练的人脸检测模型，以该待识别图像为输入参数，对该待识别图像进行人脸检测，确定所述操作对象的人脸在该待识别图像上的位置信息，并基于所述位置信息，获得包含有所述操作对象的人脸的人脸区域图像，其中，所述人脸检测模型为根据人脸区域图像样本集进行迭代训练获得的，所述人脸区域图像样本集中包含有多个人脸区域图像样本。


3.如权利要求1所述的方法，其特征在于，若特定的两个像素点分别为左眼中心点和右眼中心点，则确定该人脸区域图像中特定的两个像素点之间的连线，并通过计算所述连线与预设的标准水平连线之间的夹角，获得该人脸区域图像的偏转角度，具体包括：
确定该人脸区域图像中的左眼中心点和右眼中心点之间的双眼连线；
计算所述双眼连线与预设的水平双眼连线之间的夹角，并将所述夹角作为该人脸区域图像的偏转角度。


4.如权利要求3所述的方法，其特征在于，基于所述偏转角度，对该人脸区域图像进行角度校正，获得角度校正后的人脸区域图像，具体包括：
以所述偏转角度为预设的仿射变换矩阵的参数，分别将该人脸区域图像中的各像素点对应的坐标与所述仿射变换矩阵相乘，获得校正后的各像素点的坐标；
基于所述校正后的各像素点的坐标，获得角度校正后的人脸区域图像。


5.如权利要求1所述的方法，其特征在于，识别角度校正后的人脸区域图像中操作对象的面部状态类别，具体包括：
基于已训练的人脸关键点检测模型，以角度校正后的人脸区域图像为输入参数，对所述角度校正后的人脸区域图像进行人脸关键点检测，获得所述角度校正后的人脸区域图像的各人脸关键点图像；
根据所述各人脸关键点图像中的特定...

【专利技术属性】
技术研发人员：吴翔，余程鹏，
申请(专利权)人：南京领行科技股份有限公司，
类型：发明
国别省市：江苏;32