头部姿态的识别方法及系统、行车记录仪和智能座舱技术方案

本公开提供的头部姿态的识别方法及系统、行车记录仪和智能座舱，通过利用了人脸图像中当前帧和上一帧的头部姿态和关键点，得到当前帧的头部姿态约束条件以及关键点约束条件，进而基于该约束条件，对于人脸框的有效性进行判定，从而输出有效的当前帧的头部姿态，避免由于头部发生局部偏转而造成的头部姿态出现跳动而导致的识别结果不准的问题。动而导致的识别结果不准的问题。动而导致的识别结果不准的问题。

【技术实现步骤摘要】
头部姿态的识别方法及系统、行车记录仪和智能座舱


[0001]本公开涉及图像处理技术，尤其涉及一种头部姿态的识别方法及系统、行车记录仪和智能座舱。

技术介绍

[0002]目前，在很多场景中都应用到疲劳检测技术，例如驾驶过程中的疲劳检测，再例如对上课的学生、上班的员工进行疲劳检测。其中，对于用户的头部姿态识别则是疲劳检测技术中的关键组成。
[0003]现有技术中的头部姿态识别方法是通过图像识别技术实现的，通过利用识别模型，对获取的二维人脸图像以及关键点进行处理，以得到三维的头部姿态信息，进而实现对于头部姿态的识别。
[0004]但是，采用现有的头部姿态的识别方法并没有考虑到局部扰动的问题，当用户的头部发生局部偏转的情况下，其关键点的定位将会存在偏移，在放大效应下得到的头部姿态信息将存在跳动，其获得的头部姿态的识别结果将出现不精准的问题。

技术实现思路

[0005]本公开提供一种头部姿态的识别方法及系统、形成记录仪和智能座舱，以解决现有技术中头部姿态识别结果不够准确的问题。
[0006]本公开的第一个方面是提供一种头部姿态的识别方法，包括：
[0007]采集待检测对象当前帧的人脸图像，并识别所述人脸图像中的关键点；
[0008]根据预设三维模型、所述人脸图像中的关键点确定当前帧的头部姿态；
[0009]根据当前帧的头部姿态和当前帧的人脸图像中的关键点，以及获取的上一帧的头部姿态和上一帧的人脸图像中的关键点，分别确定当前帧的头部姿态约束条件和关键点约束条件；r/>[0010]根据头部姿态约束条件和关键点约束条件对当前帧的人脸图像中的人脸框进行有效性判定，其中，所述人脸框是利用所述当前帧的人脸图像中的关键点生成的；
[0011]当所述人脸框有效时，将所述当前帧的头部姿态保存，并根据所述当前帧的头部姿态，确定所述待检测对象的当前状态信息。
[0012]本公开的第二个方面是提供一种头部姿态的识别系统，包括图像采集装置，用于采集当前帧的人脸图像；
[0013]识别装置，用于识别所述人脸图像中的关键点；
[0014]数据处理装置，用于根据预设三维模型、所述人脸图像中的关键点确定当前帧的头部姿态；根据当前帧的头部姿态和当前帧的人脸图像中的关键点，以及获取的上一帧的头部姿态和上一帧的人脸图像中的关键点，分别确定当前帧的头部姿态约束条件和关键点约束条件；根据头部姿态约束条件和关键点约束条件对当前帧的人脸图像中的人脸框进行有效性判定，其中，所述人脸框是利用所述当前帧的人脸图像中的关键点生成的；
[0015]数据分析装置，用于当所述人脸框有效时，将所述当前帧的头部姿态保存，并根据所述当前帧的头部姿态，确定所述待检测对象的当前状态信息。
[0016]本公开的第三个方面是提供一种行车记录仪，包括：
[0017]前置图像采集装置，用于采集车辆前方的影像；
[0018]后置图像采集装置，用于采集待检测对象的人脸图像；
[0019]根据第二方面所述的头部姿态的识别系统，用于根据当前帧的头部姿态和当前帧的人脸图像中的关键点，以及获取的上一帧的头部姿态和上一帧的人脸图像中的关键点，确定当前帧的头部姿态以及待检测对象的当前状态信息。
[0020]本公开的第四个方面是提供一种智能座舱，包括：
[0021]车载摄像头，用于采集座舱内的驾驶员和/或乘客的人脸图像；
[0022]根据第二方面所述的头部姿态的识别系统，该头部姿态的识别系统设置于车机端，用于监测座舱内的驾驶员和/或乘客的当前状态信息。
[0023]本公开提供的头部姿态的识别方法及系统、行车记录仪和智能座舱，通过利用了当前帧和上一帧的头部姿态和关键点，得到当前帧的头部姿态约束条件以及关键点约束条件，进而基于该约束条件，对于人脸框的有效性进行判定，从而输出有效的当前帧的头部姿态，避免由于头部发生局部偏转而造成的头部姿态出现跳动而导致的识别结果不准的问题。
附图说明
[0024]图1为本公开提供的一种头部姿态的识别设备的架构图；
[0025]图2为本公开提供的应用场景图；
[0026]图3为本公开提供的一种头部姿态的识别方法的流程图；
[0027]图4为本公开提供的关键点的示意图；
[0028]图5为本公开提供的另一种头部姿态的识别方法的流程图；
[0029]图6为本公开提供的一种头部姿态的识别系统的硬件结构示意图；
[0030]图7为本公开提供的一种行车记录仪的结构图；以及，
[0031]图8为本公开示出的智能座舱车机端的结构示意图。
具体实施方式
[0032]为使本公开示例的目的、技术方案和优点更加清楚，下面将结合本公开示例中的附图，对本公开示例中的技术方案进行清楚、完整地描述。
[0033]目前，在很多场景中都应用到疲劳检测技术，例如驾驶过程中的疲劳检测，再例如对上课的学生、上班的员工进行疲劳检测。其中，对于用户的头部姿态识别则是疲劳检测技术中的关键组成。
[0034]现有技术中的头部姿态识别方法是通过如下三种方式实现的：基于模型的识别方法、基于分类的识别方法和基于表观的识别方法。其中，针对于基于模型的识别方法来说，常见的模型包括AAM、ASM、SDM、LBF、CLM、ERT、LAB、PFLD等，其一般是由模型根据二维人脸图像及其若干关键点信息，通过与标准三维头部模型的矩阵运算，来确定三维的头部姿态信息，进而实现对于头部姿态的识别。
[0035]但是，采用现有的头部姿态的识别方法并没有考虑到局部扰动的问题。例如，在对于连续的视频人脸图像的识别过程中，前后帧的关键点的位置存在细微的局部扰动，这些扰动在对当前帧进行头部姿态估计时会出现放大效应，造成对当前帧进行头部姿态的估计跳动变大，无法准确的估计姿态角。
[0036]此外，针对出现在视频同一位置朝向同一方向的一张人脸，会伴随着眨眼、张嘴、眉毛跳动等面部表情的变化，这些变化存在局部性，即便是在关键点定位准确的情况下，也会对估计头部姿态造成严重影响。
[0037]针对上述问题，本公开提供了一种头部姿态的识别方法及系统、行车记录仪和智能座舱，在现有技术的基础上，利用了当前帧和上一帧的头部姿态和关键点，得到当前帧的头部姿态约束条件以及关键点约束条件，进而基于该当前帧的头部姿态约束条件以及关键点约束条件，对于人脸框的有效性进行判定，从而输出有效的当前帧的头部姿态，避免由于头部发生局部偏转而造成的头部姿态出现跳动，进而导致识别结果不准的问题。
[0038]图1为本公开提供的一种头部姿态的识别设备的架构图。
[0039]如图1所示，本实施例提供的方案可以应用在如图1所示的设备中。该设备中可以包括一图像采集装置11，还可以包括一电子装置12。图像采集装置11与电子装置12通过有线或无线的方式连接，图像采集装置11能够将采集的人脸图像发送到电子装置12中，电子装置12可以根据接收的图像进行头部姿态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种头部姿态的识别方法，其特征在于，包括：采集待检测对象当前帧的人脸图像，并识别所述人脸图像中的关键点；根据预设三维模型、所述人脸图像中的关键点确定当前帧的头部姿态；根据当前帧的头部姿态和当前帧的人脸图像中的关键点，以及获取的上一帧的头部姿态和上一帧的人脸图像中的关键点，分别确定当前帧的头部姿态约束条件和关键点约束条件；根据头部姿态约束条件和关键点约束条件对当前帧的人脸图像中的人脸框进行有效性判定，其中，所述人脸框是利用所述当前帧的人脸图像中的关键点生成的；当所述人脸框有效时，将所述当前帧的头部姿态保存，并根据所述当前帧的头部姿态，确定所述待检测对象的当前状态信息。2.根据权利要求1所述的头部姿态的识别方法，其特征在于，包括：当所述人脸框无效时，舍弃所述当前帧对应的头部姿态。3.根据权利要求1所述的方法，其特征在于，所述关键点分布在人脸框的多个区域；所述确定关键点约束条件，包括：针对每一区域，将上一帧的关键点与相应的当前帧的关键点进行点差和计算，获得该区域的约束条件；并将所述全部区域的约束条件构成所述关键点约束条件。4.根据权利要求1所述的方法，其特征在于，所述确定当前帧的头部姿态约束条件，包括：确定当前帧的头部姿态和上一帧的头部姿态之间的相对差值；根据预设经验值和所述相对差值，确定所述当前帧的头部姿态约束条件。5.根据权利要求1所述的头部姿态的识别方法，其特征在于，所述根据所述当前帧的头部姿态，确定所述待检测对象的当前状态信息，包括：根据所述当前帧的头部姿态，以及所述当前帧的前述连续若干帧的头部姿态，确定对应的头部姿态变化；根据所述头部姿态变化确定所述待检测对象的当前状态信息。6.根据权利要求1所述的方法，其特征在于，所述识别所述人脸图像中的关键点，包括：识别所述人脸图像中所包括的人脸，并采用Dlib-ERT算法或PFLD算法识别所述人脸中的关键点。7.根据权利要求1所述的方法，其特征在于，所述根据预设三维模型、所述人脸图像中的关键点确定头部姿态，包括：根据所述关键点中的预设关键点，建立所述人脸图像与所述预设...

【专利技术属性】
技术研发人员：刘涛，
申请(专利权)人：北京四维图新科技股份有限公司，
类型：发明
国别省市：