头部姿态估计方法和装置、电子设备和存储介质制造方法及图纸

本公开实施例公开了一种头部姿态估计方法和装置、电子设备和存储介质，其中，方法包括：获取驾驶员图像序列，所述驾驶员图像序列包括多帧驾驶员图像；利用第一神经网络对所述驾驶员图像序列中的当前帧图像进行特征提取，得到第一特征；以及利用第二神经网络对所述当前帧图像和前一帧图像之间的光流图像进行特征提取，得到第二特征；将所述第一特征与所述第二特征进行拼接，得到所述当前帧图像对应的拼接特征；利用长短期记忆单元LSTM模型，基于所述当前帧图像对应的拼接特征和前N个历史帧图像对应的拼接特征进行头部姿态预测，得到所述当前帧图像中的头部姿态信息。本公开实施例可以提高头部姿态估计的准确性。

Head attitude estimation method and device, electronic equipment and storage medium

【技术实现步骤摘要】
头部姿态估计方法和装置、电子设备和存储介质
本公开涉及人工智能技术，尤其是一种头部姿态估计方法和装置、电子设备和存储介质。
技术介绍
随着车辆的不断增多，交通事故也随之增多，当驾驶员在驾驶过程中由于顾及手机等其他事物将其注意力分散到手机等其他事物时，会导致驾驶员无法及时了解道路情况，极易发生道路交通事故，因此，驾驶员的驾驶状态对安全行车的影响非常重要，应尽可能的使驾驶员处于良好的驾驶状态。随着汽车产业的迅速发展，人们对于汽车智能化的需求越来越大。头部姿态估计是从数字图像或视频图像中推断出人的头部偏转角度的过程，在汽车行驶过程中，通过对汽车驾驶员进行头部姿态估计，可以获知驾驶员是否发生注意力分散，以便避免交通事故，从而提高驾驶的安全性。在实现本公开的过程中，专利技术人发现，现有技术通过机器学习算法对驾驶员进行头部姿态估计时，直接以采集的单帧图像提取视觉特征，基于该视觉特征估计出驾驶员的头部姿态，受驾驶室光线条件、汽车行驶稳定性对采集图像的质量影响等因素，无法得到稳定、鲁棒的头部姿态，从而导致头部姿态估计的准确性较低。
技术实现思路
本公开实施例提供一种头部姿态估计方法和装置、电子设备和存储介质，以提高头部姿态估计的准确性。本公开实施例的一个方面，提供的一种头部姿态估计方法，包括：获取驾驶员图像序列，所述驾驶员图像序列包括多帧驾驶员图像；利用第一神经网络对所述驾驶员图像序列中的当前帧图像进行特征提取，得到第一特征；以及利用第二神经网络对所述当前帧图像和前一帧图像之间的光流图像进行特征提取，得到第二特征；其中，所述前一帧图像为所述驾驶员图像序列中在时序上位于所述当前帧图像之前的一帧图像；将所述第一特征与所述第二特征进行拼接，得到所述当前帧图像对应的拼接特征；利用长短期记忆单元LSTM模型，基于所述当前帧图像对应的拼接特征和前N个历史帧图像对应的拼接特征进行头部姿态预测，得到所述当前帧图像中的头部姿态信息；其中，N为大于0的整数。可选地，在基于本公开上述任一实施例的方法中，所述获取驾驶员图像序列，包括：通过车辆内至少一个位置部署的红外摄像头进行图像采集，得到所述驾驶员图像序列。可选地，在基于本公开上述任一实施例的方法中，所述通过红外摄像头进行图像采集，包括：在所述车辆处于行驶状态时通过红外摄像头进行图像采集；和/或，在所述车辆的行驶速度超过预设车速时通过红外摄像头进行图像采集；和/或，在检测到所述车辆点火后通过红外摄像头进行图像采集；和/或，在检测到所述车辆的启动指令时通过红外摄像头进行图像采集；和/或，在检测到对所述车辆或所述车辆中部件或系统的控制指令时通过红外摄像头进行图像采集。可选地，在基于本公开上述任一实施例的方法中，还包括：在通过红外摄像头进行图像采集的过程中，利用红外光补偿器进行红外光补偿。可选地，在基于本公开上述任一实施例的方法中，所述利用第二神经网络对所述当前帧图像和前一帧图像之间的光流图像进行特征提取，包括：对所述当前帧图像和所述前一帧图像进行计算，得到所述当前帧图像和所述前一帧图像之间的光流图像，所述光流图像包括一帧横向光流图像及一帧纵向光流图像；利用所述第二神经网络对所述当前帧图像和所述前一帧图像之间模型的光流图像进行特征提取。可选地，在基于本公开上述任一实施例的方法中，所述基于所述当前帧图像对应的拼接特征和前N个历史帧图像对应的拼接特征进行头部姿态预测，得到所述当前帧图像中的头部姿态信息，包括：基于所述当前帧图像对应的拼接特征和前N个历史帧图像对应的拼接特征、以及所述当前帧图像与所述前N个历史帧图像的权重值，进行头部姿态预测，得到所述当前帧图像中的头部姿态信息。可选地，在基于本公开上述任一实施例的方法中，所述LSTM模型包括M层LSTM，其中，M为大于0的整数；M的取值大于1时，所述利用长短期记忆单元LSTM模型，基于所述当前帧图像对应的拼接特征和前N个历史帧图像对应的拼接特征进行头部姿态预测，得到所述当前帧图像中的头部姿态信息，包括：依次通过所述LSTM模型中的前M-1层LSTM，对所述当前帧图像对应的拼接特征进行特征提取，得到第三特征；通过所述LSTM模型中的第M层LSTM，基于所述当前帧图像的第三特征和所述前N个历史帧图像的第三特征进行头部姿态预测，得到所述当前帧图像中的头部姿态信息；其中，每个所述历史帧图像的第三特征为所述历史帧图像对应的拼接特征依次通过所述前M-1层LSTM进行特征提取得到的特征。可选地，在基于本公开上述任一实施例的方法中，还包括：根据所述头部姿态信息，确定驾驶员是否处于分心状态；若确定驾驶员处于分心状态，进行报警和/或进行智能驾驶控制。可选地，在基于本公开上述任一实施例的方法中，所述根据所述头部姿态信息，确定驾驶员是否处于分心状态，包括：根据所述头部姿态信息确定所述驾驶员图像中驾驶员的头部位置、人脸朝向和视线方向，得到头部位置信息、人脸朝向信息和视线方向信息；根据一段时间内的所述头部位置信息，获取头部位置偏离程度信息，根据一段时间内的人脸朝向信息获取人脸朝向偏离程度信息，根据一段时间内的视线方向信息获取视线方向偏离程度信息；根据所述头部位置偏离程度信息、所述人脸朝向偏离程度信息和所述视线方向偏离程度信息，确定所述驾驶员是否处于分心状态。可选地，在基于本公开上述任一实施例的方法中，所述若确定驾驶员处于分心状态，进行报警和/或进行智能驾驶控制，包括：在所述驾驶员处于分心状态的持续时间达到第一预设时长时，输出所述驾驶员处于分心状态的提示/告警信息；和/或，在所述驾驶员处于分心状态的持续时间达到第二预设时长时，将驾驶模式切换为自动驾驶模式；所述第二预设时长大于所述第一预设时长。本公开实施例的另一个方面，提供的一种头部姿态估计装置，包括：获取模块，用于获取驾驶员图像序列，所述驾驶员图像序列包括多帧驾驶员图像；第一提取模块，用于利用第一神经网络对所述驾驶员图像序列中的当前帧图像进行特征提取，得到第一特征；第二提取模块，用于利用第二神经网络对所述当前帧图像和前一帧图像之间的光流图像进行特征提取，得到第二特征；其中，所述前一帧图像为所述驾驶员图像序列中在时序上位于所述当前帧图像之前的一帧图像；拼接模块，用于将所述第一特征与所述第二特征进行拼接，得到所述当前帧图像对应的拼接特征；长短期记忆单元LSTM模型，用于基于所述当前帧图像对应的拼接特征和前N个历史帧图像对应的拼接特征进行头部姿态预测，得到所述当前帧图像中的头部姿态信息；其中，N为大于0的整数。可选地，在基于本公开上述任一实施例的装置中，所述第一获取模包括车辆内至少一个位置部署的红外摄像头。可选地，在基于本公开上述任一实施例的装置中，所述第一获取模块，具体用于：在所述车辆处于行驶状态时通过红外摄像头本文档来自技高网...

【技术保护点】
1.一种头部姿态估计方法，其特征在于，包括：/n获取驾驶员图像序列，所述驾驶员图像序列包括多帧驾驶员图像；/n利用第一神经网络对所述驾驶员图像序列中的当前帧图像进行特征提取，得到第一特征；以及利用第二神经网络对所述当前帧图像和前一帧图像之间的光流图像进行特征提取，得到第二特征；其中，所述前一帧图像为所述驾驶员图像序列中在时序上位于所述当前帧图像之前的一帧图像；/n将所述第一特征与所述第二特征进行拼接，得到所述当前帧图像对应的拼接特征；/n利用长短期记忆单元LSTM模型，基于所述当前帧图像对应的拼接特征和前N个历史帧图像对应的拼接特征进行头部姿态预测，得到所述当前帧图像中的头部姿态信息；其中，N为大于0的整数。/n

【技术特征摘要】
1.一种头部姿态估计方法，其特征在于，包括：
获取驾驶员图像序列，所述驾驶员图像序列包括多帧驾驶员图像；
利用第一神经网络对所述驾驶员图像序列中的当前帧图像进行特征提取，得到第一特征；以及利用第二神经网络对所述当前帧图像和前一帧图像之间的光流图像进行特征提取，得到第二特征；其中，所述前一帧图像为所述驾驶员图像序列中在时序上位于所述当前帧图像之前的一帧图像；
将所述第一特征与所述第二特征进行拼接，得到所述当前帧图像对应的拼接特征；
利用长短期记忆单元LSTM模型，基于所述当前帧图像对应的拼接特征和前N个历史帧图像对应的拼接特征进行头部姿态预测，得到所述当前帧图像中的头部姿态信息；其中，N为大于0的整数。


2.根据权利要求1所述的方法，其特征在于，所述获取驾驶员图像序列，包括：
通过车辆内至少一个位置部署的红外摄像头进行图像采集，得到所述驾驶员图像序列。


3.根据权利要求2所述的方法，其特征在于，所述通过红外摄像头进行图像采集，包括：
在所述车辆处于行驶状态时通过红外摄像头进行图像采集；和/或，
在所述车辆的行驶速度超过预设车速时通过红外摄像头进行图像采集；和/或，
在检测到所述车辆点火后通过红外摄像头进行图像采集；和/或，
在检测到所述车辆的启动指令时通过红外摄像头进行图像采集；和/或，
在检测到对所述车辆或所述车辆中部件或系统的控制指令时通过红外摄像头进行图像采集。


4.根据权利要求2或3所述的方法，其特征在于，还包括：
在通过红外摄像头进行图像采集的过程中，利用红外光补偿器进行红外光补偿。


5.根据权利要求1-4任一所述的方法，其特征在于，所述利用第二神经网络对所述当前帧图像和前一帧图像之间的光流图像进行特征提取，包括：
对所述当前帧图像和所述前一帧图像进行计算，得到所述当前帧图像和所述前一帧图像之间的光流图像，所述光流图像包括一帧横向光流图像及一帧纵向光流图像；
利用所述第二神经网络对所述当前帧图像和所述前一帧图像之间模型的光流图像进行特征提取。


6.根据权利要求1-5任一所述的方法，其特征在于，所述基于所述当前帧图像对应的拼接特征和前N个历史帧图像对应的拼接特征进行头部姿态预测，得到所述当...

【专利技术属性】
技术研发人员：魏曦，蒋亚西，
申请(专利权)人：智车优行科技北京有限公司，
类型：发明
国别省市：北京;11