识别视线方向的方法、装置、设备和计算机可读存储介质制造方法及图纸

本公开的实施例涉及用于识别视线方向的方法、装置、设备和计算机可读存储介质。一种训练用于识别视线方向的神经网络的方法包括获取多个训练人脸图像，该多个训练人脸图像分别标记有人物的视线方向；获取与多个训练人脸图像对应的多个深度图；以及基于多个训练人脸图像和多个深度图来训练神经网络，以用于识别人脸图像中的人物的视线方向。本公开的实施例利用人脸图像的深度图作为神经网络训练的监督信号，促使神经网络仅关注与视线方向有关的空间特征，而不关注人脸的其他特征。以此方式，本公开的实施例能够有效提高所训练的神经网络识别视线方向的准确性。

【技术实现步骤摘要】
识别视线方向的方法、装置、设备和计算机可读存储介质
本公开的实施例总体涉及机器学习领域，具体涉及用于识别视线方向的方法、装置、设备和计算机可读存储介质。
技术介绍
司机的注意力分散是导致交通事故发生的重要因素。因此，期望对司机的视线方向进行监控。当司机的视线方向偏离预定范围时，向司机进行报警和提示，从而减少因为司机的注意力分散而导致的交通事故。然而，在实际驾驶环境下利用计算机视觉手段来识别司机的视线方向非常具有挑战性。这是因为在不同驾驶环境下，司机的身份、姿态、座椅高度以及摄像头的摆放位置等因素都会对司机视线方向的识别准确率造成影响。
技术实现思路
本公开的实施例提供了用于识别视线方向的方法、装置、设备和计算机可读存储介质。在本公开的第一方面，提供了一种训练用于识别视线方向的神经网络的方法。该方法包括获取多个训练人脸图像，该多个训练人脸图像分别标记有人物的视线方向；获取与多个训练人脸图像对应的多个深度图；以及基于多个训练人脸图像和多个深度图来训练神经网络，以用于识别人脸图像中的人物的视线方向。在本公开本文档来自技高网...

【技术保护点】
1.一种训练用于识别视线方向的神经网络的方法，包括：/n获取多个训练人脸图像，所述多个训练人脸图像分别标记有人物的视线方向；/n获取与所述多个训练人脸图像对应的多个深度图；以及/n基于所述多个训练人脸图像和所述多个深度图来训练神经网络，以用于识别人脸图像中的人物的视线方向。/n

【技术特征摘要】
1.一种训练用于识别视线方向的神经网络的方法，包括：
获取多个训练人脸图像，所述多个训练人脸图像分别标记有人物的视线方向；
获取与所述多个训练人脸图像对应的多个深度图；以及
基于所述多个训练人脸图像和所述多个深度图来训练神经网络，以用于识别人脸图像中的人物的视线方向。


2.根据权利要求1所述的方法，其中训练所述神经网络包括：
基于所述多个训练人脸图像和所述多个深度图，确定用于训练所述神经网络的目标函数；以及
通过使所述目标函数最小化来训练所述神经网络，以确定所述神经网络的网络参数。


3.根据权利要求2所述的方法，其中确定所述目标函数包括：
向所述神经网络输入所述多个训练人脸图像，以分别预测所述多个训练人脸图像中的人物的视线方向；
基于所预测的视线方向和所标记的视线方向之间的差异，确定第一损失函数；以及
至少基于所述第一损失函数来确定所述目标函数。


4.根据权利要求3所述的方法，其中确定所述目标函数包括：
从所述神经网络的特征提取层获取与所述多个训练人脸图像对应的多个特征图；
基于所述多个特征图和所述多个深度图之间的差异，确定第二损失函数；以及
基于所述第一损失函数和所述第二损失函数来确定所述目标函数。


5.根据权利要求4所述的方法，其中基于所述第一损失函数和所述第二损失函数来确定所述目标函数包括：
通过对所述第一损失函数和所述第二损失函数进行加权求和来确定所述目标函数。


6.根据权利要求1所述的方法，其中所述多个训练人脸图像为关键点对齐的人脸图像，所述关键点包括左眼、右眼、鼻子、左嘴角和右嘴角中的至少一项。


7.一种识别视线方向的方法，包括：
获取输入人脸图像；以及
利用根据权利要求1-6中任一项所述的方法训练的神经网络，识别所述输入人脸图像中的人物的视线方向。


8.一种训练用于识别视线方向的神经网络的装置，包括：
训练图像获取模块，被配置为获取多个训练人脸图像，所述多个训练人脸图像分别标记有人物的视线方向；
深度图获取模块，被配置为获取与所述多个训练人脸图像对应的多个深度图；以及
神经网络训练模块，被配置为基于所述多个训练人脸图像和所述多个深度图来训练神经网络...

【专利技术属性】
技术研发人员：张修宝，于泽辉，沈海峰，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11