注视区域检测及神经网络的训练方法、装置和设备制造方法及图纸

本说明书实施例提供一种注视区域检测及神经网络的训练方法、装置和设备，其中，注视区域检测用神经网络的训练方法包括：至少将作为训练样本的人脸图像输入神经网络，其中，所述人脸图像包括有所述人脸图像中的人脸所对应的注视区域类别标注信息，标注的注视区域类别属于预先对指定空间区域划分得到的多类定义注视区域之一；经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息；确定获取的注视区域类别预测信息与相应图像的注视区域类别标注信息之间的差异；基于所述差异调整所述神经网络的网络参数。

【技术实现步骤摘要】
注视区域检测及神经网络的训练方法、装置和设备
本公开涉及计算机视觉技术，特别涉及一种注视区域检测及神经网络的训练方法、装置和设备。
技术介绍
随着人工智能和汽车行业的迅速发展，将人工智能技术应用到量产车辆上已经成为一个最具市场前景的方向。目前，车辆市场需求量较为急迫的人工智能产品中，其中一个产品就是用于监控驾驶员在驾驶时的驾驶状态，例如，驾驶员是否存在分心，以在分心时及时的对驾驶员进行提醒，降低事故风险。
技术实现思路
有鉴于此，本说明书一个或多个实施例的目的，即提供一种注视区域检测及神经网络的训练方法、装置和设备。第一方面，提供一种注视区域检测用神经网络的训练方法，所述方法包括：至少将作为训练样本的人脸图像输入神经网络，其中，所述人脸图像包括有所述人脸图像中的人脸所对应的注视区域类别标注信息，标注的注视区域类别属于预先对指定空间区域划分得到的多类定义注视区域之一；经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息；确定获取的注视区域类别预测信息与相应图像的注视区域类别标注信息之间的差异；基于所述差异调整所述神经网络的网络参数。结合本公开提供的任一实施方式，所述至少将作为训练样本的人脸图像输入神经网络之前，所述方法还包括：裁剪所述人脸图像中的至少一眼睛区域，得到至少一眼睛图像；所述至少将作为训练样本的人脸图像输入神经网络，包括：将所述人脸图像和所述人脸图像的所述至少一眼睛图像同时输入所述神经网络。<br>结合本公开提供的任一实施方式，所述将所述人脸图像和所述人脸图像的所述至少一眼睛图像同时输入所述神经网络，包括：将所述人脸图像和所述人脸图像的所述至少一眼睛图像中的各图像调整到相同的预定尺寸；将调整尺寸后的各图像同时输入所述神经网络；所述经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息，包括：经所述神经网络同时提取输入的所述各图像的特征；根据提取的特征确定所述人脸图像的注视区域类别预测信息。结合本公开提供的任一实施方式，所述将所述人脸图像和所述人脸图像的所述至少一眼睛图像同时输入所述神经网络，包括：将所述人脸图像和所述至少一眼睛图像对应输入所述神经网络包括的不同的特征提取分支，其中，输入到所述神经网络中的人脸图像和眼睛图像的尺寸不同；所述经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息，包括：经各所述特征提取分支分别提取输入各特征提取分支的人脸图像或眼睛图像的特征；融合各特征提取分支提取的人脸图像的特征和眼睛图像的特征，得到融合特征；根据所述融合特征确定所述人脸图像的注视区域类别预测信息。结合本公开提供的任一实施方式，所述经所述神经网络对输入的人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息，包括：将由所述人脸图像提取的特征与各个类别权重分别进行点积运算，得到中间向量；所述各个类别权重分别与所述多类定义注视区域对应；所述中间向量的维度数量与所述多类定义注视区域的类别数量相同；当提取的所述特征与所述人脸图像的注视区域类别标签信息对应的类别权重点积运算时，调整所述特征与类别权重之间的向量夹角余弦值，以增大类间距离且缩小类内距离；根据所述中间向量，确定所述人脸图像的注视区域类别预测信息。结合本公开提供的任一实施方式，所述指定空间区域包括：车的空间区域。结合本公开提供的任一实施方式，所述人脸图像基于针对所述车的空间区域中的驾驶区域采集到的图像确定；所述对指定空间区域划分得到的多类定义注视区域包括以下二类或二类以上：左前挡风玻璃区域、右前挡风玻璃区域、仪表盘区域、车内后视镜区域、中控台区域、左后视镜区域、右后视镜区域、遮光板区域、换挡杆区域、方向盘下方区域、副驾驶区域、副驾驶前方的杂物箱区域。第二方面，提供一种注视区域检测方法，所述方法包括：截取在指定空间区域内采集到的图像中的人脸区域，得到人脸图像；将所述人脸图像输入神经网络，其中，所述神经网络预先采用包括有注视区域类别标注信息的人脸图像集训练完成，标注的注视区域类别属于预先对所述指定空间区域划分得到的多类定义注视区域之一；经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像对应的注视区域检测类别。结合本公开提供的任一实施方式，所述截取在指定空间区域内采集到的图像中的人脸区域得到人脸图像之后，所述方法还包括：裁剪所述人脸图像中的至少一眼睛区域，得到至少一眼睛图像；所述将所述人脸图像输入神经网络，包括：将所述人脸图像和所述人脸图像的所述至少一眼睛图像同时输入所述神经网络，所述神经网络是预先采用包括有注视区域类别标注信息的人脸图像集以及基于所述人脸图像集中各人脸图像截取的眼睛图像训练完成；所述经所述神经网络对输入的所述人脸图像进行特征提取，包括：经所述神经网络对输入的所述人脸图像和至少一眼睛图像进行特征提取。结合本公开提供的任一实施方式，所述将所述人脸图像和所述至少一眼睛图像同时输入神经网络，包括：将所述人脸图像和所述至少一眼睛图像中的各图像调整到相同的预定尺寸，并将调整尺寸后的各图像同时输入所述神经网络；所述经所述神经网络对输入的所述人脸图像和至少一眼睛图像进行特征提取，并根据提取的特征确定所述人脸图像对应的注视区域检测类别，包括：经所述神经网络同时提取输入的所述人脸图像和至少一眼睛图像的特征，并根据提取的特征确定所述人脸图像对应的注视区域检测类别。结合本公开提供的任一实施方式，所述将所述人脸图像和所述至少一眼睛图像同时输入神经网络，包括：将所述人脸图像和所述至少一眼睛图像对应输入所述神经网络包括的不同的特征提取分支，其中，输入到所述神经网络中的人脸图像和眼睛图像的尺寸不同；所述经所述神经网络对输入的所述人脸图像和至少一眼睛图像进行特征提取，并根据提取的特征确定所述人脸图像对应的注视区域检测类别，包括：经各所述特征提取分支分别提取输入各特征提取分支的人脸图像或眼睛图像的特征；融合各特征提取分支提取的人脸图像的特征和眼睛图像的特征，得到融合特征；根据所述融合特征确定所述人脸图像对应的注视区域检测类别。结合本公开提供的任一实施方式，所述截取在指定空间区域内采集到的图像中的人脸区域之前，所述方法还包括：获取通过在指定空间区域部署的多个摄像头采集的各图像，所述各图像是所述多个摄像头从不同角度分别采集所述指定空间区域内的一特定子区域内的图像；根据图像质量评价指标，分别确定各摄像头同一时刻分别采集到的各图像中图像质量评分最高的图像，作为待进行所述截取处理的图像。结合本公开提供的任一实施方式，所述截取在指定空间区域内采集到的图像中的人脸区域之前，所述方法还包括：获取通过在指定空间区域部署的多个摄像头采集的各图像，所述各图像是所述多个摄像头从不同角度分别采集所述指定空间区域内的一特定子区域内的图像；所述根据提取的特征确定所述人脸图本文档来自技高网...

【技术保护点】
1.一种注视区域检测用神经网络的训练方法，其特征在于，所述方法包括：/n至少将作为训练样本的人脸图像输入神经网络，其中，所述人脸图像包括有所述人脸图像中的人脸所对应的注视区域类别标注信息，标注的注视区域类别属于预先对指定空间区域划分得到的多类定义注视区域之一；/n经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息；/n确定获取的注视区域类别预测信息与相应图像的注视区域类别标注信息之间的差异；/n基于所述差异调整所述神经网络的网络参数。/n

【技术特征摘要】
1.一种注视区域检测用神经网络的训练方法，其特征在于，所述方法包括：
至少将作为训练样本的人脸图像输入神经网络，其中，所述人脸图像包括有所述人脸图像中的人脸所对应的注视区域类别标注信息，标注的注视区域类别属于预先对指定空间区域划分得到的多类定义注视区域之一；
经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息；
确定获取的注视区域类别预测信息与相应图像的注视区域类别标注信息之间的差异；
基于所述差异调整所述神经网络的网络参数。


2.根据权利要求1所述的方法，其特征在于，
所述至少将作为训练样本的人脸图像输入神经网络之前，所述方法还包括：裁剪所述人脸图像中的至少一眼睛区域，得到至少一眼睛图像；
所述至少将作为训练样本的人脸图像输入神经网络，包括：将所述人脸图像和所述人脸图像的所述至少一眼睛图像同时输入所述神经网络。


3.根据权利要求2所述的方法，其特征在于，
所述将所述人脸图像和所述人脸图像的所述至少一眼睛图像同时输入所述神经网络，包括：将所述人脸图像和所述人脸图像的所述至少一眼睛图像中的各图像调整到相同的预定尺寸；将调整尺寸后的各图像同时输入所述神经网络；
所述经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息，包括：经所述神经网络同时提取输入的所述各图像的特征；根据提取的特征确定所述人脸图像的注视区域类别预测信息。


4.根据权利要求2所述的方法，其特征在于，
所述将所述人脸图像和所述人脸图像的所述至少一眼睛图像同时输入所述神经网络，包括：将所述人脸图像和所述至少一眼睛图像对应输入所述神经网络包括的不同的特征提取分支，其中，输入到所述神经网络中的人脸图像和眼睛图像的尺寸不同；
所述经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息，包括：经各所述特征提取分支分别提取输入各特征提取分支的人脸图像或眼睛图像的特征；融合各特征提取分支提取的人脸图像的特征和眼睛图像的特征，得到融合特征；根据所述融合特征确定所述人脸图像的注视区域类别预测信息。


5.一种注视区域检测方法，其特征在于，所述方法包括：
截取在指定空间...

【专利技术属性】
技术研发人员：黄诗尧，王飞，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11