【技术实现步骤摘要】
确定人物的视线朝向的方法、装置、电子设备和存储介质
本公开的各实现方式涉及图像处理，更具体地，涉及确定人物的视线朝向的方法、装置、电子设备和存储介质。
技术介绍
随着计算机技术和网络技术的发展，目前已经开发出了支持监视和管理功能的多种应用。例如，在车辆服务的应用中，可以基于司机的图像来确定司机是否目视前方并且专心驾驶；在教学应用中，可以基于学生的图像来确定学生是否专心听讲，等等。目前已经可以基于人物的面部图像来确定人物的视线朝向，然而，确定过程的性能和准确性并不令人满意。此时如何以更为有效的方式处理面部图像，进而以更为准确的方式确定人物的视线朝向，成为一个研究热点。
技术实现思路
期望能够开发并实现一种以更为有效的方式来确定人物的视线朝向的技术方案。期望该技术方案能够与现有应用的监视和管理功能相兼容，以更为有效的方式来确定人物的视线朝向，进而管理人物的行为。根据本公开的第一方面，提供了一种用于确定人物的视线朝向的方法。在该方法中，根据基于面部图像的多个第一朝向模型，生成分别与人物的面部图像相关联的...
【技术保护点】
1.一种用于确定人物的视线朝向的方法，包括：/n根据基于面部图像的多个第一朝向模型，生成分别与所述人物的面部图像相关联的多个面部特征；/n基于所述多个面部特征以及所述面部图像的三维深度图像，分别标识所述人物的多个候选面部朝向，所述三维深度图像表示所述人物的面部的三维深度信息；/n基于所述多个候选面部朝向，获取所述人物的第一朝向；以及/n基于所述第一朝向，确定所述人物的视线朝向。/n
【技术特征摘要】
1.一种用于确定人物的视线朝向的方法，包括：
根据基于面部图像的多个第一朝向模型，生成分别与所述人物的面部图像相关联的多个面部特征；
基于所述多个面部特征以及所述面部图像的三维深度图像，分别标识所述人物的多个候选面部朝向，所述三维深度图像表示所述人物的面部的三维深度信息；
基于所述多个候选面部朝向，获取所述人物的第一朝向；以及
基于所述第一朝向，确定所述人物的视线朝向。
2.根据权利要求1所述的方法，其中标识所述多个候选面部朝向包括：针对所述多个第一朝向模型中的第一朝向模型，
利用所述三维深度图像监督所述第一朝向模型；以及
基于所述多个面部特征中的与所述第一朝向模型相关联的面部特征和受监督的所述第一朝向模型，标识所述多个候选面部朝向中的与所述第一朝向模型相关联的候选面部朝向。
3.根据权利要求1所述的方法，其中标识所述多个候选面部朝向包括：针对所述多个第一朝向模型中的第一朝向模型，
基于所述多个面部特征中的与所述第一朝向模型相关联的面部特征和所述三维深度图像，生成与所述面部图像相关联的增强面部特征；以及
基于所述增强面部特征和所述第一朝向模型，标识所述多个候选面部朝向中的与所述第一朝向模型相关联的候选面部朝向。
4.根据权利要求1所述的方法，进一步包括：
从所述面部图像中选择包括所述人物的眼部区域的眼部图像；
根据基于眼部图像的第二朝向模型，获得与所述眼部图像相关联的第二朝向；以及
确定所述人物的所述视线朝向进一步包括：基于所述第一朝向和所述第二朝向，确定所述视线朝向。
5.根据权利要求4所述的方法，进一步包括：
基于所述面部图像中的一组关键点，确定所述人物的面部几何特征，所述一组关键点描述所述人物的面部几何信息；以及
利用基于几何信息的第三朝向模型，获得与所述一组关键点相关联的第三朝向。
6.根据权利要求5所述的方法，其中确定所述面部几何特征包括：
根据所述第三朝向模型的多个训练图像，获取与所述多个训练图像相关联的一组关键点均值；以及
基于所述一组关键点与所述一组关键点均值，确定所述人物的面部几何特征。
7.根据权利要求6所述的方法，其中获取所述一组关键点均值包括：
确定与所述多个训练图像相关联的多个朝向；以及
基于所述多个朝向，确定所述一组关键点均值。
8.根据权利要求7所述的方法，其中基于所述多个朝向，确定所述一组关键点均值包括：
针对所述多个朝向中的每个朝向，确定所述多个训练图像中的与每个朝向相关联的各个训练图像中的一组关键点的一组均值；以及
基于确定的所述一组均值，确定所述一组关键点均值。
9.根据权利要求...
【专利技术属性】
技术研发人员：张修宝，于泽辉，沈海峰，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。