视线校正方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种视线校正方法、装置、电子设备及存储介质，该方法可以包括：当电子设备处于目标使用场景时，通过该电子设备的摄像模组采集目标用户的第一人脸图像；获得第一人脸图像对应的第一视线估计坐标，该第一视线估计坐标是通过视线估计模型分析第一人脸图像获得的；根据第一视线估计坐标及第一人脸图像对应的视线真实坐标，确定视线校正参数，该视线校正参数用于校正视线估计模型输出的视线估计坐标。通过实施该方法，能够确定出校正效果较好的视线校正参数。正效果较好的视线校正参数。正效果较好的视线校正参数。

【技术实现步骤摘要】
视线校正方法、装置、电子设备及存储介质


[0001]本申请涉及视线追踪
，尤其涉及一种视线校正方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，现有的视线估计系统为了提高视线估计的精度大都会利用视线校正参数，对视线估计模型输出的视线估计坐标进行校正。在实践中发现，现有的视线校正方法往往需要设备专门引导用户依次盯着输出的特殊标志，若用户没有很好地配合，则确定出的视线校正参数对视线估计坐标的校正效果往往不佳。

技术实现思路

[0003]本申请实施例提供了一种视线校正方法、装置、电子设备及存储介质，能够确定出校正效果较好的视线校正参数。
[0004]本申请实施例第一方面提供了一种视线校正方法，包括：
[0005]当电子设备处于目标使用场景时，通过所述电子设备的摄像模组采集目标用户的第一人脸图像；
[0006]获得所述第一人脸图像对应的第一视线估计坐标，所述第一视线估计坐标是通过视线估计模型分析所述第一人脸图像获得的；
[0007]根据所述第一视线估计坐标及所述第一人脸图像对应的视线真实坐标，确定视线校正参数，所述视线校正参数用于校正所述视线估计模型输出的视线估计坐标进行校正。
[0008]本申请实施例第二方面提供了一种视线校正参数的确定装置，包括：
[0009]图像采集单元，用于当电子设备处于目标使用场景时，通过所述电子设备的摄像模组采集目标用户的第一人脸图像；
[0010]视线坐标估计单元，用于获得所述第一人脸图像对应的第一视线估计坐标，所述第一视线估计坐标是通过视线估计模型分析所述第一人脸图像获得的；
[0011]校正参数确定单元，用于根据所述第一视线估计坐标及所述第一人脸图像对应的视线真实坐标，确定视线校正参数，所述视线校正参数用于校正所述视线估计模型输出的视线估计坐标。
[0012]本申请实施例第三方面提供了一种电子设备，可以包括：
[0013]存储有可执行程序代码的存储器；
[0014]以及所述存储器耦合的处理器；
[0015]所述处理器调用所述存储器中存储的所述可执行程序代码，所述可执行程序代码被所述处理器执行时，使得所述处理器实现如本申请实施例第一方面所述的方法。
[0016]本申请实施例第四方面提供一种计算机可读存储介质，其上存储有可执行程序代码，所述可执行程序代码被处理器执行时，实现如本申请实施例第一方面所述的方法。
[0017]本申请实施例第五方面公开一种计算机程序产品，当该计算机程序产品在计算机
Computer，PC)、智能PC、销售终端(PointofSales，POS)和车载电脑等。
[0031]电子设备也可以包括可穿戴设备。可穿戴设备可以直接穿戴在用户身上，或是整合到用户的衣服或配件的一种便携式电子设备。可穿戴设备不仅仅是一种硬件设备，更可以通过软件支持以及数据交互、云服务器交互来实现强大的智能功能，比如：计算功能、定位功能、报警功能，同时还可以连接手机及各类终端。可穿戴设备可以包括但不限于以手腕为支撑的watch类(比如手表、手腕等产品)，以脚为支撑的shoes类(比如鞋、袜子或者其他腿上佩戴产品)，以头部为支撑的Glass类(比如眼镜、头盔、头带等)以及智能服装，书包、拐杖、配饰等各类非主流产品形态。
[0032]视线估计指的是通过一张人脸照片，来判断人的眼睛注视的位置。视线估计在智能家电、智能计算机、虚拟游戏、汽车驾驶及军事领域都具有十分广阔的应用。以汽车驾驶为例，在汽车的挡风玻璃前，或者方向盘中心，安装一个摄像头，拍下驾驶员的照片，然后根据照片来判断用户正在看哪里，这就是汽车驾驶场景下的视线估计。汽车驾驶场景中的视线估计，可以分析驾驶员的视线是否正常，从而进行驾驶安全监控。
[0033]目前，现有的视线估计系统为了提高视线估计的精度大都会利用视线校正参数，对视线估计模型输出的视线估计坐标进行校正。在实践中发现，现有的视线校正方法往往需要设备专门引导用户依次盯着输出的特殊标志，若用户没有很好地配合，则确定出的视线校正参数对视线估计坐标的校正效果往往不佳。
[0034]本申请旨在确定校正效果较好的视线校正参数。其中，具体的视线校正方法下面结合附图进行详细说明。
[0035]请参阅图1，图1是本申请实施例公开的视线校正方法的一种场景示意图。如图1所示的场景示意图可以包括电子设备10，该电子设备10可在处于目标使用场景时，通过该电子设备的摄像模组采集目标用户的第一人脸图像，然后利用视线估计模型分析该第一人脸图像，得到该第一人脸图像对应的第一视线估计坐标，最后再根据该第一视线估计坐标及第一人脸图像对应的视线真实坐标确定出，用于校正视线估计模型输出的视线估计坐标的视线校正参数。可见，电子设备10在确定视线校正参数的过程中，第一人脸图像的采集可以在用户的日常使用过程中进行，无需额外输出视线引导信息，可以确定出校正效果较好的视线校正参数，此外，对用户来说整个视线校正参数的确定过程是无感的，进而提高了确定视线校正参数的便捷性。
[0036]请参阅图2，图2是本申请实施例公开的一种视线校正方法的流程示意图。如图2所示的视线校正方法可以包括以下步骤：
[0037]201、当电子设备处于目标使用场景时，通过该电子设备的摄像模组采集目标用户的第一人脸图像。
[0038]其中，目标使用场景可以指的是电子设备正常使用过程中的一种或多种场景，本申请实施例不做限定。在电子设备处于目标使用场景时，用户的视线位置往往有一定规律，可将不同的使用场景与用户的视线位置进行关联。可以理解的是，第一人脸图像可以在用户对电子设备的日常使用过程中不知不觉被采集，不需要电子设备输出额外的校正信息步骤，从而提供了一种隐式的视线校正方法。
[0039]在一些实施例中，第一人脸图像的帧数可以为一帧或多帧，本申请实施例不做限定。在第一人脸图像的帧数为多帧的情况下，多帧第一人脸图像可以是在相同或不同的目
标使用场景下采集的。示例性的，一种目标使用场景下图像的采集周期可以是100毫秒。
[0040]在一些实施例中，在第一人脸图像的帧数为多帧的情况下，第一人脸图像的帧数可以大于或等于帧数阈值，该帧数阈值与视线校正参数的校正参数的个数相关，校正参数的个数越多，则帧数阈值越大。示例性的，帧数阈值为5帧。
[0041]下面通过举例方式，对目标使用场景进行说明：
[0042]示例性的，电子设备包括车载终端，目标使用场景可以包括以下任一种或几种组合：控制车辆左转、控制车辆右转、控制车辆输出速度警示信息、控制车辆输出油量警示信息、控制车辆倒库(包括左倒库和右倒库)及控制车辆的中控台等。其中，在控制车辆左转时，用户大概率会看车辆左视镜；在控制车辆右转时，用户大概率会看车辆右视镜；在控制车辆输出速度警示信息及油量警示信息时，用户大概率会看车辆仪表盘；在控制车辆左倒库时，用户大概率会看右视镜；在控制车辆右倒库时，用户大概率会看左视镜；在控制车辆的中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视线校正方法，其特征在于，所述方法包括：当电子设备处于目标使用场景时，通过所述电子设备的摄像模组采集目标用户的第一人脸图像；获得所述第一人脸图像对应的第一视线估计坐标，所述第一视线估计坐标是通过视线估计模型分析所述第一人脸图像获得的；根据所述第一视线估计坐标及所述第一人脸图像对应的视线真实坐标，确定视线校正参数，所述视线校正参数用于校正所述视线估计模型输出的视线估计坐标。2.根据权利要求1所述的方法，其特征在于，所述第一人脸图像的帧数为多帧，所述根据所述第一视线估计坐标及所述第一人脸图像对应的视线真实坐标，确定视线校正参数，包括：获取每帧所述第一人脸图像对应的第一视线估计坐标，与每帧所述第一人脸图像对应的视线真实坐标之间的距离值；将距离值大于距离值阈值的第一人脸图像作为无效的第一人脸图像，并将距离值小于或等于所述距离值阈值的第一人脸图像作为有效的第一人脸图像；根据每一所述有效的第一人脸图像对应的第一视线坐标及所述视线真实坐标，确定视线校正参数。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一视线估计坐标及所述第一人脸图像对应的视线真实坐标，确定视线校正参数之后，所述方法还包括：获得第一用户的第二人脸图像对应的第二视线估计坐标，所述第二视线估计坐标是通过所述视线估计模型分析所述第二人脸图像获得的；其中，所述第一用户与所述目标用户相同或不同；利用所述视线校正参数校正所述第二视线估计坐标，以得到所述第一用户的目标视线坐标。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：将所述视线校正参数与所述目标用户的身份信息进行关联；所述利用所述视线校正参数校正所述第二视线估计坐标，以得到所述第一用户的目标视线坐标，包括：在所述第一用户...

【专利技术属性】
技术研发人员：邱榆清，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：