一种注视检测方法、装置、设备及存储介质制造方法及图纸

本申请公开一种注视检测方法、装置、设备及存储介质，本申请通过获取目标相机采集的目标对象的基准图像和参考图像，以及目标相机的内外参；基于基准图像对应的像素坐标系，构建基准图像对应的头部坐标系；确定第一坐标转换关系；基于目标对象的双眼瞳孔中心在基准图像和参考图像各自对应的像素坐标系中的第一像素坐标、第二像素坐标，以及目标相机的内外参，确定目标对象的双眼瞳孔中心在基准图像对应的相机坐标系中的第一相机坐标；基于平均人脸模型和基准图像对应的头部坐标系确定目标对象的双眼眼球中心，以及目标对象的双眼眼球中心的第一头部坐标；确定基准图像对应的相机坐标系中的目标对象的视线方向和注视点，可以实现利用相机作为采集设备。现利用相机作为采集设备。现利用相机作为采集设备。

【技术实现步骤摘要】
一种注视检测方法、装置、设备及存储介质


[0001]本专利技术涉及注视检测领域，尤其涉及注视检测方法、装置、设备及存储介质。

技术介绍

[0002]注视检测是一种通过机械、电子、光学等检测手段获取受试者视线方向的技术。随着眼动技术研究的不断发展，研究者们摒弃了侵入式的检测装备，利用外设的相机等设备获取人脸与人眼图像，通过对人脸与人眼图像进行处理与分析，估算出视线的方向。视线作为人的兴趣点和关注点的一种直接表达，可以反应人的心理与生理的状态，这使得视线检测技术在人机交互、医学诊断、人因分析、虚拟现实等多个领域都有着广泛的应用。
[0003]根据采集设备的放置方式可将视线检测方法分为侵入式视线检测方法和非侵入式视线检测方法。现有技术中视线跟踪方式有侵入式的，如通过在人眼边缘布置电极获取电位差估计眼球运动的眼电图法。侵入式视线跟踪方法的缺点在于长时间使用会使人产生不适，且存在信号不稳定的问题。非侵入式装置大多采用注视点检测方法和三维视线检测方法。注视点检测方法可以估算受试者在手机屏幕、pad屏幕、电脑屏幕等二维平面上的注视点。
[0004]根据视线特征提取方式可将三维视线检测方法分为基于几何的视线检测方法和基于表征的视线检测方法。基于表征的方法直接学习眼部图像到视线的映射关系，通常使用机器学习或者深度学习，通过对大量标记有视线方向真值的数据进行训练得到映射模型，但需较大算力，不适用于运算能力较差的平台。基于几何的方法需要提取眼睛的一些显著或具有一定不变性的局部特征,如瞳孔轮廓、虹膜和巩膜的异色边缘、眼角和角膜反射(红外光照射产生)等，该类方法对采集的图像质量和分辨率有较高的要求，需要额外红外照明。上述方法需要依靠较高算力和硬件设备，计算复杂、成本高。

技术实现思路

[0005]为了解决上述技术问题，本专利技术提供一种注视检测方法、装置、设备及存储介质，可以实现利用相机作为采集设备，对目标对象进行注视检测，确定目标对象的视线方向和注视点。
[0006]为了达到上述申请的目的，本申请提供了一种注视检测方法，该方法包括：
[0007]获取目标相机采集的目标对象的基准图像和参考图像，以及所述目标相机的内外参；
[0008]基于所述基准图像对应的像素坐标系，构建所述基准图像对应的头部坐标系；
[0009]确定所述基准图像对应的头部坐标系和所述基准图像对应的相机坐标系之间的第一坐标转换关系；
[0010]基于所述目标对象的双眼瞳孔中心在所述基准图像和所述参考图像各自对应的像素坐标系中的第一像素坐标、第二像素坐标，以及所述目标相机的内外参，确定所述目标对象的双眼瞳孔中心在所述基准图像对应的相机坐标系中的第一相机坐标；
[0011]基于平均人脸模型和所述基准图像对应的头部坐标系确定所述目标对象的双眼眼球中心，以及所述目标对象的双眼眼球中心在所述基准图像对应的头部坐标系中的第一头部坐标；
[0012]基于所述第一头部坐标，以及所述第一坐标转换关系，确定所述目标对象的双眼眼球中心在所述基准图像对应的相机坐标系中的第二相机坐标；
[0013]基于所述第一相机坐标，以及所述第二相机坐标，确定所述基准图像对应的相机坐标系中的目标对象的视线方向和注视点。
[0014]另一方面，本申请还提供注视检测装置，该装置可以包括：
[0015]获取模块，用于获取目标相机采集的目标对象的基准图像和参考图像，以及所述目标相机的内外参；
[0016]头部坐标系构建模块，用于基于所述基准图像对应的像素坐标系，构建所述基准图像对应的头部坐标系；
[0017]转换关系确定模块，用于确定所述基准图像对应的头部坐标系和所述基准图像对应的相机坐标系之间的第一坐标转换关系；
[0018]瞳孔中心计算模块，用于基于所述目标对象的双眼瞳孔中心在所述基准图像和所述参考图像各自对应的像素坐标系中的第一像素坐标、第二像素坐标，以及所述目标相机的内外参，确定所述目标对象的双眼瞳孔中心在所述基准图像对应的相机坐标系中的第一相机坐标；
[0019]眼球中心第一计算模块，用于基于平均人脸模型和所述基准图像对应的头部坐标系确定所述目标对象的双眼眼球中心，以及所述目标对象的双眼眼球中心在所述基准图像对应的头部坐标系中的第一头部坐标；
[0020]眼球中心第二计算模块，用于基于所述第一头部坐标，以及所述第一坐标转换关系，确定所述目标对象的双眼眼球中心在所述基准图像对应的相机坐标系中的第二相机坐标；
[0021]注视确定模块，用于基于所述第一相机坐标，以及所述第二相机坐标，确定所述基准图像对应的相机坐标系中的目标对象的视线方向和注视点。
[0022]另一方面，本申请还提供一种注视检测设备，该设备可以包括：
[0023]处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现上述的注视检测方法。
[0024]另外，本申请还提供一种存储介质，该存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现上述的注视检测方法。
[0025]实施本申请，具有如下有益效果：
[0026]本申请通过获取目标相机采集的目标对象的基准图像和参考图像，以及所述目标相机的内外参；基于所述基准图像对应的像素坐标系，构建所述基准图像对应的头部坐标系；确定所述基准图像对应的头部坐标系和所述基准图像对应的相机坐标系之间的第一坐标转换关系；基于所述目标对象的双眼瞳孔中心在所述基准图像和所述参考图像各自对应的像素坐标系中的第一像素坐标、第二像素坐标，以及所述目标相机的内外参，确定所述目标对象的双眼瞳孔中心在所述基准图像对应的相机坐标系中的第一相机坐标；基于平均人
脸模型和所述基准图像对应的头部坐标系确定所述目标对象的双眼眼球中心，以及所述目标对象的双眼眼球中心在所述基准图像对应的头部坐标系中的第一头部坐标；基于所述第一头部坐标，以及所述第一坐标转换关系，确定所述目标对象的双眼眼球中心在所述基准图像对应的相机坐标系中的第二相机坐标；基于所述第一相机坐标，以及所述第二相机坐标，确定所述基准图像对应的相机坐标系中的目标对象的视线方向和注视点，可以实现利用相机作为采集设备，对对象进行注视检测，确定目标对象的视线方向和注视点，减少对采集设备的依赖，降低对硬件平台的算力要求。
附图说明
[0027]为了更清楚地说明本申请的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0028]图1为本申请实施例提供的一种注视检测方法的流程示意图；
[0029]图2为本申请实施例提供的一种像素坐标系的示意图；
[0030]图3为本申请实施例提供的一种构建基准图像对应的头部坐标系
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种注视检测方法，其特征在于，所述方法包括：获取目标相机采集的目标对象的基准图像和参考图像，以及所述目标相机的内外参；基于所述基准图像对应的像素坐标系，构建所述基准图像对应的头部坐标系；确定所述基准图像对应的头部坐标系和所述基准图像对应的相机坐标系之间的第一坐标转换关系；基于所述目标对象的双眼瞳孔中心在所述基准图像和所述参考图像各自对应的像素坐标系中的第一像素坐标、第二像素坐标，以及所述目标相机的内外参，确定所述目标对象的双眼瞳孔中心在所述基准图像对应的相机坐标系中的第一相机坐标；基于平均人脸模型和所述基准图像对应的头部坐标系确定所述目标对象的双眼眼球中心，以及所述目标对象的双眼眼球中心在所述基准图像对应的头部坐标系中的第一头部坐标；基于所述第一头部坐标，以及所述第一坐标转换关系，确定所述目标对象的双眼眼球中心在所述基准图像对应的相机坐标系中的第二相机坐标；基于所述第一相机坐标，以及所述第二相机坐标，确定所述基准图像对应的相机坐标系中的目标对象的视线方向和注视点。2.根据权利要求1所述的方法，其特征在于，所述基于所述基准图像对应的像素坐标系，构建所述基准图像对应的头部坐标系包括：从所述基准图像中提取目标对象的脸部关键点；确定所述目标对象的脸部关键点在所述基准图像对应的像素坐标系中的第三像素坐标；对所述平均人脸模型和所述第三像素坐标进行分析，确定所述基准图像对应的头部坐标系。3.根据权利要求2所述的方法，其特征在于，在所述基于所述目标对象的双眼瞳孔中心在所述基准图像和所述参考图像各自对应的像素坐标系中的第一像素坐标、第二像素坐标，以及所述目标相机的内外参，确定所述目标对象的双眼瞳孔中心在所述基准图像对应的相机坐标系中的第一相机坐标之前，所述方法还包括：基于所述目标对象的脸部关键点分别确定所述基准图像和所述参考图像中的双眼感兴趣区域；确定所述基准图像中双眼感兴趣区域的梯度图和灰度权重图，以及所述参考图像中双眼感兴趣区域的梯度图和灰度权重图；将所述基准图像中同时满足预设梯度条件和灰度条件的点，作为所述基准图像中所述目标对象的双眼瞳孔中心，以及，将所述参考图像中同时满足所述预设梯度条件和所述灰度条件的点，作为所述参考图像中所述目标对象的双眼瞳孔中心。4.根据权利要求1所述的方法，其特征在于，所述基于所述目标对象的双眼瞳孔中心在所述基准图像和所述参考图像各自对应的像素坐标系中的第一像素坐标、第二像素坐标，以及所述目标相机的内外参，确定所述目标对象的双眼瞳孔中心在所述基准图像对应的相机坐标系中的第一相机坐标包括：根据所述第一像素坐标、第二像素坐标，以及所述目标相机的内外参，确定所述目标对象的双眼瞳孔中心在所述基准图像对应的相机坐标系中的深度；
根据所述目标对象的双眼瞳孔中心在所述基准图像对应的相机坐标系中的深度和所述第一像素坐标，确定所述第一相机坐标。5.根据权利要求4所述的方法，其特征在于，所述基于所述第一像素坐标、第二像素坐标，以及所述目标相机的内外参，确定所述目标对象的双眼瞳孔中心在所述基准图像对应的相机坐标系中的深度包括：根据所述目标对象的双眼瞳孔中心在所述基准图像和所述参考图像各自对应的像素坐标系中的第一像素坐标、第二像素坐标...

【专利技术属性】
技术研发人员：朱冬晨，李嘉茂，李航，林敏静，张晓林，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：