人眼感兴趣区域定位系统技术方案

一种人眼感兴趣区域定位系统，包括摄像装置以及处理装置，所述摄像装置固定于显示设备上，且面朝所述显示设备的显示屏幕的前方，所述处理装置与所述摄像装置通讯连接，该处理装置用于执行定位步骤，定位步骤基于对眼珠中心点的图像识别，与传统遥测设备依靠眼球识别的方式相比，更能表征视线的方向，通过检测眼珠中心点相对于眼眶中心点的位置关系、人体距离屏幕的距离远近以及预设可视范围来确定屏幕上的感兴趣区域，提高了定位准确率，用户体验好，同时，也克服了传统眼镜式、头盔式设备的缺点。点。点。

Human eye region of interest location system

【技术实现步骤摘要】
人眼感兴趣区域定位系统


[0001]本专利技术属于人眼注意力追踪
，尤其涉及一种人眼感兴趣区域定位系统。

技术介绍

[0002]随着国内企业数字化转型，以企业管理驾驶舱为代表的各类运营数据可视化系统正在大面积地推广，传统通过鼠标与键盘来指定可视化系统显示屏幕上的感兴趣区域已经很难满足用户的需求，而以人眼视线追踪的方式来感知感兴趣区域能够大幅度提高观看者的用户体验。
[0003]现有的人眼视线追踪设备通常分为眼镜式、头盔式与遥测式三种产品形态。眼镜式视线追踪设备一般需要用户佩戴集成图像传感器与图像识别系统的特制眼镜，佩戴这种设备通常会影响人体的行走视线，用户接受度较低，并且这种佩戴设备通常采用体积与质量较轻材料制成，受限的计算资源使得图像识别的准确率大大降低，用户体验感差。头盔式视线追踪设备一般需要被测者头戴特制头盔，该头盔集成了眼动与头部运动识别设备，二者互相补偿，能够较为准确地实时识别人体眼球的运动方向，据此可视化导航系统可以作实时响应，提高产品使用者的智能体验，然而，这种特制的头盔重量较大，使用较为不便，一般仅用于AR/VR等虚拟现实等场景。遥测式视线追踪设备通常包括桌面高精度眼动仪、便携遥测眼动仪，该设备通常与屏幕结合一体，能够远距离感知被测者的眼球实时运动方向，设备采取非接触设计，不需要额外的穿戴设备，然而，这些设备仅仅基于对眼球的图像识别，准确率较低，用户体验依然较差。

技术实现思路

[0004]基于此，针对上述技术问题，提供一种人眼感兴趣区域定位系统。
[0005]为解决上述技术问题，本专利技术采用如下技术方案：
[0006]一种人眼感兴趣区域定位系统，包括摄像装置以及处理装置，所述摄像装置固定于显示设备上，且面朝所述显示设备的显示屏幕的前方，所述处理装置与所述摄像装置通讯连接，该处理装置用于执行以下定位步骤：
[0007]S101、通过所述摄像装置采集所述显示屏幕前方的图像；
[0008]S102、从所述图像中识别人体目标；
[0009]S103、从识别到的人体目标中进一步识别眼眶目标以及该眼眶目标中的眼珠目标，确定对应的实际眼珠中心点与实际眼眶中心点的位置关系；
[0010]S104、通过所述摄像装置确定所述显示屏幕与实际人体在z轴方向的距离，将该距离作为实际眼眶中心点到所述显示屏幕的距离H，所述z轴为以视网膜中心为原点的前后方向的轴线，该z轴经过实际眼眶中心点和所述显示屏幕的中心点；
[0011]S105、根据所述实际眼珠中心点与实际眼眶中心点的位置关系，确定所述实际眼珠中心点与所述z轴的角度；
[0012]S106、根据所述角度以及距离H，确定所述实际眼珠中心点在所述显示屏幕上的映
射点的位置；
[0013]S107、根据预设可视范围，在所述显示屏幕上映射确定以所述映射点为中心的感兴趣区域。
[0014]本专利技术基于对眼珠中心点的图像识别，与传统遥测设备依靠眼球识别的方式相比，更能表征视线的方向，通过检测眼珠中心点相对于眼眶中心点的位置关系、人体距离屏幕的距离远近以及预设可视范围来确定屏幕上的感兴趣区域，提高了定位准确率，用户体验好，同时，也克服了传统眼镜式、头盔式设备的缺点。
附图说明
[0015]下面结合附图和具体实施方式本专利技术进行详细说明：
[0016]图1为本专利技术的结构示意图；
[0017]图2为本专利技术的摄像装置固定于显示设备上的示意图；
[0018]图3为本专利技术的定位步骤的流程图；
[0019]图4为本专利技术的眼眶目标以及眼珠目标的识别示意图；
[0020]图5为本专利技术的确定实际眼珠中心点在显示屏幕上的映射点的位置的原理图；
[0021]图6为本专利技术的根据预设水平可视角映射确定感兴趣区域的左右边界距离的原理图；
[0022]图7为本专利技术的根据预设垂直可视角映射确定感兴趣区域的上下边界距离的原理图；
[0023]图8为本专利技术在显示屏幕上所定位的感兴趣区域的示意图。
具体实施方式
[0024]如图1所示，本说明书实施例提供一种人眼感兴趣区域定位系统，包括摄像装置11以及处理装置12。
[0025]如图2所示，摄像装置11固定于可视化系统的显示设备20上，且面朝显示设备20的显示屏幕21的前方，处理装置12与摄像装置11通讯连接。
[0026]在本实施例中，摄像装置11包括用于感知显示屏幕与人体的水平距离的深度相机以及用于采集显示屏幕前方的图像的RGB相机，作为一种示例，摄像装置11可以采用intel realsense相机，该相机具有由左右红外相机和红外点阵投射器构成的深度相机和双目RGB相机。
[0027]如图3所示，处理装置12用于执行以下定位步骤：
[0028]S101、通过摄像装置11采集显示屏幕前方的图像。
[0029]S102、从图像中识别人体目标:通过预训练的第一目标检测模型，从图像中识别人体目标，作为一种示例，第一目标检测模型采用SSD网络模型。
[0030]第一目标检测模型可以通过大量的表示人体目标正面的图片进行训练，从而能够从输入模型的图片中识别出人体目标，该手段属于常规技术手段，此处不做详细限定。
[0031]S103、从识别到的人体目标中进一步识别眼眶目标以及该眼眶目标中的眼珠目标，确定对应的实际眼珠中心点与实际眼眶中心点的位置关系：
[0032]a、通过预训练的第二目标检测模型，从识别到的人体目标中进一步识别眼眶目标
以及该眼眶目标中的眼珠目标，作为一种示例，第二目标检测模型采用YOLOv5网络模型。
[0033]第二目标检测模型可以通过大量的具有眼眶和眼珠的图片进行训练，从而能够从输入模型的图片中识别出眼眶和眼珠目标，该手段属于常规技术手段，在识别到眼眶目标和眼珠目标时，第二目标检测模型会在图片中标记出相应的检测框，如图4所示，在图片坐标系中，眼眶目标的检测框的两个对角坐标为(x1，y1)和(x2，y2)，眼珠目标的检测框的两个对角坐标为(x3，y3)和(x4，y4)，该手段属于常规技术手段，此处不做详细限定。
[0034]b、根据眼眶目标的检测框的两个对角坐标，确定眼眶目标的中心点m的坐标，在图4中，中心点m为原点，根据眼珠目标的检测框的两个对角坐标，确定眼珠目标的中心点n的坐标。
[0035]c、根据眼眶目标的中心点坐标以及眼珠目标的中心点坐标，确定眼珠目标的中心点与眼眶目标的中心点的位置关系。
[0036]d、根据眼珠目标的中心点与眼眶目标的中心点的位置关系，确定实际眼珠中心点与实际眼眶中心点的位置关系。
[0037]需要指出的是，上述眼珠是指眼球前面的中间部分，这个部位由角膜、虹膜和瞳孔组成，与眼球相比，眼珠更能表征视线的方向，同时，眼珠的颜色区别于白色，通常表现为黑色、蓝色等等，因此，更容易通过图像识别的方式进行识别，提高了识别的准确率。
[0038]中心点m的坐标和中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人眼感兴趣区域定位系统，其特征在于，包括摄像装置以及处理装置，所述摄像装置固定于显示设备上，且面朝所述显示设备的显示屏幕的前方，所述处理装置与所述摄像装置通讯连接，该处理装置用于执行以下定位步骤：S101、通过所述摄像装置采集所述显示屏幕前方的图像；S102、从所述图像中识别人体目标；S103、从识别到的人体目标中进一步识别眼眶目标以及该眼眶目标中的眼珠目标，确定对应的实际眼珠中心点与实际眼眶中心点的位置关系；S104、通过所述摄像装置确定所述显示屏幕与实际人体在z轴方向的距离，将该距离作为实际眼眶中心点到所述显示屏幕的距离H，所述z轴为以视网膜中心为原点的前后方向的轴线，该z轴经过实际眼眶中心点和所述显示屏幕的中心点；S105、根据所述实际眼珠中心点与实际眼眶中心点的位置关系，确定所述实际眼珠中心点与所述z轴的角度；S106、根据所述角度以及距离H，确定所述实际眼珠中心点在所述显示屏幕上的映射点的位置；S107、根据预设可视范围，在所述显示屏幕上映射确定以所述映射点为中心的感兴趣区域。2.根据权利要求1所述的一种人眼感兴趣区域定位系统，其特征在于，所述摄像装置包括用于感知所述显示屏幕与实际人体在z轴方向的距离的深度相机以及用于采集所述显示屏幕前方的图像的RGB相机。3.根据权利要求2所述的一种人眼感兴趣区域定位系统，其特征在于，所述摄像装置采用intel realsense相机。4.根据权利要求1所述的一种人眼感兴趣区域定位系统，其特征在于，所述步骤S102进一步包括：通过预训练的第一目标检测模...

【专利技术属性】
技术研发人员：朱瑞，元方，童随兵，张凡超，宋开，
申请(专利权)人：新智认知数据服务有限公司，
类型：发明
国别省市：