一种视线与观察点的位置关系检测方法和装置制造方法及图纸

本发明专利技术公开了一种视线与观察点的位置关系检测方法，包括：获取包含观察点和观察者面部的实验视频帧；将实验视频帧输入训练好的目标检测模型中，输出包含人眼检测框和观察点检测框的目标检测结果；基于目标检测结果中人眼检测框对眼部区域进行虹膜分割，得到虹膜分割结果；基于目标检测结果和虹膜分割结果，判断观察者是否水平读取观察点示数。本方案能够更加准确、实时地判断实验过程中观察者是否正在水平读取示数。水平读取示数。水平读取示数。

【技术实现步骤摘要】
一种视线与观察点的位置关系检测方法和装置


[0001]本专利技术涉及视线检测
，具体涉及一种视线与观察点的位置关系检测方法、装置、计算设备及存储介质。

技术介绍

[0002]中学理化生实验考试中包含水平读取示数的实验。在这类实验考试过程中，读数是否正确与学生观察示数的眼神状态或视线方向有关联，如果视线方向与所读取示数水平线的位置偏差较大，则会导致读数不正确的情况。因此，需要对实验过程中观察者的视线方向与观察点之间的位置关系进行实时检测。
[0003]目前，在基于目标检测的视线检测方法中，首先对眼睛、头部和观察点进行标注，使用标注数据去训练目标检测模型。然后基于三者之间的相对距离或中心点连线角度判断是否正在观察。该方法依赖于目标检测结果的精确度，并且眼球的动向是未知的，对于视线的检测准确度较低。
[0004]在基于卷积神经网络的视线检测方法中，通过卷积神经网络定位输入图片上的人眼区域和虹膜中心位置，再使用多项式拟合方法对视线进行估计。这种方法由于眼睛定位点较少，计算虹膜中心位置会导致偏差，计算效率较低，无法满足实时检测的需求本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视线与观察点的位置关系检测方法，其特征在于，包括：获取包含观察点和观察者面部的实验视频帧；将所述实验视频帧输入训练好的目标检测模型中，输出包含人眼检测框和观察点检测框的目标检测结果；基于所述目标检测结果中人眼检测框对眼部区域进行虹膜分割，得到虹膜分割结果；基于所述目标检测结果和虹膜分割结果，判断观察者是否水平读取观察点示数。2.根据权利要求1所述的视线与观察点的位置关系检测方法，其特征在于，所述获取包含观察点和观察者面部的实验视频帧的步骤包括：通过设置在观察者和观察点侧面的摄像头实时采集第一实验视频帧；通过设置在观察者和观察点正面的摄像头实时采集第二实验视频帧。3.根据权利要求2所述的视线与观察点的位置关系检测方法，其特征在于，所述将所述实验视频帧输入训练好的目标检测模型中，输出包含人眼检测框和观察点检测框的目标检测结果的步骤包括：从所述第一实验视频帧和第二实验视频帧中分别抽取预定数量的包含观察点和观察者面部的实验操作图像作为训练数据集；对训练数据集中的观察者眼部和观察点进行标注，将标注后的实验操作图像输入目标检测模型中进行训练，得到训练后的目标检测模型；将待检测的实验视频帧输入训练好的目标检测模型中，输出包含人眼检测框和观察点检测框的目标检测结果，其中，所述目标检测模型可以是SSD、YOLO、SqueezeDet、Faster
‑
RCNN、R
‑
FCN中任意一种。4.根据权利要求1所述的视线与观察点的位置关系检测方法，其特征在于，所述基于所述目标检测结果中人眼检测框对眼部区域进行虹膜分割，得到虹膜分割结果的步骤包括：基于人眼检测框的位置从实验操作图像中裁剪出眼部区域图像；将所述眼部区域图像输入卷积神经网络和训练好的虹膜分割网络，输出虹膜分割结果。5.根据权利要求4所述的视线与观察点的位置关系检测方法，其特征在于，所述卷积神经网络包括卷积核大小为3*3，步长为2的卷积层、激活函数和池化层，用于提取眼球区域图像中的虹膜特征；所述虹膜分割网络包括下采样模块、上采样模块和拼接模块，所述下采样模块包括第一卷积块、第一最大池化层、第二卷积块、第二最大池化层和第三卷积块，用于对包含虹膜特征的眼球区域图像提取特征；所述上采样模块包括第一反卷积块、第二反卷积块和第三反卷积块，用于将所述下...

【专利技术属性】
技术研发人员：刘利非，杨吉利，王庆峰，
申请(专利权)人：上海锡鼎智能科技有限公司，
类型：发明
国别省市：