一种基于单目标的视线交互方法及装置制造方法及图纸

本发明专利技术公开了一种基于单目标的视线交互方法及装置，该方法包括：通过屏幕上的摄像头采集观看者的图像；采用预设模型对所述图像进行人脸识别，得到人脸区域并确定眼部区域图像；在所述眼部区域图像中提取瞳孔中心参数；根据所述瞳孔中心参数，获得视线方向；根据所述视线方向，控制所述屏幕内播放的视频执行相应的操作。该方法可用来确定观看者的视线是否在电脑屏幕内进而对屏幕内播放的视频进行操作，在没有人为操纵的情况下，可判断观看者的行为进而对视频的播放进行操作，交互更加简单方便。方便。方便。

A line of sight interaction method and device based on single target

【技术实现步骤摘要】
一种基于单目标的视线交互方法及装置


[0001]本专利技术属于机器视觉和人机交互领域，涉及几何方法的注视点估计，特别涉及一种基于单目标的视线交互方法及装置。

技术介绍

[0002]视线跟踪是一项科学应用技术，用户无需触摸屏幕即可对屏幕内容进行操作。从原理上看，视线跟踪主要是研究眼球运动信息的获取、建模和模拟，用途颇广。
[0003]视线跟踪技术已成为心理学、神经营销学、神经认知、用户体验、基础研究及市场研究等多个领域视觉行为和人类行为的技术手段之一。该技术还可以用于医学分析和筛查。从眼动的历史发展进程来看，早期的眼动追踪系统是侵入性的且不能移动，受限非常严重，仅在有限的实验中使用，并且在现在社会受到伦理方面的考验。随着眼动追踪系统的发展，现代的眼动追踪系统利用红外光进行捕捉眼球运动，该系统是非侵入的且更加方便易用。
[0004]当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到用眼睛控制设备的目的。通过视线跟踪技术使用者可以更高效的与电子设备进行交互，并且操作者体验感更加准确与自然。
[0005]比如当下流行的短视频软件，需要自己去手动切换，但对于一些残疾人可能不太方便，另外，当人的眼睛看向不同方向时，眼部会有细微的变化；因此，基于上述因素考虑，如何通过眼部的变化实现对播放视频的相关操作，成为当下亟待解决的问题。

技术实现思路

[0006]本专利技术的主要目的在于提供一种基于单目标的视线交互方法及装置，可解决一些人无法对屏幕内播放视频进行手动操作的问题，可用来确定观看者的视线是否在电脑屏幕内进而对屏幕内播放的视频进行操作，在没有人为操纵的情况下，可判断观看者的行为进而对视频的播放进行操作。
[0007]为实现上述目的，本专利技术采取的技术方案为：
[0008]第一方面，本专利技术实施例提供一种基于单目标的视线交互方法，包括：通过屏幕上的摄像头采集观看者的图像；
[0009]采用预设模型对所述图像进行人脸识别，得到人脸区域并确定眼部区域图像；
[0010]在所述眼部区域图像中提取瞳孔中心参数；
[0011]根据所述瞳孔中心参数，获得视线方向；
[0012]根据所述视线方向，控制所述屏幕内播放的视频执行相应的操作。
[0013]进一步地，采用预设模型对所述图像进行人脸识别，得到人脸区域并确定眼部区域图像；包括：
[0014]通过调用dlib库进行训练获得HOG特征结合SVM分类器，对单帧图像进行人脸识别
扫描，获得68个标记点位置；
[0015]根据所述68个标记点位置中的关键点位置确定左右眼区域图像。
[0016]进一步地，根据所述68个标记点位置中的关键点位置确定左右眼区域图像，包括：
[0017]对输入的第一帧图像进行通道分离和灰度转换；
[0018]根据获取的68个标记点位置，确定出人脸ROI；
[0019]从所述人脸ROI区域中，根据36
‑
41关键点确定右眼区域，根据42
‑
47 确定左眼区域。
[0020]进一步地，在所述眼部区域图像中提取瞳孔中心参数，包括：
[0021]从所述右眼区域、左眼区域中定位瞳孔，结合瞳孔的圆几何性和灰度分布特性，利用梯度一致方法确定瞳孔中心参数。
[0022]进一步地，根据所述视线方向，控制所述屏幕内播放的视频执行相应的操作，包括：
[0023]将所述观看者在屏幕前的运动分解为水平运动和垂直运动；
[0024]根据所述水平运动，确定观看者视线映射到屏幕上的注意点；
[0025]当所述注意点在屏幕内时，控制所述屏幕继续播放当前视频。
[0026]进一步地，根据所述视线方向，控制所述屏幕内播放的视频执行相应的操作，还包括：
[0027]当所述注意点不在屏幕内时，控制所述屏幕切换播放下一视频。
[0028]进一步地，根据所述水平运动，确定观看者视线映射到屏幕上的注意点，包括：
[0029]构建以屏幕上的摄像头为原点的坐标系，确定观看者的位置坐标F及其到屏幕所在平面的垂线垂点坐标G(x,y,z)，并根据屏幕尺寸确定观看者位置坐标到屏幕右侧交点A1(x1,y1,z1)和左侧交点A2(x2,y2,z2)的坐标；
[0030]根据观看者的位置坐标F、垂点坐标G、A1和A2的坐标，设定∠A2FG 为α角，作为左侧阈值；设定∠A1FG为β角，作为右侧阈值；
[0031](1)若观看者视线角度大于0时，则观看者在摄像头左侧，视线向右观看，分为两种情况：
[0032]1.1)当|x|＜|x2|时，观看者的位置到屏幕所在平面的垂线在屏幕内，观看者视线与所述垂线之间的夹角大于所述右侧阈值β，则注意点不在屏幕内；小于等于所述右侧阈值β时，则注意点在屏幕内；
[0033]1.2)当|x|＞|x2|时，观看者的位置到屏幕所在平面的垂线在屏幕外，观看者视线与所述垂线之间的夹角大于所述左侧阈值α并且小于右侧阈值β，则注意点在屏幕内；小于等于所述左侧阈值α或大于所述右侧阈值β时，则注意点不在屏幕内；
[0034](2)若观看者视线角度小于0时，则观看者在摄像头右侧，视线向左观看，分为两种情况：
[0035]2.1)当|x|＜|x1|时，观看者的位置到屏幕所在平面的垂线在屏幕内，观看者视线与所述垂线之间的夹角小于所述左侧阈值α，则注意点在屏幕内；大于所述左侧阈值α时，则注意点不在屏幕内；
[0036]2.2)当|x|＞|x1|时，观看者的位置到屏幕所在平面的垂线在屏幕外，观看者视线与所述垂线之间的夹角大于所述右侧阈值β并且小于左侧阈值α，则注意点在屏幕内；小于
等于所述右侧阈值β或大于所述左侧阈值α时，则注意点不在屏幕内。
[0037]第二方面，本专利技术实施例还提供一种基于单目标的视线交互装置，包括：
[0038]采集模块，用于通过屏幕上的摄像头采集观看者的图像；
[0039]识别模块，采用预设模型对所述图像进行人脸识别，得到人脸区域并确定眼部区域图像；
[0040]提取模块，在所述眼部区域图像中提取瞳孔中心参数；
[0041]视线获得模块，根据所述瞳孔中心参数，获得视线方向；
[0042]控制模块，用于根据所述视线方向，控制所述屏幕内播放的视频执行相应的操作。
[0043]与现有技术相比，本专利技术具有如下有益效果：
[0044]一种基于单目标的视线交互方法，包括：通过屏幕上的摄像头采集观看者的图像；采用预设模型对所述图像进行人脸识别，得到人脸区域并确定眼部区域图像；在所述眼部区域图像中提取瞳孔中心参数；根据所述瞳孔中心参数，获得视线方向；根据所述视线方向，控制所述屏幕内播放的视频执行相应的操作。该方法可用来确定观看者的视线是否在电脑屏幕内进而对屏幕内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目标的视线交互方法，其特征在于，包括：通过屏幕上的摄像头采集观看者的图像；采用预设模型对所述图像进行人脸识别，得到人脸区域并确定眼部区域图像；在所述眼部区域图像中提取瞳孔中心参数；根据所述瞳孔中心参数，获得视线方向；根据所述视线方向，控制所述屏幕内播放的视频执行相应的操作。2.根据权利要求1所述的一种基于单目标的视线交互方法，其特征在于,采用预设模型对所述图像进行人脸识别，得到人脸区域并确定眼部区域图像；包括：通过调用dlib库进行训练获得HOG特征结合SVM分类器，对单帧图像进行人脸识别扫描，获得68个标记点位置；根据所述68个标记点位置中的关键点位置确定左右眼区域图像。3.根据权利要求2所述的一种基于单目标的视线交互方法，其特征在于,根据所述68个标记点位置中的关键点位置确定左右眼区域图像，包括：对输入的第一帧图像进行通道分离和灰度转换；根据获取的68个标记点位置，确定出人脸ROI；从所述人脸ROI区域中，根据36
‑
41关键点确定右眼区域，根据42
‑
47确定左眼区域。4.根据权利要求3所述的一种基于单目标的视线交互方法，其特征在于,在所述眼部区域图像中提取瞳孔中心参数，包括：从所述右眼区域、左眼区域中定位瞳孔，结合瞳孔的圆几何性和灰度分布特性，利用梯度一致方法确定瞳孔中心参数。5.根据权利要求1所述的一种基于单目标的视线交互方法，其特征在于,根据所述视线方向，控制所述屏幕内播放的视频执行相应的操作，包括：将所述观看者在屏幕前的运动分解为水平运动和垂直运动；根据所述水平运动，确定观看者视线映射到屏幕上的注意点；当所述注意点在屏幕内时，控制所述屏幕继续播放当前视频。6.根据权利要求5所述的一种基于单目标的视线交互方法，其特征在于,根据所述视线方向，控制所述屏幕内播放的视频执行相应的操作，还包括：当所述注意点不在屏幕内时，控制所述屏幕切换播放下一视频。7.根据权利要求6所述的一种基于单目标的视线交互方法，其特征在于,根据所述水平运动，确定观看...

【专利技术属性】
技术研发人员：李天军，吕婷婷，陈胜勇，
申请(专利权)人：天津理工大学，
类型：发明
国别省市：