一种基于视线判断的人机交互方法及系统技术方案

本发明专利技术涉及人机交互技术领域，提供了一种基于视线判断的人机交互方法，实现用户对电子设备的操作，包括：通过摄像头获取人脸图像；对图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；计算图像坐标与电子设备屏幕坐标系之间的对应关系；跟踪瞳孔中心位置，根据对应关系计算人眼在电子设备屏幕上的视点坐标；检测眨眼动作或闭眼动作，根据检测到的眨眼动作或闭眼动作发送相应的控制命令给电子设备。本发明专利技术还提供了一种基于视线判断的人机交互系统。本发明专利技术通过摄像头实现在电子设备上稳定的视线焦点判断，并通过眨眼或闭眼发出控制命令，使用户对电子设备的操作简单方便。

【技术实现步骤摘要】

本专利技术涉及人机交互
，特别是涉及一种基于视线判断的人机交互方法及系统。
技术介绍
随着手机、平板电脑等各类移动终端设备的普及，人机交互方式也越来越丰富。目前较常用的人机交互方式主要有两种一种是按键型，通过按键来发出命令；另一种是触摸型，触摸屏幕采用电容屏或电阻屏，用户通过手指触摸屏幕发出命令。这两种方式都是基于人手的人机交互方式，需要手的介入，当双手被占用时，就无法完成人与设备的交互，所以无法适用于某些特殊场合，以及一些残障人士。 随着智能信息技术的发展，出现了多种非接触式的操作方式，主要有语音控制和体感控制两种。基于语音的操作方式，需要用户用声音信号来控制，操作不太方便，且容易受到环境噪音干扰。基于体感的操作方式中，有基于眼睛视线进行屏幕定位的人机交互方法，现有的眼睛定位方法要求原图像分辨率高，因此图像采集单元需要分辨率较高的摄像机或摄像头，或者需要红外光源，或者需要头戴式设备如穿戴式头盔、眼镜框等固定在头部或眼部。这些方法在一定程度上都增加了成本，也不适合在普通手机终端上实现。而且，长时间使用红外光源会对人眼有伤害，如果是将额外设备固定在头部或眼部也会给人体造成负担。
技术实现思路
本专利技术通过普通摄像头对视线进行跟踪，从而实现对电子设备的操作，无需使用特殊摄像机或特殊摄像头、也无需红外光源及其他辅助装置。本专利技术采用如下技术方案一种基于视线判断的人机交互方法，实现用户对电子设备的操作，包括通过摄像头获取人脸图像；对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；计算图像坐标与电子设备屏幕坐标系之间的对应关系；跟踪瞳孔中心位置，根据所述对应关系计算人眼在电子设备屏幕上的视点坐标；检测眨眼动作或闭眼动作，根据检测到的眨眼动作或闭眼动作发送相应的控制命令给电子设备。优选地，所述对所述图像进行人眼区域检测的步骤具体包括采用直方图投影法、Haar检测法、帧差法或者模板匹配法对所述图像进行人眼区域的检测。优选地，所述根据检测到的人眼区域对瞳孔中心进行定位的步骤具体包括定义眼睛的等照度线；计算眼睛的等照度线曲率，得到眼睛的等照度曲线图；计算等照度曲线图中满足等照度线曲率的圆的中心。优选地，所述计算等照度曲线图中满足等照度线曲率的圆的中心的步骤具体包括计算等照度线的中心的位移矢量；采用投票法将所述位移矢量映射到累加器中形成等照度线中心图；将累加器与高斯核作卷积运算，使每个位移矢量均形成一个单一的中心估计；计算每个位移矢量的权重，选取权重值较大的位移矢量对应的等照度线作为特定等照度线；选取等照度线中心图中特定等照度线中心附近的较强响应区内的候选响应中强度最大的点作为瞳孔中心。优选地，所述方法还包括采用下采样方法由通过摄像头获取的图像构造出图像金字塔，对图像金字塔中的每一层图像求得等照度线中心图金字塔，将等照度线中心图金字塔中的等照度线中心图缩放到预定大小并线性相加得到最终的等照度线中心图。优选地，所述计算图像坐标与电子设备屏幕坐标系之间的对应关系的步骤具体包括在电子设备屏幕上设定至少4个标定点，将屏幕上所设定的标定点的坐标保存在目标矩阵中；依次记录人眼注视所述标定点时图像中瞳孔中心位置坐标，将所述瞳孔中心位置坐标保存在设定矩阵中；计算设定矩阵与目标矩阵之间坐标的对应关系。优选地，所述标定点设有4个，所述4个标定点分别为电子设备屏幕的4个角点。优选地，所述跟踪瞳孔中心位置，根据所述对应关系计算人眼在电子设备屏幕上的视点坐标的步骤具体包括以所述对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位的步骤得到的瞳孔中心作为中心初始化搜索窗口 ；将所述窗口的大小设为人眼区域的一半；进行迭代计算；在等照度线中心图上聚合到投票密度最大的区域，选取距离聚合窗口最近的中心作为当前图像的瞳孔中心；计算两只眼睛瞳孔中心的中间位置坐标，根据所述对应关系计算与中间位置坐标对应的电子设备屏幕坐标。优选地，所述检测眨眼动作或闭眼动作，根据检测到的眨眼动作或闭眼动作发送相应的控制命令给电子设备的步骤具体包括 采用分类器区分眼睛的状态；检测眨眼动作或闭眼动作；在眼睛处于特定状态时，根据检测到的该特定状态存续期间的眨眼动作或闭眼动作发送相应的控制命令给电子设备。优选地，所述采用分类器区分眼睛的状态的步骤具体包括采用分类器判断眼睛的凝视持续时间是否在100至200毫秒范围内，在所述时间范围内时判定眼睛的状态为凝视；所述在眼睛处于特定状态时，根据检测到的该特定状态存续期间的眨眼动作或闭眼动作发送相应的控制命令给电子设备的步骤具体包括在眼睛处于凝视状态时，根据检测到的凝视时间段中的眨眼动作或闭眼动作发送相应的控制命令给电子设备。优选地，所述检测眨眼动作或闭眼动作；眼睛处于凝视状态时，根据检测到的凝视时间段中的眨眼动作或闭眼动作发送相应的控制命令给电子设备的步骤具体包括检测是否有单只眼睛眨眼和连续眨眼次数；当眼睛处于凝视状态且在该凝视时间段中有单只眼睛眨眼时，根据预设的连续眨眼次数和控制命令的对照关系，发送相应的控制命令给电子设备。 或者，所述检测眨眼动作或闭眼动作；眼睛处于凝视状态时，根据检测到的凝视时间段中的眨眼动作或闭眼动作发送相应的控制命令给电子设备的步骤具体包括检测是否有单只眼睛闭眼和闭眼时间；当眼睛处于凝视状态且在该凝视时间段中有单只眼睛闭眼时，根据预设的闭眼时间和控制命令的对照关系，发送相应的控制命令给电子设备。优选地，前述方法中的摄像头为电子设备自带的前置摄像头，所述电子设备为手机或平板电脑。本专利技术还提供了一种基于视线判断的人机交互系统，实现用户对电子设备的操作，所述系统包括电子设备和摄像头，所述电子设备具有屏幕，所述系统采用前述的方法进行人机交互。本专利技术公开的基于视线判断的人机交互方法及系统，通过普通摄像头和眼睛检测、视线分析技术，能实现在电子设备上稳定的视线焦点判断，并通过眨眼或闭眼发出控制命令，使用户对电子设备的操作简单方便。本方案无需使用特殊摄像机或特殊摄像头，也无需红外光源及其他辅助装置，易于实现，成本较低，且对人眼无红外光源的伤害，也不会给人体造成额外负担。附图说明图I为本专利技术实施例I基于视线判断的人机交互方法流程图；图2为眼睛的等照度曲线图；图3为本专利技术实施例I中瞳孔中心定位流程图；图4为本专利技术实施例I中系统标定流程图；图5为本专利技术实施例I中系统标定的一详细流程图；图6为本专利技术实施例I中系统标定示意图I ;图7为本专利技术实施例I中系统标定示意图2 ;图8为本专利技术实施例I中视线追踪流程图；图9为本专利技术实施例I中控制命令发送流程图；图10为本专利技术实施例I中控制命令发送的一详细流程图；图11为本专利技术实施例2基于视线判断的人机交互方法中控制命令发送的一详细流程图；图12为用户操作本专利技术实施例3基于视线判断的人机交互系统示意图。具体实施例方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例提供了一种基于视线判断的人机交互方法，实现用户对电子设备的操作，包括通过摄像头获取人脸图像；对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；计算图像坐标与电本文档来自技高网...

【技术保护点】
一种基于视线判断的人机交互方法，实现用户对电子设备的操作，其特征在于，包括：通过摄像头获取人脸图像；对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；计算图像坐标与电子设备屏幕坐标系之间的对应关系；跟踪瞳孔中心位置，根据所述对应关系计算人眼在电子设备屏幕上的视点坐标；检测眨眼动作或闭眼动作，根据检测到的眨眼动作或闭眼动作发送相应的控制命令给电子设备。

【技术特征摘要】
1.一种基于视线判断的人机交互方法，实现用户对电子设备的操作，其特征在于，包括 通过摄像头获取人脸图像； 对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位； 计算图像坐标与电子设备屏幕坐标系之间的对应关系； 跟踪瞳孔中心位置，根据所述对应关系计算人眼在电子设备屏幕上的视点坐标； 检测眨眼动作或闭眼动作，根据检测到的眨眼动作或闭眼动作发送相应的控制命令给电子设备。2.根据权利要求I所述的方法，其特征在于，所述对所述图像进行人眼区域检测的步骤具体包括采用直方图投影法、Haar检测法、帧差法或者模板匹配法对所述图像进行人眼区域的检测。3.根据权利要求I所述的方法，其特征在于，所述根据检测到的人眼区域对瞳孔中心进行定位的步骤具体包括 定义眼睛的等照度线； 计算眼睛的等照度线曲率，得到眼睛的等照度曲线图； 计算等照度曲线图中满足等照度线曲率的圆的中心。4.根据权利要求3所述的方法，其特征在于，所述计算等照度曲线图中满足等照度线曲率的圆的中心的步骤具体包括 计算等照度线的中心的位移矢量； 采用投票法将所述位移矢量映射到累加器中形成等照度线中心图； 将累加器与高斯核作卷积运算，使每个位移矢量均形成一个单一的中心估计； 计算每个位移矢量的权重，选取权重值较大的位移矢量对应的等照度线作为特定等照度线； 选取等照度线中心图中特定等照度线中心附近的较强响应区内的候选响应中强度最大的点作为瞳孔中心。5.根据权利要求4所述的方法，其特征在于，所述方法还包括采用下采样方法由通过摄像头获取的图像构造出图像金字塔，对图像金字塔中的每一层图像求得等照度线中心图金字塔，将等照度线中心图金字塔中的等照度线中心图缩放到预定大小并线性相加得到最终的等照度线中心图。6.根据权利要求I所述的方法，其特征在于，所述计算图像坐标与电子设备屏幕坐标系之间的对应关系的步骤具体包括 在电子设备屏幕上设定至少4个标定点，将屏幕上所设定的标定点的坐标保存在目标矩阵中； 依次记录人眼注视所述标定点时图像中瞳孔中心位置坐标，将所述瞳孔中心位置坐标保存在设定矩阵中； 计算设定矩阵与目标矩阵之间坐标的对应关系。7.根据权利要求6所述的方法，其特征在于，所述标定点设有4个，所述4个标定点分别为电子设备屏幕的4个角点。8.根据权利要求4所述的方法，其特征在于，所述跟踪瞳孔中心位置，根据所述对应关系计算人眼在电子设备屏幕上的视点坐标的步骤具体包括 以所述对所述图像进行...

【专利技术属性】
技术研发人员：宋展，武照敏，聂磊，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：