一种基于移动终端的人机交互方法及系统技术方案

本发明专利技术适用于通信领域，提供了基于移动终端的人机交互方法，包括：控制移动终端的摄像头，并通过摄像头实时采集用户面部画面；通过采集到的用户面部画面检测双眼位置；根据检测到的双眼位置提取搜索窗口，并初始化搜索窗口；在搜索窗口中确定双眼眼球的位置，并通过检测眼球区域深色像素连通域的高度来判断双眼的开合状态；根据检测到的双眼的开合状态，发送相应的控制命令给移动终端以实现对应操作。本发明专利技术还提供基于移动终端的人机交互系统。本发明专利技术所提供的基于移动终端的人机交互及系统可以实现通过眨眼来控制移动终端的操作，进而提高用户的体验。

【技术实现步骤摘要】
一种基于移动终端的人机交互方法及系统
本专利技术涉及通信领域，尤其涉及一种基于移动终端的人机交互方法及系统。
技术介绍
目前，现有的人机交互系统，不管是触摸屏还是按键型都需要有手的介入，才能实现各项功能选择。以阅读手机电子书为例，如果手机是触摸屏手机，则用户需要用手滑动或者点击触摸屏来实现上下页的翻页阅读，如果手机是按键型手机，则用户需要按上下键来实现上下页的翻页阅读，这些操作和功能的选择都离不开手，久而久之，不免会让用户感到枯燥乏味。而且，虽然目前许多软件也有自动翻页功能，但是需要预先设定翻页间隔时间，由于每页的内容量不同，每个人的阅读速度也不同，预设翻页间隔时间内没看完页面内容就翻页或者在预设翻页间隔时间之前看完而等待翻页，这些无疑都会影响用户的正常阅读，进而导致影响用户的体验。因此，亟需设计一种操作简单而且全新的用户体验模式，进而达到丰富人机交互形式的效果，增加用户的体验乐趣。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供一种基于移动终端的人机交互方法及系统，旨在解决现有技术中均需要用手来操作完成人机交互的单一模式。本专利技术实施例是这样实现的，一种基于移动终端的人机交互方法，所述人机交互方法包括：控制移动终端的摄像头，并通过所述摄像头实时采集用户面部画面；通过采集到的用户面部画面检测双眼位置；根据检测到的双眼位置提取搜索窗口，并初始化所述搜索窗口；在所述搜索窗口中确定双眼眼球的位置，并通过检测眼球区域深色像素连通域的高度来判断双眼的开合状态；根据检测到的所述双眼的开合状态，发送相应的控制命令给所述移动终端以实现对应操作。优选的，所述根据检测到的双眼位置提取搜索窗口的步骤具体包括：根据眼球有近似圆的特征，利用估计近似圆中心的方法估计眼球的中心；根据眼球的中心获得眼球的近似外接矩形；根据所述近似外接矩形以及双眼的位置分别为双眼建立矩形框作为搜索窗口。优选的，所述通过检测眼球区域深色像素连通域的高度来判断双眼的开合状态的步骤具体包括：在所述搜索窗口中对图象的各个局部区域进行域值估计；选取这些局部域值中的最小值，并利用所述最小值对图像的整体区域进行二值化；根据眼球区域深色像素连通域的高度判断双眼的开合状态。优选的，所述根据眼球区域深色像素连通域的高度判断双眼的开合状态的步骤具体包括：记录前n帧图象中眼球区域深色像素连通域的高度的最大值；若当前帧图象中眼球区域深色像素连通域的高度大于所述最大值的预设倍数时，则判定眼睛为张开，以及若当前帧图象中眼球区域深色像素连通域的高度不大于所述最大值的预设倍数时，则判定眼睛为闭合。优选的，所述根据检测到的所述双眼的开合状态，发送相应的控制命令给所述移动终端以实现对应操作的步骤具体包括：若检测到左眼张开及右眼闭合，则发送向下翻页或向下翻图片的控制命令给所述移动终端以实现向下翻页操作或向下翻图片操作，若检测到左眼闭合及右眼张开，则发送向上翻页或向上翻图片的控制命令给所述移动终端以实现向上翻页操作或向上翻图片操作；或者若检测到左眼闭合及右眼张开，则发送向下翻页或向下翻图片的控制命令给所述移动终端以实现向下翻页操作或向下翻图片操作，若检测到左眼张开及右眼闭合，则发送向上翻页或向上翻图片的控制命令给所述移动终端以实现向上翻页操作或向上翻图片操作。优选的，所述根据检测到的所述双眼的开合状态，发送相应的控制命令给所述移动终端以实现对应操作的步骤具体还包括：若检测到左眼张开及右眼闭合，则发送接电话的控制命令给所述移动终端以实现自动接听来电，若检测到左眼闭合及右眼张开，则发送挂电话的控制命令给所述移动终端以实现自动挂断来电；或者若检测到左眼闭合及右眼张开，则发送接电话的控制命令给所述移动终端以实现自动接听来电，若检测到左眼张开及右眼闭合，则发送挂电话的控制命令给所述移动终端以实现自动挂断来电。另一方面，本专利技术还提供一种基于移动终端的人机交互系统，所述基于移动终端的人机交互系统包括：采集模块，用于控制移动终端的摄像头，并通过所述摄像头实时采集用户面部画面；检测模块，用于通过采集到的用户面部画面检测双眼位置；提取模块，用于根据检测到的双眼位置提取搜索窗口，并初始化所述搜索窗口；判断模块，用于在所述搜索窗口中确定双眼眼球的位置，并通过检测眼球区域深色像素连通域的高度来判断双眼的开合状态；发送模块，用于根据检测到的所述双眼的开合状态，发送相应的控制命令给所述移动终端以实现对应操作。优选的，所述提取模块包括：估计子模块，用于根据眼球有近似圆的特征，利用估计近似圆中心的方法估计眼球的中心；获取子模块，用于根据眼球的中心获得眼球的近似外接矩形；建窗子模块，用于根据所述近似外接矩形以及双眼的位置分别为双眼建立矩形框作为搜索窗口。优选的，所述判断模块包括：域值估计子模块，用于在所述搜索窗口中对图象的各个局部区域进行域值估计；二值化子模块，用于选取这些局部域值中的最小值，并利用所述最小值对图像的整体区域进行二值化；高度判断子模块，用于根据眼球区域深色像素连通域的高度判断双眼的开合状态。优选的，所述高度判断子模块具体用于：记录前n帧图象中眼球区域深色像素连通域的高度的最大值；若当前帧图象中眼球区域深色像素连通域的高度大于所述最大值的预设倍数时，则判定眼睛为张开，以及若当前帧图象中眼球区域深色像素连通域的高度不大于所述最大值的预设倍数时，则判定眼睛为闭合。优选的，所述发送模块具体用于：若检测到左眼张开及右眼闭合，则发送向下翻页或向下翻图片的控制命令给所述移动终端以实现向下翻页操作或向下翻图片操作，若检测到左眼闭合及右眼张开，则发送向上翻页或向上翻图片的控制命令给所述移动终端以实现向上翻页操作或向上翻图片操作；或者若检测到左眼闭合及右眼张开，则发送向下翻页或向下翻图片的控制命令给所述移动终端以实现向下翻页操作或向下翻图片操作，若检测到左眼张开及右眼闭合，则发送向上翻页或向上翻图片的控制命令给所述移动终端以实现向上翻页操作或向上翻图片操作。优选的，所述发送模块具体还用于：若检测到左眼张开及右眼闭合，则发送接电话的控制命令给所述移动终端以实现自动接听来电，若检测到左眼闭合及右眼张开，则发送挂电话的控制命令给所述移动终端以实现自动挂断来电；或者若检测到左眼闭合及右眼张开，则发送接电话的控制命令给所述移动终端以实现自动接听来电，若检测到左眼张开及右眼闭合，则发送挂电话的控制命令给所述移动终端以实现自动挂断来电。在本专利技术实施例中，本专利技术提供的技术方案，通过移动终端的摄像头实时采集用户面部图像，通过所提出的识别算法实时的检测人眼的眨眼动作，以特定的眨眼动作来激活相应的移动终端控制信号，进而控制移动终端的若干操作，如电子书的翻页、图片和网页浏览等操作，无需手指的介入也无需额外的设备即可轻松操作移动终端，具有操作简单、便利且硬件成本低的优点，本专利技术提供的技术方案提供了一种全新的用户体验模式，进而达到丰富人机交互形式的效果，增加了用户的体验乐趣。附图说明图1为本专利技术一实施方式中基于移动终端的人机交互方法流程图；图2为本专利技术一实施方式中图1所示的步骤S13的具体实现方法流程图；图3为本专利技术一实施方式中图1所示的步骤S14的具体实现方法流程图；图4为本专利技术一实施方式中图3所示的步骤S143的具体实现方法流程图；图5为本专利技术一本文档来自技高网...

【技术保护点】
一种基于移动终端的人机交互方法，其特征在于，所述人机交互方法包括：控制移动终端的摄像头，并通过所述摄像头实时采集用户面部画面；通过采集到的用户面部画面检测双眼位置；根据检测到的双眼位置提取搜索窗口，并初始化所述搜索窗口；在所述搜索窗口中确定双眼眼球的位置，并通过检测眼球区域深色像素连通域的高度来判断双眼的开合状态；根据检测到的所述双眼的开合状态，发送相应的控制命令给所述移动终端以实现对应操作。

【技术特征摘要】
1.一种基于移动终端的人机交互方法，其特征在于，所述人机交互方法包括：控制移动终端的摄像头，并通过所述摄像头实时采集用户面部画面，将所述摄像头拍摄的人脸视频实时显示在所述移动终端的屏幕上；通过采集到的用户面部画面检测双眼位置；根据检测到的双眼位置提取搜索窗口，并初始化所述搜索窗口；在所述搜索窗口中确定双眼眼球的位置，并通过检测眼球区域深色像素连通域的高度来判断双眼的开合状态；根据检测到的所述双眼的开合状态，发送相应的控制命令给所述移动终端以实现对应操作。2.如权利要求1所述的基于移动终端的人机交互方法，其特征在于，所述根据检测到的双眼位置提取搜索窗口的步骤具体包括：根据眼球有近似圆的特征，利用估计近似圆中心的方法估计眼球的中心；根据眼球的中心获得眼球的近似外接矩形；根据所述近似外接矩形以及双眼的位置分别为双眼建立矩形框作为搜索窗口。3.如权利要求1所述的基于移动终端的人机交互方法，其特征在于，所述通过检测眼球区域深色像素连通域的高度来判断双眼的开合状态的步骤具体包括：在所述搜索窗口中对图象的各个局部区域进行域值估计；选取这些局部域值中的最小值，并利用所述最小值对图像的整体区域进行二值化；根据眼球区域深色像素连通域的高度判断双眼的开合状态。4.如权利要求3所述的基于移动终端的人机交互方法，其特征在于，所述根据眼球区域深色像素连通域的高度判断双眼的开合状态的步骤具体包括：记录前n帧图象中眼球区域深色像素连通域的高度的最大值；若当前帧图象中眼球区域深色像素连通域的高度大于所述最大值的预设倍数时，则判定眼睛为张开，以及若当前帧图象中眼球区域深色像素连通域的高度不大于所述最大值的预设倍数时，则判定眼睛为闭合。5.如权利要求1所述的基于移动终端的人机交互方法，其特征在于，所述根据检测到的所述双眼的开合状态，发送相应的控制命令给所述移动终端以实现对应操作的步骤具体包括：若检测到左眼张开及右眼闭合，则发送向下翻页或向下翻图片的控制命令给所述移动终端以实现向下翻页操作或向下翻图片操作，若检测到左眼闭合及右眼张开，则发送向上翻页或向上翻图片的控制命令给所述移动终端以实现向上翻页操作或向上翻图片操作；或者若检测到左眼闭合及右眼张开，则发送向下翻页或向下翻图片的控制命令给所述移动终端以实现向下翻页操作或向下翻图片操作，若检测到左眼张开及右眼闭合，则发送向上翻页或向上翻图片的控制命令给所述移动终端以实现向上翻页操作或向上翻图片操作。6.如权利要求1所述的基于移动终端的人机交互方法，其特征在于，所述根据检测到的所述双眼的开合状态，发送相应的控制命令给所述移动终端以实现对应操作的步骤具体还包括：若检测到左眼张开及右眼闭合，则发送接电话的控制命令给所述移动终端以实现自动接听来电，若检测到左眼闭合及右眼张开，则发送挂电话的控制命令给所述移动终端以实现自动挂断来电；或者若检测到左眼闭合及右眼张开，则发送接电话的控制命令给所述移动终端以实现自动接听来电，若检测到左眼张开及右眼闭合，则发送挂电...

【专利技术属性】
技术研发人员：宋展，郑丹青，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：