基于眨眼检测的智能手机拍照系统和方法技术方案

本发明专利技术公开了一种基于眨眼检测的智能手机拍照系统和方法，主要解决现有接触式手机拍摄在某些情况下操作不便，以及非接触式人机交互方式难以应用到手机拍照的问题。具体实现为：对手机拍摄模式进行设置，设自拍和普通拍摄；由手机前置摄像头采集拍摄者人脸面部图像序列，检测人眼区域，提取边缘轮廓，进行眨眼判定；在确认有连续眨眼动作时，发送拍摄通知给指令发送模块；指令发送模块发送拍摄指令到拍摄模块；拍摄模块根据设置的拍摄模式控制手机摄像头拍摄；拍摄后由声音提示拍摄完成。本发明专利技术提供了一种眨眼控制拍摄的新方法，提高了手机拍照的便捷性，实现了无需手动操作即可拍摄的功能，可用于拍摄者自拍或给他人进行拍照。

Camera system and method for intelligent mobile phone based on blink detection

The invention discloses a system and method for intelligent mobile phone camera based on the blink detection, mainly solves the existing contact type mobile phone shooting in some cases inconvenient operation, and non-contact human-computer interaction to be applied in mobile phone camera problems. The realization is: setting up the mobile phone shooting mode, set the self timer and ordinary shooting; collecting photographer facial image sequences by the mobile phone front camera, eye region detection, edge extraction and contour, were confirmed in the blink of an eye blink detection; continuous shooting action, send notice to the command sending module sends command sending module shooting instruction; to the shooting module; shooting module according to set the shooting mode control of mobile phone camera; after the shooting by voice prompts shot. The invention provides a new method for controlling the shooting of an eye, which improves the convenience of taking pictures of the mobile phone, realizes the function of shooting without manual operation, and can be used for photographing the self timer or taking pictures of others.

【技术实现步骤摘要】

本专利技术属于手机拍照
，更进一步涉及智能手机拍照中的拍照启动，具体是一种基于眨眼检测的智能手机拍照系统和方法。用于智能手机的拍照。
技术介绍
如今智能手机已经十分普及，而拍照是智能手机中一项非常重要且经常使用的功能。传统的控制手机进行拍照的人机交互方式主要是接触式，这种方式通常是在手机检测到有触屏或有按键按下时启动摄像头完成拍摄，在某些情况下操作不便。随着电子信息技术的飞速发展，目前，出现了一些非接触式的人机交互方式，主要是通过语音或眼部动作来控制手机，但应用于手机拍照的非接触式交换方式还较少，主要是由于这些非接触式方式通常需要复杂的设备，难以在手机上应用。程时伟、孙志强在其发表的论文“用于移动设备人机交互的眼动跟踪方法”(JournalofComputer-AidedDesign&ComputerGraphics，Vol.26No.8Aug.2014)中提出了一种面向移动式交互的眼动跟踪方法。该方法包括眼动图像处理、眼动特征检测、眼动数据计算和眼动交互应用4个层次，首先对眼球红外图像进行滤波、二值化处理，进而基于瞳孔角膜反射法，结合二次定位和改进的椭圆拟合方法检测瞳孔，设计缩放因子驱动的模板匹配法检测普洱钦斑，在此基础上，计算注视点坐标等眼动数据，最后设计开发了一个基于单个红外摄像头的头戴式眼动跟踪原型系统。该方法存在的不足之处是，需要眼球的红外图像，因此需要红外摄像头进行图像的获取，并且最后设计的头戴式设备复杂，难以在手机上实现。深圳先进技术研究院在其申请的专利“一种基于视线判断的人机交互方法及系统”(申请号201210261378.8，申请公布号CN102830797B)中公开了一种基于视线判断的人机交互方法和系统。该专利的方法主要是通过获取人脸图像，对图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位，检测眨眼动作或闭眼动作，根据检测到的眨眼或闭眼动作发送相应的控制命令给电子设备。该方法存在的不足之处是，需要对人眼的瞳孔进行定位，进行视线判断，实现方法较为繁琐复杂。该专利的系统是一种基于视线判断的人机交互系统，主要包括获取帧图像、人眼区域检测、瞳孔中心定位、系统标定、视线追踪及控制命令发送这几个模块，通过检测人脸图像中的人眼，对瞳孔中心进行定位，通过摄像头实现在电子设备上稳定地实现焦点判断，并通过眨眼或闭眼发出控制命令，该系统存在的不足之处是，需要进行瞳孔中心定位、系统标定及视线追踪，实现方法复杂，难以应用到手机拍摄系统的实现上。以上两种方法的主要不足之处是，眨眼检测设备复杂，需要人眼的红外图像，或者需要对人眼的瞳孔进行定位，进行视线判断，实现方法较为繁琐复杂，难以应用到手机拍摄系统的实现上。
技术实现思路
针对上述现有技术的缺陷，本专利技术提出了一种实现简单、准确度高的基于眨眼检测的智能手机拍照系统和方法。本专利技术是一种基于眨眼检测的智能手机拍照系统，其特征在于，包括模式设置模块、图像采集模块、眨眼检测模块、指令发送模块、拍摄模块和语音提示模块；其中，模式设置模块与拍摄模块数据连接，对拍摄模块进行拍摄模式设定，图像采集模块采集拍摄者人脸面部图像，将其输入到眨眼检测模块进行眨眼检测，眨眼检测模块在检测到连续眨眼动作后，发送拍摄通知到指令发送模块，指令发送模块在接收到眨眼检测模块的拍摄通知后，延迟一定时间，发送拍摄指令到拍摄模块，拍摄模块接收到拍摄指令后，根据模式设置模块设定的拍摄模式进行照片拍摄，拍摄完成后发送拍摄完成通知给语音提示模块，语音提示模块收到拍摄完成通知，发出提示声音，各模块分述如下：模式设置模块是由手机照相机APP对拍摄模式进行设置，拍摄模式分为自拍和普通拍摄两种模式，普通拍摄模式是指给他人拍摄，拍摄之前将设置好的拍摄模式以信号的形式传给拍摄模块；图像采集模块是由手机前置摄像头在一定时间内采集m幅拍摄者的人脸图像，确保整个脸部被采集到，将采集到的m幅脸部图像传给眨眼检测模块；眨眼检测模块对采集到的m幅人脸面部图像进行眨眼检测，在检测到有连续眨眼动作后，发送一个拍摄通知给指令发送模块；指令发送模块收到眨眼检测模块发送过来的拍摄通知后，延迟一个固定的时间，发送拍摄指令到拍摄模块；拍摄模块接到拍摄指令，依据拍摄模式进行拍照，在自拍模式下由手机前置摄像头拍摄照片，在普通拍摄模式下由手机后置摄像头拍摄照片，拍摄后发送一个拍摄完成通知给语音提示模块；语音提示模块收到发送过来的拍摄完成通知时，由手机麦克风发出提示声音，眨眼控制拍摄完成。本专利技术还是一种基于眨眼检测的智能手机拍照方法，是在基于眨眼检测的智能手机拍照系统上实现，其特征在于，包括有以下步骤：(1)设置手机拍摄模式，手机拍摄模式包括自拍模式与普通拍摄模式两种，并将设置的拍摄模式传给拍摄模块；(2)由手机照相机APP控制启动手机前置摄像头，获取拍摄者的m幅人脸图像，组成人脸图像序列；(3)对获取到拍摄者的m幅人脸图像序列进行眨眼检测，检测到连续眨眼动作后发送拍摄通知给指令发送模块；(4)指令发送模块接收到拍摄通知，在一个固定的延时时间后，发送拍摄指令到拍摄模块；(5)拍摄模块收到拍摄指令后，根据设定好的拍摄模式进行自动拍摄，当拍摄为自拍模式时，启动手机前置摄像头拍摄照片，当拍摄模式为普通拍摄模式时，启动手机后置摄像头拍摄照片，拍摄后发送拍摄完成通知到声音提示模块；(6)声音提示模块收到拍摄完成通知后，由手机麦克风发出声音，提示拍摄完成。本专利技术通过检测人眼的眨动控制手机摄像头进行拍照，可以实现无需触屏或按键控制的智能手机拍照。本专利技术与现有的技术相比具有以下优点：1.本专利技术通过获取拍摄者的面部图像，检测眨眼动作信息，控制手机摄像头拍摄照片，不需要人手与手机交互，解决了现有手机拍摄方式多为接触式交互，在某些需要双手握持手机的情况下无法控制手机进行拍照的问题，使得拍摄者可以方便地拍摄照片。2.本专利技术通过获取拍摄者面部图像，检测眨眼动作控制拍摄，在自拍和普通拍摄模式两种拍摄方式下都适用；通过手机的前置摄像头获取拍摄者的面部图像，无需其他辅助设备，易于实现，在获取拍摄者面部图像时，拍摄者只需正脸面对手机前置摄像头即可，不需其他特定条件，与拍摄者身体姿势等无关，适用于各种场合下的拍摄。3.本专利技术在进行眨眼检测时，使用的人眼区域检测，边缘轮廓提取方法，眨眼判定方法准确度高，实现方法简单，可以准确地检测到拍摄者的眨眼动作信息。4.本专利技术在进行眨眼检测时，使用的边缘轮廓提取方法中，先对人眼区域图像进行边缘轮廓提取，得到边缘点构成候选边缘轮廓图像，再用双阈值检测法检测候选边缘轮廓图像中的边缘点，可以有效去除误检的边缘点，因此得到的边缘轮廓图像精度更高，进而使得眨眼判定更加准确。5.本专利技术在拍摄结束后，通过手机麦克风发出声音，提示拍摄完成，提供了更友好的人机交互。附图说明图1为本专利技术基于眨眼检测的智能手机拍照系统的总体框图；图2为眨眼检测子模块的构成框图；图3为本专利技术基于眨眼检测的智能手机拍照方法的流程示意图；图4为构建特征点局部灰度模型时相邻像素点的选择方法示意图。具体实施方式下面结合附图对本专利技术作详细描述。目前实现手机拍照的人机交互方式主要有两种，一是通过手机的触摸屏，二是通过手机的按键功能，这两种方式均需要人手与手机的交互，存在本文档来自技高网...

【技术保护点】
一种基于眨眼检测的智能手机拍照系统，其特征在于，包括模式设置模块、图像采集模块、眨眼检测模块、指令发送模块、拍摄模块和语音提示模块；其中，模式设置模块与拍摄模块数据连接，对拍摄模块进行拍摄模式设定，图像采集模块采集拍摄者人脸面部图像，将其输入到眨眼检测模块进行眨眼检测，眨眼检测模块在检测到连续眨眼动作后，发送拍摄通知到指令发送模块，指令发送模块在接收到眨眼检测模块的通知后，延迟一定时间，发送拍摄指令到拍摄模块，拍摄模块接收到拍摄指令后，根据模式设置模块设定的拍摄模式进行拍摄，拍摄完成后发送拍摄完成通知给语音提示模块，语音提示模块收到拍摄完成通知，发出提示声音，各模块分述如下：模式设置模块是由手机照相机APP对拍摄模式进行设置，拍摄模式分为自拍和普通拍摄两种模式，普通拍摄模式是指给他人拍摄，拍摄之前将设置好的拍摄模式以信号的形式传给拍摄模块；图像采集模块是由手机前置摄像头在一定时间内采集m幅拍摄者的人脸图像，确保整个脸部被采集到，将采集到的m幅脸部图像传给所述眨眼检测模块；眨眼检测模块对采集到的m幅人脸面部图像进行眨眼检测，在检测到有连续眨眼动作后，发送拍摄通知给指令发送模块；指令发送模块收到眨眼检测模块发送过来的通知后，延迟一个固定的时间，发送拍摄指令到拍摄模块；拍摄模块接到拍摄指令，依据拍摄模式进行拍照，在自拍模式下由手机前置摄像头拍摄照片，在普通拍摄模式下由手机后置摄像头拍摄照片，并发送一个拍摄完成通知给语音提示模块；语音提示模块收到拍摄完成通知时，由手机麦克风发出提示声音，眨眼控制拍摄完成。...

【技术特征摘要】
1.一种基于眨眼检测的智能手机拍照系统，其特征在于，包括模式设置模块、图像采集模块、眨眼检测模块、指令发送模块、拍摄模块和语音提示模块；其中，模式设置模块与拍摄模块数据连接，对拍摄模块进行拍摄模式设定，图像采集模块采集拍摄者人脸面部图像，将其输入到眨眼检测模块进行眨眼检测，眨眼检测模块在检测到连续眨眼动作后，发送拍摄通知到指令发送模块，指令发送模块在接收到眨眼检测模块的通知后，延迟一定时间，发送拍摄指令到拍摄模块，拍摄模块接收到拍摄指令后，根据模式设置模块设定的拍摄模式进行拍摄，拍摄完成后发送拍摄完成通知给语音提示模块，语音提示模块收到拍摄完成通知，发出提示声音，各模块分述如下：模式设置模块是由手机照相机APP对拍摄模式进行设置，拍摄模式分为自拍和普通拍摄两种模式，普通拍摄模式是指给他人拍摄，拍摄之前将设置好的拍摄模式以信号的形式传给拍摄模块；图像采集模块是由手机前置摄像头在一定时间内采集m幅拍摄者的人脸图像，确保整个脸部被采集到，将采集到的m幅脸部图像传给所述眨眼检测模块；眨眼检测模块对采集到的m幅人脸面部图像进行眨眼检测，在检测到有连续眨眼动作后，发送拍摄通知给指令发送模块；指令发送模块收到眨眼检测模块发送过来的通知后，延迟一个固定的时间，发送拍摄指令到拍摄模块；拍摄模块接到拍摄指令，依据拍摄模式进行拍照，在自拍模式下由手机前置摄像头拍摄照片，在普通拍摄模式下由手机后置摄像头拍摄照片，并发送一个拍摄完成通知给语音提示模块；语音提示模块收到拍摄完成通知时，由手机麦克风发出提示声音，眨眼控制拍摄完成。2.根据权利要求1所述的一种基于眨眼检测的智能手机拍照系统，其特征在于，其中所述的眨眼检测模块以数据流方向依次连接有人眼区域检测子模块、边缘轮廓提取子模块和眨眼判定子模块，各子模块分述如下：人眼区域检测子模块对图像采集模块传过来的m幅人脸图像进行人眼检测，检测出人眼区域，形成m幅人眼区域图像，将这m幅人眼区域图像传给边缘轮廓提取子模块；边缘轮廓提取子模块对m幅人眼区域图像进行边缘轮廓提取，得到m幅人眼边缘轮廓图，并传给眨眼判定子模块；眨眼判定子模块对m幅人眼边缘轮廓图两两作差，得到m-1幅差分图，检测差分图中的连通区域面积，连通区域面积大于一定阈值时，判定为发生了眨眼动作，检测所有的差分图，眨眼的次数超过n次时，判定为发生了连续眨眼动作，在判断到有连续眨眼动作后，发送拍摄通知给指令发送模块。3.一种基于眨眼检测的智能手机拍照方法，是在基于眨眼检测的智能手机拍照系统上实现，其特征在于，包括有以下步骤：(1)设置手机拍摄模式，手机拍摄模式包括自拍模式与普通拍摄模式两种，并将设置的拍摄模式传给拍摄模块；(2)由手机照相机APP控制启动手机前置摄像头，获取拍摄者的m幅人脸图像，组成人脸图像序列；(3)对获取到拍摄者的m幅人脸图像序列进行眨眼检测，检测到连续眨眼动作后发送拍摄通知给指令发送模块；(4)指令发送模块接收到拍摄通知，在一个固定的延时时间后，发送拍摄指令到拍摄模块；(5)拍摄模块收到拍摄指令后，根据设定好的拍摄模式进行自动拍摄，当拍摄为自拍模式时，启动手机前置摄像头拍摄照片，当拍摄模式为普通拍摄模式时，启动手机后置摄像头拍摄照片，拍摄后发送拍摄完成通知到声音提示模块；(6)声音提示模块收到拍摄完成通知后，由手机麦克风发出声...

【专利技术属性】
技术研发人员：那彦，刘强强，陈建春，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61