一种基于注视点分析的智能终端解锁方法技术

本发明专利技术涉及智能终端屏幕解锁领域，更具体地，涉及一种基于注视点分析的智能终端解锁方法。移动智能终端在接收到解锁触发指令之后，打开摄像头获取人脸图像，终端通过卷积神经网络分析人眼注视的屏幕位置，把当前注视点轨迹与预留解锁信息进行比对，当两者相似度达到阈值时则进行解锁。由于人的注视点位置具有高度的保密性与可预测性，使用目光进行解锁能够有效的预防在解锁过程中解锁信息被盗取的情况，该方法可靠性强安全性高，有力保障了移动智能终端的信息安全。

An Intelligent Terminal Unlocking Method Based on Watch Point Analysis

【技术实现步骤摘要】
一种基于注视点分析的智能终端解锁方法
本专利技术涉及智能终端屏幕解锁领域，更具体地，涉及一种基于注视点分析的智能终端解锁方法。
技术介绍
目前保护手机隐私安全最常用的保护手段是身份验证，主流的身份验证解锁方法有PIN码解锁、九宫格图案解锁、指纹解锁、人脸识别解锁等。基于PIN码和九宫格图案解锁的方法不仅容易被他人察觉和记录，而且当手指有汗液或者油渍的情况下很容易解锁失败。指纹解锁是相对较为安全的解锁方式，但是在指尖有污垢的情况下，指纹解锁的可靠性会大大下降。人脸识别权限管理技术是通过分析面部生物特征进行权限管理的技术，智能终端可以通过面部生物特征比对进行身份确认。当用户面部生物特征信息与本地数据库信息相似度达到一定阈值，则认为当前用户具有获取权限的资格，否则认为该用户为非法用户。人脸识别权限管理技术方法目前已经被广泛的应用在手机屏幕解锁中，该方法虽然可靠性比较高，但是仍然存在安全漏洞；它不能解决长相非常相似的双胞胎能够互相解锁的问题，仍然存在一定的安全隐患。
技术实现思路
本专利技术为克服上述现有技术中手机解锁存在安全隐患的缺陷，提供一种基于注视点分析的智能终端解锁方法，利用基于卷积神经网络的预测方法对人眼注视点位置进行精确的预测，由于目光的高度保密性，有效提高了屏幕解锁的安全性。为解决上述技术问题，本专利技术采用的技术方案是：一种基于注视点分析的智能终端解锁方法，包括以下步骤：S1.终端设备收到解锁触发指令后，开启设备摄像头，获取当前人脸图像，用于分析人眼注视点位置；S2.通过人脸特征标记算法标记出人脸的68个特征点位置，该68个特征点的位置数值作为卷积神经网络的输入；S3.通过人脸的68个特征点坐标找到人眼所在图片中的位置，并把人眼部分截取下来作为卷积神经网络的输入；S4.计算人脸所占图片中的面积，作为卷积神经网络的输入；通过人脸的面积计算出人脸至屏幕的距离；S5.通过头部姿态估计方法，得到估计出头部姿态角roll、yaw、pitch，该数值也作为卷积神经网络的输入；S6.根据以上步骤得到的人脸68个特征点矩阵、人眼图片、人脸面积以及头部姿态角，通过卷积神经网络模型预测出人眼观察的屏幕位置；S7.解锁信号触发后，智能终端不断的分析人眼注视的屏幕位置，保存注视点的位置和时序，同时与移动设备预存的解锁信息进行比对；其相似度小于阈值时不做处理，相似度大于阈值时则进行解锁。当前，基于卷积神经网络的预测方法已经能够对人眼注视点位置进行精确的预测。由于目光的高度保密性，人眼注视点轨迹应用于智能终端屏幕解锁领域，它兼顾了屏幕解锁的保密性、可靠性和可操作性，从而解决当前屏幕解锁办法中长期存在的问题。本专利技术利用手机摄像头捕捉到人眼图像分析注视点位置，然后通过注视点的轨迹判断是否应该解锁。由于如果仅通过人眼外观，旁人很难知道到人眼注视的屏幕像素位置，因此方法具有高度的保密性和安全性。作为优选的，对于部分手机前置摄像头已经具备深度检测功能，还可以通过终端设备的深度检测功能，利用深度数据直接计算人脸与屏幕的距离。作为优选的，对于可以测量深度图的移动智能设备可以直接通过深度计算出头部姿态。进一步的，用户目光离开屏幕超过1秒则认为用户放弃本次解锁，用户可以再次把目光转移到屏幕上，重新进行解锁。进一步的，所述的S7步骤中，在进行预存解锁信息时，包括以下步骤：S71.在注册界面，屏幕实时显示用户注视点的位置；S72.屏幕中显示倒计时，提醒用户准备开始设置密码轨迹；S73.保存用户实时注视点的轨迹作为解锁预留信息；当用户的注视点停留在同一个位置保持三秒以上，则认为用户完成了轨迹的设定；用户在计时开始时刻所注视的点的位置作为起始位置，用户目光最终停留的位置作为截至位置；整个过程中的注视点轨迹作为密码信息。进一步的，在密码信息注册部分，用户还可以直接通过手指滑动设置轨迹，在解锁部分使用注视点进行解锁。与现有技术相比，有益效果是：本专利技术提供的一种基于注视点分析的智能终端解锁方法，利用基于卷积神经网络的预测方法对人眼注视点位置进行精确的预测，由于人的注视点位置具有高度的保密性与可预测性，使用目光进行解锁能够有效的预防在解锁过程中解锁信息被盗取的情况，该方法可靠性强安全性高，有力保障了移动智能终端的信息安全。附图说明图1是本专利技术基于注视点估计的智能终端解锁方法的整体流程图。图2是本专利技术图像预处理方法流程图。图3是本专利技术注视点估计模型结构示意图。图4是本专利技术以摄像头为原点的屏幕坐标系。图5是本专利技术人脸标记特征点对照图。具体实施方式附图仅用于示例性说明，不能理解为对本专利技术的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利技术的限制。如图1所示，一种基于注视点分析的智能终端解锁方法，包括以下步骤：步骤1.终端接收到解锁触发指令后，打开摄像头不断获取视频流；步骤2.利用注视点估计算法分析注视点位置；步骤3.判断注视点是否位于屏幕上，若是，则记录注视点轨迹；若否，则认为用户放弃本次解锁，清除之前轨迹信息；步骤4.注视点移动轨迹与本地解锁信息进行比对；步骤5.若比对成功则进行解锁。如上述步骤1所述，用户需要解锁时，可以通过按下终端的实体按键作为触发信号。进而进入终端的解锁界面，于此同时，摄像头会开始捕捉视频流，对图片依次进行处理。如上述步骤2所述，在获取原始图片之后需要通过卷积神经网络估计注视点位置。为了保证注视点估计的精准性，首先要对图片进行预处理，其预处理流程如图2所示。其中预处理的内容主要包括：人脸特征点标记、人眼图片截取、头部姿态估计、头部与屏幕的距离估计。人脸特征点对照图如图5所示，其中，0号至16号特征点为人脸轮廓，17号至21号特征点为左眼眉毛位置，22号至26号特征点为右眼眉毛位置，27号至30号特征点为鼻梁位置，31号至35号特征点为鼻孔位置，36号至41号特征点为左眼轮廓，42号至47号特征点为右眼轮廓，48号至67号特征点为嘴巴位置。人脸特征点标记方法可以利用主流的Dlib人脸特征标记库，或者是最新的FAN人脸特征点标记卷积神经网络。经过人脸特征点标记之后，每张图片对应着尺寸为(68，2)的矩阵P。该矩阵每一行的数据代表着每个特征点的位置，一共有68个特征点。数据第一列代表特征点在图片x轴的位置，数据第二列代表特征点在图片y轴的位置。根据图5人脸特征点对照图，左眼位于第36至第41特征点，右眼位于42至第47特征点，通过索引矩阵P获得人眼的位置并截取人眼图片。由于距离屏幕的距离不同时，人眼图片的尺寸是不同的，在截取人眼图片后统一缩放到(64，48)尺寸。在人眼图片缩放后还要对图片进行归一化处理，把RGB三通道数据归一化到均值为0的数据，进而提高模型的鲁棒性。在头部姿态估计与头部和屏幕的距离估计中，可以选择使用RGB图像进行估计，对于带有深度摄像头的终端，优先使用深度信息进行估计。当使用RGB图像估计屏幕与人脸的距离时，人脸与屏幕的距离可用通过计算人脸部分占的像素数目的方法体现，具体方式如下：在检测到人脸特征点标记位置之后，首先粗略确定人脸区域R。然后把0号至26号特征点依次连本文档来自技高网...

【技术保护点】
1.一种基于注视点分析的智能终端解锁方法，其特征在于，包括以下步骤：S1.终端设备收到解锁触发指令后，开启设备摄像头，获取当前人脸图像，用于分析人眼注视点位置；S2.通过人脸特征标记算法标记出人脸的68个特征点位置，该68个特征点的位置数值作为卷积神经网络的输入；S3.通过人脸的68个特征点坐标找到人眼所在图片中的位置，并把人眼部分截取下来作为卷积神经网络的输入；S4.计算人脸所占图片中的面积，作为卷积神经网络的输入；通过人脸的面积计算出人脸至屏幕的距离；S5.通过头部姿态估计方法，得到估计出头部姿态角roll、yaw、pitch，该数值也作为卷积神经网络的输入；S6.根据以上步骤得到的人脸68个特征点矩阵、人眼图片、人脸面积以及头部姿态角，通过卷积神经网络模型预测出人眼观察的屏幕位置；S7.解锁信号触发后，智能终端不断的分析人眼注视的屏幕位置，保存注视点的位置和时序，同时与移动设备预存的解锁信息进行比对；其相似度小于阈值时不做处理，相似度大于阈值时则进行解锁。

【技术特征摘要】
1.一种基于注视点分析的智能终端解锁方法，其特征在于，包括以下步骤：S1.终端设备收到解锁触发指令后，开启设备摄像头，获取当前人脸图像，用于分析人眼注视点位置；S2.通过人脸特征标记算法标记出人脸的68个特征点位置，该68个特征点的位置数值作为卷积神经网络的输入；S3.通过人脸的68个特征点坐标找到人眼所在图片中的位置，并把人眼部分截取下来作为卷积神经网络的输入；S4.计算人脸所占图片中的面积，作为卷积神经网络的输入；通过人脸的面积计算出人脸至屏幕的距离；S5.通过头部姿态估计方法，得到估计出头部姿态角roll、yaw、pitch，该数值也作为卷积神经网络的输入；S6.根据以上步骤得到的人脸68个特征点矩阵、人眼图片、人脸面积以及头部姿态角，通过卷积神经网络模型预测出人眼观察的屏幕位置；S7.解锁信号触发后，智能终端不断的分析人眼注视的屏幕位置，保存注视点的位置和时序，同时与移动设备预存的解锁信息进行比对；其相似度小于阈值时不做处理，相似度大于阈值时则进行解锁。2.根据权利要求1所述的基于注视点分析的智能终端解锁方法，其特征在于，所述的S4步骤中，还可以通过终端设备的深度检测...

【专利技术属性】
技术研发人员：李骁，张东，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44