权重二值化神经网络与迁移学习人眼状态检测方法及设备技术

本发明专利技术提供一种权重二值化神经网络与迁移学习人眼状态检测方法及设备，方法包括以下：采集人眼图像并进行预处理；构建基于权重二值化的人眼定位卷积神经网络模型，预测得到双目坐标；以双目坐标为中心构建一个边界框；构建基于权重二值化的人眼检测卷积神经网络模型，采用迁移学习，利用人脸数据库和人眼数据库完成基于权重二值化的人眼检测卷积神经网络模型的训练；将边界框作为基于权重二值化的人眼检测卷积神经网络模型的输入，完成人眼状态检测；本发明专利技术提供的有益效果是：减小甚至克服头部姿态的不确定性、外部环境光照、复杂背景条件下的干扰、遮挡对人眼识别带来的影响，提高人眼识别的鲁棒性。

【技术实现步骤摘要】
权重二值化神经网络与迁移学习人眼状态检测方法及设备
本专利技术涉及图像处理领域，尤其涉及一种权重二值化神经网络与迁移学习人眼状态检测方法及设备。
技术介绍
目前人眼状态检测的方法可以大致分成基于特征分析和基于模式分类的两类方法。基于特征分析的方法主要依靠眼睛的几何特征，如虹膜、瞳孔、眼睑形状或人眼宽高比来辨别眼睛的睁闭状态，或是根据眼睛图像中白色像素的比例判断。这类方法依赖精确的眼睛定位，很容易受到环境干扰导致判断错误。基于模式分类的检测方法首先提取眼睛区域的形状或者纹理特征，比如局部二值模式特征、方向梯度直方图特征、Haar特征以及Gabor小波特征等，然后通过支持向量机、Adaboost分类器或者神经网络等方法训练分类器来自动学习分类规则，以此判断眼睛的睁闭状态。这些方法各有优势，但在实际应用中都易受到光照、脸部姿态、图像清晰度等因素的干扰。
技术实现思路
有鉴于此，本专利技术提供了权重二值化神经网络与迁移学习人眼状态检测方法，此方法能够极大程度上减小甚至克服头部姿态的不确定性、外部环境光照的影响、复杂背景条件下本文档来自技高网...

【技术保护点】
1.一种权重二值化神经网络与迁移学习人眼状态检测方法，其特征在于：具体包括以下步骤：/nS101：利用相机采集人脸RGB图像；/nS102：对所述人脸RGB图像进行预处理，得到预处理后的人脸图像，并构建人眼定位的权重二值化卷积神经网络模型并利用人脸数据库训练所述人眼定位的权重二值化卷积神经网络模型；所述人眼定位的权重二值化卷积神经网络模型包括四个层级；第一层级结构包括三个卷积神经网络，分别为F1、LE1和RE1；第二层级结构包括五个卷积神经网络，分别为F2、LE21、LE22、RE21和RE22；第三层级结构包括三个卷积神经网络，分别为F3、LE3和RE3；第四层级结构包括两个卷积神经网络，分...

【技术特征摘要】
1.一种权重二值化神经网络与迁移学习人眼状态检测方法，其特征在于：具体包括以下步骤：
S101：利用相机采集人脸RGB图像；
S102：对所述人脸RGB图像进行预处理，得到预处理后的人脸图像，并构建人眼定位的权重二值化卷积神经网络模型并利用人脸数据库训练所述人眼定位的权重二值化卷积神经网络模型；所述人眼定位的权重二值化卷积神经网络模型包括四个层级；第一层级结构包括三个卷积神经网络，分别为F1、LE1和RE1；第二层级结构包括五个卷积神经网络，分别为F2、LE21、LE22、RE21和RE22；第三层级结构包括三个卷积神经网络，分别为F3、LE3和RE3；第四层级结构包括两个卷积神经网络，分别为LE4和RE4；
S103：所述预处理后的人脸图像作为所述人眼定位的权重二值化卷积神经网络模型的输入，所述人眼定位的权重二值化卷积神经网络模型输出即为人眼的最终预测坐标，完成人眼定位；
S104：以所述人眼的最终预测坐标为中心，构建裁剪框对人眼区域进行裁剪获得最终提取的人眼图像；
S105：构建人眼状态检测的权重二值化的级联卷积神经网络模型，所述人眼状态检测的权重二值化的级联卷积神经网络模型包括六个卷积层、两个池化层和两个全连接层；
S106：利用人脸数据库和人眼状态数据库依次训练人眼状态检测的权重二值化的级联卷积神经网络模型，得到训练完成的人眼状态检测的权重二值化的级联卷积神经网络模型；
S107：将步骤S104中所述的最终提取的人眼图像输入至所述训练完成的人眼状态检测的权重二值化的级联卷积神经网络模型，得到人眼最终状态。


2.如权利要求1所述的一种权重二值化神经网络与迁移学习人眼状态检测方法，其特征在于：步骤S102中，对所述人脸RGB图像进行预处理，得到预处理后的人脸图像具体为：将所述人脸RGB图像进行灰度变换，得到人脸灰度图像；对人脸灰度图像进行尺寸裁剪，分别得到人脸的左脸图像和右脸图像。


3.如权利要求2所述的一种权重二值化神经网络与迁移学习人眼状态检测方法，其特征在于：步骤S103具体为：
S201：将所述人脸灰度图像输入至F1，得到F1预测的双目坐标；将所述左脸图像输入至LE1，得到LE1预测的左眼坐标；将所述右脸图像输入至RE1，得到RE1预测的右眼坐标；
S202：将所述F1预测的双目坐标、LE1预测的左眼坐标和RE1预测的右眼坐标对应相加，并除以2，得到所述人眼定位的权重二值化卷积神经网络模型第一层级最终预测的双目坐标；
S203：以所述人眼定位的权重二值化卷积神经网络模型第一层级最终预测的双目坐标为中心，预设一个边界框，作为所述人眼定位的权重二值化卷积神经网络模型第一层级的F2的输入，得到F2预测的双目坐标；以所述LE1预测的左眼坐标为中心，预设一个边界框，作为所述人眼定位的权重二值化卷积神经网络模型第二层级的LE21和LE22的输入，得到LE21和LE22预测的左眼坐标；以所述RE1预测的右眼坐标为中心，预设一个边界框，作为所述人眼定位的权重二值化卷积神经网络模型第二层级的RE21和RE22的输入，得到RE21和RE22预测的右眼...

【专利技术属性】
技术研发人员：刘振焘，吴敏，曹卫华，蒋承汕，李锶涵，郝曼，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北;42