一种基于卷积神经网络的斜眼检测方法技术

本发明专利技术实施例公开了一种基于卷积神经网络的斜眼检测方法，包括：搜集斜眼图像，并建立由斜眼图像组成的斜眼图像库；利用常见的人脸数据库训练一个用于定位眼部区域的卷积神经网络，并确定卷积神经网络中的学习参数；利用东方人脸数据集OFD和斜眼图像库训练一个用于斜眼识别的卷积神经网络，并确定卷积神经网络中的学习参数；利用训练好的用于定位眼部区域的卷积神经网络定位斜眼图像库中斜眼图像的眼部区域；利用训练好的用于斜眼识别的卷积神经网络识别裁剪得到的眼部区域图像，输出斜眼检测的结果。本发明专利技术充分利用卷积神经网络的特征提取及特征学习能力，可以高效准确地判断人是否患有斜眼，有助于医生对斜眼疾病的诊断和治疗。

【技术实现步骤摘要】
一种基于卷积神经网络的斜眼检测方法
本专利技术涉及图像处理及模式识别领域，特别是涉及基于卷积神经网络的斜眼检测方法。
技术介绍
斜眼是一种眼部疾病，且多发生在幼年时期，它一般是由于眼部神经，大脑或者眼外肌发生问题而产生。斜眼对人的生活有严重的影响。一般患有斜眼的患者若没有得到合理的医治，会恶化发展成弱视眼，且一旦退化则会导致失明。同时，斜眼严重影响美观，可能使斜眼患者产生孤僻、自卑及反常的心理。从上可知，斜眼检测对预防和治疗斜眼十分重要。目前，主要是人工实施对受试者斜眼的检测，一般受过训练的临床医师常使用“赫斯伯格测试法(Hirschbergtest)”对受试者的眼睛进行评估，“赫斯伯格测试法”是用于检查眼睛的瞳孔在聚焦和注视到置于其正前方的目标上时是否对称的一项公认的、但是一种粗略的测试法。但是当受试者的每只眼睛具有很小的差异时，即使有经验的临床医师也容易将其忽视，而产生误判误诊等情况，且人工检测的方法效率不高。在现有斜眼检测方法中，也存在利用基于传统图像处理的方法进行斜眼疾病的检测的报导，但利用传统图像处理的方法存在以下缺点：对斜眼图像条件要求苛刻，必须要有光线在瞳孔上反射产生焦点才可以进行斜眼识别；采用传统图像处理的方法，其过程较为复杂，效率偏低；斜眼识别的准确率低，可靠性差。
技术实现思路
本专利技术实施例所要解决的技术问题在于，提供一种基于卷积神经网络的斜眼检测方法，利用卷积神经网络的特征提取和特征学习能力对斜眼图像进行斜眼识别，以帮助提高医生对斜眼疾病的诊断效率。为了解决上述技术问题，本专利技术实施例提供了一种基于卷积神经网络的斜眼检测方法，所述方法包括以下步骤：S1：搜集斜眼图像，并建立由所述斜眼图像组成的斜眼图像库；S2：利用常见的人脸数据库训练一个用于定位眼部区域的卷积神经网络，并确定所述卷积神经网络中的学习参数；S3：利用东方人脸数据集OFD和所述斜眼图像库训练一个用于斜眼识别的卷积神经网络，并确定所述卷积神经网络中的学习参数；S4：利用步骤S2中所述训练好的用于定位眼部区域的卷积神经网络定位所述斜眼图像库中斜眼图像的眼部区域；S5：完成步骤S1中斜眼图像的眼部区域定位后，根据步骤S4中所得到的含有眼部区域定位框的四个顶点坐标，对框内图像沿四个顶点组成的四条外边进行裁剪，得到眼部区域图像；S6：利用步骤S3中训练好的用于斜眼识别的卷积神经网络识别步骤S5中裁剪得到的眼部区域图像，输出斜眼检测的结果。进一步的，所述步骤S2以及步骤S3中，用于定位眼部区域以及斜眼识别的卷积神经网络的训练，包括：卷积神经网络的结构建立和卷积神经网络的参数学习；步骤S2中训练所采用的图像样本来源于LabeledFacesintheWild，LPFW24，Helen25和AFW四个人脸数据库；步骤S3中训练采用的图像样本来源于东方人脸数据集OFD和斜眼图像库两个数据库。其中，卷积神经网络的结构建立，包括：确定神经网络卷积层的层数和每个卷积层的特征图数、反卷积层的层数和每个反卷积层的特征图数、全连接层的层数和每个全连接层的特征图数、池化层的层数、卷积层所用的卷积核的大小、反卷积层所用的反卷积核的大小、池化层所用的采样核的大小，还有训练步长。其中，卷积神经网络的参数学习，是指：通过不断降低损失函数的函数值来学习深度卷积神经网络的参数，其中，用于定位眼部区域的卷积神经网络的损失函数L({pi}，{ti})为：其中，i表示卷积神经网络中第i个锚点，pi为第i个锚点为眼部区域的预测概率，如果锚点为正则标签的真实值为1，锚点为负则为0，当为1时，回归损失函数Lreg被激活；ti为包含定位框四个顶点坐标参数的向量，为定位框的真实值；Lcls为两个类(目标以及非目标)的log损失函数；Lreg表示定位框的回归损失函数取为其中R为1范数损失函数。用于斜眼识别的卷积神经网络的损失函数l为：其中，g和分别表示图像属于斜眼的真实值和预测值，g＝1表示图像属于斜眼，g＝0则为非斜眼，预测值表示属于斜眼的预测概率，分布在[0，1]之间；每张图像的大小为N×W×H，其中N表示输出的类别数目，W和H表示图像的宽和高，n表示像素(i，j)的真实标记。进一步的，所述步骤S6中，针对步骤S4中利用训练好的用于定位眼部区域的卷积神经网络对图像进行眼部区域定位后，得到一个含有眼部区域的定位框。所述步骤S5中裁剪所述斜眼图像的眼部区域，具体为根据步骤S4中所得到的含有眼部区域定位框的四个顶点坐标，对框内图像沿四个顶点组成的四条外边进行裁剪，得到眼部区域图像。实施本专利技术实施例，具有如下有益效果：本专利技术基于卷积神经网络的斜眼检测方法在训练用于定位眼部区域的卷积神经网络使用到了LabeledFacesintheWild，LPFW24，Helen25和AFW四个常见的人脸数据库，保证了数据的多样性，用于提高卷积神经网络定位眼部区域的准确性；在训练用于斜眼识别的卷积神经网络时使用了东方人脸数据集OFD，以提高对东方人种的斜眼检测结果的可靠性。本专利技术结合两种不同的卷积神经网络，利用卷积神经网络的强有的特征学习和特征提取能力，可以高效准确地判断人是否患有斜眼，从而帮助医生提高诊断斜眼疾病的效率。附图说明图1为本专利技术基于卷积神经网络的斜眼检测方法的流程图；图2为本专利技术的方法进行眼部裁剪的流程示意图；图3为本专利技术实施例所使用的用于定位眼部区域的卷积神经网络的整体结构图；图4为本专利技术实施例所使用的用于斜眼识别的卷积神经网络的整体流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述。请参阅图1，本专利技术提供基于卷积神经网络的斜眼检测方法，该方法包括以下步骤：S1：整理从某医院拍摄、网上斜眼社区等途径搜集的斜眼图像，并建立由斜眼图像组成的斜眼图像库。在本实施例中，斜眼图像库包含1148张斜眼患者的图像，东方人脸数据集OFD包含1245张正常人的图像。S2：利用LabeledFacesintheWild，LPFW24，Helen25和AFW四个常见的人脸数据库训练一个用于定位眼部区域的卷积神经网络，利用东方人脸数据集OFD和斜眼图像库训练一个用于斜眼识别的卷积神经网络，并确定所述两个卷积神经网络中的学习参数。两种卷积神经网络的训练均包括卷积神经网络的结构建立和卷积神经网络的参数学习；训练用于定位眼部区域的网络采用的图像样本来源于LabeledFacesintheWild，LPFW24，Helen25和AFW四个人脸数据库，训练用于斜眼识别的网络采用的图像样本来源于东方人脸数据集OFD和斜眼图像库。用于定位眼部区域的卷积神经网络完成对图像中眼部区域的定位，并把定位框内图像进行裁剪，得到眼部区域图像，输入到用于斜眼识别的卷积神经网络，输出斜眼检测结果。两种卷积神经网络的结构建立均包括确定神经网络卷积层的层数和每个卷积层的特征图数、反卷积层的层数和每个反卷积层的特征图数、全连接层的层数和每个全连接层的特征图数、池化层的层数、卷积层所用的卷积核的大小、反卷积层所用的反卷积核的大小、池化层所用的采样核的大小，还有训练步长。本专利技术实施例所使用的用于定位眼部区域的卷积神经网络结构请参阅图3，其所使用的目标检测方法为Faster－RCNN，主要结本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的斜眼检测方法，其特征在于，包括以下步骤：S1：搜集斜眼图像，并建立由所述斜眼图像组成的斜眼图像库；S2：利用常见的人脸数据库训练一个用于定位眼部区域的卷积神经网络，并确定所述卷积神经网络中的学习参数；S3：利用东方人脸数据集和所述斜眼图像库训练一个用于斜眼识别的卷积神经网络，并确定所述卷积神经网络中的学习参数；S4：利用步骤S2中所述训练好的用于定位眼部区域的卷积神经网络定位所述斜眼图像库中斜眼图像的眼部区域；S5：对步骤S4中所得到的眼部区域进行裁剪；S6：利用步骤S3中训练好的用于斜眼识别的卷积神经网络识别步骤S5中裁剪得到的眼部区域图像，输出斜眼检测的结果。

【技术特征摘要】
1.一种基于卷积神经网络的斜眼检测方法，其特征在于，包括以下步骤：S1：搜集斜眼图像，并建立由所述斜眼图像组成的斜眼图像库；S2：利用常见的人脸数据库训练一个用于定位眼部区域的卷积神经网络，并确定所述卷积神经网络中的学习参数；S3：利用东方人脸数据集和所述斜眼图像库训练一个用于斜眼识别的卷积神经网络，并确定所述卷积神经网络中的学习参数；S4：利用步骤S2中所述训练好的用于定位眼部区域的卷积神经网络定位所述斜眼图像库中斜眼图像的眼部区域；S5：对步骤S4中所得到的眼部区域进行裁剪；S6：利用步骤S3中训练好的用于斜眼识别的卷积神经网络识别步骤S5中裁剪得到的眼部区域图像，输出斜眼检测的结果。2.根据权利要求1所述基于卷积神经网络的斜眼检测方法，其特征在于：所述搜集斜眼图像所得到的图像为含有人脸正面照的图像，所述人脸正面照中眼部区域含有一只或两只眼睛。3.根据权利要求1所述基于卷积神经网络的斜眼检测方法，其特征在于：所述步骤S2以及步骤S3中，用于定位眼部区域以及斜眼识别的两个卷积神经网络的训练均包括卷积神经网络的结构建立和卷积神经网络的参数学习。4.根据权利要求3所述基于卷积神经网络的斜眼检测方法，其特征在于：所述步骤S2中，所述的神经网络是用于对眼部区域的定位；所述步骤S4中对斜眼图像的眼部区域进行定位，并在步骤S5中把定位框内眼部区域图像进行裁剪，得到眼部区域图像；所述步骤S6中利用步骤S3中的训练好的卷积神经网络对眼部区域图像进行斜眼识别。5.根据权利要求3所述基于卷积神经网络的斜眼检测方法，其特征在于：用于定位眼部区域以及用于斜眼识别的卷积神经网络的结构建立均包括确定神经网络卷积层的层数和每个卷积层的特征图数、反卷积层的层数和每个反卷积层的特征...

【专利技术属性】
技术研发人员：范衠，黄龙涛，朱贵杰，郑策，
申请(专利权)人：汕头大学，
类型：发明
国别省市：广东,44