基于深度学习的眼白图像超分辨率重建与图像增强方法技术

本公开提供了一种基于深度学习的眼白图像超分辨率重建与图像增强的方法，包括：步骤S1，采集人脸视频、帧采样获取人脸图像；步骤S2，通过人脸图像提取双眼区域，关键点定位分割左右眼白，获得眼白图像；步骤S3，利用深度学习对眼白图像做超分辨率重建，获得高分辨率眼白图像；步骤S4，对高分辨率眼白图像做真彩色图像增强。本公开通过训练卷积神经网络(CNN)结合递归神经网络(RNN)，可识别眼白血管纹理特征、提高图像分辨率，再结合图像增强技术进一步将眼白血管纹理清晰的呈现出来，大大提高个人身份识别的准确率。

【技术实现步骤摘要】
基于深度学习的眼白图像超分辨率重建与图像增强方法
本公开涉及图像分割、图像增强、人工智能(深度学习)等
，尤其涉及一种基于深度学习的眼白血管纹理图像超分辨率重建与图像增强的方法。
技术介绍
在2006年，产生了深度学习(DeepLearning)的概念，它是通过人们研究人工神经网络而得出的。相比于其他机器学习而言，深度学习比较适用于大数据集训练。如今，深度学习的应用越发广泛，特别是在计算机视觉领域中的突出表现，并且它还会继续影响着人工智能的其他领域。生物特征识别是一种方便和安全的个人身份检验方式，使用独特的生物学特征的认证可以代替个人身份证，录入密码或者其他关键。现今生物特征识别技术有很多，其中最为普遍的是人脸、指纹和语音识别，但是这些识别方式难免会出现一定的误差，而眼白血管纹理的直观性，特别是它的稳定性与唯一性决定了它可以作为识别一个人真实身份可靠且安全的依据，相比于人脸、指纹等几种生物特征识别方式，基于眼白血管纹理的生物特征识别对于个体身份识别是更精确的。眼白血管纹理的唯一性、稳定性、非侵犯性与安全性促使它成为生物特征识别中最具独特性的一种识别方式，其唯一性与稳定性表现在当婴儿出生八个月左右，眼白血管纹理基本稳定成形,且保持终身不变，据统计数据表明，每个人都有属于自己的眼白血管纹理，且与他人之间不会完全相同，所以这样的特性使该种识别方式变得非常的安全可靠。此外不用身体之间的接触即可采集样本，且人体眼白血管纹理的可见部分较为充分，所以它可以作为一种个人身份识别方式。因此，为保证眼白血管纹理识别的准确性，需要对其做出精准的增强，以凸显其明显的纹理。公开内容(一)要解决的技术问题本公开提供了一种基于深度学习的眼白图像超分辨率重建与图像增强的方法，以至少部分解决以上所提出的技术问题。(二)技术方案根据本公开的一个方面，提供了一种基于深度学习的眼白图像超分辨率重建与图像增强的方法，包括：步骤S1，采集人脸视频、帧采样获取人脸图像；步骤S2，通过人脸图像提取双眼区域，关键点定位分割左右眼白，获得眼白图像；步骤S3，利用深度学习对眼白图像做超分辨率重建，获得高分辨率眼白图像；步骤S4，对高分辨率眼白图像做真彩色图像增强。在本公开一些实施例中，所述步骤S1采集人脸视频、帧采样获取人脸图像包括：步骤S11，采集人脸视频作为训练样本视频；步骤S12，将采集的人脸视频做帧采样处理，转换成人脸图像集；步骤S13，将人脸图像集通过网络传输至HDFS进行存储。在本公开一些实施例中，所述步骤S11采集人脸视频作为训练样本视频包括：在指定的环境中，使用环境照明并且不使用闪光灯，分别用不同品牌和型号的智能终端，拍摄规定时长的人脸视频，分别用于训练系统及测试识别。在本公开一些实施例中，所述步骤S11中拍摄规定时长的人脸视频包括：视频拍摄包括由近及远再由远及近的人脸视频，所述视频捕获两个眼睛的不同注视方向。在本公开一些实施例中，所述两个眼睛的不同注视方向包括：左眼睛看左、左眼睛看右、右眼睛看左和右眼睛看右。在本公开一些实施例中，所述步骤S2通过人脸图像提取双眼区域，关键点定位分割左右眼白包括：步骤S21，在人脸图像上将人眼区域截取出来；步骤S22，在截取的人眼图像上标定一系列的关键点：即将人脸图像上眼白部分设置为阈值为1的前景区域，，非眼白部分设置为阈值为0的背景区域；步骤S23，利用图像分割中的最大类间方差法生成眼白的二值掩码图像；步骤S24，将所述二值掩码图像与原始人眼图像相叠加，将眼白分割出来。在本公开一些实施例中，所述步骤S3中利用深度学习对眼白图像做超分辨率重建包括使用数据训练卷积神经网络、递归神经网络。在本公开一些实施例中，所述步骤S3包括：步骤S31，将RGB眼白图像转换到YCbCr空间域，且作为一组特征图，初始化卷积神经网络；步骤S32，利用嵌入式网络提取特征补丁图像块，再通过一组预先训练基础表示所述嵌入式网络，嵌入式网络f1(x)取输入向量x并计算作为递归网络f2的输入的矩阵输出H0；步骤S33，在非线性变换操作中，通过递归网络将步骤S32中提取的每个补丁图像块的n1维特征映射为n2维，采用每个输出n2维向量重建的高分辨率补丁；步骤S34，采用重建网络将上述高分辨率补丁聚合进行眼白图像超分辨率重建，所述重建网络f3采用输入隐藏状态HD并输出目标图像，定义卷积层以生成最终的高分辨率眼白图像；步骤S35，将高分辨率的YCbCr眼白图像转化为RGB图像，再返回到原始眼白图像数据库以确认是否有剩余低分辨率眼白图像未经超分辨率重建工作，若仍有剩余图像未经该步处理，则返回至步骤S31；如果眼白图像数据库没有剩余，则进行步骤S4。在本公开一些实施例中，所述步骤S3中，将输入低分辨率眼白图像它转化到YCbCr空间域时包括利用双三次差值将其低分辨率升高到所需大小；递归网络由单个递归层完成分析大图像区域，每次递归应用相同的卷积，然后纠正线性单位；卷积滤波器大于1×1，每个递归加宽接受域。在本公开一些实施例中，所述步骤S4中对高分辨率眼白图像做真彩色图像增强包括：步骤S41，将RGB空间域的眼白图像转换到HSV空间域；其中H、S、V分别代表图像的色调、饱和度和亮度；步骤S42，保持色调H稳定不变，对亮度V用直方图均衡化的方式进行局部增强，再由亮度V与饱和度S的关系，改变饱和度S的值；步骤S43，最后将在HSV空间域中增强后的眼白图像变换回RGB图像。(三)有益效果从上述技术方案可以看出，本公开基于深度学习的眼白血管纹理图像超分辨率重建与图像增强方法至少具有以下有益效果其中之一：(1)对人眼眼白血管纹理进行图像采集，该种识别方式使得采集样本十分便捷安全，应用前景广阔；(2)通过训练卷积神经网络(CNN)结合递归神经网络(RNN)，可识别眼白血管纹理特征、提高图像分辨率，再结合图像增强技术进一步将眼白血管纹理清晰的呈现出来，大大提高个人身份识别的准确率。附图说明图1所示为本公开实施例基于深度学习的眼白血管纹理图像超分辨率重建与图像增强方法的整体流程图；图2所示为训练卷积神经网络与递归神经网络模型流程图；图3所示为基本神经网络模型图。具体实施方式本公开提供了一种基于深度学习的眼白图像超分辨率重建与图像增强的方法，通过训练卷积神经网络(CNN)和递归神经网络(RNN)可识别眼白血管纹理特征、提高图像分辨率，再结合图像增强技术进一步将眼白血管纹理清晰的呈现出来，大大提高个人身份识别的准确率。为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。本公开某些实施例于后方将参照所附附图做更全面性地描述，其中一些但并非全部的实施例将被示出。实际上，本公开的各种实施例可以许多不同形式实现，而不应被解释为限于此数所阐述的实施例；相对地，提供这些实施例使得本公开满足适用的法律要求。在本公开的第一个示例性实施例中，提供了一种基于深度学习的眼白图像超分辨率重建与图像增强的方法。图1为本公开第一实施例基于深度学习的眼白图像超分辨率重建与图像增强的方法的流程图。如图1所示，本公开基于深度学习的眼白图像超分辨率重建与图像增强的方法包括4个步骤(参见图1)：S1.人脸视频采集、帧采样获取人脸图像；S2.本文档来自技高网...

【技术保护点】
一种基于深度学习的眼白图像超分辨率重建与图像增强的方法，包括：步骤S1，采集人脸视频、帧采样获取人脸图像；步骤S2，通过人脸图像提取双眼区域，关键点定位分割左右眼白，获得眼白图像；步骤S3，利用深度学习对眼白图像做超分辨率重建，获得高分辨率眼白图像；步骤S4，对高分辨率眼白图像做真彩色图像增强。

【技术特征摘要】
1.一种基于深度学习的眼白图像超分辨率重建与图像增强的方法，包括：步骤S1，采集人脸视频、帧采样获取人脸图像；步骤S2，通过人脸图像提取双眼区域，关键点定位分割左右眼白，获得眼白图像；步骤S3，利用深度学习对眼白图像做超分辨率重建，获得高分辨率眼白图像；步骤S4，对高分辨率眼白图像做真彩色图像增强。2.根据权利要求1所述的方法，所述步骤S1采集人脸视频、帧采样获取人脸图像包括：步骤S11，采集人脸视频作为训练样本视频；步骤S12，将采集的人脸视频做帧采样处理，转换成人脸图像集；步骤S13，将人脸图像集通过网络传输至HDFS进行存储。3.根据权利要求1所述的方法，所述步骤S11采集人脸视频作为训练样本视频包括：在指定的环境中，使用环境照明并且不使用闪光灯，分别用不同品牌和型号的智能终端，拍摄规定时长的人脸视频，分别用于训练系统及测试识别。4.根据权利要求3所述的方法，所述步骤S11中拍摄规定时长的人脸视频包括：视频拍摄包括由近及远再由远及近的人脸视频，所述视频捕获两个眼睛的不同注视方向。5.根据权利要求4所述的方法，所述两个眼睛的不同注视方向包括：左眼睛看左、左眼睛看右、右眼睛看左和右眼睛看右。6.根据权利要求1所述的方法，所述步骤S2通过人脸图像提取双眼区域，关键点定位分割左右眼白包括：步骤S21，在人脸图像上将人眼区域截取出来；步骤S22，在截取的人眼图像上标定一系列的关键点：即将人脸图像上眼白部分设置为阈值为1的前景区域，，非眼白部分设置为阈值为0的背景区域；步骤S23，利用图像分割中的最大类间方差法生成眼白的二值掩码图像；步骤S24，将所述二值掩码图像与原始人眼图像相叠加，将眼白分割出来。7.根据权利要求1所述的方法，所述步骤S3中利用深度学习对眼白图像做超分辨率重建包括使用数据训练...

【专利技术属性】
技术研发人员：孙哲南，李琦，刘明康，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11