一种基于卷积神经网络的图像头发识别方法及其装置制造方法及图纸

本发明专利技术实施例公开了一种基于卷积神经网络的图像头发识别方法及其装置，其中，该方法包括：收集图集；对图集中的每一张图片进行标记；对图集中的每一张图片进行预处理；检测图集中每一张图片的人像头部位置，获得训练图集对应的头部位置信息和测试图集对应的头部位置信息；基于全卷积网络构造头发全卷积网络；对头发全卷积网络进行训练；将输出的结果与头发区域遮蔽测试图集相比较，获得对头发全卷积网络的评估结果；将欲获取头发遮蔽图的图片输入头发全卷积网络，获得该图像头发区域的遮掩图。可以解决现有技术中难以处理背景颜色与头发颜色相似的情况，以及无法在图像人脸偏转角度很大或人背面的情况下无法识别头发的问题。

Method and device for recognizing image hair based on convolution neural network

The embodiment of the invention discloses a device and the image recognition method based on hair, convolutional neural network, the method includes: collecting atlas; marked on each picture map set; for each picture graph preprocessing; detection map on each picture as the position of the head, the head position information corresponding to the head position information and training of the corresponding test atlas atlas; deconvolution network structure network based on convolution hair training; hair will be the output of the convolutional network; and the regional test set to cover the hair, for hair convolutional network evaluation results; to picture input hair get the hair full covered graph convolutional networks, obtain the image region of the hair cover figure. The utility model can solve the problem that the background color and the hair color are difficult to deal with in the prior art, and the problem that the hair can not be recognized in the face of the large deflection angle of the image or the back of the human body can not be solved.

【技术实现步骤摘要】

本专利技术涉及图像处理
，尤其涉及一种基于卷积神经网络的图像头发识别方法及其装置。
技术介绍
手机自拍已经成为现代人们生活中非常流行的现象。各种美图工具也孕育而生。很多软件都可以识别人脸的特征，对人脸进行一些有趣的处理。但是人们手机自拍时的背景往往很复杂，当软件想对人像做处理时，比如生成人物的素描图或者将人物动漫化，往往需要将背景分离出去。在分离的过程中，头发分割往往非常困难。在证件照背景替换软件中，头发也是一个非常难处理的问题，往往需要人工的参与。本专利技术提供一种自动头发分割，从而可以解决这个难题。2008年，发表在ICIP的论文Frequentialandcoloranalysisforhairmasksegmentation中，为了自动生成头发区域的遮蔽图，使用了头发区域的三个特征：1)头发分布在头部区域附近；2)头发由于其本身的特征，具有一种特殊的频率分布。3)在2)分析的频率遮蔽图基础上，构建头发颜色的模型，从而进一步优化头发区域遮蔽图。最后使用抠图算法生成头发区域的遮蔽图。虽然这种方法在大部分情况下有效，但是在背景与头发颜色相似的情况下，还是无法达到理想的结果。2011年，发表在IEEEAutomaticFaceGestureRecognitionandWorkshop的论文Anovelcoarse-to-finehairsegmentationmethod，提出了一种简单的方法进行头发分割。这篇论文的思想很简单，通过先使用ActiveSegmentationwithFixation(ASF)进行粗略的分割，然后使用GraphCuts(GC)进行更细致的分割。但是该研究结果也无法分辨与头发颜色相似的背景。从而导致分割不准确。在2016年发表在SIGGRAPH的论文，Autohair:FullyAutomaticHairModelingfromASingleImage中，通过先对头发分类，再在每个类中对头发进行分割。这种方法不仅可以分割头发区域，还可以预测头发的方向。但是这种方法不能解决侧脸的情况，因为在侧脸的时候无法检测到人脸的特征。对于人脸背向的情况，也是如此。
技术实现思路
本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种基于卷积神经网络的图像头发识别方法及其装置，可以解决现有技术中难以处理背景颜色与头发颜色相似的情况，以及无法在图像人脸偏转角度很大或人背面的情况下无法识别头发的问题。为了解决上述问题，本专利技术提出了一种基于卷积神经网络的图像头发识别方法，所述方法包括：收集图集，该图集包括训练图集和测试图集；对图集中的每一张图片进行标记，获得训练图集对应的头发区域遮掩训练图集和测试图集对应的头发区域遮蔽测试图集；对图集中的每一张图片进行预处理，获得与训练图集对应的YCrCb训练图集和频率遮蔽训练图集、与测试图集对应的YCrCb测试图集和频率遮蔽测试图集；检测图集中每一张图片的人像头部位置，获得训练图集对应的头部位置信息和测试图集对应的头部位置信息；基于全卷积网络构造头发全卷积网络HFCN；将YCrCb训练图集、频率遮蔽训练图集及训练图集的头部位置信息进行编码，输入到头发全卷积网络，同时，将头发区域遮蔽训练图集输入头发全卷积网络，对头发全卷积网络进行训练，获得训练好的头发全卷积网络；将YCrCb测试图集、频率遮蔽测试图集及测试图集的头部位置信息进行编码，并输入到训练好的头发全卷积网络，将输出的结果与头发区域遮蔽测试图集相比较，获得对头发全卷积网络的评估结果；将欲获取头发遮蔽图的图片输入头发全卷积网络，获得该图像头发区域的遮掩图。优选地，所述对所述图集中的每一张图片进行预处理的步骤，包括：对图集中每一张图片进行处理，生成YCrCb图，获得训练图集对应的YCrCb训练图集和测试图集对应的YCrCb测试图集；对图集中每一张图片进行处理，生成频率遮蔽图，获得训练图集对应的频率遮蔽训练图集和测试图集对应的频率遮蔽测试图集。优选地，所述基于全卷积网络构造头发全卷积网络HFCN的步骤，包括：确定头发全卷积网路的层数及每层的参数，获得头发全卷积网络参数信息；根据头发全卷积网络参数信息及卷积神经网络的构造原理获得头发全卷积网络。优选地，所述将YCrCb训练图集、频率遮蔽训练图集及训练图集的头部位置信息进行编码，输入到头发全卷积网络，同时，将头发区域遮蔽训练图集输入头发全卷积网络，对头发全卷积网络进行训练的步骤，包括：根据获得的头发全卷积网络参数信息确定网络训练参数，获得头发全卷积网络训练参数信息；根据头发全卷积网络训练参数信息及卷积神经网络训练网络的范式训练头发全卷积网络，获得训练好的头发全卷积网络。优选地，所述根据头发全卷积网络训练参数信息及卷积神经网络训练网络的范式训练头发全卷积网络，获得训练好的头发全卷积网络的步骤，包括：根据损失函数ε(θ)＝Σpe(XΘ(p)，l(p))获得误差值，其中，p是图像中像素的索引Xθ(p)是在像素p位置，参数为θ的全卷积回归函数，损失函数e(.，.)测量回归输出与真实值l(p)之间的误差；根据误差值，利用反向传播及随机梯度下降方法，更新网络参数，获得训练好的头发全卷积网络。相应地，本专利技术还提供一种基于卷积神经网络的图像头发识别装置，所述装置包括：收集模块，用于收集图集，该图集包括训练图集和测试图集；标记模块，用于对图集中的每一张图片进行标记，获得训练图集对应的头发区域遮掩训练图集和测试图集对应的头发区域遮蔽测试图集；预处理模块，用于对图集中的每一张图片进行预处理，获得与训练图集对应的YCrCb训练图集和频率遮蔽训练图集、与测试图集对应的YCrCb测试图集和频率遮蔽测试图集；人像头部检测模块，用于检测图集中每一张图片的人像头部位置，获得训练图集对应的头部位置信息和测试图集对应的头部位置信息；构造模块，用于基于全卷积网络构造头发全卷积网络HFCN；训练模块，用于将YCrCb训练图集、频率遮蔽训练图集及训练图集的头部位置信息进行编码，输入到头发全卷积网络，同时，将头发区域遮蔽训练图集输入头发全卷积网络，对头发全卷积网络进行训练，获得训练好的头发全卷积网络；测试模块，用于将YCrCb测试图集、频率遮蔽测试图集及测试图集的头部位置信息进行编码，并输入到训练好的头发全卷积网络，将输出的结果与头发区域遮蔽测试图集相比较，获得对头发全卷积网络的评估结果；输出模块，用于将欲获取头发遮蔽图的图片输入头发全卷积网络，获得该图像头发区域的遮掩图。优选地，所述预处理模块包括：YCrCb处理单元，用于对图集中每一张图片进行处理，生成YCrCb图，获得训练图集对应的YCrCb训练图集和测试图集对应的YCrCb测试图集；遮蔽图生成单元，用于对图集中每一张图片进行处理，生成频率遮蔽图，获得训练图集对应的频率遮蔽训练图集和测试图集对应的频率遮蔽测试图集。优选地，所述构造模块包括：参数收集单元，用于确定头发全卷积网路的层数及每层的参数，获得头发全卷积网络参数信息；构造单元，用于根据头发全卷积网络参数信息及卷积神经网络的构造原理获得头发全卷积网络。优选地，所述训练模块包括：参数确定单元，用于根据获得的头发全卷积网络参数信息确定网络训练参数，获得头发全卷积网络训练参数信息；网络训练单元，用于根据本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的图像头发识别方法，其特征在于，所述方法包括：收集图集，该图集包括训练图集和测试图集；对图集中的每一张图片进行标记，获得训练图集对应的头发区域遮掩训练图集和测试图集对应的头发区域遮蔽测试图集；对图集中的每一张图片进行预处理，获得与训练图集对应的YCrCb训练图集和频率遮蔽训练图集、与测试图集对应的YCrCb测试图集和频率遮蔽测试图集；检测图集中每一张图片的人像头部位置，获得训练图集对应的头部位置信息和测试图集对应的头部位置信息；基于全卷积网络构造头发全卷积网络HFCN；将YCrCb训练图集、频率遮蔽训练图集及训练图集的头部位置信息进行编码，输入到头发全卷积网络，同时，将头发区域遮蔽训练图集输入头发全卷积网络，对头发全卷积网络进行训练，获得训练好的头发全卷积网络；将YCrCb测试图集、频率遮蔽测试图集及测试图集的头部位置信息进行编码，并输入到训练好的头发全卷积网络，将输出的结果与头发区域遮蔽测试图集相比较，获得对头发全卷积网络的评估结果；将欲获取头发遮蔽图的图片输入头发全卷积网络，获得该图像头发区域的遮掩图。

【技术特征摘要】
1.一种基于卷积神经网络的图像头发识别方法，其特征在于，所述方法包括：收集图集，该图集包括训练图集和测试图集；对图集中的每一张图片进行标记，获得训练图集对应的头发区域遮掩训练图集和测试图集对应的头发区域遮蔽测试图集；对图集中的每一张图片进行预处理，获得与训练图集对应的YCrCb训练图集和频率遮蔽训练图集、与测试图集对应的YCrCb测试图集和频率遮蔽测试图集；检测图集中每一张图片的人像头部位置，获得训练图集对应的头部位置信息和测试图集对应的头部位置信息；基于全卷积网络构造头发全卷积网络HFCN；将YCrCb训练图集、频率遮蔽训练图集及训练图集的头部位置信息进行编码，输入到头发全卷积网络，同时，将头发区域遮蔽训练图集输入头发全卷积网络，对头发全卷积网络进行训练，获得训练好的头发全卷积网络；将YCrCb测试图集、频率遮蔽测试图集及测试图集的头部位置信息进行编码，并输入到训练好的头发全卷积网络，将输出的结果与头发区域遮蔽测试图集相比较，获得对头发全卷积网络的评估结果；将欲获取头发遮蔽图的图片输入头发全卷积网络，获得该图像头发区域的遮掩图。2.如权利要求1所述的基于卷积神经网络的图像头发识别方法，其特征在于，所述对所述图集中的每一张图片进行预处理的步骤，包括：对图集中每一张图片进行处理，生成YCrCb图，获得训练图集对应的YCrCb训练图集和测试图集对应的YCrCb测试图集；对图集中每一张图片进行处理，生成频率遮蔽图，获得训练图集对应的频率遮蔽训练图集和测试图集对应的频率遮蔽测试图集。3.如权利要求1所述的基于卷积神经网络的图像头发识别方法，其特征在于，所述基于全卷积网络构造头发全卷积网络HFCN的步骤，包括：确定头发全卷积网路的层数及每层的参数，获得头发全卷积网络参数信息；根据头发全卷积网络参数信息及卷积神经网络的构造原理获得头发全卷积网络。4.如权利要求1所述的基于卷积神经网络的图像头发识别方法，其特征在于，所述将YCrCb训练图集、频率遮蔽训练图集及训练图集的头部位置信息进行编码，输入到头发全卷积网络，同时，将头发区域遮蔽训练图集输入头发全卷积网络，对头发全卷积网络进行训练的步骤，包括：根据获得的头发全卷积网络参数信息确定网络训练参数，获得头发全卷积网络训练参数信息；根据头发全卷积网络训练参数信息及卷积神经网络训练网络的范式训练头发全卷积网络，获得训练好的头发全卷积网络。5.如权利要求4所述的基于卷积神经网络的图像头发识别方法，其特征在于，所述根据头发全卷积网络训练参数信息及卷积神经网络训练网络的范式训练头发全卷积网络，获得训练好的头发全卷积网络的步骤，包括：根据损失函数ε(θ)＝∑pe(Xθ(p)，l(p))获得误差值，其中，p是图像中像素的索引Xθ(p)是在像素p位置，参数为θ的全卷积回归函数，损失函数e(.，.)测量回归输出与真实值l(p)之间的误差；根据误差值，利用反向传播及随机梯度...

【专利技术属性】
技术研发人员：刘文奇，曾坤，龚永义，罗笑南，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44