基于深度卷积神经网络的人体图像头发检测方法技术

本发明专利技术公开了一种基于深度卷积神经网络的人体图像头发检测方法，主要解决了现有技术中检测效率低，适应性差的问题。其实现方案包括：1)获取人体图像的超像素分割图像；2)对超像素分割图像进行标记；3)从人体图像中提取图像块；4)从图像块中获取训练样本；5)构建深度卷积神经网络并通过训练样本对其进行训练；6)获取待估计头发位置的人体图像的超像素分割图像；7)提取待估计头发位置的人体图像的图像块，并用训练好的深度卷积神经网络对其进行分类；8)生成待估计头发位置的人体图像头发检测结果。本发明专利技术减小了提取特征算子复杂度和计算量，提高了鲁棒性和应用范围，可用于3D打印、虚拟试衣、人体测量学以及影视游戏模型构建。

Human hair detection based on deep convolution neural network

The invention discloses a human image hair detection method based on the deep convolution neural network, which mainly solves the problem of low detection efficiency and poor adaptability in the existing technology. The scheme includes: 1) obtaining the super pixel segmentation image of the human image; 2) marking the super pixel segmentation image; 3) extracting the image block from the human image; 4) obtaining the training samples from the image block; 5) constructing the deep convolution neural network and training it through the training sample; 6) to obtain the person to be to be estimated the position of the hair. The super pixel segmentation image of the body image; 7) extract the image block of the human image to be estimated, and use the trained deep convolution neural network to classify it; 8) to generate the hair detection results of the body image to be estimated. The invention reduces the complexity and computational complexity of extracting feature operators, improves the robustness and application range, and can be used in 3D printing, virtual fitting, anthropometry, and video game model construction.

【技术实现步骤摘要】
基于深度卷积神经网络的人体图像头发检测方法
本专利技术属于图像处理
，更进一步涉及一种人体图像中头发位置检测的方法，可应用于3D打印、虚拟试衣、人体测量学以及影视游戏模型构建。
技术介绍
目标检测是计算机视觉领域中一个基础性的研究课题，它的目标是检测和识别输入图像中已知特定的某个或多个物体或者分类并定位预定义类别涵盖的所有可能区域。人体图像中头发位置估计是目标检测领域中逐渐兴起的一个分支。目标检测是大量高级视觉任务的必备前提，包括活动或事件识别、场景内容理解等。而且目标检测也被应用到很多实际任务，例如智能视频监控，图像检索，机器人导航等。目标检测对计算机视觉领域和实际应用具有重要意义,在过去几十年里激励大批研究人员密切关注并投入研究在真实场景中，但对于检测大场景中的小目标时，因为目标通常只占据整个场景的小部分而且可能被其它物体遮挡,或者场景中伴随出现视觉上相似的背景结构，所以这些情形的出现也对目标检测任务构成极大的挑战。对人体图像中头发位置进行估计也属于这种在场景中检测小目标的情况，它的目的不仅要对输入小图像块进行细致分类，头发或者非头发，更要求对一幅整体图像上的头发进行精确定位并且描绘出头发轮廓，为后期的图像处理做准备。因为头发的纹理特征比较少，因此在提取合适特征上存在一定的难度。目前的有效的估计人体图像中头发位置的方法不是很优秀，并不能达到很高的精确度。深度学习是近年来国际上的研究热点，与现有技术中的需要人工设计的特征提取方法相比，它可以自动提取到图像中更加抽象、本质的特征，有利于图像的分类和识别。AndrewKae、KihyukSohn、HonglakLee、ErikLearned-Miller四人在其发表的论文“AugementingCRFswithBoltzmannMachineShapePriorsforImageLabeling”(IEEEConferenceonComputerVisionandPatternRecognition，2013，2019-2026)中提出了一种将玻尔兹曼机和条件随机场相结合的方法来对人体局部标注的方法。该方法中将深度学习中的玻尔兹曼机与条件随机场相结合，首先对人体图像上的头发、人体和背景三部分进行图像标注，形成多个标注好的图像块；然后利用条件随机场，对图像的局部边缘部分进行处理，使得分割边缘更为精准；然后利用玻尔兹曼机对图像在全局上进行处理，包括降维、分类、学习，最终得到一个可以实现对人体图像上头发进行位置估计的网络模型。该方法存在的不足之处是，其一，由于该算法需要对图像人工提取特征，在对大量图像进行处理时，每次都需人工提取特征，大大增加了该算法的复杂度，降低了效率，其二，由于人工提取图像特征，对复杂背景的人体图像处理时，不能保证提取到最合适的特征，降低了该算法的精度。乐视控股(北京)有限公司在其申请的专利文献“发型识别方法及发型识别装置”(专利申请号：201610743694.7，申请公布号：CN106372652A)中提出一种发型识别方法及发型识别装置。该方法首先预设图像库和N种发型，图像库中都是与给出的N种发型相对应的图像，其中，每种发型对应至少2个图像；然后将待识别的图像与所述的图像库中的各图像一一对比，分别获得待识别图像与所述图像库中各图像的相似度；最终利用的到的各相似度确定待识别图像的发型。该方法存在的不足之处是，对比数据库中的发型数量有限，在实际应用中，面对各种各样的发型，不能精确的确定图像的具体发型，有极大的局限性。
技术实现思路
本专利技术的目的在于针对已有技术的不足，提出一种基于深度卷积神经网络的人体图像头发检测方法，以减小计算量，提高检测准确度和适应性。为实现上述目的，本专利技术的技术方法包括训练深度卷积神经网络和估计人体图像中头发位置两个阶段：第一个阶段，训练深度卷积神经网络的步骤如下：(1)输入待训练的人体图像，利用基于线性迭代聚类的超像素分割算法，对人体图像进行超像素分割，得到人体图像的超像素分割图像；(2)在所得人体图像的超像素分割图像中，对属于头发区域的所有超像素块，属于人体区域的所有超像素块和属于背景区域的所有超像素块分别进行标记；(3)以超像素聚类中心点位置为中心，在人体图像上提取大小为33*33*3图像块；(4)获取训练样本：(4a)对于提取到的每一个图像块，在超像素分割图像中的相同区域内，将属于头发的像素点数目大于属于脸部及背景的像素点数目的图像块归为第1类，将属于头发的像素点数目大于属于脸部及背景的像素点数目的图像块归为第2类，其中，第1类表示头发类，第2类表示属于非头发类；(4b)将每一个图像块和该图像块的类别组成一个样本，将所有样本作为深度卷积神经网络的训练样本；(5)构建并训练深度卷积神经网络：(5a)设计含有9层的深度卷积神经网络，该9层依次是卷积层Conv1、池化层Pool2、卷积层Conv3、池化层Pool4、卷积层Conv5、池化层Pool6、全连接层Fc7、全连接层Fc8和分类层Softmax9；(5b)将训练样本输入到(5a)设计的深度卷积神经神经网络中，利用深度学习框架caffe，对深度卷积神经网络进行训练，获得训练好的深度卷积神经网络；第二个阶段，估计人体图像中头发位置的步骤如下：(6)输入一幅待估计头发位置的人体图像，利用基于线性迭代聚类的超像素分割算法对人体图像进行超像素分割，得到人体图像的超像素分割图像；(7)以超像素聚类中心点位置为中心，在人体图像上提取大小为33*33*3图像块；(8)利用训练好的深度卷积神经网络提取图像块的特征，Softmax9层根据每一个图像块的特征，输出该图像块的类别，即头发类1或者非头发类2；(9)估计人体图像中头发的位置：(9a)读入一幅与人体图像行数和列数相同的所有灰度值全为0的二维灰度图像；(9b)将所有超像素聚类中心点位置与第1类图像块中心点位置相同的超像素块，标记为第1类；将所有超像素聚类中心点位置与第2类图像块中心点位置相同的超像素块，标记为第2类；(9c)将灰度图像中与所有第1类超像素块的位置相同区域的灰度值标记为0，将灰度图像中与所有第2类超像素块的位置相同区域的灰度值标记为255，人体图像中的黑色区域即灰度值为0的像素点为头发检测结果。本专利技术与现有技术相比具有以下优点：第一，本专利技术采用深度卷积神经网络对人体图像中图像块提取特征，通过深度卷积神经网络自主学习特征，避免了现有技术中需要人工提取特征的过程，而且深度卷积神经网络自主学习的特征具有更高的鲁棒性，降低了复杂性，提高了分类的精度，对复杂背景具有更强的适应性。第二，本专利技术采用训练好的深度卷积神经网络对人体图像中图像块进行分类，克服了现有技术中处理多幅人体图像时，耗费大量时间的问题，降低了计算量，缩短了检测所需的时间，提高了效率。第三，本专利技术采用深度卷积神经网络对人体图像进行头发检测，克服了现有技术中仅能识别固定数量发型的问题，可以估计出各种各样的发型，增加了应用范围。附图说明图1是本专利技术的实现流程图；图2是本专利技术中的深度卷积神经网络结构；图3是本专利技术使用的人体图像示意图；图4是本专利技术中对人体图像进行超像素分割所得图像；图5是本专利技术中以超像素聚类中心点为中心提取的33*33*3的图像块；图本文档来自技高网...

【技术保护点】
1.基于深度卷积神经网络的人体图像头发检测方法，包括训练与估计两个阶段，其特征在于：第一个阶段，训练深度卷积神经网络的步骤如下：(1)输入待训练的人体图像，利用基于线性迭代聚类的超像素分割算法，对人体图像进行超像素分割，得到人体图像的超像素分割图像；(2)在所得人体图像的超像素分割图像中，对属于头发区域的所有超像素块，属于人体区域的所有超像素块和属于背景区域的所有超像素块分别进行标记；(3)以超像素聚类中心点位置为中心，在人体图像上提取大小为33*33*3图像块；(4)获取训练样本：(4a)对于提取到的每一个图像块，在超像素分割图像中的相同区域内，将属于头发的像素点数目大于属于脸部及背景的像素点数目的图像块归为第1类，将属于头发的像素点数目大于属于脸部及背景的像素点数目的图像块归为第2类，其中，第1类表示头发类，第2类表示属于非头发类；(4b)将每一个图像块和该图像块的类别组成一个样本，将所有样本作为深度卷积神经网络的训练样本；(5)构建并训练深度卷积神经网络：(5a)设计含有9层的深度卷积神经网络，该9层依次是卷积层Conv1、池化层Pool2、卷积层Conv3、池化层Pool4、卷积层Conv5、池化层Pool6、全连接层Fc7、全连接层Fc8和分类层Softmax9；(5b)将训练样本输入到(5a)设计的深度卷积神经神经网络中，利用深度学习框架caffe，对深度卷积神经网络进行训练，获得训练好的深度卷积神经网络；第二个阶段，估计人体图像中头发位置的步骤如下：(6)输入一幅待估计头发位置的人体图像，利用基于线性迭代聚类的超像素分割算法对人体图像进行超像素分割，得到人体图像的超像素分割图像；(7)以超像素聚类中心点位置为中心，在人体图像上提取大小为33*33*3图像块；(8)利用训练好的深度卷积神经网络提取图像块的特征，并根据每一个图像块的特征，输出该图像块的类别，即头发类1或者非头发类2；(9)估计人体图像中头发的位置：(9a)读入一幅与人体图像行数和列数相同的所有灰度值全为0的二维灰度图像；(9b)将所有超像素聚类中心点位置与第1类图像块中心点位置相同的超像素块，标记为第1类；将所有超像素聚类中心点位置与第2类图像块中心点位置相同的超像素块，标记为第2类；(9c)将灰度图像中与所有第1类超像素块的位置相同区域的灰度值标记为0，将灰度图像中与所有第2类超像素块的位置相同区域的灰度值标记为255，人体图像中的黑色区域即灰度值为0的像素点为头发检测结果。...

【技术特征摘要】
1.基于深度卷积神经网络的人体图像头发检测方法，包括训练与估计两个阶段，其特征在于：第一个阶段，训练深度卷积神经网络的步骤如下：(1)输入待训练的人体图像，利用基于线性迭代聚类的超像素分割算法，对人体图像进行超像素分割，得到人体图像的超像素分割图像；(2)在所得人体图像的超像素分割图像中，对属于头发区域的所有超像素块，属于人体区域的所有超像素块和属于背景区域的所有超像素块分别进行标记；(3)以超像素聚类中心点位置为中心，在人体图像上提取大小为33*33*3图像块；(4)获取训练样本：(4a)对于提取到的每一个图像块，在超像素分割图像中的相同区域内，将属于头发的像素点数目大于属于脸部及背景的像素点数目的图像块归为第1类，将属于头发的像素点数目大于属于脸部及背景的像素点数目的图像块归为第2类，其中，第1类表示头发类，第2类表示属于非头发类；(4b)将每一个图像块和该图像块的类别组成一个样本，将所有样本作为深度卷积神经网络的训练样本；(5)构建并训练深度卷积神经网络：(5a)设计含有9层的深度卷积神经网络，该9层依次是卷积层Conv1、池化层Pool2、卷积层Conv3、池化层Pool4、卷积层Conv5、池化层Pool6、全连接层Fc7、全连接层Fc8和分类层Softmax9；(5b)将训练样本输入到(5a)设计的深度卷积神经神经网络中，利用深度学习框架caffe，对深度卷积神经网络进行训练，获得训练好的深度卷积神经网络；第二个阶段，估计人体图像中头发位置的步骤如下：(6)输入一幅待估计头发位置的人体图像，利用基于线性迭代聚类的超像素分割算法对人体图像进行超像素分割，得到人体图像的超像素分割图像；(7)以超像素聚类中心点位置为中心，在人体图像上提取大小为33*33*3图像块；(8)利用训练好的深度卷积神经网络提取图像块的特征，并根据每一个图像块的特征，输出该图像块的类别，即头发类1或者非头发类2；(9)估计人体图像中头发的位置：(9a)读入一幅与人体图像行数和列数相同的所有灰度值全为0的二维灰度图像；(9b)将所有超像素聚类中心点位置与第1类图像块中心点位置相同的超像素块，标记为第1类；将所有超像素聚类中心点位置与第2类图像块中心点位置相同的超像素块，标记为第2类；(9c)将灰度图像中与所有第1类超像素块的位置相同区域的灰度值标记为0，将灰度图像中与所有第2类超像素块的位置相同区域的灰度值标记为255，人体图像中的黑色区域即灰度值为0的像素点为头发检测结果。2.根据权利要求1所述的方法，其特征在于：步骤(1)中利用基于线性迭代聚类的超像素分割算法，对人体图像进行超像素分割，其实现如下：(1a)输入超像素聚类中心点的总数K；(1b)按照下式，计算每一个超像素聚类中心点与其四周相邻超像素聚类中心点的距离：其中，S表示每一个超像素聚类中心点与其四周相邻超像素聚类中心点之间的距离，N表示人体图像上像素点的总数，K表示超像素聚类中心点的总数；(1c)利用每一个超像素聚类中心点与其四周相邻超像素聚类中心点的距离，按照人体图像上每一行的每一个超像素聚类中心点与左右两个超像素聚类中心点之间距离相等的原则和人体图像上每一列的每一个超像素聚类中心点与上下两个超像素聚类中心点之间距离相等的原则，完成对人体图像上所有超像素聚类中心点位置的初始化；(1d)计算每一个超像素聚类中心点的3*3大小邻域内所有像素点的梯度值，用每个邻域内梯度值最小的像素点代替该邻域内当前的超像素聚类中心点，得到该邻域一个新的超像素聚类中心点；(1e)按照人体图像上的所有超像素聚类中心点从左到右、从上到下的顺序，将第一个超像素聚类中心点的2S*2S邻域内所有像素点类别标记为0，第二个超像素聚类中心点的2S*2S邻域内所有像素点类别标记为1，直到将最后一个超像素聚类中心点的2S*2S邻域内所有像素点类别标记为K-1，完成对人体图像上每一个超像素聚类中心点的2S*2S邻域内所有像素...

【专利技术属性】
技术研发人员：孟红云，张小华，补婧，田小林，朱虎明，曹向海，侯彪，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61