一种使用全卷积神经网络生成证件照Trimap图的方法技术

本发明专利技术公开了一种使用全卷积神经网络生成证件照Trimap图的方法，包括步骤：1)数据输入；2)对全卷积神经网络模型进行训练；3)使用完成训练的模型对输入图片进行分割。本发明专利技术主要解决的问题是通过自己建立的包含人头像包括肩膀区域的证件照数据集，构建网络模型，并使用数据集对这个网络模型进行训练。训练完成后，网络模型将能够对人头像包括肩膀区域进行具有较高精确度的分割。本发明专利技术具有精确度高、抗噪性好、使用简单、效率高、速度快等优点。与现有的方法相比，本发明专利技术首次实现了对证件照进行Trimap图分割的处理，为抠图提供了良好的输入，同时，本发明专利技术方法在肩膀和衣服的识别、分割方面取得了更好的效果。

【技术实现步骤摘要】
一种使用全卷积神经网络生成证件照Trimap图的方法
本专利技术涉及计算机视觉的
，尤其是指一种使用全卷积神经网络生成证件照Trimap图的方法。
技术介绍
证件照是各类证件中证明持有者身份的相片。人们在日常生活中需要办理各种各样的证件，而为制作这些证件所拍摄的照片也需经过特定的处理才能使用。一种很常见的证件照的处理方式是替换照片背景颜色，所涉及到的核心技术包括图像分割与抠图。大部分效果理想的抠图算法都依赖于Trimap图的输入，Trimap图的质量也直接影响了抠图结果，而目前针对Trimap自动生成的研究甚少，手工对图片进行标记对人力和时间的耗费也都不小，因此自动生成高质量的Trimap图的意义不言而喻。如果待处理的图片具有某些特定的相似的性质，我们就可以利用这些更加具体的特征来进行Trimap图自动生成的工作。通常，证件照具有背景简单、人像位置规范的特点，这些共有的特性为寻找一种用于证件照分割的方法提供了非常有价值的信息。然而由于拍摄环境、拍摄技术以及人们自身发型、衣服等因素的影响，用户提供的照片可能存在曝光不均匀、模糊、聚焦不清，头发丝过于散乱、衣服颜色与背景相近等问题，现有的研究成果在处理这类照片时往往得不到理想的效果，这也是处理这类问题的难点。目前，C.Rother等人提出一种利用了图像中的纹理信息和边界信息来进行分割的Grabcut算法，如文献[C.Rother,V.Kolmogorov,andA.Blake.“GrabCut”—InteractiveForegroundExtractionusingIteratedGrapCuts.InACMTransactionsonGraphics,2004,23(3):309-314.]，该算法对Graghcut做了改进，不断进行分割估计和模型参数学习的交互迭代，简化了用户交互，通过bordermatting技术让边缘更加自然。此外，还有学者对证件照分割问题提出了有针对性的算法，如文献[谭文双.证件照人像自动抠图与合成.华南理工大学,2014.]，该工作提出一种基于Grabcut图像分割的Trimap图自动生成方法，改进了Bayesian算法，在原算法基础上加入了α平滑约束项，提高了抠图的效果，并构建了一个抠图系统，自动处理成功率达到75％以上。文献[钟超军.证件照人脸自动偏色校正和高光去除.华南理工大学,2015.]提出一种基于二次函数的色彩映射方法来解决证件照中的偏色，自动处理的成功率达到70％以上。作者在经典的编辑传播的方法上加入了模糊来编辑人脸的局部区域，克服了经典编辑传播方法在编辑人脸局部区域时会影响人脸其他区域的问题。近年来，全卷积网络被应用在图像分割领域，取得了很好的效果。J.Long等人改编当前的分类网络(AlexNet,theVGGnet,andGoogLeNet)到完全卷积网络，并通过微调传递它们的学习表现到分割任务中，如文献[J.Long,E.Shelhamer,andT.Darrell.FullyConvolutionalNetworksforSemanticSegmentation.IEEETransactionsonPatternAnalysis&MachineIntelligence,2015,79(10):1337-1342.]。该工作将图像预测扩展到像素级别的预测，它定义了一个跳跃式的架构，结合来自深层的语义信息和来自浅层的表征信息来产生准确和精细的分割。全卷积网络在图像分割问题中有非常出色的表现。X.Shen等人提出了一种用于肖像的自动抠图方法，如文献[X.Shen,X.Tao,H.Gao,C.Zhou,andJ.Jia.Deepautomaticportraitmatting.InProceedingsofECCV2016,92-107.]，该方法不需要用户交互，它基于一种具有几个新组件的端到端CNN框架，包括trimap标记、形状掩模合并和抠图层设计。但当背景和前景对比度很低或未知区域很大时，这种方法并不能取得理想的效果。本专利技术在了解和认识了近年来的研究状况后，探究利用全卷积神经网络来进行证件照分割及生成Trimap图的方法。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出了一种使用全卷积神经网络生成证件照Trimap图的方法，以提高证件照头像抠图的质量。这种方法在肩膀和衣服的识别、分割方面取得了较好的效果。为实现上述目的，本专利技术所提供的技术方案为：一种使用全卷积神经网络生成证件照Trimap图的方法，包括以下步骤：1)数据输入给定任意分辨率的一张证件照，其保存格式为jpg图片，将这个jpg格式的图片作为网络的输入，由网络直接读取；2)对全卷积神经网络模型进行训练对全卷积神经网络模型进行训练，训练使用包含人体头像(包括肩膀)区域的图像数据集进行训练；3)使用完成训练的模型对输入图片进行分割使用一个全卷积神经网络对输入的数据进行特征提取，并进行分割，全卷积神经网络的输出是一张单通道的图片，是对证件照的分割图像，保存的图像格式为png格式，分割结果为Trimap图，即将图像分为三个部分，前景、背景和它们之间的过渡区域。在步骤2)中，建立的数据集为：数据集来源为实验室项目需要采集的一批证件照，采集后对它们进行筛选，确保涵盖男性、女性，老年人、成年人、儿童，长发、短发，直发、卷发，各种颜色的衣服，灰色和蓝色背景的不同证件照，并剔除那些曝光不均匀、聚焦不清的照片；所有图片都基于人像位置被裁剪为相同的尺寸，以保证人像的可用性；为了提高分割精度，使用数据增强的方法对数据集进行增强，数据增强的方法有缩放、旋转和添加噪声；缩放是对图片进行尺寸缩放，采用的缩放比例有0.6，0.8，1.2和1.5倍；旋转则主要有45°旋转、-45°旋转、135°旋转、-135°旋转；添加的噪声为标准的高斯噪声。在步骤2)中，使用的训练方法为：训练过程中需要输入标签以计算损失值进行权值更新，与图像分类中使用的标签不同，图像分割的标签需要对每一个像素进行标记，因此需要先人工对证件照进行标注；此次分割任务是获得证件照的Trimap图，因此将图片中的物体分为3类，第一类为确定前景，即人的头像包括肩膀区域，第二类为确定背景，第三类为确定前景和确定背景之间的过渡区域；在制作标签集时，首先使用一个可交互的自动Trimap图生成软件对图像进行人工的头像区域分割，做法是先用软件进行初步分割标记，该软件能自动地大致分割出前景、背景和过渡区域，对于分割不准确的部分，再用交互的方式进行编辑修正；每个区域都使用一个纯色RGB值进行标记；由于网络最后的输出是一张单通道图片，为了与之相对应，因此标签集的图片也必须为单通道的图片，为此，使用图像处理算法对上述图片进行处理，转换为单通道的灰度图片，图片格式为jpg；本次完成的标签集的标签规划是将背景区域的像素标记为0，过渡区域的像素标记为1，前景区域的像素标记为2，因此将背景区域的像素值全部修改为0，过渡区域的像素值全部修改为1，人的头像包括肩膀区域的像素值全部修改为2，这些图片也即是最终作为网络输入的标签集的图片，图片格式为png；训练过程使用带动量的随机梯度下降法优化函数进行训练，训练当中使用的初始本文档来自技高网...

【技术保护点】
1.一种使用全卷积神经网络生成证件照Trimap图的方法，其特征在于，包括以下步骤：1)数据输入给定任意分辨率的一张证件照，其保存格式为jpg图片，将这个jpg格式的图片作为网络的输入，由网络直接读取；2)对全卷积神经网络模型进行训练对全卷积神经网络模型进行训练，训练使用包含人体头像区域的图像数据集进行训练，其中，人体头像包括肩膀；3)使用完成训练的模型对输入图片进行分割使用一个全卷积神经网络对输入的数据进行特征提取，并进行分割，全卷积神经网络的输出是一张单通道的图片，是对证件照的分割图像，保存的图像格式为png格式，分割结果为Trimap图，即将图像分为三个部分，前景、背景和它们之间的过渡区域。

【技术特征摘要】
1.一种使用全卷积神经网络生成证件照Trimap图的方法，其特征在于，包括以下步骤：1)数据输入给定任意分辨率的一张证件照，其保存格式为jpg图片，将这个jpg格式的图片作为网络的输入，由网络直接读取；2)对全卷积神经网络模型进行训练对全卷积神经网络模型进行训练，训练使用包含人体头像区域的图像数据集进行训练，其中，人体头像包括肩膀；3)使用完成训练的模型对输入图片进行分割使用一个全卷积神经网络对输入的数据进行特征提取，并进行分割，全卷积神经网络的输出是一张单通道的图片，是对证件照的分割图像，保存的图像格式为png格式，分割结果为Trimap图，即将图像分为三个部分，前景、背景和它们之间的过渡区域。2.根据权利要求1所述的一种使用全卷积神经网络生成证件照Trimap图的方法，其特征在于，在步骤2)中，建立的数据集为：数据集来源为实验室项目需要采集的一批证件照，采集后对它们进行筛选，确保涵盖男性、女性，老年人、成年人、儿童，长发、短发，直发、卷发，各种颜色的衣服，灰色和蓝色背景的不同证件照，并剔除那些曝光不均匀、聚焦不清的照片；所有图片都基于人像位置被裁剪为相同的尺寸，以保证人像的可用性；为了提高分割精度，使用数据增强的方法对数据集进行增强，数据增强的方法有缩放、旋转和添加噪声；缩放是对图片进行尺寸缩放，采用的缩放比例有0.6，0.8，1.2和1.5倍；旋转则主要有45°旋转、-45°旋转、135°旋转、-135°旋转；添加的噪声为标准的高斯噪声。3.根据权利要求1所述的一种使用全卷积神经网络生成证件照Trimap图的方法，其特征在于，在步骤2)中，使用的训练方法为：训练过程中需要输入标签以计算损失值进行权值更新，与图像分类中使用的标签不同，图像分割的标签需要对每一个像素进行标记，因此需要先人工对证件照进行标注；此次分割任务是获得证件照的Trimap图，因此将图片中的物体分为3类，第一类为确定前景，即人的头像包括肩膀区域，第二类为确定背景，第三类为确定前景和确定背景之间的过渡区域；在制作标签集时，首先使用一个可交互的自动Trimap图生成软件对图像进行人工的头像区域分割，做法是先用软件进行初步分割标记，该软件能自动地大致分割出前景、背景和过渡区域，对于分割不准确的部分，再用交互的方式进行编辑修正；每个区域都使用一个纯色RGB值进行标记；由于网络最后的输出是一张单通道图片，为了与之相对应，因此标签集的图片也必须为单通道的图片，为此，使用图像处理算法对上述图片进行处理，转换为单通道的灰度图片，图片格式为jpg；本次完成的标签集的标签规划是将背景区域的像素标记为0，过渡区域的像素标记为1，前景区域的像素标记为2，因此将背景区域的像素值全部修改为0，过渡...

【专利技术属性】
技术研发人员：邹歆仪，李桂清，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44