一种基于生成对抗网络的像素级人像抠图方法技术

本发明专利技术公开了一种基于生成对抗网络的像素级人像抠图方法，解决了机器抠图领域需要海量制作成本巨大的数据集训练优化网络的问题。本发明专利技术预先设置对抗学习模式的生成网络和判别网络，生成网络为具有跳跃连接的深度神经网络；将含有人像的真实图像输入生成网络输出人景分割图像；将第一和第二图像对分别输入到判别网络输出判别概率，确定生成网络和判别网络的损失函数；根据最小化两个网络损失函数值调整两个网络的配置参数，完成生成网络的训练；测试图像输入到训练完成后的生成网络以生成人景分割图像，将生成图像概率化，最后将概率矩阵送入条件随机场进一步优化。本发明专利技术批量性地减少了训练用图数量，提高了效率和分割精度。

【技术实现步骤摘要】
一种基于生成对抗网络的像素级人像抠图方法
本专利技术涉及计算机视觉
，尤其涉及像素级人像抠图方法，具体是一种基于生成对抗网络的像素级人像抠图方法，用于人像与背景分离。
技术介绍
人像抠图一直是计算机视觉领域的一个热点问题。像素级人像抠图要求精确地将一个对象的前景从背景中提取出来，属于更为精细的二分类语义分割问题。随着电子商务的飞速发展，人像抠图有非常广阔的应用场景，比如越来越多的人选择在网络上购买服装，于是电商的以图搜物功能应运而生。准确的搜索到相似的服装是一件很困难的事情，所以有必要将图片中的人像分割出来。又如随着各种人像美化软件的兴起，其中的背景虚化功能也需要将人像与背景精准地区分。又比如在破案监控中，将监控得到的人像进行预处理，以便快速定位搜索目标。但是在大多数图像中，背景比较复杂，前景与背景精确区分技术还有待提高。在深度学习时代之前，人们解决相关语义分割问题主要是使用基于像素的聚类方法和基于“图划分”(GraphPartitioning)算法，传统基于图划分的语义分割方法都是将图像抽象为图(Graph)的形式，然后借助图理论中的算法进行图像的语义分割，此方法的主要缺点是如果背景比较复杂或者背景和目标相似度很大，分割效果不好，且速度很慢。随着人工智能2.0时代的到来，深度学习技术的发展，计算机能力的提升，以及大数据的产生，为语义分割技术的发展奠定了良好环境。目前已经有很多基于深度神经网络的模型用于语义分割，例如全卷积网络(FCN)，通过使用上采样的反卷积层，得到端到端的密集预测。但因为其因网络结构简单，往往需要很多训练集图像来训练网络。除此之外，用于像素级人像抠图的数据集偏少，数据集的标定与制作成本巨大，一张训练标注图像样本需要半小时的人工标定，然而基于全卷积网络的分割模型需要数万张的训练集图像才能取得较好的结果，可见人工标注得到可用数据集耗时耗力。
技术实现思路
本专利技术的目的是针对上述现有技术的不足，提出了一种运用较少训练集图像得到较好分割结果的基于生成对抗网络的像素级人像抠图的方法。本专利技术是一种基于生成对抗网络的像素级人像抠图方法，针对含有人像的真实图像，通过人工标注的方式得到真实人像与背景分离的标注图像，其特征在于，包括有如下步骤：(1)预设网络：预先设置生成网络以及判别网络，将两个网络设置为对抗学习模式，所述生成网络以及判别网络的类型均为深度神经网络，其中，生成网络为具有跳跃连接的深度神经网络，也简称为生成网络；(2)生成分割图像：将含有人像的真实图像输入生成网络，输出人像与背景分离的分割图像，简称生成人景分割图像；(3)计算损失函数值：将含有人像的真实图像和生成人景分割图像作为第一图像对，含有人像的真实图像与标注图像作为第二图像对，分别输入判别网络。通过判别网络计算出假判别概率和真判别概率，利用判别网络的损失函数公式和生成网络的损失函数公式，得到判别网络的损失函数值和生成网络的损失函数值；(4)更新网络参数：分别最小化判别网络的损失函数值和生成网络的损失函数值，利用深度神经网络后向传播算法，迭代更新生成网络和判别网络各参数的取值，完成生成网络和判别网络的训练；(5)生成测试集人景分割图像：当生成网络训练完成后，接收待分割的含有人像的真实图像，将其输入到已经训练完成的生成网络中，在该网络中通过迭代计算，生成网络输出测试集的生成人景分割图像；(6)优化分割图像，完成人像抠图：将生成网络输出测试集的生成人景分割图像概率化，将测试集的人景概率矩阵作为条件随机场的输入，使用条件随机场对概率化后的人像分割图像进行进一步细化，完成基于生成对抗网络的人像抠图。与现有技术技术相比，本专利技术的技术优势是：一、本专利技术基于生成对抗网络，相较于全卷积网络，生成对抗网络的结构较为复杂，参数较多，容易学到人像与背景图像更细节的特征，比如形状，颜色等，因而分割精度更高。FCN网络需要运用数万张训练集图像训练网络，才能得到较好的人像与背景分离的分割效果。而本专利技术使用的训练集图像数量少于FCN网络训练集图像量达2个数量级，提高了训练速度。本专利技术为人像与背景分割提供了一种新方法。二、除此之外，本专利技术运用具有跳跃连接的深度神经网络，在训练生成网络时，有助于使网络快速收敛，在比较短的时间内，得到较好的分割效果。在生成网络的解码器层加入了随机失活机制，防止因为网络参数过多、网络结构复杂，导致的过拟合。以上两种机制增强了生成对抗网络的健硕性，提升了网络训练的速度。三、通过应用本专利技术的技术方案，在预先设置生成网络以及判别网络后，生成网络与判别网络相互对抗学习，并对生成图像送入条件随机场进行进一步优化，提升了人像边缘的分割平滑度。附图说明图1为本专利技术的一种生成网络的结构示意图；图2为本专利技术的一种编码器结构示意图；图3为本专利技术的一种解码器结构示意图；图4为本专利技术的一种判别网络的结构示意图；图5为本专利技术的基于条件随机场对测试生成人景分割图像的优化流程图；图6为本专利技术的像素级人像抠图分割流程示意图；图7为本专利技术具体实施例所公开的人像与背景分离的分割效果图。具体实施方式以下结合附图，对本专利技术作详细说明。实施例1本专利技术针对现有的人像抠图方法中需要海量训练集图像导致效率低下的问题，展开了研究与创新，提出了一种基于生成对抗网络的像素级人像抠图方法。针对含有人像的真实图像，和全卷积网络训练模型一样，本专利技术也需要通过人工标注的方式得到真实人像与背景分离的标注图像，但训练集图像的数量却少了很多。参见图7b，这是通过人工标注的人像与背景分离图像。参见图6，本专利技术的人像抠图方法包括有如下步骤：(1)预设网络：预先设置生成网络以及判别网络，将两个网络设置为对抗学习模式，也即生成网络的损失函数通过判别网络的损失函数得到。所述生成网络以及所述判别网络的类型均为深度神经网络，其中，生成网络为具有跳跃连接的深度神经网络，也简称为生成网络。生成网络主要以卷积层、编码器层组、解码器层组、反卷积层组成，参见图1。以信息处理流向依次连接有人像图像输入层、卷积层、编码器层组、解码器层组、反卷积层、分割图像输出层。编码器层组和解码器层组的数量一一对应，每一个编码器层与对应的解码器层都有跳跃连接。对抗网络由5个卷积层与激活函数组成，参见图4。(2)生成分割图像：在含有人像的真实图像输入生成网络之前，需要对输入图像进行预处理，比如图像分辨率修改，图片裁剪归一化，图像翻转等，通过生成网络计算，进而输出人像与背景分离的分割图像，简称生成人景分割图像。(3)计算损失函数值：将含有人像的真实图像和生成网络输出的生成人景分割图像作为第一图像对，含有人像的真实图像与标注图像作为第二图像对，分别输入判别网络。通过判别网络权重计算出假判别概率和真判别概率，利用判别网络的损失函数公式和生成网络的损失函数公式，得到判别网络的损失函数值和生成网络的损失函数值。(4)更新网络参数：分别最小化判别网络的损失函数值和生成网络的损失函数值，利用深度神经网络后向传播算法，迭代更新生成网络和判别网络各参数的取值，完成生成网络和判别网络的训练。将完成训练的生成网络用于生成测试人景分割图像，而判别网络在测试时不再使用。(5)生成测试集人景分割图像：当生成网络训练完成后，生成网络接收待分割的含有人像的真实图像，即本文档来自技高网...

【技术保护点】
一种基于生成对抗网络的像素级人像抠图方法，针对含有人像的真实图像，通过人工标注的方式得到真实人像与背景分离的标注图像，其特征在于，包括有如下步骤：(1)预设网络：预先设置生成网络以及判别网络，将两个网络设置为对抗学习模式，所述生成网络以及判别网络的类型均为深度神经网络，其中，生成网络的深度神经网络为具有跳跃连接的深度神经网络，也简称为生成网络；(2)生成分割图像：将含有人像的真实图像输入生成网络，输出人像与背景分离的分割图像，简称生成人景分割图像；(3)计算损失函数值：将含有人像的真实图像和生成网络输出的生成人景分割图像作为第一图像对，含有人像的真实图像与标注图像作为第二图像对,分别输入判别网络，通过判别网络计算出假判别概率和真判别概率，利用判别网络的损失函数公式和生成网络的损失函数公式，得到判别网络的损失函数值和生成网络的损失函数值；(4)更新网络参数：分别最小化判别网络的损失函数值和生成网络的损失函数值，利用深度神经网络后向传播算法，迭代更新生成网络和判别网络的各参数取值，完成生成网络和判别网络的训练；(5)生成测试集人景分割图像：当生成网络训练完成后，完成训练后的生成网络接收待分割的含有人像的真实图像，在该网络中通过迭代计算，输出测试图像的生成人景分割图像；(6)优化分割图像，完成人像抠图：将测试图像的生成人景分割图像概率化，得到测试图像的生成人景分割图像的人像概率矩阵和背景概率矩阵，将人像概率矩阵和背景概率矩阵作为条件随机场的输入，使用条件随机场对概率化后的测试图像的生成人景分割图像进行进一步细化，得到更加精确的人像与背景分离的图像，完成基于生成对抗网络的像素级人像抠图。...

【技术特征摘要】
1.一种基于生成对抗网络的像素级人像抠图方法，针对含有人像的真实图像，通过人工标注的方式得到真实人像与背景分离的标注图像，其特征在于，包括有如下步骤：(1)预设网络：预先设置生成网络以及判别网络，将两个网络设置为对抗学习模式，所述生成网络以及判别网络的类型均为深度神经网络，其中，生成网络的深度神经网络为具有跳跃连接的深度神经网络，也简称为生成网络；(2)生成分割图像：将含有人像的真实图像输入生成网络，输出人像与背景分离的分割图像，简称生成人景分割图像；(3)计算损失函数值：将含有人像的真实图像和生成网络输出的生成人景分割图像作为第一图像对，含有人像的真实图像与标注图像作为第二图像对,分别输入判别网络，通过判别网络计算出假判别概率和真判别概率，利用判别网络的损失函数公式和生成网络的损失函数公式，得到判别网络的损失函数值和生成网络的损失函数值；(4)更新网络参数：分别最小化判别网络的损失函数值和生成网络的损失函数值，利用深度神经网络后向传播算法，迭代更新生成网络和判别网络的各参数取值，完成生成网络和判别网络的训练；(5)生成测试集人景分割图像：当生成网络训练完成后，完成训练后的生成网络接收待分割的含有人像的真实图像，在该网络中通过迭代计算，输出测试图像的生成人景分割图像；(6)优化分割图像，完成人像抠图：将测试图像的生成人景分割图像概率化，得到测试图像的生成人景分割图像的人像概率矩阵和背景概率矩阵，将人像概率矩阵和背景概率矩阵作为条件随机场的输入，使用条件随机场对概率化后的测试图像的生成人景分割图像进行进一步细化，得到更加精确的人像与背景分离的图像，完成基于生成对抗网络的像素级人像抠图。2.如权利要求1所述的基于生成对抗网络的像素级人像抠图方法，其特征在于，步骤1中所述的具有跳跃连接的深度神经网络是用于构成生成网络的N个串接的编码器层与N个串接的解码器层之间的跳跃连接的梯度传递通路。3.如权利要求2所述的基于生成对抗网络的像素级人像抠图方法，其特征在于，所述生成网络的解码器层中引入了随机失活机制，具体是在生成网络的每个解码器层最终输出之前随机抛掉失活参数。4.如权利要求1所述的基于生成对抗网络的像素级人像抠图方法，其特征在于，在步骤(3)和步骤(4)中提及的损失函数，其中，生成网络的损失函数越小，生成网络所输出的人像与背景分离的分割图像真实度越高，生成网络损失函数公式由两个损失通过两个系数进行加权得到...

【专利技术属性】
技术研发人员：王伟，周红丽，王晨吉，方凌，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61