一种自动抠图系统技术方案

本发明专利技术公开一种自动抠图系统，包括：主体检测模块，用于对待抠图图像中所需抠取的主体进行检测，获取包含所述主体的主体框；主体分割模块，用于对所述主体框中的像素进行分类，获取trimap图；抠图模块，用于根据所述trimap图抠取出所述主体框中的主体；所述主体检测模块为训练后的全卷积深度神经网络；所述主体分割模块和抠图模块均为训练后的Encoder/Decoder结构的全卷积深度神经网络。本发明专利技术提供的技术方案，能够自动地将主体从各种背景中分离，从而大大提高抠图效率。

【技术实现步骤摘要】
一种自动抠图系统
本专利技术涉及深度学习
，尤其涉及一种自动抠图系统。
技术介绍
在摄影摄像技术中，对高精度的抠图一直有着强烈的需求，例如，影视的后期特效合成、影楼照片的精细修图等。这里所说的高精度是指，抠图过程中，除了能将主体从背景中分离出来之外，还能将主体中难以分离的部位准确地从背景中分离，如人物的头发丝、纱质的半透明衣物等，主体从背景中分离的精度越高，后续的合成效果就越真实、自然。现有技术对于高精度的抠图，通常需要依赖前期特殊的拍摄手法和大量的人工手动抠图。例如，需要在绿幕等纯色背景下进行拍摄，以方便后期的图像处理。而对于自然场景下拍摄的背景复杂的照片，更是需要专业的修图人员使用专业的修图软件进行手工抠图。可见，现有技术的操作非常麻烦，抠图效率低下。且对于前景和背景颜色差异较小的照片，采用现有技术所获得的抠图效果不够理想。
技术实现思路
本专利技术旨在提供一种自动抠图系统，能够自动地将主体从各种背景中分离，从而大大提高抠图效率。为达到上述目的，本专利技术采用的技术方案如下：一种自动抠图系统，包括：主体检测模块，用于对待抠图图像中所需抠取的主体进行检测，获取包含所述主体的主体框；主体分割模块，用于对所述主体框中的像素进行分类，获取trimap图；抠图模块，用于根据所述trimap图抠取出所述主体框中的主体；所述主体检测模块为训练后的全卷积深度神经网络；所述主体分割模块和抠图模块均为训练后的Encoder/Decoder结构的全卷积深度神经网络。进一步地，还包括：抠图细节增强模块，用于增强所述trimap图的细节；所述抠图模块根据增强细节后的trimap图抠取出所述主体框中的主体。优选地，所述抠图细节增强模块包括：锐化模块，用于对所述抠图模块的Encoder网络预定层的输出特征进行锐化，获取细节增强的输出特征；所述细节增强的输出特征作为所述Encoder网络预定层的下一层网络的输入；导向滤波模块，用于对所述抠图模块的Decoder网络预定层的输入特征进行滤波，获取滤波后的输入特征；所述滤波后的输入特征作为所述Decoder网络预定层的下一层网络的输入。优选地，所述对所述抠图模块的Encoder网络预定层的输出特征进行锐化，获取细节增强的输出特征的方法为：所述抠图模块的Encoder网络预定层的输出特征为原始输出特征；按照所述原始输出特征的输出尺寸，乘以预定比例作为卷积核半径，根据所述卷积核半径生成高斯卷积核；采用所述高斯卷积核逐一对所述原始输出特征进行卷积运算，得到高斯模糊后的输出特征；将所述原始输出特征与所述高斯模糊后的输出特征相减，获取细节区域；将所述细节区域乘以预定权重值后，再与原始输出特征相加，获取细节增强的输出特征。优选地，所述对所述抠图模块的Decoder网络预定层的输入特征进行滤波，获取滤波后的输入特征的方法为：将所述细节增强的输出特征作为所述导向滤波模块的I输入；与所述抠图模块的Encoder网络预定层对称的Decoder网络的输入特征为原始输入特征，将所述原始输入特征作为所述导向滤波模块的P输入；逐一对所述原始输入特征执行单通道导向滤波，得到滤波后的输入特征。优选地，所述主体检测模块包括：检测子模块，用于在下采样倍数为64的输出位置获取第一检测结果，在下采样倍数为48的输出位置获取第二检测结果，在下采样倍数为32的输出位置获取第三检测结果；合并模块，用于采用非极大值抑制算法对所述第一检测结果、第二检测结果、第三检测结果进行合并，获取合并后的检测结果；放大模块，用于对所述合并后的检测结果进行预定比例的放大，获取包含所述主体的主体框。优选地，所述主体分割模块包括：预处理模块，用于沿所述主体框对所述待抠图图像进行剪裁和缩放，获取主体框图；蒙版图获取模块，用于获取所述主体框图中主体区域蒙版图；腐蚀模块，用于对所述主体区域蒙版图进行腐蚀操作，获取腐蚀结果；膨胀模块，用于对所述主体区域蒙版图进行膨胀操作，获取膨胀结果；trimap图获取模块，用于根据所述腐蚀结果与所述膨胀结果之间的差值，对所述主体区域蒙版图中的每一个像素进行分类和赋值，获取trimap图。本专利技术实施例提供的自动抠图系统，将抠图操作分为主体检测模块、主体分割模块和抠图模块，且三个模块均采用训练后的深度神经网络实现，三个模块之间以流水线的形式协同工作，能够自动将主体从输入图像中分离，避免了人工抠图的繁琐操作，从而大大提高了抠图效率。且本专利技术对抠图模块进行了优化，优化后的抠图模块能够更好地处理主体的细节与边缘部分，例如，人体的头发、半透明的衣物等难以分离的部位，因此，本专利技术的抠图效果也得到了较大改善。附图说明图1为本专利技术实施例的系统结构图一；图2为本专利技术实施例的系统结构图二。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图，对本专利技术进行进一步详细说明。本专利技术在架构上主要分为三个大模块，分别为主体检测模块，主体分割模块，抠图模块。本实施例以人体检测为例进行详细说明，因此上述主体检测模块具体为人体检测模块，主体分割模块具体为人体分割模块。人体检测模块对待抠图图像中的人体进行检测，最终输出包含人体的矩形框，即包含主体的主体框。人体分割模块对人体矩形框中的像素进行分类，分离出人像前景与背景，并对分割结果进行腐蚀与膨胀形态学处理，生成trimap图。抠图模块根据trimap图对主体框中的主体进行精细抠图。三个模块均使用深度神经网络实现，彼此间以流水线的形式协同工作，但本身互相独立，这样做的好处主要有两个：(1)可以根据具体任务对某一模块进行特殊优化，从而达到更好的效果：比如婚纱影楼的照片中，婚纱通常是很长的，或者是很大的，而在普通的数据集上训练的人体检测模块是无法完整地框选出婚纱的，所以需要在特定的数据集上重新训练人体检测模块，从而让后续流程也能正确进行。(2)可以通过替换模块移植成为其它物体的精细抠图。比如将本专利技术中的人体检测模块和人体分割模块替换为宠物检测模块与宠物分割模块，便可实现针对宠物的精细分割。下面分别对三个模块进行详细介绍：一、主体检测模块本专利技术实施例中的主体检测模块即人体检测模块。本专利技术中的人体检测模块是一个最多64倍下采样的全卷积深度神经网络，分别在32、48和64倍下采样倍数的输出Featuremap上获取预测结果，进行合并，去重与比较后输出最终预测出的人体框，是一个端到端的预测模型。人体检测模块的工作流程：(1)输入一张64x64x3的RGB格式的待抠图图像。(2)在下采样倍数为64的输出位置，会输出尺寸为10x10x5的5个通道的Featuremap，其中Featuremap上的每个坐标点，都对应原图上的相应区域，可以看成是将原图划分为了一个10行10列的表格，每个单元格为64x64像素的图像，例如，Featuremap中坐标为(0,0)的点，对应原图最左上角的64x64像素的区域；坐标为(9,9)的点，对应原图最右下角的64x64像素的区域，其它区域以此类推。Featuremap的5个通道分别表示人体框的x,y,w,h,probability。当原图上有人体框的中心位于某个单元格中时，对应的Featuremap坐标点的probability值便为1.0，x为人体框中心点距离单元格上边界的归本文档来自技高网...

【技术保护点】
1.一种自动抠图系统，其特征在于，包括：主体检测模块，用于对待抠图图像中所需抠取的主体进行检测，获取包含所述主体的主体框；主体分割模块，用于对所述主体框中的像素进行分类，获取trimap图；抠图模块，用于根据所述trimap图抠取出所述主体框中的主体；所述主体检测模块为训练后的全卷积深度神经网络；所述主体分割模块和抠图模块均为训练后的Encoder/Decoder结构的全卷积深度神经网络。

【技术特征摘要】
1.一种自动抠图系统，其特征在于，包括：主体检测模块，用于对待抠图图像中所需抠取的主体进行检测，获取包含所述主体的主体框；主体分割模块，用于对所述主体框中的像素进行分类，获取trimap图；抠图模块，用于根据所述trimap图抠取出所述主体框中的主体；所述主体检测模块为训练后的全卷积深度神经网络；所述主体分割模块和抠图模块均为训练后的Encoder/Decoder结构的全卷积深度神经网络。2.根据权利要求1所述的自动抠图系统，其特征在于，还包括：抠图细节增强模块，用于增强所述trimap图的细节；所述抠图模块根据增强细节后的trimap图抠取出所述主体框中的主体。3.根据权利要求2所述的自动抠图系统，其特征在于，所述抠图细节增强模块包括：锐化模块，用于对所述抠图模块的Encoder网络预定层的输出特征进行锐化，获取细节增强的输出特征；所述细节增强的输出特征作为所述Encoder网络预定层的下一层网络的输入；导向滤波模块，用于对所述抠图模块的Decoder网络预定层的输入特征进行滤波，获取滤波后的输入特征；所述滤波后的输入特征作为所述Decoder网络预定层的下一层网络的输入。4.根据权利要求3所述的自动抠图系统，其特征在于，所述对所述抠图模块的Encoder网络预定层的输出特征进行锐化，获取细节增强的输出特征的方法为：所述抠图模块的Encoder网络预定层的输出特征为原始输出特征；按照所述原始输出特征的输出尺寸，乘以预定比例作为卷积核半径，根据所述卷积核半径生成高斯卷积核；采用所述高斯卷积核逐一对所述原始输出特征进行卷积运算，得到高斯模糊后的输出特征；将所述原始输出特征与所述高...

【专利技术属性】
技术研发人员：张靖淇，徐滢，
申请(专利权)人：成都品果科技有限公司，
类型：发明
国别省市：四川,51