一种基于深度学习的自然图像抠图方法及抠图装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的自然图像抠图方法及抠图装置。所述方法包括：设计四通道的图像输入；采用预先训练好的预训练模型提取图像输入的特征图；在第一阶段内：设定基于深度学习的网络模型一，针对特征图得到粗略透明度遮罩；在第二阶段内：将特征图随机取多个区域，并将这些区域中对应的粗略透明度遮罩作为第五通道添加到图像输入中；在当前的图像输入下，一方面采用基于深度学习的网络模型二，得到精细透明度遮罩，另一方面求解精细透明度遮罩的困难难度；对一个图像测试集中的所有待抠图的自然图像进行测试。本发明专利技术在技术上解决了未知区域较大图片难以抠图以及网络参数过多无法在内存较小的设备上抠图的问题，并在公开自然图像抠图数据集上取得了较好的结果。果。果。

【技术实现步骤摘要】
一种基于深度学习的自然图像抠图方法及抠图装置


[0001]本专利技术涉及一种抠图方法及其抠图装置，尤其涉及一种基于深度学习的自然图像抠图方法及其抠图装置。

技术介绍

[0002]图像抠图是计算机视觉中一项基础但较为困难的问题，旨在精确的估计前景、背景及透明度。抠图技术的应用十分广泛，在图像编辑和电影制作中尤为关键。下述公式为图像合成的定义，其中α
i
，F
i
，B
i
分别对应像素点i处的透明度、前景值和背景值。每一个像素点的都是前景和背景依据透明度进行线性组合。当α
i
＝0时，表示当前像素点完全由背景像素组成，当α
i
＝1时，表示当前像素点完全由前景像素组成，当α
i
∈[0，1]时，当前像素由前景和背景线性组成。从公式可以看出，抠图问题已知自然图像I的三通道像素值，需对于透明度遮罩(alpha matte)构成的单通道图像进行求解，而单通道的透明度、三通道的前景、三通道的背景共7个未知数，是一个高度欠约束问题。
[0003]I...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的自然图像抠图方法，其特征在于，其包括以下步骤：步骤一，设计四通道的图像输入，前三个通道是待抠图的自然图像，第四通道为与所述待抠图的自然图像相对应的三分图；其中，所述待抠图的自然图像选自一个图像训练集；步骤二，采用预先训练好的预训练模型提取所述图像输入的特征图；步骤三，定义第一阶段，在所述第一阶段内：设定基于深度学习的网络模型一，针对所述特征图得到所述网络模型一的第一阶段的粗略透明度遮罩；步骤四，定义第二阶段，在所述第二阶段内：将所述特征图随机取多个区域，并将这些区域中对应的粗略透明度遮罩作为第五通道添加到所述图像输入中；在当前的所述图像输入下，一方面采用基于深度学习的网络模型二，得到所述网络模型二的第二阶段的精细透明度遮罩，另一方面采用卷积神经网络预测求解精细透明度遮罩的困难难度；步骤五，对一个图像测试集中的所有待抠图的自然图像进行步骤一至四的测试，其中，针对每张待抠图的自然图像的特征图，先计算各个区域的困难难度，根据各个区域的困难难度进行排序，困难程度低的区域直接预测精细透明度遮罩；对于困难程度高的区域，与相邻区域重叠的部分采用相应相邻区域的粗略透明度遮罩作为引导预测相应的精细透明度遮罩。2.如权利要求1所述的基于深度学习的自然图像抠图方法，其特征在于，计算粗略透明度遮罩时：网络模型的每一层的特征图都经过一个压缩激发注意力模块，通过压缩激发注意力模块的压缩、激发操作对每一层的特征图计算各通道的注意力，作为权重分别乘以对应通道的特征图并得到使用注意力后的特征图，将这些特征图用在跳过连接中，融合浅层和深层不同尺度的信息。3.如权利要求1所述的基于深度学习的自然图像抠图方法，其特征在于，为了对图像测试集中的图像分区域处理更加精细，对相应图像做滑动窗口处理。4.如权利要求3所述的基于深度学习的自然图像抠图方法，其特征在于，将Adobe自然图像抠图数据集中的431张前景图像分成两部分，分别有358张和73张前景图像，将这些前景图像分别与COCO数据集中的图像按照1:100的比例依据透明度遮罩进行合成得到35800张图像的图像训练集和7300张图像的图像验证集；将Composition
‑
1k测试数据集作为图像测试集，其中包含1000个测试图像，这些图像主要由来自PascalVOC数据集的50个前景对象和1000个不同的背景图像组成。5.如权利要求1所述的基于深度学习的自然图像抠图方法，其特征在于，所述预训练模型为型号为ResNeXt
‑
101的预训练模型。6.如权利要求5所述的基于深度学习的自然图像抠图方法，其特征在于，将自然图像与三分图拼接为4通道的输入x，使用101层...

【专利技术属性】
技术研发人员：汪粼波，罗文威，方贤勇，
申请(专利权)人：安徽大学，
类型：发明
国别省市：