全自动人像蒙版抠图方法及系统技术方案

本发明专利技术提出了一种全自动人像蒙版抠图方法，其中该方法包括：构建三阶段神经网络模型并进行训练，其中，所述三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；将原始图像输入到训练好的三阶段神经网络模型，以通过所述Trimap网络进行前向传播，输出Trimap图像；将所述原始图像和所述Trimap图像联合输入到所述Matting网络进行前向传播，以输出待处理蒙版图像；将所述Trimap图像和所述待处理蒙版图像联合输入到所述融合模块进行融合，以输出最终蒙版图像；对所述原始图像和所述最终蒙版图像进行融合，以输出抠图结果。由此，无需任何交互，通过构建三阶段神经网络模型即可实现全自动的发丝级人像蒙版抠取，使得用户无需掌握丰富的抠图知识即可完成精确抠图。

Automatic matting method and system of human image mask

【技术实现步骤摘要】
全自动人像蒙版抠图方法及系统
本专利技术涉及图像处理
，特别涉及一种全自动人像蒙版抠图方法、一种全自动人像蒙版抠图系统、以及一种计算机可读存储介质和计算机设备。
技术介绍
相关技术中，对于人像图片的抠图方法通常有两种，一种是传统的人像抠图算法，需要用户手动反复涂抹，特别是在人体边缘和头发的处理上需要耗费大量时间和精力才能保障抠图质量，导致交互过程费时费力；另一种是基于深度神经网络的人像抠图算法，该算法需要完整且准确的trimap图作为输入，而在实际处理的过程中，用户输入的图片一般都不是完整且准确的trimap图，因此，这个严格的trimap图输入要求导致了该类算法对交互准确率要求极高。
技术实现思路
本专利技术旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种全自动人像蒙版抠图方法，无需任何交互，通过构建三阶段神经网络模型即可实现全自动的发丝级人像蒙版抠取，使得用户无需掌握丰富的抠图知识即可完成精确抠图。本专利技术的第二个目的在于提出一种计算机可读存储介质。本专利技术的第三个目的在于提出一种计算机设备。为达到上述目的，本专利技术第一方面实施例提出了一种全自动人像蒙版抠图方法，包括以下步骤：构建三阶段神经网络模型并进行训练，其中，所述三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；将原始图像输入到训练好的三阶段神经网络模型，以通过所述Trimap网络进行前向传播，输出Trimap图像；将所述原始图像和所述Trimap图像联合输入到所述Matting网络进行前向传播，以输出待处理蒙版图像；将所述Trimap图像和所述待处理蒙版图像联合输入到所述融合模块进行融合，以输出最终蒙版图像；对所述原始图像和所述最终蒙版图像进行融合，以输出抠图结果。根据本专利技术实施例的全自动人像蒙版抠图方法，首先构建三阶段神经网络模型并进行训练，其中，三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；接着将原始图像输入到训练好的三阶段神经网络模型，以通过Trimap网络进行前向传播，输出Trimap图像；然后将原始图像和Trimap图像联合输入到Matting网络进行前向传播，以输出待处理蒙版图像；接着将Trimap图像和待处理蒙版图像联合输入到融合模块进行融合，以输出最终蒙版图像；最后对原始图像和最终蒙版图像进行融合，以输出抠图结果；从而无需任何交互，通过构建三阶段神经网络模型即可实现全自动的发丝级人像蒙版抠取，使得用户无需掌握丰富的抠图知识即可完成精确抠图。另外，根据本专利技术上述实施例提出的全自动人像蒙版抠图方法还可以具有如下附加的技术特征：可选地，构建三阶段神经网络模型并进行训练，包括：获取多张不同场景下的人像图像，并对每张所述人像图像进行蒙版抠取以获取多张人像蒙版，以及根据所述人像图像和所述人像图像所对应的人像蒙版构建训练数据集；建立Trimap网络，并根据所述训练数据集对所述Trimap网络进行训练，以通过训练好的Trimap网络获得Trimap图像；建立Matting网络，并根据所述训练数据集和所述Trimap图像对所述Matting网络进行训练，以通过训练好的Matting网络获得待处理蒙版图像；建立融合模块，并根据所述Trimap图像和所述待处理蒙版图像对所述融合模块进行训练，以获得训练好的三阶段神经网络模型。可选地，所述Trimap网络采用全卷积层的神经网络结构，由编码器网络和解码器网络构成，用于区分前景区域、背景区域和人像边缘区域。可选地，所述Trimap网络训练时采用的初始学习率为0.1，损失函数为交叉熵，并通过随机梯度下降算法在GPU上进行训练，且训练200个周期；所述Matting网络训练时采用的初始学习率为0.001，损失函数为均方误差，并通过随机梯度下降算法在GPU上进行训练，且训练200个周期；所述融合模块训练时采用的初始学习率为0.00001，损失函数为均方误差，并通过随机梯度下降算法在GPU上进行训练，且训练100个周期。为达到上述目的，本专利技术第二方面实施例提出了一种计算机可读存储介质，其上存储有全自动人像蒙版抠图程序，该全自动人像蒙版抠图程序被处理器执行时实现如上述的全自动人像蒙版抠图方法。根据本专利技术实施例的计算机可读存储介质，通过全自动人像蒙版抠图程序，这样全自动人像蒙版抠图程序被处理器执行时实现如上述的全自动人像蒙版抠图方法，从而无需任何交互，通过构建三阶段神经网络模型即可实现全自动的发丝级人像蒙版抠取，使得用户无需掌握丰富的抠图知识即可完成精确抠图。为达到上述目的，本专利技术第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述的全自动人像蒙版抠图方法。根据本专利技术实施例的计算机设备，通过存储器存储全自动人像蒙版抠图程序，这样全自动人像蒙版抠图程序被处理器执行时实现如上述的全自动人像蒙版抠图方法，从而无需任何交互，通过构建三阶段神经网络模型即可实现全自动的发丝级人像蒙版抠取，使得用户无需掌握丰富的抠图知识即可完成精确抠图。为达到上述目的，本专利技术第四方面实施例提出了一种全自动人像蒙版抠图系统，包括：模型构建及训练模块，用于构建三阶段神经网络模型并进行训练，其中，所述三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；图像处理模块，用于将原始图像输入到训练好的三阶段神经网络模型，以通过所述Trimap网络进行前向传播，输出Trimap图像，并将所述原始图像和所述Trimap图像联合输入到所述Matting网络进行前向传播，以输出待处理蒙版图像，以及将所述Trimap图像和所述待处理蒙版图像联合输入到所述融合模块进行融合，以输出最终蒙版图像，并对所述原始图像和所述最终蒙版图像进行融合，以输出抠图结果。根据本专利技术实施例提供的全自动人像蒙版抠图系统，通过模型构建及训练模块构建三阶段神经网络模型并进行训练，其中，所述三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；再通过图像处理模块将原始图像输入到训练好的三阶段神经网络模型，以通过所述Trimap网络进行前向传播，输出Trimap图像，并将所述原始图像和所述Trimap图像联合输入到所述Matting网络进行前向传播，以输出待处理蒙版图像，以及将所述Trimap图像和所述待处理蒙版图像联合输入到所述融合模块进行融合，以输出最终蒙版图像，并对所述原始图像和所述最终蒙版图像进行融合，以输出抠图结果；从而无需任何交互，通过构建三阶段神经网络模型即可实现全自动的发丝级人像蒙版抠取，使得用户无需掌握丰富的抠图知识即可完成精确抠图。另外，根据本专利技术上述实施例提出的全自动人像蒙版抠图系统还可以具有如下附加的技术特征：可选地，所述模型构建及训练模块还用于，获取多张不同场景下的人像图像，并对每张所述人像图像进行蒙版抠取以获取多张人像蒙版，以及根据所述人像图像和所述人像图像所对应的人像蒙版构建本文档来自技高网...

【技术保护点】
1.一种全自动人像蒙版抠图方法，其特征在于，包括以下步骤：/n构建三阶段神经网络模型并进行训练，其中，所述三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；/n将原始图像输入到训练好的三阶段神经网络模型，以通过所述Trimap网络进行前向传播，输出Trimap图像；/n将所述原始图像和所述Trimap图像联合输入到所述Matting网络进行前向传播，以输出待处理蒙版图像；/n将所述Trimap图像和所述待处理蒙版图像联合输入到所述融合模块进行融合，以输出最终蒙版图像；/n对所述原始图像和所述最终蒙版图像进行融合，以输出抠图结果。/n

【技术特征摘要】
1.一种全自动人像蒙版抠图方法，其特征在于，包括以下步骤：
构建三阶段神经网络模型并进行训练，其中，所述三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；
将原始图像输入到训练好的三阶段神经网络模型，以通过所述Trimap网络进行前向传播，输出Trimap图像；
将所述原始图像和所述Trimap图像联合输入到所述Matting网络进行前向传播，以输出待处理蒙版图像；
将所述Trimap图像和所述待处理蒙版图像联合输入到所述融合模块进行融合，以输出最终蒙版图像；
对所述原始图像和所述最终蒙版图像进行融合，以输出抠图结果。


2.如权利要求1所述的全自动人像蒙版抠图方法，其特征在于，构建三阶段神经网络模型并进行训练，包括：
获取多张不同场景下的人像图像，并对每张所述人像图像进行蒙版抠取以获取多张人像蒙版，以及根据所述人像图像和所述人像图像所对应的人像蒙版构建训练数据集；
建立Trimap网络，并根据所述训练数据集对所述Trimap网络进行训练，以通过训练好的Trimap网络获得Trimap图像；
建立Matting网络，并根据所述训练数据集和所述Trimap图像对所述Matting网络进行训练，以通过训练好的Matting网络获得待处理蒙版图像；
建立融合模块，并根据所述Trimap图像和所述待处理蒙版图像对所述融合模块进行训练，以获得训练好的三阶段神经网络模型。


3.如权利要求2所述的全自动人像蒙版抠图方法，其特征在于，所述Trimap网络采用全卷积层的神经网络结构，由编码器网络和解码器网络构成，用于区分前景区域、背景区域和人像边缘区域。


4.如权利要求1-3中任一项所述的全自动人像蒙版抠图方法，其特征在于，
所述Trimap网络训练时采用的初始学习率为0.1，损失函数为交叉熵，并通过随机梯度下降算法在GPU上进行训练，且训练200个周期；
所述Matting网络训练时采用的初始学习率为0.001，损失函数为均方误差，并通过随机梯度下降算法在GPU上进行训练，且训练200个周期；
所述融合模块训练时采用的初始学习率为0.00001，损失函数为均方误差，并通过随机梯度下降算法在GPU上进行训练，且训练100个周期。


5.一种计算机可读存储介质，其特征在于，其上存储有全自动人像蒙版抠图程序，该全自动人像蒙版抠图程序被处理器执行时实现如权利要求1-4中任一项所述的全自动人像蒙版抠图方法。


...

【专利技术属性】
技术研发人员：张丽民，林杰兴，
申请(专利权)人：稿定厦门科技有限公司，
类型：发明
国别省市：福建;35