一种基于注意力模型的头肩部分图像分割方法及装置制造方法及图纸

本发明专利技术公开了一种基于注意力模型的头肩部分图像分割方法，包括以下步骤：步骤一、获取用于训练的图片数据集，并对图片进行标注；步骤二、对训练样本进行数据拓充，得到的数据集；步骤三、设计神经网络结构，将步骤二得到的数据集作为训练样本，进行网络训练；步骤四、提取网络模型；步骤五、待测试的图片进行人脸区域检测，得到二维图谱；并将原图以及得到的二维图谱输入到步骤四提取的网络模型进行前向计算，通过端到端的提取方式将待测试图片中的头肩部分图像分割出来，得到分割结果图。本发明专利技术实现了端到端自动化的头肩分割算法，解决了传统前景提取问题中面临的需要预先人为标记的问题。

Head and shoulder part image segmentation method and device based on attention model

The invention discloses a head and shoulder partial image segmentation method based on the attention model, which includes the following steps: Step 1, obtain a picture data set for training, and annotate the picture; step two, expand the data set for the training sample and get the data set; step three, design the neural network structure, and take the steps. Two the data set is trained as the training sample, and the network training is carried out; step four, extracting the network model; step five, the picture to be tested for the face area detection, get the two-dimensional map, and input the original map and the obtained two-dimensional map to the network model extracted by step four to calculate, through the end to end extraction. The image of the head and shoulders is segmented and the segmentation result is obtained. The invention realizes the head to shoulder segmentation algorithm with end to end automation, and solves the problem of the need for pre artificial marking in the traditional foreground extraction problem.

【技术实现步骤摘要】
一种基于注意力模型的头肩部分图像分割方法及装置
本专利技术涉及图像分割
，尤其涉及一种基于注意力模型的头肩部分图像分割方法。
技术介绍
头肩分割是特定任务下的一种前景提取技术。前景提取(matting)，是计算机图像处理中的一个操作，目的是把一幅图像中人们感兴趣的区域提取出来，以便更换背景或做其他操作。但是确定一个像素属于前景还是背景却是一个病态的问题，这无疑给前景提取带来了巨大的挑战。前景提取将图像归为3类：确定的前景、确定的背景和未知区域，未知区域中的像素既受到前景像素的影响，也受到背景像素的影响。所以，对于未知像素中一个像素p(x,y)，其颜色可以表示为：C＝αF+(1-α)BF表示(x,y)处前景的颜色，B表示(x,y)处背景的颜色。α可以理解为前景的透明度，取值范围0到1之间。该问题是已知1个方程，来求3个未知数。显而易见，这是一个病态的问题，不存在一个确定的解，这无疑给前景提取带来了巨大的挑战。现在一般的解决方案有：1、由用户先标记trimap图或stroke图，再通过概率、统计等方法来计算α、F和B，从而最终提取出前景。2、先分割得到三分图或二分图再经过微调的到最终的matte。随着数字图像的发展，使用抠图技术合成更有意义的图片吸引了越来越多的用户需求。随着多媒体、网络的快速发展，影视特效，表情包制作，视频聊天、网络直播、搞怪视频等各个领域对智能抠图的需求越来越强烈。但是如何让计算机自动得将人物精准得提取出来，一直是当前待解决的难题。
技术实现思路
为了解决上述技术所存在的不足之处，本专利技术提供了一种基于注意力模型的头肩部分图像分割方法及装置。为了解决以上技术问题，本专利技术采用的技术方案是：一种基于注意力模型的头肩部分图像分割方法，包括以下步骤：步骤一、获取用于训练的图片数据集，并对图片进行标注；步骤二、对训练样本进行数据拓充，得到的数据集；步骤三、设计神经网络结构，将步骤二得到的数据集作为训练样本，进行网络训练；步骤四、待测试的图片进行人脸区域检测，得到二维图谱；并将原图以及得到的二维图谱输入步骤三训练后的网络模型进行前向计算，通过端到端的提取方式将待测试图片中的头肩部分图像分割出来，得到分割结果图。进一步地，上述图像分割方法，还包括以下步骤：步骤五、对步骤四得到的分割结果图运用导向滤波对细节进行优化。进一步地，所述步骤一中的标注的方法为：手动勾勒人物边缘，得到三分图；将原图和三分图两张图作为输入，使用KNN算法得到其蒙版图；同时，对原图的人脸区域进行定位，将头部区域赋值为1，其他区域赋值为0，存储为灰度图像。进一步地，步骤二中的数据拓充方法为：对已经标注好的图片进行背景切换；和对已经标注好的图片进行变化光照、增加遮挡以及添加噪声。进一步地，步骤三中的神经网络为轻量级分割网络，在网络中以人物的脸部关键信息为注意力进行网络模型建模，所述神经网络包括6个依次级联的卷积网络基本单元，每个单元由依次连接的卷积层、局部响应归一化层、修正线性激活层、卷积层之间的残差连接、反卷积层和裁剪层组成。进一步地，步骤五具体为，利用原图对分割结果进行滤波处理。通过原图G对网络得到的二类分割结果图P进行滤波处理，使得最后的输出图像大体上与目标图像P相似，即二分类黑白图像，但是纹理部分与引导图G相似的分割结果图，即细化出边缘纹理，使得分割边缘的细节信息更加清晰。本专利技术的内容还保留一种头肩部分图像分割装置，其特征在于，包括：一个或多个计算机可读介质，其上具有多个模块、源图像储存库、目标图像储存库；处理单元，其可操作地耦合到计算机可读介质，所述处理单元适于执行包括以下所述的模块：图像输入模块，用于输入原始图像；人脸识别模块，用于对待测试的图片进行人脸区域检测，得到二维图谱；图像分割模块，用于基于训练好的神经网络对原始图像和二维图谱进行处理，以得到各个像素是头肩部分的分割结果图。进一步地，神经网络的训练方法为：获取用于训练的图片数据集，并对图片进行标注；对训练样本进行数据拓充；设计神经网络结构，将拓充后的数据集作为训练样本，进行网络训练。进一步地，神经网络为轻量级分割网络，在网络中以人物的脸部关键信息为注意力进行网络模型建模，所述神经网络包括6个依次级联的卷积网络基本单元，每个单元由依次连接的卷积层、局部响应归一化层、修正线性激活层、卷积层之间的残差连接、反卷积层和裁剪层组成。进一步地，处理单元还包括：滤波模块，用于通过原图对得到的分割结果图进行滤波处理，对前景区域进行细节优化。本专利技术的有益效果为：(1)本专利技术实现了端到端自动化的头肩分割功能，解决了传统前景提取问题中面临的需要预先人为标记的问题。(2)采用注意力模型机制对人物头肩分割任务加入了人脸信息进行引导，增强了分割结果中人物头肩区域置信度，同时有利于网络更好得理解头肩分割任务，加快了网络模型的收敛速度。(3)缩减网络结构实现了轻量级的基于注意力模型的分割网络，同时实现了人体肢干部分的分割，能够同时分割出多个人物的头肩分割以及对人物整体的分割。附图说明图1为基于注意力模型的自动头肩分割算法结构图。图2为基于注意力模型的自动头肩分割算法流程图。具体实施方式下面结合附图和具体实施方式对本专利技术作进一步详细的说明。图1-2所示的一种基于注意力模型的自动头肩分割方法，其整体步骤如下：(1)数据准备：在网上爬取大小合适高清的人物半身图片，具体方法为使用爬图工具根据“美女”“自拍”“家庭”“明星”“老人”等关键字从网上下载大量人物图片，从图片中筛选出符合要求的高清图片，用于模型得训练及测试。对得到的数据集进行前景背景标注。标注内容包括：将图片中人物信息标记为前景，其余信息标记为背景。使用软件将人物边缘勾勒出来，即在原图手动绘制未知区域得到三分图。将原图和三分图两张图作为输入，使用KNN算法得到其蒙版图，最后用PS对效果不好的地方进行微调。另外需要将人物的脸部区域标记出来，用于构建注意力模型。人脸区域的选定使用IPLFaceAligement(中科视拓的人脸特征点定位器)对人脸81个特征点进行定位，将头部区域赋值为1，其他区域赋值为0，存储为灰度图像。(2)训练数据拓充训练样本的复杂性、多样性是影响算法适应性以及精度的主要因素，因此在控制数据成本的情况下，我们需要对训练样本进行数据增广已达到算法最优结果。对训练样本进行数据拓充，通过换背景的方式，对已经标注好的图片进行背景切换，增加一些更加复杂的背景的训练样本；通过对图片进行变化光照、增加遮挡以及添加噪声的方式对数据进行拓充。通过这种训练样本拓充的方式，增加该技术对不同背景以及不同光照情况下的鲁棒性。(3)深度模型的网络调节网络结构的设计为基于注意模型的轻量级分割网络。网络包括6个依次级联的卷积网络基本单元，每个单元由依次连接的卷积层、局部响应归一化层、修正线性激活层、卷积层之间的残差连接、反卷积层和裁剪层组成；卷积层利用卷积核在图像上滑动，对图像进行卷积操作，提取输入图像特征，得到较为粗略的特征图；局部响应归一化层采用3像素*3像素的卷积核在特征图上滑动，并对每个卷积核覆盖位置的像素值进行均值和方差的归一化，得到不受光照变化影响的粗略特征图；修正线性激活层采用了两种形式，第一种采用1像素*1像素的区域在特征图上滑动，大于本文档来自技高网...

【技术保护点】
一种基于注意力模型的头肩部分图像分割方法，其特征在于，包括以下步骤：步骤一、获取用于训练的图片数据集，并对图片进行标注；步骤二、对训练样本进行数据拓充，得到的数据集；步骤三、设计神经网络结构，将步骤二得到的数据集作为训练样本，进行网络训练；步骤四、待测试的图片进行人脸区域检测，得到二维图谱；并将原图以及得到的二维图谱输入步骤三训练后的网络模型进行前向计算，通过端到端的提取方式将待测试图片中的头肩部分图像分割出来，得到分割结果图。

【技术特征摘要】
1.一种基于注意力模型的头肩部分图像分割方法，其特征在于，包括以下步骤：步骤一、获取用于训练的图片数据集，并对图片进行标注；步骤二、对训练样本进行数据拓充，得到的数据集；步骤三、设计神经网络结构，将步骤二得到的数据集作为训练样本，进行网络训练；步骤四、待测试的图片进行人脸区域检测，得到二维图谱；并将原图以及得到的二维图谱输入步骤三训练后的网络模型进行前向计算，通过端到端的提取方式将待测试图片中的头肩部分图像分割出来，得到分割结果图。2.根据权利要求1所述的图像分割方法，其特征在于，还包括以下步骤：步骤五、对步骤四得到的分割结果图运用导向滤波对细节进行优化。3.根据权利要求1或2所述的图像分割方法，其特征在于：所述步骤一中的标注的方法为：手动勾勒人物边缘，得到三分图；将原图和三分图两张图作为输入，使用KNN算法得到其蒙版图；同时，对原图的人脸区域进行定位，将头部区域赋值为1，其他区域赋值为0，存储为灰度图像。4.根据权利要求1-3中任一条所述的图像分割方法，其特征在于：所述步骤二中的数据拓充方法为：对已经标注好的图片进行背景切换；和对已经标注好的图片进行变化光照、增加遮挡以及添加噪声。5.根据权利要求1-4中任一条所述的图像分割方法，其特征在于：所述步骤三中的神经网络为轻量级分割网络，在网络中以人物的脸部关键信息为注意力进行网络模型建模，所述神经网络包括6个依次级联的卷积网络基本单元，每个单元由依次连...

【专利技术属性】
技术研发人员：李珊如，刘昕，袁基睿，山世光，
申请(专利权)人：中科视拓北京科技有限公司，
类型：发明
国别省市：北京,11