一种基于卷积神经网络的同类前景图像集分割方法技术

本发明专利技术公开了一种基于卷积神经网络的同类前景图像集分割方法，包括了以下步骤：步骤1，生成样本分割掩码；步骤2，构建训练数据集；步骤3，学习分割网络模型；步骤4，基于分割网络模型分割同类图像集中的其余图像；步骤5，再分割。通过上述方式，本发明专利技术能够利用待分割图像集所包含的图像之间强相关性，仅需要少量交互就可以将同类图像集中的前景分割出来。

A Segmentation Method of Similar Foreground Image Sets Based on Convolutional Neural Network

【技术实现步骤摘要】
一种基于卷积神经网络的同类前景图像集分割方法
本专利技术涉及计算机视觉的图像处理方法，特别是涉及一种能够利用少量交互就可以将同类图像集中的前景分割出来的图像分割方法。
技术介绍
就分割单幅或少量图像而言，交互式分割算法所要求的用户操作相对简单且易于取得令用户满意的分割结果，常用的交互式分割方法有贝叶斯抠图、图切割、懒人抠图(LazySnapping)和Grabcut等。因此可以说交互式分割算法是目前为止单幅或少量图像前背景分割的首选。尽管如此，当用户需处理大量的待分割图像时，大量的重复交互操作成为必须，这势必引起用户的操作疲劳并降低用户操作的积极性和交互的质量进而影响分割的效果。而从前背景分割任务所涉及的应用来看，待分割图像集所包含的图像之间往往会呈现很强的相关性。典型的生活应用场景如用户要对一家人外出旅游时所拍摄的图片进行分割和处理，此时该图像集所包含的图像前景可能是为数不多的几个家人，而背景则是家人参观时拍照的个别景点。又如用户要对几个运动员参加某个比赛的一组照片又或动物园里面参观拍摄的一些小动物的照片进行分割和处理。这些应用场景所包含的前景和背景虽不单一但都具有很强的相关性。如本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的同类前景图像集分割方法，其特征在于，包括：通过计算机对图像做如下步骤的处理；步骤1，向计算机输入同类图像集同类图像集；由计算机从同类图像集中读取一张，生成样本分割掩码；步骤2，构建训练数据集；步骤3，学习分割网络模型；步骤4，基于分割网络模型分割同类图像集中的其余图像；步骤5，进行是否需要再分割的判断；循环的条件是是否所有图像都已取得满意的分割结果；如果所有图像均已获得满意的分割结果，则分割结束；反之，选择分割效果较差的图像作为新的分割样本，并返回步骤1训练新的分割网络模型，实现对其余分割欠佳图像的分割优化。

【技术特征摘要】
1.一种基于卷积神经网络的同类前景图像集分割方法，其特征在于，包括：通过计算机对图像做如下步骤的处理；步骤1，向计算机输入同类图像集同类图像集；由计算机从同类图像集中读取一张，生成样本分割掩码；步骤2，构建训练数据集；步骤3，学习分割网络模型；步骤4，基于分割网络模型分割同类图像集中的其余图像；步骤5，进行是否需要再分割的判断；循环的条件是是否所有图像都已取得满意的分割结果；如果所有图像均已获得满意的分割结果，则分割结束；反之，选择分割效果较差的图像作为新的分割样本，并返回步骤1训练新的分割网络模型，实现对其余分割欠佳图像的分割优化。2.如权利要求1所述一种基于卷积神经网络的同类前景图像集分割方法，其特征在于：具体步骤依次为：步骤1，生成样本分割掩码：从给定的同类图像集中随机选取1幅图像，采用交互式分割方法进行手动分割，得到分割掩码图像；同类图像集图像集中含有n幅图像；步骤2，构建训练数据集：对步骤1得到的分割掩码图像进行几何变换；所述几何变换包括仿射变换和薄板样条变换，所述仿射变换是指对图像进行缩放、平移和旋转，薄板样条变换是指利用薄板样条函数(ThinPlateSpline，TPS)对要变换的形状进行插值,它是一种非刚性变换；选取102至103种组合生成102至103张不同的变换掩码，模拟前景物体的102至103种姿态变换，将变换后的掩码与对应原始图像结合，构成102至103个4通道图像；再将102至103个4通道图像与由步骤1得到的分割掩码图像配对，构成102至103对训练数据；其中，每个4通道图像均包含一张待分割图像和一张待分割前景变换后的掩码轮廓图，分割掩码图像给出了待分割前景的真实轮廓；步骤3，学习分割网络模型：以步骤2中的所有4通道图像，大概有102至103个，作为网络的输入，经过10至30层的卷积层、池化层、激活层、分类输出层及上采样层的逐次处理后，获得“上采样层的特征图”；优选的，卷积层为20层；在上采样层的特征图上进行逐像素分类，并与对应的分割掩码图像进行比较得到预测误差；采用反向传播算法和随机梯度下降法来减小预测误差以训练该神经网络,得到同类前景图像集分割的网络模型；所述反向传播算法是指神经网络中最有效的方法，其主要思想是将网络最后输出的结果，和真实结果对比，计算其误差，并将误差反向逐级传下去；所述随机梯度下降法是指在更新网络参数的时候，并不遍历整个数据集，是一种批处理方法，每次更新参数后，都能够让损失函数变小，最终达到最小或者我们接受的误差……；步骤4，基于分割网络模型分割同类图像集中的其余图像：将同类图像集中的其余n-1张图像和由步骤2获得的变换掩码图进行结合，构成4通道测试图像并输入到分割网络模型中，在上采样层图像恢复到原始输入图像尺寸，从而对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后在上采样层的特征图上进行逐像素分类，从而得到n-1张测试图像的预测分割掩码；步骤5，再分割：检查步骤4所得到的分割结果：如果所有图像均已获得满意的分割结果，则分割结束；这里我们定义一个差值diff：公式1中，分母480*480是图像的所有像素点的个数，因为我们的图像集中的图像的大小是480*480。所述满意的分割结果是指，这些图像的预测分割掩码的diff值都处在-15％至15％之间；否则，选择一副分割效果较差的图像作为新的分割样本，并返回步骤1训练新的分割网络模型，实现对其余分割欠佳图像的分割优化，并重复该过程直至所有图像分割完成；所述分割效果较差图像是指这些图像的预测分割掩码的diff值都不在-15％至15％之间。3.如权利要求1或2所述一种基于卷积神经网络的同类前景图像集分割方法，其特征在于：步骤1的具体步骤为：从给定的同类图像集中随机选取1幅图像，采用GrabCut交互式分割方法进行手动分割，得到分割掩码图像。4.如权利要求1或2所述一种基于卷积神经网络的同类前景图像集分割方法，其特征在于：步骤2的具体步骤为：步骤2对步骤1得到的分割掩码进行几何变换，包括仿射变换和薄板样条变换，选取n种种参数组合生成n张不同的变换掩码，n取102至103，模拟前景物体的n种姿态变换，将变换后的掩码与对应原始图像结合，构建一个4通道图像，再与步骤1得到的分割掩码图像配对，构成102至103对训练数据。其中4通道图像包含待分割图像及待分割前景变换后的掩码轮廓，变换前的分割掩码图给出了待分割前景的真实轮廓。5.如权利要求1或2所述一种基于卷积神经网络的同类前景图像集分割方法，其特征在于：步...

【专利技术属性】
技术研发人员：王秀蜜，汪粼波，方贤勇，王华彬，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽,34