基于深度学习的图像分割方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的图像分割方法及装置，其中，方法包括：使用轮廓数据集对轮廓分支进行训练，并使用带类平衡的交叉熵lossc_side对训练的轮廓分支进行约束，通过梯度反向传播更新轮廓分支的参数，在lossc_side收敛后，固定轮廓分支的参数，以得到轮廓分支网络模型；使用自有数据集对形状分支进行训练，并使用losss对训练的形状分支进行约束，通过梯度反向传播更新形状分支的参数，以得到形状分支网络模型；根据轮廓分支网络模型和形状分支网络模型对待分割图像进行预测，以得到待分割图像的分割结果。该方法实现对图像中前景物体的分割，从而可以在不使用交互指导下提高图像分割的准确率，简单易实现。

【技术实现步骤摘要】
基于深度学习的图像分割方法及装置
本专利技术涉及计算机视觉
，特别涉及一种基于深度学习的图像分割方法及装置。
技术介绍
图像分割是计算机视觉领域一个重要的研究方向，也是图像处理、机器人视觉等其它相关技术应用的基础，被越来越广泛地应用于各种领域。图像分割指针对一幅图像，分别求出其前景分量、背景分量以及前景的透明值，从而将前景从图像中分割出来。使用图像底层视觉特征进行分割的方法较容易收到噪声、伪边界等影响；然而，使用交互式分割如图割算法往往需要一定的人工初始前背景标注以进行求解或迭代优化，分割结果依赖于交互、初始标注质量等且耗时较长；使用深度学习方法进行分割往往不能很好的处理分割的精确度。
技术实现思路
本申请是基于专利技术人对以下问题的认识和发现做出的：图像分割是计算机视觉领域一个重要的研究方向，如何快速精确的获得图像分割结果是一项重要的研究课题。传统分割方法往往需要一定的交互指导，很难适应于大数据量批处理的情形；随着深度学习技术的广泛应用，许多借助深度学习进行图像分割的方法也被提出，但这些方法或是由于特征空间与图像空间存在偏差难以在轮廓边缘进行精确分割，或是借助RNN(RecurrentNeuralNetwork，循环神经网络)等以时间作为代价提高描述轮廓的序列的准确性。本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于深度学习的图像分割方法，该方法可以在不使用交互指导下提高图像分割的准确率，简单易实现。本专利技术的另一个目的在于提出一种基于深度学习的图像分割装置。为达到上述目的，本专利技术一方面实施例提出了一种基于深度学习的图像分割方法，包括以下步骤：使用轮廓数据集对轮廓分支进行训练，并使用带类平衡的交叉熵lossc_side对训练的轮廓分支进行约束，通过梯度反向传播更新所述轮廓分支的参数，在lossc_side收敛后，固定所述轮廓分支的参数，以得到轮廓分支网络模型；使用自有数据集对形状分支进行训练，并使用losss对训练的所述形状分支进行约束，通过所述梯度反向传播更新所述形状分支的参数，以得到形状分支网络模型；根据所述轮廓分支网络模型和所述形状分支网络模型对待分割图像进行预测，以得到所述待分割图像的分割结果。本专利技术实施例的基于深度学习的图像分割方法，根据训练好的轮廓分支网络模型和形状分支网络模型对待分割图像进行预测，以得到最终的分割结果，实现对图像中前景物体的分割，从而可以在不使用交互指导下提高图像分割的准确率，简单易实现。另外，根据本专利技术上述实施例的基于深度学习的图像分割方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述根据所述轮廓分支网络模型和所述形状分支网络模型对待分割图像进行预测，进一步包括：输入所述待分割图像在所述形状分支网络模型的多个池化层之后得到形状特征图，并将所述形状特征图上采样到预设分辨率后拼接构成前景形状特征图金字塔；输入所述待分割图像在所述轮廓分支网络模型的多个池化层之后得到轮廓特征图，并将所述轮廓特征图上采样到所述预设分辨率后拼接构成前景轮廓特征图金字塔。进一步地，在本专利技术的一个实施例中，所述根据所述轮廓分支网络模型和所述形状分支网络模型对待分割图像进行预测，以得到所述待分割图像的分割结果，进一步包括：通过多层感知器融合所述前景形状特征图金字塔和所述前景轮廓特征图金字塔，以得到所述待分割图像的分割结果。进一步地，在本专利技术的一个实施例中，所述待分割图像包括所述待分割图像的高、待分割图像的宽和待分割图像的通道数中的一种或多种。进一步地，在本专利技术的一个实施例中，其中，形状分支和多层感知器训练式为：其中，Npos、Nneg和Ntotal分别表示CGT中为是轮廓的像素数、不是轮廓的像素数和总像素数，lpos表示轮廓的标注值，lneg表示为不是轮廓的标注值，CGT表示轮廓数据集中每张训练图片Itrain对应的前景掩码标注图片；形状分支及多层感知器的losss为：losss＝αlosss_side+(1-α)losss_main，其中，α是制衡特征loss和主路loss比重的参数，losss_side和losss_main为类平衡的交叉熵。为达到上述目的，本专利技术另一方面实施例提出了一种基于深度学习的图像分割装置，包括：轮廓分支网络模型训练模块，用于使用轮廓数据集对轮廓分支进行训练，并使用带类平衡的交叉熵lossc_side对训练的轮廓分支进行约束，通过梯度反向传播更新所述轮廓分支的参数，在lossc_side收敛后，固定所述轮廓分支的参数，以得到轮廓分支网络模型；形状分支网络模型训练模块，用于使用自有数据集对形状分支进行训练，并使用losss对训练的所述形状分支进行约束，通过所述梯度反向传播更新所述形状分支的参数，以得到形状分支网络模型；融合模块，用于根据所述轮廓分支网络模型和所述形状分支网络模型对待分割图像进行预测，以得到所述待分割图像的分割结果。本专利技术实施例的基于深度学习的图像分割装置，根据训练好的轮廓分支网络模型和形状分支网络模型对待分割图像进行预测，以得到最终的分割结果，实现对图像中前景物体的分割，从而可以在不使用交互指导下提高图像分割的准确率，简单易实现。另外，根据本专利技术上述实施例的基于深度学习的图像分割装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述融合模块进一步用于输入所述待分割图像在所述形状分支网络模型的多个池化层之后得到形状特征图，并将所述形状特征图上采样到预设分辨率后拼接构成前景形状特征图金字塔；并输入所述待分割图像在所述轮廓分支网络模型的多个池化层之后得到轮廓特征图，并将所述轮廓特征图上采样到所述预设分辨率后拼接构成前景轮廓特征图金字塔。进一步地，在本专利技术的一个实施例中，所述融合模块进一步用于通过多层感知器融合所述前景形状特征图金字塔和所述前景轮廓特征图金字塔，以得到所述待分割图像的分割结果。进一步地，在本专利技术的一个实施例中，所述待分割图像包括所述待分割图像的高、待分割图像的宽和待分割图像的通道数中的一种或多种。进一步地，在本专利技术的一个实施例中，其中，形状分支和多层感知器训练式为：其中，Npos、Nneg和Ntotal分别表示CGT中为是轮廓的像素数、不是轮廓的像素数和总像素数，lpos表示轮廓的标注值，lneg表示为不是轮廓的标注值，CGT表示轮廓数据集中每张训练图片Itrain对应的前景掩码标注图片；形状分支及多层感知器的losss为：losss＝αlosss_side+(1-α)losss_main，其中，α是制衡特征loss和主路loss比重的参数，losss_side和losss_main为类平衡的交叉熵。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的基于深度学习的图像分割方法的流程图；图2为根据本专利技术一个具体实施例的基于深度学习的图像分割方法的流程图；图3为根据本专利技术一个实施例的基于深度学习的图像分割装置的结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示本文档来自技高网...

【技术保护点】
1.一种基于深度学习的图像分割方法，其特征在于，包括以下步骤：使用轮廓数据集对轮廓分支进行训练，并使用带类平衡的交叉熵lossc_side对训练的轮廓分支进行约束，通过梯度反向传播更新所述轮廓分支的参数，在lossc_side收敛后，固定所述轮廓分支的参数，以得到轮廓分支网络模型；使用自有数据集对形状分支进行训练，并使用losss对训练的所述形状分支进行约束，通过所述梯度反向传播更新所述形状分支的参数，以得到形状分支网络模型；以及根据所述轮廓分支网络模型和所述形状分支网络模型对待分割图像进行预测，以得到所述待分割图像的分割结果。

【技术特征摘要】
1.一种基于深度学习的图像分割方法，其特征在于，包括以下步骤：使用轮廓数据集对轮廓分支进行训练，并使用带类平衡的交叉熵lossc_side对训练的轮廓分支进行约束，通过梯度反向传播更新所述轮廓分支的参数，在lossc_side收敛后，固定所述轮廓分支的参数，以得到轮廓分支网络模型；使用自有数据集对形状分支进行训练，并使用losss对训练的所述形状分支进行约束，通过所述梯度反向传播更新所述形状分支的参数，以得到形状分支网络模型；以及根据所述轮廓分支网络模型和所述形状分支网络模型对待分割图像进行预测，以得到所述待分割图像的分割结果。2.根据权利要求1所述的基于深度学习的图像分割方法，其特征在于，所述根据所述轮廓分支网络模型和所述形状分支网络模型对待分割图像进行预测，进一步包括：输入所述待分割图像在所述形状分支网络模型的多个池化层之后得到形状特征图，并将所述形状特征图上采样到预设分辨率后拼接构成前景形状特征图金字塔；输入所述待分割图像在所述轮廓分支网络模型的多个池化层之后得到轮廓特征图，并将所述轮廓特征图上采样到所述预设分辨率后拼接构成前景轮廓特征图金字塔。3.根据权利要求2所述的基于深度学习的图像分割方法，其特征在于，所述根据所述轮廓分支网络模型和所述形状分支网络模型对待分割图像进行预测，以得到所述待分割图像的分割结果，进一步包括：通过多层感知器融合所述前景形状特征图金字塔和所述前景轮廓特征图金字塔，以得到所述待分割图像的分割结果。4.根据权利要求1-3任一项所述的基于深度学习的图像分割方法，其特征在于，所述待分割图像包括所述待分割图像的高、待分割图像的宽和待分割图像的通道数中的一种或多种。5.根据权利要求1所述的基于深度学习的图像分割方法，其特征在于，其中，形状分支和多层感知器训练式为：其中，Npos、Nneg和Ntotal分别表示CGT中为是轮廓的像素数、不是轮廓的像素数和总像素数，lpos表示轮廓的标注值，lneg表示为不是轮廓的标注值，CGT表示轮廓数据集中每张训练图片Itrain对应的前景掩码标注图片；形状分支及多层感知器的losss为：losss＝αlosss_side+(1-α)losss_main，其中，α是制衡特征loss和主路loss比重的参数，losss_si...

【专利技术属性】
技术研发人员：徐枫，刘聪颖，雍俊海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11