一种结合分类任务的弱监督目标分割方法技术

本发明专利技术公开了一种结合分类任务的弱监督目标分割方法，该方法包括：构建结合分类任务的目标分割模型，包括分割模块和分类模块；使用像素级标注数据进行训练，并采用戴斯相似性系数作为分割模块的损失函数以及采用交叉熵损失函数作为分类模块的损失函数；在使用像素级标注数据训练到迭代次数后，加入额外的图像级标注数据共同训练，并采用基于区域置信图的弱监督损失函数作为分割模块的损失函数以及采用交叉熵损失函数作为分类模块的损失函数；将需要分割的图像输入到模型中，得到分割结果以及分类结果，然后将被分类为无目标的图像的分割结果全部置为背景区域。本方法一定程度上解决像素级标注样本获取困难的问题以及提升了目标分割的准确率。

A method of weak supervision target segmentation combined with classification task

The invention discloses a weak supervision target segmentation method combining with classification task, which includes: building a target segmentation model combining with classification task, including segmentation module and classification module; using pixel level annotation data for training, using daisy similarity coefficient as the loss function of segmentation module and using cross entropy loss function as the loss function of classification module After using pixel level annotation data to train the number of iterations, add additional image level annotation data to train together, and use weak supervision loss function based on regional confidence map as the loss function of segmentation module and cross entropy loss function as the loss function of classification module; input the image to be segmented into the model to get segmentation results and classification results Then the segmentation results of the image classified as no target are all set as the background area. To some extent, this method solves the problem of difficulty in obtaining pixel level annotation samples and improves the accuracy of target segmentation.

【技术实现步骤摘要】
一种结合分类任务的弱监督目标分割方法
本专利技术属于图像处理领域的分割方法，适用于对有弱监督信息的图像数据进行目标分割处理，涉及一种结合分类任务的弱监督目标分割方法。
技术介绍
语义分割跟图像分类、目标检测被誉为机器视觉领域三大基础性问题。语义分割，即对图像中每个像素点都赋予一个类别信息，如在自动驾驶领域中，汽车摄像头拍摄的画面被自动分割成行人、道路、汽车等不同类别。可以看出，精确地区分图像中每个像素点的类别，是自动驾驶中避免产生事故、道路规划等的前提。语义分割相对于图像分类，不仅要考虑目标的类别信息，更需要考虑目标的位置信息，是计算机利用视觉理解自然世界的关键一步。随着深度学习理论和硬件的不断发展，深度学习在目标分割领域取得了飞跃式的进步。深度目标分割的运用依赖于大量的像素级别标注数据，以确保方法在实际场景的精确性。但是，获取一个高质量的像素级标注数据是十分困难的，可以想象，标注一个像素级的图片往往要花上几分钟。进一步地，像素级的标注费时费力且成本昂贵，这限制着深度目标分割的实际落地应用。相对地，弱监督的图像数据只需要标注图像的类别，可以以相对廉价且快速的方法获取。如何利用弱监督数据训练深度目标分割模型，成为一个具有重大现实意义的研究课题。它有利于降低数据采集的成本，加快目标分割算法的落地，推动自动驾驶、图像搜索等领域的发展。
技术实现思路
为了解决现有方法存在的问题，本专利技术从弱监督学习着手，提出了一种结合分类任务的弱监督目标分割方法，该方法能在像素级标注数据(即图像中每个像素都被标注了是否为目标)有限的情况下通过额外的图像级标注数据(即图像仅被标注为有无目标区域)提高分割模型的分割性能。本专利技术的目的可以通过如下技术方案之一实现。一种结合分类任务的弱监督目标分割方法，所述方法包括以下步骤：步骤S1：构建结合分类任务的目标分割模型，所述结合分类任务的目标分割模型包括分割模块和分类模块两部分，所述分割模块用于对图像进行分割处理并产生分割结果图，所述分类模块用于判断图像中有无目标并产生分类结果；步骤S2：使用像素级目标标注数据训练结合分类任务的目标分割模型的参数，并采用戴斯相似性系数(Dicesimilaritycoefficient，DSC)作为分割模块的损失函数以及采用交叉熵损失函数作为分类模块的损失函数，然后使用后向传播算法和自适应矩估计(adaptivemomentestimation，ADAM)优化算法去最小化有监督信息的损失函数从而训练本步骤的目标分割模型；步骤S3：在使用像素级标注数据训练到设定的迭代次数后，加入额外的图像级标注数据共同训练目标分割模型的参数，并采用基于目标区域置信图(regionalconfidencemap)的弱监督损失函数作为分割模块的损失函数以及采用交叉熵损失函数作为分类模块的损失函数，然后使用后向传播算法和自适应矩估计优化算法去最小化弱监督信息的损失函数从而训练本步骤的目标分割模型；步骤S4：将需要分割的图像输入到步骤S3训练好的目标分割模型中，得到分割结果以及分类结果，然后将被分类为无目标的图像的分割结果全部置为背景区域。进一步地，步骤S1中，分割模块为U型网络，其结构与卷积自编码网络类似，包括收缩阶段和扩张阶段两部分，并通过跳跃连接将扩张阶段的特征图与收缩阶段的特征图进行拼接。进一步地，步骤S1中，分类模块从分割模块的U型网络底端(即收缩阶段的末尾)和右端的倒数第二层中引出数据流用以判断图像中是否存在目标。进一步地，步骤S2采用的戴斯相似性系数如下所示：其中，C为图像分割的类别数量；H和W为图像的长和宽；ph,w,c代表模型输出，即将像素(h,w)预测为c类的概率；gh,w,c代表在人工标注结果中像素(h,w)是否属于c类，该值由专家标注的训练数据得到。进一步地，步骤S2采用的交叉熵损失函数如下所示：其中N表示图像中有无目标的类别数，yi表示图像属于第i类的真实概率，表示网络预测该图像为第i类的预测概率。进一步地，步骤S2中，将戴斯相似性系数和交叉熵损失函数相加并赋予权重系数从而得到有监督信息的损失函数，并使用后向传播算法和ADAM(adaptivemomentestimation，自适应矩估计)优化算法去最小化有监督信息的损失函数从而训练本步骤的目标分割模型。所述有监督信息的损失函数形式如下：Lloss＝LDice+λLcE其中，λ为平衡戴斯相似性系数和交叉熵损失函数之间重要性的权重系数。进一步地，步骤S3中，在共同训练过程中，通过类激活映射(ClassActivationMapping，CAM)技术从分类模块中得到图像级标注数据的目标激活映射图，并通过设定阈值的方式将目标激活映射图转变为二值化图像，从而得到目标区域置信图，然后将目标区域置信图作为监督信息用于约束分割误差，从而使得模型能够学到更利于分割的目标特征。进一步地，步骤S3中，基于区域置信图的弱监督损失函数如下所示：其中，C为图像分割的类别数量。H和W为图像的长和宽，ph,w,c代表模型输出，即将像素(h,w)预测为c类的概率。为的one-hot编码，而即将预测出来的分割概率图处理成二值化图像。zh,w,c＝[Z(h,w)＝c]表示位于(h,w)的像素被置信为c类。Z(h,w)代表位于(h,w)的元素是被置信为目标区域还是背景区域。进一步地，步骤S3中，将基于区域置信图的弱监督损失函数和交叉熵损失函数相加并赋予权重系数从而得到弱监督信息的损失函数，并使用后向传播算法和ADAM优化算法去最小化弱监督信息的损失函数从而训练本步骤的目标分割模型。所述弱监督信息的损失函数形式如下：Lweak＝αLseg+LCE其中α为权重系数，LCE是交叉熵损失函数，用于约束模型的分类误差，其形式与步骤S2中一致。本专利技术与现有技术相比，具有如下优点和有益效果：1、本专利技术针对图像分割任务中像素级标注样本获取困难的问题，提出了一种通过图像级标注样本增强分割效果的弱监督分割网络模型。该模型首先通过像素级标注样本进行训练，在训练到一定迭代次数后，加入额外的图像级标注样本共同训练。在共同训练过程中，该模型通过类激活映射技术从图像级标注样本中提取出区域置信图，然后将区域置信图用于约束分割误差，从而使得模型能够学到更利于分割的目标特征，缓解像素级标注样本获取困难的问题。2、本专利技术通过结合分类任务和分割任务进行多任务学习，从而使进行分割任务的模块学到了更利于分割的目标特征，进而提升了目标分割准确率。附图说明图1为本专利技术实施例步骤S1采用的结合分类任务的目标分割模型的网络结构图。图2为本专利技术实施例采用的平均池化与组卷积部分结构图。图3为本专利技术实施例采用的结合分类任务的弱监督目标分割模型的网络结构图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此本文档来自技高网...

【技术保护点】
1.一种结合分类任务的弱监督目标分割方法，其特征在于，所述方法包括以下步骤：/n步骤S1：构建结合分类任务的目标分割模型，所述结合分类任务的目标分割模型包括分割模块和分类模块两部分，所述分割模块用于图像进行分割处理并产生分割结果图，所述分类模块用于判断图像中有无目标并产生分类结果；/n步骤S2：使用像素级目标标注数据训练结合分类任务的目标分割模型的参数，并采用戴斯相似性系数(Dice similarity coefficient，DSC)作为分割模块的损失函数以及采用交叉熵损失函数作为分类模块的损失函数，然后使用后向传播算法和自适应矩估计(adaptive moment estimation，ADAM)优化算法去最小化有监督信息的损失函数从而训练本步骤的目标分割模型；/n步骤S3：在使用像素级标注数据训练到设定的迭代次数后，加入额外的图像级标注数据共同训练目标分割模型的参数，并采用基于目标区域置信图(regional confidencemap)的弱监督损失函数作为分割模块的损失函数以及采用交叉熵损失函数作为分类模块的损失函数，然后使用后向传播算法和自适应矩估计优化算法去最小化弱监督信息的损失函数从而训练本步骤的目标分割模型；/n步骤S4：将需要分割的图像输入到步骤S3训练好的目标分割模型中，得到分割结果以及分类结果，然后将被分类为无目标的图像的分割结果全部置为背景区域。/n...

【技术特征摘要】
1.一种结合分类任务的弱监督目标分割方法，其特征在于，所述方法包括以下步骤：
步骤S1：构建结合分类任务的目标分割模型，所述结合分类任务的目标分割模型包括分割模块和分类模块两部分，所述分割模块用于图像进行分割处理并产生分割结果图，所述分类模块用于判断图像中有无目标并产生分类结果；
步骤S2：使用像素级目标标注数据训练结合分类任务的目标分割模型的参数，并采用戴斯相似性系数(Dicesimilaritycoefficient，DSC)作为分割模块的损失函数以及采用交叉熵损失函数作为分类模块的损失函数，然后使用后向传播算法和自适应矩估计(adaptivemomentestimation，ADAM)优化算法去最小化有监督信息的损失函数从而训练本步骤的目标分割模型；
步骤S3：在使用像素级标注数据训练到设定的迭代次数后，加入额外的图像级标注数据共同训练目标分割模型的参数，并采用基于目标区域置信图(regionalconfidencemap)的弱监督损失函数作为分割模块的损失函数以及采用交叉熵损失函数作为分类模块的损失函数，然后使用后向传播算法和自适应矩估计优化算法去最小化弱监督信息的损失函数从而训练本步骤的目标分割模型；
步骤S4：将需要分割的图像输入到步骤S3训练好的目标分割模型中，得到分割结果以及分类结果，然后将被分类为无目标的图像的分割结果全部置为背景区域。


2.根据权利要求1所述的一种结合分类任务的弱监督目标分割方法，其特征在于，步骤S1中，所述分割模块为U型网络，其结构与卷积自编码网络类似，包括收缩阶段和扩张阶段，并通过跳跃连接将扩张阶段的特征图与收缩阶段的特征图进行拼接；所述分类模块从分割模块的U型网络底端和右端的倒数第二层中引出数据流用以判断图像中是否存在目标。


3.根据权利要求1所述的一种结合分类任务的弱监督目标分割方法，其特征在于，在步骤S2中，所述的戴斯相似性系数如下所示：



其中，C为图像分割的类别数量；H和W为图像的长和宽；ph,w,c代表模型输出，即将像素(h,w)预测为c类的概率；gh...

【专利技术属性】
技术研发人员：张凯文，韦佳，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44