一种基于循环指导的弱监督联合目标检测和语义分割方法技术

一种基于循环指导的弱监督联合目标检测和语义分割方法，属于计算机视觉技术领域。初始化卷积神经网络；神经网络前向传播获得图像的特征图；目标检测分支前向传播获得目标定位图；语义分割分支前向传播获得分割掩膜；通过目标定位图得伪真实语义分割标注；通过分割掩码得图像候选区域权值；计算语义分割分支的损失；计算目标检测分支的损失；使用随机梯度下降算法更新参数；重复以上直到收敛；输入图像到神经网络中，得目标检测和语义分割结果；初始化卷积神经网络；神经网络前向传播得图像特征图；目标检测分支前向传播得目标检测结果；语义分割分支前向传播得语义分割掩膜；通过目标检测结果和语义分割掩膜得示例分割掩膜。

A method of weak supervision joint target detection and semantic segmentation based on cyclic guidance

【技术实现步骤摘要】
一种基于循环指导的弱监督联合目标检测和语义分割方法
本专利技术属于计算机视觉
，尤其是涉及一种基于循环指导的弱监督联合目标检测和语义分割方法。
技术介绍
目标检测和语义分割是机器视觉的基本问题，在视频监控、无人驾驶等场景都有广泛应用，比如遥感领域，输入遥感图像后可以自动检测建筑物或人物在遥感图像中的位置，从而确定所在地点；也可以应用在医疗领域，根据医学X光图像或显微图像分析各种病变；在军事领域，目标检测可以用于定位敌方的位置。机器学习在目标检测和语义分割等任务中取得了巨大成功，特别是基于分类和回归等强监督学习任务。预测模型是从包含大量训练样本的训练数据集中学习，每个训练样本对应一个事件或对象。训练样本由两部分组成：一个描述事件/对象的特征向量(或示例)，以及一个表示真值输出的标签。在分类任务中，标签表示训练样本所属的类别；在回归任务中，标签是一个与样本对应的实数值。随着深度学习的兴起，近年来涌现了大量优秀的目标检测和语义分割模型。随着数据驱动方式在图像识别上的不断发展，人们对于扩大目标检测和语义分割系统规模的兴趣越来越大。然而，目前的目标检测和语义分割皆存在两个缺点：首先，大多数成功的技术都需要含有真值标签的大规模训练数据集。然而，在许多场景下，由于数据标注过程的成本极高，很难获得强监督信息。因此，训练一个高准确率的检测和分割模型需要大量的以包围框和像素形式精细标注的图片数据作为模型监督条件，需要花费大量的人力物力。其次，与分类任务不同，用类别、包围框和像素完整标注对象实例的方法几乎是不可扩展的。因此，人们加大对无监督和弱监督的目标检测和语义分割方法的探索力度，但现在，完全无监督、无标注的方法在目标检测和语义分割任务中的性能表现很差，而常规弱监督方法则无法很好泛化到复杂场景的图像处理中。弱监督问题是指为实现某个计算机视觉任务，采用了比该任务更弱的一种人工标注作为监督信息。一般来讲，弱监督的标注比原始的标注更容易获取。例如，对于目标检测任务，图像层面(image-level)的标签相比物体的包围框(boundingbox)是一种弱监督的标注；对于语义分割任务，图像层面(image-level)的标签和物体的包围框(boundingbox)相比像素层面(pixel-level)的标签则是一种弱监督的标注。对于目标检测和语义分割，相关研究工作一直是计算机视觉的研究热点。当前弱监督目标检测和语义分割仍存在着挑战，总体来说，挑战性主要体现在以下两个方面：鲁棒性和计算复杂性。目标检测和语义分割的鲁棒性主要由类内表观差异和类间表观差异影响，大的类内表观差异和小的类间表观差异通常会导致目标检测方法的鲁棒性降低。类内表观差异是指同类不同个体间的变化，例如，马的不同个体在颜色、纹理、形状、姿态等方面存在差异。由于光照、背景、姿态、视点的变化和遮挡的影响，即使同一匹马在不同的图像中看起来也会非常不同，使得构建具备泛化能力的表观模型极为困难。目标检测和语义分割的计算复杂性主要源自待检测目标类别的数量、类别表观描述子的维度、大量有标签数据的获取。真实世界中物体类别数量成百上千并且表观描述子是高维度的，大量充足的有标签数据的获取极为耗时耗力，因此目标检测和语义分割的计算机复杂性较高，设计高效的目标检测和语义分割算法至关重要。当前部分工作提出了新的特征匹配方法和定位策略。另一类计算复杂性研究方向关注如何减少目标检测和语义分割时的搜索空间，这类方法统称为选择性搜索策略(SelectiveSearch)或对象性估计(ObjectessEstimation)。它们的核心思想是一张图像中并不是每个子区域都包含有类别无关的对象，仅有少量候选窗口是目标检测和语义分割时有意义的候选区域。
技术实现思路
本专利技术的目的在于提供一种基于循环指导的弱监督联合目标检测和语义分割方法。本专利技术包括以下步骤：(一)模型训练过程：1)初始化卷积神经网络；2)神经网络前向传播获得图像的特征图；3)目标检测分支前向传播并获得目标定位图；4)语义分割分支前向传播并获得分割掩膜；5)通过目标定位图获得伪真实语义分割标注,作为监督信息训练语义分割；6)通过分割掩码获得图像候选区域的权值,作为定位的先验来修正候选区域；7)基于伪真实语义分割标注来计算语义分割分支的损失；8)结合候选区域的权值来计算目标检测分支的损失；9)使用随机梯度下降算法更新参数；10)重复步骤2)～9)直到收敛；11)输入图像到神经网络中，获得目标检测和语义分割结果；在步骤5)和步骤6)中，本专利技术提出使用循环指导的机制来互相帮助两个分支的学习。使用弱监督目标检测的目标定位图获得伪真实语义分割标注,作为监督信息训练语义分割，同时把弱监督语义分割预测的分割掩码获得图像候选区域的权值，作为定位的先验来修正候选区域。在步骤7)中，所述语义分割分支的损失函数为：在步骤8)中，所述目标检测分支的损失函数为：(二)模型推理过程：12)初始化卷积神经网络；13)神经网络前向传播获得图像的特征图；14)目标检测分支前向传播并获得目标检测结果；15)语义分割分支前向传播并获得语义分割掩膜；16)通过目标检测结果和语义分割掩膜获得示例分割掩膜。本专利技术从弱监督角度出发，利用只有图像层面(image-level)的弱标注的图片(只知道图片是否包含目标物体)，学习目标检测和语义分割。本专利技术是一种新颖的基于循环指导的弱监督联合目标检测和语义分割方法。目前的弱监督目标检测和弱监督语义分割算法的通常是分开的，并且性能差强人意。本专利技术提出使用多任务学习的机制联合弱监督目标检测和语义分割，并提出循环指导的学习机制来互相帮助两个任务的学习。本专利技术使用深度卷积神经网络同时训练三个模块：骨干神经网络、目标检测分支和语义分割分支。骨干神经网络用来提取整张图像的特征。目标检测分支对每个候选区域进行分类预测。语义分割分支对每一个位置进行分类，形成分割掩膜。本专利技术提出使用多任务学习联合训练的弱监督目标检测和语义分割方法，利用目标检测和语义分割互补的信息来增强各自的任务。弱监督目标检测的目标定位图可以为弱监督语义分割提供伪真实语义分割标注，而弱监督语义分割的预测掩膜可以为弱监督检测的候选区域评估权值。本专利技术在已有的弱监督模型上，引入循环指导学习的策略，同时学习弱监督目标检测和弱监督语义分割两种模型。本专利技术改进了弱监督目标检测器和弱监督语义分割的模型，比原来的模型更加准确。大量的实验结果表明，本专利技术的方法取得了优异的弱监督目标检测和弱监督语义分割的性能。附图说明图1为本专利技术的循环指导学习方法。图2为弱监督目标检测的物体定位图。图3为本专利技术的结构框架。图4为弱监督目标检测和弱监督语义分割的互补信息。具体实施方式本专利技术提出了一种基于循环指导的弱监督联合目标检测和语义分割方法本文档来自技高网...

【技术保护点】
1.一种基于循环指导的弱监督联合目标检测和语义分割方法，其特征在于包括以下步骤：/n(一)模型训练过程：/n1)初始化卷积神经网络；/n2)神经网络前向传播获得图像的特征图；/n3)目标检测分支前向传播并获得目标定位图；/n4)语义分割分支前向传播并获得分割掩膜；/n5)通过目标定位图获得伪真实语义分割标注,作为监督信息训练语义分割；/n6)通过分割掩码获得图像候选区域的权值,作为定位的先验来修正候选区域；/n7)基于伪真实语义分割标注来计算语义分割分支的损失；/n8)结合候选区域的权值来计算目标检测分支的损失；/n9)使用随机梯度下降算法更新参数；/n10)重复步骤2)～9)直到收敛；/n11)输入图像到神经网络中，获得目标检测和语义分割结果；/n(二)模型推理过程：/n12)初始化卷积神经网络；/n13)神经网络前向传播获得图像的特征图；/n14)目标检测分支前向传播并获得目标检测结果；/n15)语义分割分支前向传播并获得语义分割掩膜；/n16)通过目标检测结果和语义分割掩膜获得示例分割掩膜。/n

【技术特征摘要】
1.一种基于循环指导的弱监督联合目标检测和语义分割方法，其特征在于包括以下步骤：
(一)模型训练过程：
1)初始化卷积神经网络；
2)神经网络前向传播获得图像的特征图；
3)目标检测分支前向传播并获得目标定位图；
4)语义分割分支前向传播并获得分割掩膜；
5)通过目标定位图获得伪真实语义分割标注,作为监督信息训练语义分割；
6)通过分割掩码获得图像候选区域的权值,作为定位的先验来修正候选区域；
7)基于伪真实语义分割标注来计算语义分割分支的损失；
8)结合候选区域的权值来计算目标检测分支的损失；
9)使用随机梯度下降算法更新参数；
10)重复步骤2)～9)直到收敛；
11)输入图像到神经网络中，获得目标检测和语义分割结果；
(二...

【专利技术属性】
技术研发人员：纪荣嵘，沈云航，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35