一种基于特征迁移的半监督实例分割算法制造技术

本发明专利技术公开了一种基于特征迁移的半监督实例分割模型。该模型以Mask R‑CNN网络为基础，构建了一个基于逆卷积神经网络的特征迁移模块，将Mask R‑CNN目标检测分支学习的图像视觉特征转化为用于分割预测的特征。为了解决Mask R‑CNN目标检测分支输出特征分辨率与分割预测分支特征分辨率不匹配的问题，该模型的特征迁移模块中使用了逆卷积网络层对输入特征进行上采样。该模型通过特征迁移过程能有效提升Mask R‑CNN基准模型的半监督实例分割精度。

【技术实现步骤摘要】
一种基于特征迁移的半监督实例分割算法一、
本专利技术涉及图像分割
，尤其涉及图像分割中的实例分割领域，是一种基于特征迁移的半监督实例分割算法。二、
技术介绍
实例分割是自动驾驶、生物医学图像处理和机器人视觉控制等研究领域的关键技术。它需要对图像中的指定目标实例同时进行定位、分类和区域分割。实例分割是一项具有很大应用潜力，致力于改善人们日常生活的热门研究，并在生活场景和技术研究中有许多重要应用。例如对俯瞰城市地表图像进行分割用于体育场地改进、生物医学中的显微图像分割，利用机器视觉控制机器人抓取物体以及对自动驾驶的车载图像实例分割用于区别行人、道路和车辆等。近些年来，深度学习利用其具有自动化特征提取的优势，在许多图像处理任务上取得了突破性的进展。在实例分割算法方面，基于监督学习的分割模型，如MaskR-CNN(HeK,GkioxariG,DollárP,etal.Maskr-cnn[C]//ProceedingsoftheIEEEinternationalconferenceoncomputervision.2017:2961-2969.)和MaskLab(ChenLC,HermansA,PapandreouG,etal.Masklab:Instancesegmentationbyrefiningobjectdetectionwithsemanticanddirectionfeatures[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2018:4013-4022.)，在COCO、Cityscapes等公开数据集上达到了显著的分割效果。监督学习实例分割模型需要利用具有完整实例分割标注的图像数据集，才可以实现较好的分割效果。然而，收集实例分割标注需要消耗很多人力和时间成本。例如，COCO数据集单人标注一个物体目标的分割标签平均需要79秒左右，并且此后还需要额外分配人员对分割标注进行检查。COCO数据集的分割标注时间消耗是目标边框标注的15倍左右。为了解决实例分割标注难以收集的困境，一些研究尝试结合目标边框、图片类别、目标数目等“弱”(相对易于收集的)标签完成弱监督实例分割。经过近年来的研究积累，虽然弱监督算法的性能已经有所提升，但当前最好的弱监督实例分割算法，例如IRNet(LaradjiIH,VazquezD,SchmidtM.WherearetheMasks:InstanceSegmentationwithImage-levelSupervision[J].arXivpreprintarXiv:1907.01430,2019.)，与全监督实例分割算法(例如MaskR-CNN等)的性能差距仍然比较大。近些年出现的半监督实例分割算法结合了全监督算法和弱监督算法的优势，利用半监督实例分割数据集(部分图像数据具有弱监督标签或无任何标签标注，其余图像数据具有完整实例分割标签的数据集)，在降低数据集标注难度的同时，提升实例分割算法模型的预测精度。半监督实例分割算法分为两类：1)基于伪分割标签生成的算法；2)基于迁移学习的算法。基于伪分割标签生成的算法，例如Li等人提出的算法(LiQ,ArnabA,TorrPHS.Weakly-andsemi-supervisedpanopticsegmentation[C]//ProceedingsoftheEuropeanConferenceonComputerVision(ECCV).2018:102-118.)以及Bellver等人提出的算法(BellverM,SalvadorA,TorrresJ,etal.Budget-awaresemi-supervisedsemanticandinstancesegmentation[J].arXivpreprintarXiv:1905.05880,2019.)，需要设计特殊的流程以生成实例分割伪标签，并且其仅针对某几种“弱标签”设计，因此算法对于具有不同弱标注类型的图像数据集的扩展性不高。基于迁移学习的算法，例如Hu等人提出的算法(HuR,DollárP,HeK,etal.Learningtosegmenteverything[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2018:4233-4241.)，可以从不同源任务中“迁移”模型所学习的知识以提高实例分割预测精度，算法具有很好的扩展性。然而，由于研究起步较晚，基于迁移学习的半监督实例分割算法的设计思路仍然比较单一。三、
技术实现思路
本专利技术致力于拓展半监督实例分割研究，通过设计基于迁移学习的半监督实例分割算法，在MaskR-CNN基准模型基础上建立特征迁移分支，将目标检测分支学习的物体视觉特征用于提升分割预测性能。本专利技术的目的是这样达到的：通过逆卷积(以及卷积)网络模块将MaskR-CNN模型目标检测分支最后一个卷积网络层与分割预测分支原逆卷积网络层进行连接，以建立特征迁移半监督实例分割模型。然后利用半监督实例分割数据集对该模型进行训练，以实现将目标检测分支学习的物体视觉特征用于提升分割预测的性能。具体做法是：(1)建立特征迁移半监督实例分割模型本专利技术提出的特征迁移半监督实例分割模型称为FT-Mask(FeatureTransferMaskR-CNN)，图1展示了FT-Mask模型的整体结构，模型以实例分割领域现有性能较好的全监督模型MaskR-CNN为基础网络，中间的特征迁移模块是本专利技术提出的网络结构创新。从图中可以看出，整个网络主要分为共享网络前部、上半部分目标检测分支、下半部分分割预测分支和中间部分的特征迁移模块。其中共享网络前部用于提取图像的视觉特征，随后RoIAlign层将这些视觉特征提取为感兴趣区域(RegionofInterest，RoI)特征。目标检测分支和分割预测分支分别将RoI特征用于目标检测预测和目标分割掩膜预测。模型的目标检测分支在训练时通过具有检测标签的A∪B数据集(A数据集的完整实例分割标注包含了目标检测标注)进行学习，分割预测分支通过含有分割标签标注的A数据集进行学习。FT-Mask模型在训练时同时利用了完整实例分割标注的数据和弱标注的数据，因此其训练过程为半监督训练。在图1中，特征迁移模块将目标检测分支卷积网络层输出的特征图作为输入，对特征图中的视觉知识进行“迁移”后得到输出特征图。特征迁移模块输出的特征图和原分割预测特征图通过对应通道相加操作连接后作为分割分支中逆卷积网络层的输入。分割预测分支的逆卷积层将输出特征图尺寸放大至原来的两倍，其后是用于分割预测的卷积核大小为1×1的卷积层。对FT-Mask模型进行半监督训练后，其特征迁移模块就可以有效地将目标检测分支学习的知识转化为用于分割预测的知识。(2)建立特征迁移模块本专利技术提出使用特征迁移方法实现知识迁移，并设计了一个特定的特征迁移模本文档来自技高网...

【技术保护点】
1.一种基于特征迁移的半监督实例分割算法，其特征在于：/n通过在Mask R-CNN模型目标检测分支最后一个卷积网络层与分割预测分支原逆卷积网络层之间建立特征迁移模块，以实现特征迁移半监督实例分割；利用半监督实例分割数据集对该模型进行训练，将目标检测分支学习的物体视觉特征用于提升分割预测的性能；/n具体做法是：/n建立特征迁移半监督实例分割模型；本专利技术提出的特征迁移半监督实例分割模型称为FT-Mask(Feature Transfer Mask R-CNN)；整个模型主要分为共享网络前部、上半部分目标检测分支、下半部分分割预测分支和中间部分的特征迁移模块；其中共享网络前部用于提取图像的视觉特征，随后RoIAlign层将这些视觉特征提取为感兴趣区域(Region ofInterest，RoI)特征；目标检测分支和分割预测分支分别将RoI特征用于目标检测预测和目标分割掩膜预测；/n模型的目标检测分支在训练时通过具有检测标签的A∪B数据集(A数据集的完整实例分割标注包含了目标检测标注)进行学习，分割预测分支通过含有分割标签标注的A数据集进行学习；FT-Mask模型在训练时同时利用了完整实例分割标注的数据和弱标注的数据，因此其训练过程为半监督训练；/n模型特征迁移模块将目标检测分支卷积网络层输出的特征图作为输入，对特征图中的视觉知识进行“迁移”后得到输出特征图；特征迁移模块输出的特征图和原分割预测特征图通过对应通道相加操作连接后作为分割分支中逆卷积网络层的输入；分割预测分支的逆卷积层将输出特征图尺寸放大至原来的两倍，其后是用于分割预测的卷积核大小为1×1的卷积层；对FT-Mask模型进行半监督训练后，其特征迁移模块就可以有效地将目标检测分支学习的知识转化为用于分割预测的知识；/n...

【技术特征摘要】
1.一种基于特征迁移的半监督实例分割算法，其特征在于：
通过在MaskR-CNN模型目标检测分支最后一个卷积网络层与分割预测分支原逆卷积网络层之间建立特征迁移模块，以实现特征迁移半监督实例分割；利用半监督实例分割数据集对该模型进行训练，将目标检测分支学习的物体视觉特征用于提升分割预测的性能；
具体做法是：
建立特征迁移半监督实例分割模型；本发明提出的特征迁移半监督实例分割模型称为FT-Mask(FeatureTransferMaskR-CNN)；整个模型主要分为共享网络前部、上半部分目标检测分支、下半部分分割预测分支和中间部分的特征迁移模块；其中共享网络前部用于提取图像的视觉特征，随后RoIAlign层将这些视觉特征提取为感兴趣区域(RegionofInterest，RoI)特征；目标检测分支和分割预测分支分别将RoI特征用于目标检测预测和目标分割掩膜预测；
模型的目标检测分支在训练时通过具有检测标签的A∪B数据集(A数据集的完整实例分割标注包含了目标检测标注)进行学习，分割预测分支通过含有分割标签标注的A数据集进行学习；FT-Mask模型在训练时同时利用了完整实例分割标注的数据和弱标注的数据，因此其训练过程为半监督训练；
模型特征迁移模块将目标检测分支卷积网络层输出的特征图作为输入，对特征图中的视觉知识进行“迁移”后得到输出特征图；特征迁移模块输出的特征图和原分割预测特征图通过对应通道相加操作连接后作为分割分支中逆卷积网络层的输入；分割预测分支的逆卷积层将输出特征图尺寸放大至原来的两倍，其后是用于分割预测的卷积核大小为1×1的卷积层；对FT-Mask模型进行半监督训练后，其特征迁移模块就可以有效地将目标检测分支学习的知识转化为用于分割预测的知识；


2.如权利要求1所述的基于特征迁移的半监督实例分割算法，其特征在于：建立特殊的特征迁移模块：
本发明提出使用特征迁移方法实现知识迁移，并设计了一个特定的特征迁移模块以模拟知识迁移函数；本发明设计的特征迁移模块由基本特征迁移模块和分割聚合模块构成；其中，基本特征迁移模块两端为逆卷积网络层，中间的省略号部分为多个卷积网络层；而分割聚合模块的此网络层只有一个输出通道，其输出的单通道特征图“聚合”了目标检测分支输出特征所有通道的信息；上下两个部分的输出特征连接时，分割聚合模块输出的单通道特征图与基本特征迁移模块输出特征图的每一个通道对...

【专利技术属性】
技术研发人员：陈彦如，廖俊华，杨学文，刘诗佳，张媛媛，魏亮雄，赵万槟，梁刚，许春，张磊，陈良银，
申请(专利权)人：成都易书桥科技有限公司，
类型：发明
国别省市：四川;51