基于一阶段目标检测框架的实例分割方法技术

一种基于一阶段目标检测框架的实例分割方法，包括：1）对图像数据集标注进行编码，图像中的目标被定义为密集的点对象；2）构建实例分割网络模型，包括主干网络、主体特征提取模块、用于生成目标检测结果的检测模块和用于生成语义分割结果的分割模块四个部分；3）进行深度学习训练，主要体现为本发明专利技术所设计的一种适应实例分割任务的多任务损失函数；4）推断阶段，推断方法结合目标检测结果和语义分割结果，采用非极大值分割筛选方法，得出实例分割结果。本发明专利技术方法设计简单合理，不仅能保证原有目标检测框架的检测质量和检测速度，还能同时生成较高精度的分割掩膜，具备良好的鲁棒性。

【技术实现步骤摘要】
基于一阶段目标检测框架的实例分割方法
本专利技术属于深度学习与计算机视觉
，具体涉及基于一阶段目标检测框架的实例分割方法。
技术介绍
在过去几年中，计算机视觉的目标检测方向取得了巨大的进步，与其具有一定相关性的实例分割任务在借鉴了目标检测框架的强大功能后，也获得了一定的发展。实例分割任务是指在图像中定位出潜在目标的位置，该位置使用检测目标框表示，再用语义分割的方式在不同目标区域内进行逐像素标记，该任务可以在目标检测的基础上进行相应扩展便可完成。不少工作都在对现有成熟的目标检测框架进行扩展，以完成实例分割的任务，但绝大多数工作都是对两阶段目标检测框架进行扩展，这种扩展在保证分割质量的同时，难以兼顾检测速度。2018年，来自FacebookAI研究院的何凯明团队提出的基于两阶段目标检测框架的实例分割方法MaskR-CNN，其简单且灵活的扩展方法使该领域更多地进一步关注目标检测和实例分割任务及其对应方法的共通性和相互扩展功能。然而，该方法目前在取得相应高质的分割结果的同时，牺牲了时间上的效率，这是该方法目前值得改进的地方。MaskR-CNN在时间效率上低效的原因之一是它使用的两阶段目标检测框架原有的问题。本专利技术通过对一阶段目标检测框架的有效扩展，提供更快的实例分割流程，有效解决上述问题。然而，通过一阶段目标检测框架扩展的实例分割方法并不能像MaskR-CNN一样单纯直接扩展mask分支便可以完成相应的实例分割任务。对一阶段目标检测框架进行实例分割任务的扩展，需要解决不同对象检测目标框二义性问题和分割语义二义性问题。因此，需要一种能够解决上述二义性问题，同时兼顾速度的实例分割方法。
技术实现思路
鉴于
技术介绍
所述的问题，本专利技术提供一种基于一阶段目标检测框架的实例分割方法，用以提供一种可以同时兼顾分割质量和模型速度的实例分割方法。为了解决上述技术问题，本专利技术提供一种基于一阶段目标检测框架的实例分割方法，包括：S1、将训练图像中的目标对象标注成网络输出层里密集的点对象；S2、构建完整的基于一阶段目标检测框架的实例分割网络模型；S3、设计一种适应实例分割任务的多任务损失函数用于深度学习训练；S4、推断阶段，结合目标检测结果和语义分割结果最终获得实例分割结果。进一步地，步骤S3中的多任务损失函数由目标检测框、对象置信度、对象分类和语义分割四部分的损失函数组成，具体如下：S31、目标检测框部分采用交并比损失函数；S32、对象置信度部分采用针对对象中心度改进的焦点损失函数，其表达式为：S33、对象分类部分采用针对多分类任务改进的焦点损失函数，其表达式为：S34、语义分割部分采用交叉熵损失函数，其中，yt为标注的实际类别；为指示函数，yt中大于0的部分为1，其余为0；αt为一个[0,0.5]间的小数；γ为一个大于0的数；pt为输出的不同类别的分类概率；Nt为该类别对象在数据集中的数量。进一步地，在步骤S1中，每个训练图像中所含有的目标对象以密集的点对象形式进行表达，每个尺度下输出大小为[B,H,W]的张量，其中B为批处理大小，H、W为对应尺度的高度和宽度，当且仅当某个对象的目标检测框包含了张量里的一部分点，这部分点以点对象的形式进行编码，该点对象的编码方式如下：S11、对象类别编码为one-hot向量，向量长度为C；S12、对象置信度编码为对象中心度；S13、目标检测框编码为长度为4的向量(L,R,T,B)；其中C为分类类别的数量，L、R、T、B分别表示该点对象中心到对应目标检测框的左、右、上、下四端的距离。进一步地，在步骤S2中，所述基于一阶段目标检测框架的实例分割网络模型，包括主干网络、主体特征提取模块、目标检测模块和语义分割模块四个部分，具体如下：S21、帮助完成基础特征提取的主干网络，包含一个接收图像张量输入的网络输入层和五个阶段的下采样特征提取层；S22、主体特征提取模块主要对基础特征进行进一步的挖掘提取，包括从基础特征层到特征提取层的横向连接、从低层特征层到高层特征层自下而上的下采样和从高层特征层到低层特征层自上而下的上采样三个部分，最终每个尺度输出一层特征张量；S23、目标检测模块是负责得到目标检测结果的输出，五个不同尺度下的检测模块分别负责不同大小对象的检测，每个检测模块都包含两个分支，两个分支都接收主体特征提取模块提取到的特征张量，经过四个核大小为3，下采样尺度为1的卷积层得到特征张量，其中一个分支为回归分支，其特征张量经过输出通道数为4的卷积分支得到目标检测回归结果，另一个分支为分类分支，其特征张量分别经过输出通道数分别为C和输出通道数为1的卷积分支，得出目标置信度和分类概率结果；S24、语义分割模块是负责得到语义分割结果的输出，该模块仅接收主体特征提取模块最底层的特征张量作为输入，经过四个核大小为3，下采样尺度为1的卷积层和输出通道数为C的卷积层，得出一个以类别划分的语义分割结果。进一步地，实例分割网络模型输出五个不同尺度的目标检测结果和一个尺度的语义分割结果，推断阶段先将目标检测结果合并，再筛选出TopK个结果，最后使用一种结合目标检测结果和语义分割结果的非极大值分割筛选方法，以获得最终的实例分割结果。进一步地，所述非极大值分割筛选方法的算法步骤如下：1)根据目标检测结果的对象得分对检测结果降序排序；2)选择得分最高的检测对象m，加入最终检测结果列表，并从原列表中删除，同时根据该检测类别和检测框结果从语义分割结果中获得逐像素对应的分割结果，作为m的实例分割结果集，该集合分别以目标对象得分和每个像素对应的分割结果作为键值对来保存；3)计算m与其他检测目标的交并比，找出当中交并比大于0.5的所有结果，从检测结果列表中删除，并将这些对象的目标的得分和分割结果加入到m的实例分割结果集中；4)对m的所有候选实例分割结果，进行线性组合，获得m的最终实例分割结果；5)重复2-4)，直至检测结果列表为空，算法结束，返回最终检测结果列表。与现有技术相比，本专利技术实现的有益效果是：只需要对原有成熟的一阶段目标检测框架进行少量修改，模型便可以同时完成实例分割任务，在保持原有框架的检测速度的基础上，得到质量较好的实例分割结果。附图说明图1为基于一阶段目标检测框架的实例分割方法示意图；图2为图像中的目标对象标注示意图；图3为网络结构第二部分主体特征提取模块示意图；图4为网络检测分支和分割分支模块结构示意图；图5为数据集处理流程示意图。具体实施方式下面对本专利技术技术作进一步详细说明，但是本专利技术的实施方式并不限于此，其保护范围也不局限于所述实施例。一种基于单目标检测框架的实例分割方法，其实施步骤如下：S1、获取与实例分割任务相关的待检图像及其标注，并将训练图像中的目标对象标注成网络输出层里本文档来自技高网...

【技术保护点】
1.基于一阶段目标检测框架的实例分割方法，其特征在于，包括：/nS1、将训练图像中的目标对象标注成网络输出层里密集的点对象；/nS2、构建完整的基于一阶段目标检测框架的实例分割网络模型；/nS3、设计一种适应实例分割任务的多任务损失函数用于深度学习训练；/nS4、推断阶段，结合目标检测结果和语义分割结果最终获得实例分割结果。/n

【技术特征摘要】
1.基于一阶段目标检测框架的实例分割方法，其特征在于，包括：
S1、将训练图像中的目标对象标注成网络输出层里密集的点对象；
S2、构建完整的基于一阶段目标检测框架的实例分割网络模型；
S3、设计一种适应实例分割任务的多任务损失函数用于深度学习训练；
S4、推断阶段，结合目标检测结果和语义分割结果最终获得实例分割结果。


2.根据权利要求1所述的基于一阶段目标检测框架的实例分割方法，其特征在于，步骤S3中的多任务损失函数由目标检测框、对象置信度、对象分类和语义分割四部分的损失函数组成，具体如下：
S31、目标检测框部分采用交并比损失函数；
S32、对象置信度部分采用针对对象中心度改进的焦点损失函数，其表达式为：



S33、对象分类部分采用针对多分类任务改进的焦点损失函数，其表达式为：



S34、语义分割部分采用交叉熵损失函数，
其中，yt为标注的实际类别；为指示函数，yt中大于0的部分为1，其余为0；αt为一个[0,0.5]间的小数；γ为一个大于0的数；pt为输出的不同类别的分类概率；Nt为该类别对象在数据集中的数量。


3.根据权利要求2所述的基于一阶段目标检测框架的实例分割方法，其特征在于：在步骤S1中，每个训练图像中所含有的目标对象以密集的点对象形式进行表达，每个尺度下输出大小为[B,H,W]的张量，其中B为批处理大小，H、W为对应尺度的高度和宽度，当且仅当某个对象的检测框包含了张量里的一部分点，这部分点以点对象的形式进行编码，该点对象的编码方式如下：
S11、对象类别编码为one-hot向量，向量长度为C；
S12、对象置信度编码为对象中心度；
S13、目标检测框编码为长度为4的向量(L,R,T,B)；
其中C为分类类别的数量，L、R、T、B分别表示该点对象中心到对应目标检测框的左、右、上、下四端的距离。


4.根据权利要求1所述的基于一阶段目标检测框架的实例分割方法，其特征在于：在步骤S2中，所述基于一阶段目标检测框架的实例分割网络模型，包括主干网络、主体特征提取模块、目标检测模块和语义分割模块，具体如下：
S21、帮助完成基础特征提取的主干网络，包含一个接收图像张量输入...

【专利技术属性】
技术研发人员：罗荣华，李嘉明，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44