一种基于深度学习的单阶段实例分割方法技术

技术编号:38809120 阅读:18 留言:0更新日期:2023-09-15 19:47
本发明专利技术公开了一种基于深度学习的单阶段实例分割方法,本申请通过传统的边缘检测算子提取到每个实例的边缘信息,从而让网络在训练学习的过程中显示的监督对实例轮廓的学习,边缘信息的融入不仅提升了实例掩码的分割精度,而且融入边缘信息后的算法在分割掩码边缘处的表现更精细,并且本申请通过原型掩码分组后再融合的方法,将原型掩码的融合过程从一次增加为两次,两次融合的方式不仅提升了实例掩码的分割效果而且增加了整个算法的泛化能力。的分割效果而且增加了整个算法的泛化能力。的分割效果而且增加了整个算法的泛化能力。

【技术实现步骤摘要】
一种基于深度学习的单阶段实例分割方法


[0001]本专利技术属于深度学习与计算机视觉
,具体涉及一种基于深度学习的单阶段实例分割方法。

技术介绍

[0002]实例分割是一项最相似于人眼视觉感受的计算机视觉任务,实例分割旨在同时解决目标定位和分割问题。
[0003]随着深度学习技术的发展,目标检测和语义分割领域内的算法层出不穷,这极大的促进了实例分割的发展,许多优秀的实例分割算法已被提出。现有实例分割算法网络结构设计大多是对一些优秀的目标检测器进行拓展,即在目标检测算法的基础上引入实例掩码的预测分支,主流的实例分割算法大体可以被分为两类,基于单阶段检测器扩展的算法和基于两阶段检测器拓展的算法。基于两阶段检测器的实例分割算法由于使用了更复杂的视觉特征和更严格的目标检测器,因此,这类方法往往有更准确的分割结果、更高的定位精度和更强的扩展性,它们在处理复杂场景和大规模数据集上的表现效果更佳。
[0004]然而,现有的方法如Yolact、Yolact++等,存在以下缺点:
[0005]1、对实例边缘信息关注少而导致分割掩码轮廓不够平滑的问题。
[0006]2、原型掩码组合过程中由于组合系数预测有误差,存在分割结果不准确的问题。

技术实现思路

[0007]为解决上述
技术介绍
中提出的问题,本专利技术提供一种基于深度学习的单阶段实例分割方法,以解决现有技术中对实例边缘信息关注少,组合系数预测有误差的问题。
[0008]为实现上述目的,本专利技术提供如下技术方案:
[0009]一种基于深度学习的单阶段实例分割方法,包括以下步骤:
[0010]S1:基于YOLACT方法,将实例分割划分为两个并行任务,一个任务为生成当前图片的原型掩码,另一个任务为预测每个实例的掩码系数;
[0011]S2:将原型掩码和掩码系数进行线性组合,并对组合结果使用激活函数激活以获得预测掩码;
[0012]S3:将预测掩码作为边缘信息预测分支的输入,将边缘算子作用于预测掩码,得到实例边缘掩码的预测结果,将边缘算子作用于实例的真实掩码得到实例边缘掩码标签;
[0013]S4:增加预测实例边缘图分支,边缘图预测分支的头部输入为预测结果和与之匹配的实例边缘掩码标签,通过卷积算子进行卷积得到预测边缘图和与之对用的边缘图的标签,构造损失函数,并优化边缘损失,得到最终模型;
[0014]S5:将待分割实例输入最终模型得到分割结果。
[0015]优选地,原型掩码的产生方法为:通过YOLACT中的原型掩码预测分支为整个图像预测产生k个原型掩码,原型掩码子网络protonet被实现为FCN,FCN网络的最后一层有k个通道,每个通道表示一个原型掩码,protonet的输入为骨干网络的特征层或者经过特征融
合网络后的特征层的输出。
[0016]优选地,掩码系数的产生方法为:
[0017]YOLACT中的anchor

based基于锚框的目标检测器的预测头部有两个分支:
[0018]一个分支为每个anchor锚框预测c个类别的分类置信度,c表示一个特定数据集中目标的类别数;
[0019]另一个分支为每个anchor锚框预测4个回归框系数;
[0020]增加第三个分支用来预测k个原型掩码的系数,每个原型掩码系数对应于一个原型掩码,Yolact将检测器的预测头部输出从4+c个预测系数拓展为4+c+k个预测系数;
[0021]原型掩码基数为8,记作符号b,b是一个可调节的超参数;
[0022]将YOLACT结构中原型掩码预测分支产生的k=32个原型掩码在通道维度上拆分成个原型掩码组,与之对应的原型掩码的预测系数也将被从通道的维度拆分成g个组;
[0023]在Yolact原型掩码系数预测分支的基础之上并行的增加第四个分支来预测原型掩码的组系数,Yolact检测器的预测头部的输出从4+c+k个预测系数拓展为4+c+k+g个预测系数。
[0024]优选地,线性组合方法为:
[0025]将k个原型掩码在通道维度每b个一组进行有序分组,相应的也对k个原型掩码系数在通道维度每b个进行有序分组,分别得到输入Pi和Ci;
[0026]通过组合Pi和Ci得到每个分组经过组合后产生的中间原型掩码;
[0027]在g个原型掩码组的系数中的通道维度获得相应的每个分组的组系数Gi,得到第二次融合过程的输入;
[0028]通过组合中间原型掩码和原型掩码组系数得到每个分组的融合结果;
[0029]通过累加每个分组的融合结果并由非线性函数Sigmoid激活后生成预测掩码,整个融合过程可定义为公式:
[0030][0031]其中Pi为每个组的原型掩码是一个h
×
w
×
b的矩阵,Ci为n个经过NMS和阈值处理后保留的n个实例,在每个分组中的原型掩码系数是一个n
×
b的矩阵,Gi为n个实例的原型掩码组的组系数是一个n
×
1的矩阵。
[0032]优选地,S3中实例边缘掩码标签的获得方法为:
[0033]设图像中实例的预测掩码为M
p
,一张图像中的n个实例掩码表示为一个n
×
w
×
h的张量,n
×
w
×
h的张量作为边缘信息预测分支的输入;
[0034]将边缘检测的Sobel算子或Laplacian算子作用于实例的预测掩码M
p
后,得到实例边缘掩码的预测结果M
pedge

[0035]相应的,将边缘检测的算子作用于实例的真实掩码M
gt
就可得到实例边缘掩码的标签M
gtedge

[0036]定义边缘检测的算子为K,将与K作用的掩码定义为M
mask
,则整个实例边缘掩码的提取过程可定义为:
[0037]M
edge
=K*M
mask

[0038]优选地,S4中,增加一个预测实例边缘图的分支,边缘图预测头部的输入为预测的
掩码图M
p
和与之匹配的真实掩码M
gt
,分别通过卷积算子进行卷积得到预测的边缘图M
pedge
和与之相对应的边缘图的标签M
gtedge
,选取二值交叉熵函数来优化边缘的损失,可定义为:
[0039]Loss=L
cls
+L
box
+L
mask
+L
edge

[0040]优选地,利用图像平滑滤波器对实例边缘掩码的标签进行处理,然后将平滑后的实例边缘掩码的标签与预测掩码计算损失。
[0041]与现有技术相比,本专利技术的有益效果是:
[0042]1、本申请通过传统的边缘检测算子提取到本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的单阶段实例分割方法,其特征在于,包括以下步骤:S1:基于YOLACT方法,将实例分割划分为两个并行任务,一个任务为生成当前图片的原型掩码,另一个任务为预测每个实例的掩码系数;S2:将原型掩码和掩码系数进行线性组合,并对组合结果使用激活函数激活以获得预测掩码;S3:将预测掩码作为边缘信息预测分支的输入,将边缘算子作用于预测掩码,得到实例边缘掩码的预测结果,将边缘算子作用于实例的真实掩码得到实例边缘掩码标签;S4:增加预测实例边缘图分支,边缘图预测分支的头部输入为预测结果和与之匹配的实例边缘掩码标签,通过卷积算子进行卷积得到预测边缘图和与之对用的边缘图的标签,构造损失函数,并优化边缘损失,得到最终模型;S5:将待分割实例输入最终模型得到分割结果。2.根据权利要求1所述的一种基于深度学习的单阶段实例分割方法,其特征在于,原型掩码的产生方法为:通过YOLACT中的原型掩码预测分支为整个图像预测产生k个原型掩码,原型掩码子网络protonet被实现为FCN,FCN网络的最后一层有k个通道,每个通道表示一个原型掩码,protonet的输入为骨干网络的特征层或者经过特征融合网络后的特征层的输出。3.根据权利要求2所述的一种基于深度学习的单阶段实例分割方法,其特征在于,掩码系数的产生方法为:YOLACT中的anchor

based基于锚框的目标检测器的预测头部有两个分支:一个分支为每个anchor锚框预测c个类别的分类置信度,c表示一个特定数据集中目标的类别数;另一个分支为每个anchor锚框预测4个回归框系数;增加第三个分支用来预测k个原型掩码的系数,每个原型掩码系数对应于一个原型掩码,Yolact将检测器的预测头部输出从4+c个预测系数拓展为4+c+k个预测系数;原型掩码基数为8,记作符号b,b是一个可调节的超参数;将YOLACT结构中原型掩码预测分支产生的k=32个原型掩码在通道维度上拆分成个原型掩码组,与之对应的原型掩码的预测系数也将被从通道的维度拆分成g个组;在Yolact原型掩码系数预测分支的基础之上并行的增加第四个分支来预测原型掩码的组系数,Yolact检测器的预测头部的输出从4+c+k个预测系数拓展为4+c+k+g个预测系数。4.根据权利要求3所述的一种基于深度学习的单阶段实例分割方法,其特征在于,线性组合方法为:将k个原型掩码在通道维度每b个一组进行有序分组,相应的也对k个原型掩码系数在通道维度每b个进行有序分组,分别得到输入Pi和Ci;通过组合Pi和Ci得到每个分组经过组合后产生的中间原型掩码;在g个原型掩码组的系数中的通道维度获得相...

【专利技术属性】
技术研发人员:吴磊成磊王晓敏龚海刚刘明
申请(专利权)人:电子科技大学长三角研究院衢州
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1