一种单阶段实例图像分割方法、装置以及计算机设备制造方法及图纸

本发明专利技术公开了一种单阶段实例图像分割方法、装置以及计算机设备，涉及图像实例分割技术领域，首先提取多层次的图像特征信息，为了更充分地利用高层特征的语义信息和底层特征的细粒度特征，引入自适应特征融合模块计算不同尺度特征权重并融合，将融合后的特征送入三个分支进行实例核预测和掩码分割以及语义类别预测，为了突出特征核的位置信息，引入混合双注意力机制筛选有效特征核，然后将生成掩码与特征核进行映射，根据实例的分类分数和相应的掩码，确定每个实例的类别与置信度，阈值筛选得到最终的分割结果，为了权衡模型分割的速度与精度，采用二部匹配的策略，避免矩阵非极大值抑制操作，大大提升了分割速度。大大提升了分割速度。大大提升了分割速度。

【技术实现步骤摘要】
一种单阶段实例图像分割方法、装置以及计算机设备


[0001]本专利技术涉及图像实例分割
，特别是涉及一种单阶段实例图像分割方法、装置以及计算机设备。

技术介绍

[0002]实例分割是经典的计算机视觉任务之一，旨在对图像前景目标中不同属类别的个体以及同属类别的不同个体进行像素级区分，从而保留不同实例之间的像素差异性；实例分割由于其分割结果与人眼观察的结果具有高相似度，已被广泛应用于多个领域，比如自动驾驶、虚拟现实场景建模、安防监控以及智慧医疗等等。
[0003]目前主流的实例分割方法遵循着两阶段的思路，即先建立实例的候选框，然后再根据候选框对像素进行标记，进行前景与背景的区分，这些方法在精度上取得了较大的提升，但由于其依赖多个分支计算，存在庞大的参数，会导致其难以应用在需要实时性分割的领域，例如自动驾驶以及边缘设备。
[0004]单阶段实例分割受单阶段目标检测的影响，通过直接预测每个对象实例的类别与分割掩码来简化检测与分割分支，然而单阶段实例分割提升分割速度的同时仍存在如下问题：1、实例分割依赖主干网络加特征金字塔的结构来学本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单阶段实例图像分割方法，其特征在于：包括以下步骤S1、输入图像；S2、采用骨干网络ResNet+FPN提取多层次的图像特征信息，使用ResNet上四层的特征图C2、C3、C4以及C5，每层特征图通过1
×
1卷积后与上一层特征上采样后的特征图进行元素相加，构建自上而下的特征金字塔结构，接着每层再通过3
×
3卷积得到特征图P2、P3、P4以及P5；S3、利用自适应空间特征融合模块将特征金字塔结构中的P3、P4、P5特征图融合上下文细粒度特征；S4、设置并行的三个分支，分别为实例核分支、掩码分支以及类别分支，实例核分支用于在划分成S
×
S个网格的增强特征图上预测出包含实例信息的特征核；掩码分支用于生成对应特征的掩码图；类别分支用于生成实例语义类别分数和预测语义类别概率；S5、利用混合双注意力模块突出实例特征，增强实例核分支，混合双注意力模块包括通道注意力模块和位置注意力模块；对组卷积后的特征图进行通道混合操作，使其通道重新打乱排序；将子特征分别送入通道注意力模块以及位置注意力模块，突出实例特征信息；S6、实例特征核与掩码图动态卷积生成掩码分割结果，通过与类别分支预测出的语义类别概率进行二部匹配得到最终的实例分割结果；类别分支将不同层级特征进行双线性上采样或下采样统一特征尺寸，将输入特征图像划分成S
×
S个网格，通过四组3
×
3卷积+GN+ReLu的重复模块，生成S
×
S个C维输出，C表示总类别数，对每个网格进行语义类别概率的预测；提出了一个基于DICE的配对分数，如式（7）所示，用于在训练阶段分配正负样本，以及为特征图的不同位置分配学习目标，其中i表示第i个预测对象，k表示k个ground
‑
truth对象，由分类分数和掩码的DICE系数决定，（7）其中，是超参数，用于平衡分类和分割的影响，表示第k个ground
‑
truth实例的类别标签，表示第i个预测的类别为的概率，分别表示第i个预测实例和第k个ground
‑
truth实例的掩码，DICE系数计算如式（8）所示：
ꢀꢀ
（8）其中，分别表示预测掩码m和真值掩码t中(x,y)处的像素；S7、得到最终掩码结果以及对象分类结果，并将其映射至原图像输出最终实例分割图像。2.根据权利要求1所述的单阶段实例图像分割方法，其特征在于：所述步骤S3中，自适应空间特征融合模块的融合方法包括以下步骤S3.1、分别对特征金字塔输出的P2、P3以及P4进行统一尺寸，对P2统一尺寸时，将P3上采样、P4上采样与P2统一尺寸；对P3统一尺寸时，将P2下采样、P4上采样与P3统一尺寸；对P4统一尺寸时，将P2下采样、P3下采样与P4统一尺寸；S3.2、对调整后的三个特征图进行1
×
1的卷积运算；
S3.3、将这三个特征图拼接后再通过1
×
1的卷积和softmax归一化得到对应权值α、β和γ；S3.4、当为P2时，将对应权重分别与P4_resized、P3_resized和P2相乘；当为P3时，将对应权重分别与P4_resized、P2_resized和P3相乘；当为P4时，将对应权重分别与P3_resized、P2_resized和P4相乘；S3.5、将上一步骤中三个相乘的结果相加得到新的融合特征，获得对应的自适应空间特征融合模块，自适应空间特征融合的计算方式如式（1）所示 （1）其中，表示特征图中位置(i,j)的特征向量，表示第n层级的特征图与调整至相同尺寸，表示三个不同层级中位于(i,j)的特征向量计算出的空间特征权重，取值范围是0到1；的计算公式分别如式（2）、式（3）、式（4）所示
ꢀꢀ
（2）
ꢀꢀꢀ
（3） （4）其中，分别表示三个权值的控制参数。3.根据权利要求1所述的单阶段实例图像分割方法，其特征在于：所述步骤S4中，掩码分支采用阶梯式特征对齐方式来生成对应...

【专利技术属性】
技术研发人员：陈苏婷，张晓敏，王天语，缪则林，王航将，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：