一种基于集合匹配的实例分割的方法技术

本发明专利技术公开了一种基于集合匹配的实例分割方法，具体包括如下步骤：在图像集中的图像标注掩码，将标注掩码转换成标注实例集合；构建实例分割模型；将标注掩码的图像输入实例分割模型中采用梯度下降法进行训练，直至交叉熵损失函数收敛，完成对实例分割模型的训练；将待检测的图像输入到训练好的实例分割模型中，预测出实例分割结果。本发明专利技术使用集合匹配算法对预测实例掩码集合和标注实例集合的元素根据一致性评价指标进行配对，提高了实例匹配的准确率和鲁棒性。准确率和鲁棒性。准确率和鲁棒性。

【技术实现步骤摘要】
一种基于集合匹配的实例分割的方法


[0001]本专利技术属于计算机视觉中图像分割
，具体地，涉及一种基于集合匹配的实例分割方法。

技术介绍

[0002]图像分割按任务细分分为语义分割和实例分割，目前实例分割主流方案都需要先对图像进行目标检测后再进行像素级的细分类，如Mask
‑
Rcnn和Cascade Mask R
‑
CNN等，但此类方案中目标检测步骤都是“两阶段”目标检测，且都需要锚点anchor机制、非极大值抑制NMS、目标框的检测和回归，结构较为复杂且推理速度较慢。
[0003]近两年较为创新得方法虽然进行了“两阶段”到“一说明书(20230707)阶段的”改进，推理时间有所减少，但仍然需要检测框、锚点机制和NMS等作为预测实例掩码的前置操作。目前，使用计算机视觉中实例分割的方案如：
[0004](1)利用目标检测模型如Faster
‑
RCNN、FCOS先检测实例的目标框，再对目标框进行前景背景分割，操作复杂，推理速度慢，且仅能学习到实例局部的信息，无法学习到全局本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于集合匹配的实例分割方法，其特征在于，具体包括如下步骤：步骤S1、在图像集中的图像标注掩码，将标注掩码转换成标注实例集合；步骤S2、构建实例分割模型；步骤S3、将标注掩码的图像输入实例分割模型中采用梯度下降法进行训练，直至交叉熵损失函数收敛，完成对实例分割模型的训练；步骤S4、将待检测的图像输入到训练好的实例分割模型中，预测出实例分割结果。2.根据权利要求1所述的一种基于集合匹配的实例分割方法，其特征在于，所述标注实例集合S
t
＝{y1,...,y
j
,...,y
n
,...y
N
}，其中，n表示图像中对应的目标实例个数，y
j
表示标注实例集合中第j个目标实例的二值图像，N表示标注实例集合长度，y
n+1
,...y
N
均表示空掩码。3.根据权利要求2所述的一种基于集合匹配的实例分割方法，其特征在于，所述二值图像的获取过程为：根据每一个标注掩码，得到目标实例为白色、背景为黑色的二值图像。4.根据权利要求1所述的一种基于集合匹配的实例分割方法，其特征在于，所述实例分割模型包括依次连接的全卷积的主干网络、掩码输出卷积网络和集合匹配网络，所述全卷积的主干网络用于提取图像上的特征图，所述掩码输出卷积网络用于预测实例掩码集合，所述集合匹配网络用于预测实例掩码集合和标注实例集合的元素进行一致性评价指标配对。5.根据权利要求4所述的一种基于集合匹配的实例分割方法，其特征在于，所述全卷积的主干网络为ENet、UNet、Segnet中的一种。6.根据权利要求4所述的一种基于集合匹配的实例分割方法，其特征在于，所述掩码输出卷积网络的输出通道数和标注实例集合S
t
中元素个数一致。7.根据权利要求1所述的一种基于集合匹配的实例分割方法，其特征在于，步骤S3包括如下子步骤：步骤S3.1、将图像集中的一张图像输入到全卷积的主干网络中，得到特征图；步骤S3.2、将特征图输入至掩码输出卷积网络，得到预测实例掩码集合；步骤S3.3、在集合匹配网络中使用集合匹配算法对预测实例掩码集合和标注实例集合的元素根据一致性评价指标进行配对；步骤S3.4、通过梯度下降法重复步骤S3.1
‑
S3.3，直至交叉熵损失函数收敛，完成对实例分割模型的训练。8.根据权利要求7所述的一种基于集合匹配的实例分割方法，其特征在于，步骤S3.3的具体过程为：步骤S3.3.1、设置标注实例集合S
p
的初始标号和预测实例掩码集合S
t
的初始标号l(y
j
)＝0，其中，e
ij
表示S
p
中第i个元素x
i
与S
t

【专利技术属性】
技术研发人员：叶文武，
申请(专利权)人：中电鸿信信息科技有限公司，
类型：发明
国别省市：