一种结合自监督和全局信息增强的实例分割方法及系统技术方案

本发明专利技术公开了一种结合自监督和全局信息增强的实例分割方法及系统，其中的构建方法首先通过基于ResNet网络和FPN模块的特征提取网络来得到特征金字塔以及进行特征图融合；然后采用基于Fastformer的全局信息增强网络来对特征图进行像素之间的交互关系进行建模，提取全局信息；接着通过预测网络进行实例分割，其中，类别预测网络用于对感兴趣的实例进行多标签分类，掩码预测网络用于对实例所在区域进行像素值分类，生成实例掩码；此外还加入了一个自监督学习网络，用于对图中实例之间进行对比学习，加强模型对图片的理解能力以增强泛化性。本发明专利技术的方法能够解决对遮挡以及不完整物体检测性能不高的问题，同时加强模型的泛化能力，提高在噪声较多的场景中的分割性能。提高在噪声较多的场景中的分割性能。提高在噪声较多的场景中的分割性能。

【技术实现步骤摘要】
一种结合自监督和全局信息增强的实例分割方法及系统


[0001]本专利技术涉及人工智能和计算机视觉
，更具体地，涉及一种结合自监督和全局信息增强的实例分割方法及系统。

技术介绍

[0002]实例分割是计算机视觉领域中一项相对于目标检测更具有挑战性的任务，包含了目标检测和语义分割的工作。它首先将图像中感兴趣的物体进行定位和分类操作，然后对于实例进行语义分割分离出前景和背景。随着智能驾驶和医学图像分割等技术的高速发展，实例分割算法的性能和实时性也被提出了更高的要求。但是传统的自上而下的基于目标检测的实例分割方法及系统和自下而上的基于语义分割的方法在实时性和性能上仍然难以达到目前智能驾驶等领域对于实例分割算法的要求。
[0003]如何增强实例分割算法的性能，缩短前向推理时间就具有重大意义。近年来，一些优秀的单阶段实例分割算法被提出，缓解了这些问题，达到了较为理想的效果。尽管如此，这些算法仍存在着一些缺陷：基于卷积的特征提取网络在信息提取的时候缺乏全局信息，导致对于不完整或有遮挡的物体的检测效果较差；此外，有监督的训练方式导致训练出来的模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合自监督和全局信息增强的实例分割方法，其特征在于，包括：步骤S1：建立实例分割模型；所述实例分割模型包括特征提取网络、全局信息增强网络、自监督学习网络、类别预测网络和掩码预测网络；所述特征提取网络包括ResNet网络和FPN网络，ResNet用于通过叠加多个卷积层、Relu层和normalization层以及残差连接，得到图片金字塔；FPN用于结合特征金字塔中上层特征图丰富的语义信息和下层特征图精确的位置信息，进行特征融合；所述全局信息增强网络由Fastformer模块构成，用于对特征图中每一像素点之间的交互关系进行建模，提取上下文信息，增强对特征图的全局信息提取能力；所述自监督学习网络，用于对图片中的实例进行自监督对比学习，加强对图片的理解能力，增强模型泛化能力；所述类别预测网络，用于对感兴趣的实例进行多标签分类，得到每一实例的对应类别；所述掩码预测网络，用于对选取的实例区域中的像素点进行二分类，区分前景和背景，生成实例的掩码；步骤S2：实例分割模型训练；输入选取的训练数据集，包括图片数据和对应的标签文件；首先提取特征图，再进行特征图融合；然后增强全局信息，输入到head网络进行预测，得出损失函数，通过损失函数进行反向传播来优化模型训练的方向；步骤S3：实例分割首先将图片分成S
×
S个网络，每个网格负责预测中心点落在该位置的实例；即以该网格为中心，预测对应实例的类别和掩码。2.根据权利要求1所述的一种结合自监督和全局信息增强的实例分割方法，其特征在于，所述特征提取网络为ResNet
‑
50和FPN网络。3.根据权利要求1所述的一种结合自监督和全局信息增强的实例分割方法，其特征在于，所述全局信息增强模块为基于加性注意力的Fastformer网络。4.根据权利要求3所述的一种结合自监督和全局信息增强的实例分割方法，其特征在于，所述加性注意力根据输入的特征序列E∈R
N
×
d
(N为序列长度，d为隐藏维数)进行线性变换分别得出查询矩阵、键矩阵和值矩阵，记为Q,K,V∈R
N
×
d
。5.根据权利...

【专利技术属性】
技术研发人员：高榕，沈加伟，邵雄凯，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：