一种基于多分支特征提取的全景分割方法及系统技术方案

本发明专利技术属于图像处理技术领域，具体提供了一种基于多分支特征提取的全景分割方法及系统，该方法包括：对RGB图像进行预处理，得到初始图像；将初始图像输入预先构建的全景分割网络，得到初始图像的全景分割结果；预先构建的全景分割网络包括：主干网络、细节提取分支网络、实例定位分支网络、通道注意力分支网络、特征聚合分支网络、特征编码网络和后处理模块。本申请提供的技术方案，不仅能够准确识别不同的前景物体和背景，还能够准确分割物体边缘；通过融合图像的高维特征和低维特征，提取丰富的感受野和空间信息，提升全景分割的整体精度。度。度。

【技术实现步骤摘要】
一种基于多分支特征提取的全景分割方法及系统


[0001]本专利技术属于图像处理
，具体提供了一种基于多分支特征提取的全景分割方法及系统。

技术介绍

[0002]全景分割是对图像的完整解析，可以将图像分割成前景和背景，并对前景物体的不同实例分配不同的编号，使图像中每一个像素都具有独立的语义标签和实例编号,且像素类别不重叠，方便下游任务。
[0003]现有的全景分割框架分为两类，一类是将前景背景分开处理的两分支结构，另一类是将前景背景同时处理的端到端结构。两分支结构中，一条分支负责预测前景部分的实例结构，与实例分割等同；另一条分支负责区分背景和前景，与语义分割等同，将两分支的处理结果融合即得到全景分割结果。但两分支结构的全景分割网络需要分别进行语义分割和实例分割，针对两个分支的处理结果需要设计专门的融合方案，导致网络结构冗余，且全景分割精度不高。端到端的结构将背景和前景统一处理，去除了对实例分割和语义分割结果的融合步骤。但端到端的全景分割网络同时处理前景和背景，无法整合低维特征和高维特征，对物体细节和边缘处分割结果不清晰。

技术实现思路

[0004]为至少在一定程度上克服相关技术中存在的问题，本专利技术提供一种基于多分支特征提取的全景分割方法及系统。
[0005]第一方面，提供一种基于多分支特征提取的全景分割方法，所述方法包括：
[0006]对RGB图像进行预处理，得到初始图像；
[0007]将所述初始图像输入预先构建的全景分割网络，得到所述初始图像的全景分割结果；<br/>[0008]所述预先构建的全景分割网络包括：主干网络、细节提取分支网络、实例定位分支网络、通道注意力分支网络、特征聚合分支网络、特征编码网络和后处理模块。
[0009]优选的，所述对RGB图像进行预处理，得到初始图像，包括：
[0010]将所述RGB图像的分辨率规格化为512*1024，得到所述初始图像。
[0011]优选的，所述将所述初始图像输入预先构建的全景分割网络，得到所述初始图像的全景分割结果，包括：
[0012]将所述初始图像输入至所述主干网络进行高维特征提取，生成第一特征图；
[0013]将所述初始图像输入至所述细节提取分支网络进行低维特征提取，生成第二特征图；
[0014]将所述第一特征图输入至所述实例定位分支网络进行前景实例和背景区域的定位，生成第三特征图；
[0015]将所述第一特征图输入至所述通道注意力分支网络，为所述第一特征图的各个通
道分配权重，生成第四特征图；
[0016]将所述第二特征图和所述第四特征图均输入至所述特征聚合分支网络进行融合，生成第五特征图；
[0017]将所述第五特征图输入至所述特征编码网络进行编码，生成第六特征图；
[0018]将所述第三特征图和所述第六特征图进行逐像素相加，生成第七特征图；
[0019]将所述第七特征图输入至所述后处理模块，以将所述第七特征图中的各个通道进行融合，得到所述初始图像的全景分割结果。
[0020]优选的，所述主干网络，包括：基于ResNet的FPN网络、卷积模块C1、卷积模块C2、上采样模块U1、两个上采样模块U2和三个上采样模块U3；
[0021]所述卷积模块C1和卷积模块C2均包括：一个卷积层、一个批归一化层和一个激活函数；
[0022]所述上采样模块U1、上采样模块U2和上采样模块U3均包括：一个卷积层、一个批归一化层、一个激活函数和一个2倍上采样层；
[0023]所述卷积层的卷积核为3
×
3，所述卷积层的输入通道和输出通道均为256。
[0024]优选的，所述细节提取分支网络，包括：卷积模块C3、卷积模块C4、卷积模块C5、卷积模块C6、卷积模块C7、卷积模块C8、卷积模块C9和卷积模块C10；
[0025]所述卷积模块C3、卷积模块C4、卷积模块C5、卷积模块C6、卷积模块C7、卷积模块C8、卷积模块C9和卷积模块C10均包括：一个卷积层、一个批归一化层和一个激活函数；
[0026]所述卷积模块C3的卷积层的卷积核、输入通道、输出通道、步长和分辨率分别为3
×
3、3、64、2和初始图像的分辨率的1/2；
[0027]所述卷积模块C4的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、64、64、和1；
[0028]所述卷积模块C5的卷积层的卷积核、输入通道、输出通道、步长和分辨率分别为3
×
3、64、64、2和初始图像的分辨率的1/2；
[0029]所述卷积模块C6的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、64、64和1；
[0030]所述卷积模块C7的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、64、64和1；
[0031]所述卷积模块C8的卷积层的卷积核、输入通道、输出通道和步长和分辨率分别为3
×
3、64、128、2和初始图像的分辨率的1/2；
[0032]所述卷积模块C9的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、128、256和1；
[0033]所述卷积模块C10的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、256、256和1。
[0034]优选的，所述实例定位分支网络，包括：卷积模块C11、卷积模块C12、卷积模块C13、CoordConv层、卷积模块C14、卷积模块C15和卷积模块C16；
[0035]所述卷积模块C11、卷积模块C12、卷积模块C13、卷积模块C14、卷积模块C15和卷积模块C16均包括：一个卷积层、一个批归一化层和一个激活函数；
[0036]所述卷积模块C11的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、
256、256和1；
[0037]所述卷积模块C12的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、256、256和1；
[0038]所述卷积模块C13的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、256、M+N和1；
[0039]所述卷积模块C14的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、256、256和1；
[0040]所述卷积模块C15的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、256、M+N和1；
[0041]所述卷积模块C16的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、M+N、M+N和1。
[0042]优选的，所述通道注意力分支网络，包括：全局平均池化层、全连接层FC1、全连接层FC2和Sigmoid层；
[0043本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多分支特征提取的全景分割方法，其特征在于，所述方法包括：对RGB图像进行预处理，得到初始图像；将所述初始图像输入预先构建的全景分割网络，得到所述初始图像的全景分割结果；所述预先构建的全景分割网络包括：主干网络、细节提取分支网络、实例定位分支网络、通道注意力分支网络、特征聚合分支网络、特征编码网络和后处理模块。2.根据权利要求1所述的方法，其特征在于，所述对RGB图像进行预处理，得到初始图像，包括：将所述RGB图像的分辨率规格化为512*1024，得到所述初始图像。3.根据权利要求1所述的方法，其特征在于，所述将所述初始图像输入预先构建的全景分割网络，得到所述初始图像的全景分割结果，包括：将所述初始图像输入至所述主干网络进行高维特征提取，生成第一特征图；将所述初始图像输入至所述细节提取分支网络进行低维特征提取，生成第二特征图；将所述第一特征图输入至所述实例定位分支网络进行前景实例和背景区域的定位，生成第三特征图；将所述第一特征图输入至所述通道注意力分支网络，为所述第一特征图的各个通道分配权重，生成第四特征图；将所述第二特征图和所述第四特征图均输入至所述特征聚合分支网络进行融合，生成第五特征图；将所述第五特征图输入至所述特征编码网络进行编码，生成第六特征图；将所述第三特征图和所述第六特征图进行逐像素相加，生成第七特征图；将所述第七特征图输入至所述后处理模块，以将所述第七特征图中的各个通道进行融合，得到所述初始图像的全景分割结果。4.根据权利要求3所述的方法，其特征在于，所述主干网络，包括：基于ResNet的FPN网络、卷积模块C1、卷积模块C2、上采样模块U1、两个上采样模块U2和三个上采样模块U3；所述卷积模块C1和卷积模块C2均包括：一个卷积层、一个批归一化层和一个激活函数；所述上采样模块U1、上采样模块U2和上采样模块U3均包括：一个卷积层、一个批归一化层、一个激活函数和一个2倍上采样层；所述卷积层的卷积核为3
×
3，所述卷积层的输入通道和输出通道均为256。5.根据权利要求3所述的方法，其特征在于，所述细节提取分支网络，包括：卷积模块C3、卷积模块C4、卷积模块C5、卷积模块C6、卷积模块C7、卷积模块C8、卷积模块C9和卷积模块C10；所述卷积模块C3、卷积模块C4、卷积模块C5、卷积模块C6、卷积模块C7、卷积模块C8、卷积模块C9和卷积模块C10均包括：一个卷积层、一个批归一化层和一个激活函数；所述卷积模块C3的卷积层的卷积核、输入通道、输出通道、步长和分辨率分别为3
×
3、3、64、2和初始图像的分辨率的1/2；所述卷积模块C4的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、64、64、和1；所述卷积模块C5的卷积层的卷积核、输入通道、输出通道、步长和分辨率分别为3
×
3、64、64、2和初始图像的分辨率的1/2；
所述卷积模块C6的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、64、64和1；所述卷积模块C7的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、64、64和1；所述卷积模块C8的卷积层的卷积核、输入通道、输出通道和步长和分辨率分别为3
×
3、64、128、2和初始图像的分辨率的1/2；所述卷积模块C9的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、128、256和1；所述卷积模块C10的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、256、256和1。6.根据权利要求3所述的方法，其特征在于，所述实例定位分支网络，包括：卷积模块C11、卷积模块C12、卷积模块C13、CoordConv层、卷积模块C14、卷积模块C15和卷积模块C16；所述卷积模块C11、卷积模块C12、卷积模块C13、卷积模块C14、卷积模块C15和卷积模块C16均包括：一个卷积层、一个批归一化层和一个激活函数；所述卷积模块C11的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、256、256和1；所述卷积模块C12的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、256、256和1；所述卷积模块C13的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、256、M+N和1；所述卷积模块C14的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、256、256和1；所述卷积模块C15的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、256、M+N和1；所述卷积模块C16的卷积层的卷积核、输入通道、输出通道和步长分别为3
×
3、M+N、M+N和1。7.根据权利要求3所述的方法，其特征在于，所述通道注意力分支网络，包括：全局平均池化层、全连接层FC1、全连接层FC2和Sigmoid层；所述全连接层FC1的输入通道和输出通道分别为256和16；所述全连接层FC2的输入通道和输出通道分别为16和256。8.根据权利要求3所述的方法，其特征在于，所述特征聚合分支网络，包括：逐通道卷积DWC1、卷积模块C17、卷积模块C18、上采样层UP1、卷积模块C19、Sigmoid层、逐通道卷积DWC2、卷积模块C20、Sigmoid层、上采样层UP2和卷积模块C21；所述卷积模块C17、卷积模块C18、卷积模块C19、卷积模块C20和卷积模块C21均包括：一个卷积层、一个批归一化层和一个激活函数；所述逐通道卷积DWC1的卷积层的卷积核、步长、分组数、输入通道和输出通道分别为：3
×
3、1、256、256和256；所述逐通道卷积DWC2的卷积层的卷积核、步长、分组数、输入通道和输出通道分别为：3
×
3、1、256、256和256；
所述卷积模块C17的卷积层的卷积核、步长、输入通道和输出通道分别为：1
×
1、1、256和256；所述卷积模块C18的卷积层的卷积核、步长、输入通道和输出通道分别为：3
×
3、1、256和256；所述卷积模块C19的卷积层的卷积核、步长、输入通道和输出通道分别为：3
×
3、2、256和256；所述卷积模块C20的卷积层的卷积核、步长、输入通道和输出通道分别为：1
×
1、1、256和256；所述卷积模块C21的卷积层的卷积核、步长、输入通道和输出通道分别为：3
×
3、1、256和256。9.根据权利要求3所述的方法，其特征在于，所述特征编码网络，包括：CoordConv层、卷积模块C22、卷积模块C23...

【专利技术属性】
技术研发人员：孙庆伟，晁建刚，林万洪，陈炜，何宁，许振瑛，
申请(专利权)人：中国人民解放军战略支援部队航天工程大学，
类型：发明
国别省市：