一种基于通道信息共享残差模块的实时语义分割方法技术

本发明专利技术涉及计算机视觉领域，公开了一种基于通道信息共享残差模块的实时语义分割方法，其包括步骤：将特征图X通过二维通道信息共享残差模块经通道分裂进行分组操作，分成X1和X2两组；将分组X1连续经过两个不带空洞卷积的3*1和1*3的卷积核进行卷积操作，再经过带空洞卷积的3*1和1*3卷积核进行卷积操作，得到输出Y1；将输出Y1和输入X2进行拼接，再进行一系列带空洞卷积和不带空洞卷积的3*1和1*3的卷积核进行卷积操作，输出Y2；拼接Y1和Y2后，将各通道洗牌打乱；将实时语义分割网络中的编码器学习到的语义特征映射到高分辨率的特征图上，获得密集预测。该方法可对输入的特征图进行实时精确地分割，有效降低了整个网络的参数量，提高了计算效率，提高了特征图的实时分割精度。

【技术实现步骤摘要】
一种基于通道信息共享残差模块的实时语义分割方法
本专利技术涉及计算机视觉领域，具体涉及一种基于通道信息共享残差模块的实时语义分割方法，具有鲁棒性强、计算效率高的特点。
技术介绍
语义分割一直是计算机视觉领域的热门方向，其应用领域广泛，例如增强现实，自动驾驶，计算摄影学，人机交互，图像搜索引擎等。语义分割的目的是给图片中的每个像素进行分类，使每个像素都被标注上对应区域的类别，属于密集预测，因此需要耗费大量的计算资源。为了将语义分割算法应用到移动设备上，减轻对计算资源的依赖，近几年越来越多的学者致力于构建实时化语义分割算法。语义分割一直是计算机视觉领域一个具有挑战性的方向。一张图片里面往往会有多种种类的物品，例如Cityspaces数据集的图片，是在汽车上采集的汽车窗外的街景图片，图片里面都各种高楼大厦，行人，路灯等，分割目标物的种类很多，尺寸大小不一，所以要对其进行语义分割，是一项很有挑战性的任务。实时语义分割除了面临传统语义分割的挑战之外，还需要提高分割速度，满足实时性要求。总之，目前的实时语义分割技术主要存在的不足之处有：第一本文档来自技高网...

【技术保护点】
1.一种基于通道信息共享残差模块的实时语义分割方法，其特征在于，包括以下步骤：/nS1、将特征图X通过二维通道信息共享残差模块经通道分裂进行分组操作，分成两组，分别为X1和X2；/nS2、将第一个分组X1连续经过两个不带空洞卷积的3*1和1*3的卷积核进行卷积操作，再经过带空洞卷积的3*1和1*3卷积核进行卷积操作，得到第一组分组的输出Y1；/nS3、将输出Y1和第二分组的输入X2进行拼接，再进行一系列带空洞卷积和不带空洞卷积的3*1和1*3的卷积核进行卷积操作，输出Y2；/nS4、拼接Y1和Y2后，将各通道洗牌打乱；/nS5、将实时语义分割网络中的编码器学习到的语义特征映射到高分辨率的特征图...

【技术特征摘要】
1.一种基于通道信息共享残差模块的实时语义分割方法，其特征在于，包括以下步骤：
S1、将特征图X通过二维通道信息共享残差模块经通道分裂进行分组操作，分成两组，分别为X1和X2；
S2、将第一个分组X1连续经过两个不带空洞卷积的3*1和1*3的卷积核进行卷积操作，再经过带空洞卷积的3*1和1*3卷积核进行卷积操作，得到第一组分组的输出Y1；
S3、将输出Y1和第二分组的输入X2进行拼接，再进行一系列带空洞卷积和不带空洞卷积的3*1和1*3的卷积核进行卷积操作，输出Y2；
S4、拼接Y1和Y2后，将各通道洗牌打乱；
S5、将实时语义分割网络中的编码器学习到的语义特征映射到高分辨率的特征图上，获得密集预测。


2.根据权利要求1所述的基于通道信息共享残差模块的实时语义分割方法，其特征在于，在所述步骤S1中，所述二维通道信息共享残差模块的表达式为：
X1＝X[:,:C/2,:,:]；
X2＝X[:,C/2:,:,:]；
Y1＝f1-d1(f1(X1))；






其中，C为输入特征的通道数，f1(·)为3×1和1×3卷核的卷积操作和一系列的ReLU、批量归一化BN操作，f1-d1(·)为指扩张率为d1的3×1和1×3卷积核的空洞卷积操作和一系列的ReLU、批量归一化BN操作，f2(·)为1×3和3×1卷核的卷积操作和一系列的ReLU、批量归一化BN操作，f2-d2(·)为指扩张率为d2的1×3和3×1卷积核的空洞卷积操作和一系列的ReLU、批量归一化BN操作，为指特征通道的拼接操作，shuffle(·)为输入的特征通道洗牌操作，括号中为通道数。


3.根据权利要求1或2所述的...

【专利技术属性】
技术研发人员：胡建国，蔡佳辉，王金鹏，陈嘉敏，林佳玲，
申请(专利权)人：中山大学，广州智慧城市发展研究院，
类型：发明
国别省市：广东;44