一种双特征提取与融合的全卷积网络语义分割方法技术

本发明专利技术公开了一种双特征提取与融合的全卷积网络语义分割方法，该全卷积网络采用编码器‑解码器结构，包括编码器部分与解码器部分。在编码器部分中，RGB图像与深度图像无需做任何预处理，分别输入到两个独立的特征提取分支中，并由浅至深地进行特征提取，同时在这一过程中，不同尺度的RGB特征与深度特征不断融合，在解码器部分中则利用编码器部分提供的特征图逐步实现对每个像素的类别标注，输出分割结果。本发明专利技术提供的方法实现了RGB‑D特征的多级提取与多尺度融合，达到充分有效结合RGB特征与深度特征，进而提高分割精度的目的。

【技术实现步骤摘要】
一种双特征提取与融合的全卷积网络语义分割方法
本专利技术涉及图像分割
，具体涉及一种双特征提取与融合的全卷积网络语义分割方法。
技术介绍
随着计算机技术的迅速发展，人工智能已经融入到了人们的生活、工作、学习和娱乐之中，人工智能的交互主要依靠计算机视觉，而图像语义分割是研究计算机视觉的基础，同样也是计算机视觉中热门的研究方向之一。近些年来，随着深度学习的不断发展，在图像语义分割任务中出现了许多优秀的深度神经网络，U-net网络作为其中的一种简单而有效的图像语义分割网络，在面对小数据量时仍然展现出了优异的性能，使其最早被用在了医学图像领域，随后便被学者迁移使用到了其他的图像分割领域。目前，对图像语义分割的研究主要还是集中在单一的RGB图像或灰度图像上。低成本RGB-D传感器的出现为图像语义分割任务提供了一种全新的视角——深度图像(Depthimage)，表现为一幅灰度图像，其中每一点的像素值代表了物体与传感器之间的距离信息，距离传感器所在平面越近的点灰度值越大。深度图像边缘性较强，具有丰富的空间信息，不会受到光照、阴影和颜色等因素的影本文档来自技高网...

【技术保护点】
1.一种双特征提取与融合的全卷积网络语义分割方法，其特征在于，该全卷积网络采用编码器-解码器结构，包括编码器部分与解码器部分，其中，所述编码器部分包括两个特征提取分支，分别为RGB分支与深度分支，RGB分支与深度分支均包括依次顺序连接的第一特征提取模块、池化层、第二特征提取模块、池化层、第三特征提取模块、池化层、第四特征提取模块、池化层和第五特征提取模块；所述解码器部分包括依次顺序连接的第一上采样模块、第二上采样模块、第三上采样模块与第四上采样模块和Sigmoid预测层；所述图像语义分割方法包括如下步骤：/nS1、使用RGB-D传感器采集目标分割物体的RGB图像与深度图像，并对所述目标分割物体...

【技术特征摘要】
1.一种双特征提取与融合的全卷积网络语义分割方法，其特征在于，该全卷积网络采用编码器-解码器结构，包括编码器部分与解码器部分，其中，所述编码器部分包括两个特征提取分支，分别为RGB分支与深度分支，RGB分支与深度分支均包括依次顺序连接的第一特征提取模块、池化层、第二特征提取模块、池化层、第三特征提取模块、池化层、第四特征提取模块、池化层和第五特征提取模块；所述解码器部分包括依次顺序连接的第一上采样模块、第二上采样模块、第三上采样模块与第四上采样模块和Sigmoid预测层；所述图像语义分割方法包括如下步骤：
S1、使用RGB-D传感器采集目标分割物体的RGB图像与深度图像，并对所述目标分割物体的RGB图像与深度图像进行标定与增强；
S2、将目标分割物体的RGB图像与深度图像分别输入到编码器部分的RGB分支与深度分支中进行由浅至深的特征提取，RGB图像与深度图像在各自分支中均依次通过第一特征提取模块、池化层、第二特征提取模块、池化层、第三特征提取模块、池化层、第四特征提取模块、池化层和第五特征提取模块，分别得到由RGB分支中第一、第二、第三、第四、第五特征提取模块提取到的特征图谱FR1、FR2、FR3、FR4、FR5和由深度分支中第一、第二、第三、第四、第五特征提取模块提取到的特征图谱FD1、FD2、FD3、FD4、FD5，在特征提取的过程中，深度分支中每一个特征提取模块提取的不同尺度的特征图谱均传输至RGB分支中对应的特征提取模块进行融合操作，经过四个池化层的下采样进行尺寸缩小，最后提取特征图谱FR5；
S3、将编码器部分中RGB分支的第五特征提取模块提取的特征图谱FR5传输至解码器部分，逐步通过第一、第二、第三与第四上采样模块将特征图谱的尺寸恢复至原图大小，其中，每一个上采样模块中均进行一次特征拼接操作；
S4、将第四上采样模块输出的特征图谱传输至Sigmoid预测层，该Sigmoid预测层在特征图谱上以1为步长对各个像素进行遍历，同时结合Sigmoid函数将每一个像素的输出置信度范围限制在0到1之间，输出初步分割结果；
S5、对输出的初步分割结果进行置信度判断，对于置信度大于0.5的像素点，认为其属于目标分割物体并将其值置为1；对于置信度小于0.5的像素点，认为其属于背景并将其值置为0；
S6、经过步骤S5之后，各个像素点的置信度取值为1或0，此时将置信度乘以255并作为各个点的像素值；经过前述操作，各个像素点的取值变为255或0，其中，0代表背景信息，255则代表目标分割物体；最终输出的分割结果即为一幅只保留目标分割物体和背景的黑白图像。


2.根据权利要求1所述的一种双特征提取与融合的全卷积网络语义分割方法，其特征在于，所述步骤S1中在采集到的RGB图像上采用点标注的形式进行数据标定形成标签图像，接着对采集到的RGB图像、深度图像以及对应的标签图像进行包括旋转、平移、改变亮度在内的数据增强方式实现对原始数据集的扩充，增强网络对特定变化的鲁棒性。


3.根据权利要求1所述的一种双特征提取与融合的全卷积网络语义分割方法，其特征在于，所述RGB分支与深度分支中第一特征提取模块、第二特征提取模块、第三特征提取模块结构相同，其中，第一特征提取模块、第二特征提取模块、第三特征提取模块均包括...

【专利技术属性】
技术研发人员：杨萃，姜茗耀，詹鹏宇，宁更新，陈芳炯，季飞，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44