一种基于局部和全局特征增强模块的图像语义分割方法技术

本发明专利技术公开了一种基于局部和全局特征增强模块的图像语义分割方法，包括选取并制作语义分割任务所需的训练集图像和验证集图像，以及相应的标签图片。对训练集图像进行数据增强，分别对训练集图像和验证集图像中的样本图像进行标准化，对应的标签图像进行编码，设计卷积神经网络中，处理后数据作为模型的输入数据，输出多通道特征图，优化卷积神经网络参数，输入真实场景图像到参数优化后的卷积神经网络中进行语义分割，输出像素被标记后的图像。本发明专利技术为场景解析和强化学习等研究中的后续操作提供了重要的技术支持，可应用于虚拟现实，自动驾驶和人机交互等领域。

A method of image semantic segmentation based on local and global feature enhancement module

【技术实现步骤摘要】
一种基于局部和全局特征增强模块的图像语义分割方法
本专利技术涉及卷积神经网络和图像语义分割技术，尤其涉及基于卷积神经网络的增强特征的图像语义分割方法。
技术介绍
图像语义分割是计算机视觉中重要的研究课题之一，其研究结果对于其它的视觉任务有着重要的影响作用。语义分割技术目前已广泛应用于人工解析，虚拟现实，自动驾驶等领域，但在某些复杂的场景中，由于分割目标种类多且尺度多样化，小尺度目标分割精度比较低，具有相似特征的目标之间像素分类易出错。随着深度学习和机器学习的稳步发展，利用卷积神经网络学习目标特征受到了研究者们的极大追捧，出现很多采用全卷积神经网络进行像素级别分类达到语义分割效果的方法，目前基于全卷积神经网络的图像语义分割方法分为单阶段网络和两阶段网络，单阶段网络对图像进行编码后直接上采样得到输出，例如FCN，DeepLab系列，PSPNet等算法，而两阶段网络先对图像进行编码后解码得到输出，例如U-Net，SegNet，RefineNet，GCN等。图像语义分割方法研究的难点在于对小尺度目标的局部感知特征提取，以及保证目标像素类别的分类本文档来自技高网...

【技术保护点】
1.一种基于局部和全局特征增强模块的图像语义分割方法，其特征在于，包括以下步骤：/n1)、获取数据集，选取并制作语义分割任务所需的训练集图像和验证集图像，以及相应的标签图片；/n2)、对训练集图像进行数据增强，分别对训练集图像和验证集图像中的样本图像进行标准化，对应的标签图像进行编码；/n3)、将步骤2)处理后的数据输入基于tensorflow开源深度学习框架设计的卷积神经网络中，输出多通道特征图；/n4)、计算卷积神经网络模型的输出结果与编码后的标签图像的损失，优化卷积神经网络参数；/n5)、输入真实场景图像到参数优化后的卷积神经网络中进行语义分割，输出像素被标记后的图像。/n

【技术特征摘要】
1.一种基于局部和全局特征增强模块的图像语义分割方法，其特征在于，包括以下步骤：
1)、获取数据集，选取并制作语义分割任务所需的训练集图像和验证集图像，以及相应的标签图片；
2)、对训练集图像进行数据增强，分别对训练集图像和验证集图像中的样本图像进行标准化，对应的标签图像进行编码；
3)、将步骤2)处理后的数据输入基于tensorflow开源深度学习框架设计的卷积神经网络中，输出多通道特征图；
4)、计算卷积神经网络模型的输出结果与编码后的标签图像的损失，优化卷积神经网络参数；
5)、输入真实场景图像到参数优化后的卷积神经网络中进行语义分割，输出像素被标记后的图像。


2.根据权利要求1所述基于局部和全局特征增强模块的图像语义分割方法，其特征在于：步骤1)所述训练集图像和验证集图像，在数据集中以步长5进行采样获取训练图像，以步长10进行采样获取验证图像。


3.根据权利要求1所述基于局部和全局特征增强模块的图像语义分割方法，其特征在于：步骤2)所述数据增强包括翻转、仿射变换和亮度调节。


4.根据权利要求1或3所述基于局部和全局特征增强模块的图像语义分割方法，其特征在于：步骤2)所述标准化处理为将图像RGB像素值减去ImageNet数据集的图像RGB通道均值。


5.根据权利要求1所述基于局部和全局特征增强模块的图像语义分割方法，其特征在于：步骤3)所述卷积神经网络包括：
基础网络模块，采用ResNet-50网络，并将最后一个池化层改用比率为2的空洞卷积；
局部特征增强模块，对基础网络模块输出...

【专利技术属性】
技术研发人员：陈乔松，段博邻，隋晓旭，李金鑫，王郅翔，周丽，刘宇，张珺涵，边愿愿，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50