一种基于对抗的轻量级网络语义分割方法技术

本发明专利技术涉及一种基于对抗的轻量级网络语义分割方法，用以解决预测准确率低，网络处理速度慢，难以达到实时预测的要求的问题。本发明专利技术从提升语义分割速度和精度的角度出发，提出一种基于对抗的轻量化语义分割方法。首先，通过减少通道数量，利用非对称卷积减少跳跃连接中参数量，空洞卷积增加特征图感受野，通道打乱操作提升网络信息获取能力，构建轻量级非对称的编码解码语义分割网络；然后，利用对抗思想，使用判别网络对分割图像和标定的语义标签进行判别，并设计判别损失函数和分割损失函数，通过反向传播的方法交替更新分割网络和判别网络，直至判别网络无法分辨分割网络生成的标注和真实标注，实现图像的语义分割。本发明专利技术利用轻量化模型和对抗思想使得分割网络确保实时性的同时，具有较高的分割精度。

A lightweight network semantic segmentation method based on confrontation

The invention relates to a lightweight network semantic segmentation method based on confrontation, which is used to solve the problems of low prediction accuracy, slow network processing speed and difficult to meet the requirements of real-time prediction. The invention proposes a lightweight semantic segmentation method based on confrontation from the perspective of improving the speed and precision of semantic segmentation. First of all, by reducing the number of channels, using asymmetric convolution to reduce the number of parameters in jump connection, empty convolution to increase the receptive field of feature image, channel scrambling operation to improve the ability of network information acquisition, and building a lightweight asymmetric coding decoding semantic segmentation network; then, using the counter thought, using the discrimination network to distinguish the segmented image and the calibrated semantic label, and setting Considering the discrimination loss function and the segmentation loss function, the segmentation network and the discrimination network are updated alternately by the method of back propagation, until the discrimination network can not distinguish the label generated by the segmentation network and the real label, so as to realize the semantic segmentation of the image. The invention makes use of the lightweight model and the countermeasure idea to ensure the real-time performance of the segmentation network and has high segmentation accuracy.

【技术实现步骤摘要】
一种基于对抗的轻量级网络语义分割方法
本专利技术属于计算机视觉图像语义分割领域，具体涉及一种基于对抗的轻量级网络语义分割方法。
技术介绍
随着科技的发展，越来越多的诸如服务机器人送餐和无人驾驶等新技术应用于人们的生产生活中。在此背景下，研究人员在相关领域进行了大量研究。机器人送餐和无人驾驶都需要先建立对周围环境的感知，图像语义分割则能够帮助机器深入理解所处场景。图像分割是计算机视觉中的基本任务，也是实现机器对环境感知，乃至与人交互的基础，分割的有效性直接影响到机器智能化水平。图像语义分割旨在预测图像中所有位置的像素，为不同的类别赋予不同的标签，从而实现图像像素级分类。近年来，随着深度学习的发展和计算机硬件性能的提升，基于卷积神经网络(CNN)的语义分割算法取得了很好的效果。尽管卷积神经网络在图像分类方面取得了较大成功，但其应用于图像像素级标注时，只能提供粗略的空间结果，因此需要与其他算法级联以实现细化。另一方面，现有的大多数分割模型都是通过增加参数来提高准确率，模型往往具有大量的超参数，运算时间较长，不适合用于移动平台上，无法满足如服务本文档来自技高网...

【技术保护点】
1.一种基于对抗的轻量级语义分割方法的实施步骤如下：/n步骤1：数据预处理/n对数据集中的图像进行水平翻转、随机裁剪和多尺度变换，得到预处理的图像；/n步骤2：构建轻量级语义分割网络/n步骤2.1：构建编码网络；编码网络模型共18层，仅在网络的第1,5,8层做下采样，其他层都是上一层的同等映射，第8层以后的特征图通道数量保持在128；网络中的跳跃连接部分将输入的特征图通道分成三部分，每一部分进行的操作相同，都先通过一个3×1和一个1×3的非对称卷积提取图像特征，之后使用一个3×1和一个1×3的空洞卷积增加特征图感受野，将三部分特征图合并，最后利用通道打乱方法打乱跳跃连接输出的特征图通道，获取更...

【技术特征摘要】
1.一种基于对抗的轻量级语义分割方法的实施步骤如下：
步骤1：数据预处理
对数据集中的图像进行水平翻转、随机裁剪和多尺度变换，得到预处理的图像；
步骤2：构建轻量级语义分割网络
步骤2.1：构建编码网络；编码网络模型共18层，仅在网络的第1,5,8层做下采样，其他层都是上一层的同等映射，第8层以后的特征图通道数量保持在128；网络中的跳跃连接部分将输入的特征图通道分成三部分，每一部分进行的操作相同，都先通过一个3×1和一个1×3的非对称卷积提取图像特征，之后使用一个3×1和一个1×3的空洞卷积增加特征图感受野，将三部分特征图合并，最后利用通道打乱方法打乱跳跃连接输出的特征图通道，获取更多图像信息，以弥补因减少参数量而丢失的信息；
步骤2.2：构建解码网络；编码网络输出的特征图即为解码网络的输入，对该输入进行两种操作：
第一，利用卷积将输入特征图的通道数量从128减少到类别数量大小；
第二，将输入的特征图通过三次下采样，得到三种大小的特征图，三种特征图均通过卷积将通道数从128减少到类别数量大小，特征图从小到大分别记为a、b、c，对特征图a进行一次上采样后得到与b同等大小的特征图，并与b叠加后再进行上采样得到与c同等大小的特征图，并将其与c叠加后进行上采样得到的结果与第一步的结果叠加后进行上采样以恢复到原图像大小，输出结果即为预测的标注；
步骤3：构建基于对抗的语义分割网络
生成对抗网络包含两个子网络模型，分别是生成模型和判别模型，所述的生成网络即为步骤2搭建的轻量级分割网络，输入为真实场景图像，输出为预测标签图像；判别网络采用全卷积网络框架，它将预测标签图和真实标签图作为输入，对生成的预测标签和真实标签进行判别，输出置信图，其输出映射的每个像素p，表示该像素是从真实标签图(p＝1)还是从预测标签图(p＝0)采样；
步骤4：设计损失函数
损失函数包括两部分，即判别网络的损失函数和分割网络的损失函数，...

【专利技术属性】
技术研发人员：杨金福，武随烁，李明爱，单义，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11