基于增强特征融合的交通场景图像语义分割方法技术

本发明专利技术属于图像语义分割领域，公开了一种基于增强特征融合的交通场景图像语义分割方法，采用在ImageNet数据库预训练的VGG16框架作为分割网络，将最后的全连接层换成卷积层，在全卷积网络的基础上，将上采样网络中增加一个特征融合点，即在第二层池化层开始进行特征融合，并在第二层池化层、第三层池化层、第四层池化层后各增加一次卷积采样操作，然后进行通道合并方式的特征融合，得到改进后的全卷积网络；对改进后的全卷积网络进行训练，训练结束后，用训练好的全卷积网络对测试集进行检测，得到分割结果。本发明专利技术用于解决交通场景图像语义分割问题，通过改进全卷积网络的上采样网络结构和特征融合方式，实现了高精度的交通场景图像语义分割。图像语义分割。图像语义分割。

【技术实现步骤摘要】
基于增强特征融合的交通场景图像语义分割方法


[0001]本专利技术属于图像语义分割领域，具体涉及一种基于增强特征融合的交通场景图像语义分割方法。

技术介绍

[0002]交通场景图像语义分割主要是对采集到的交通场景图像中的每个像素进行对应的类别分类，实现交通场景图像在像素级别上的分类，使其可以提取到车辆可通行的道路区域，为车辆控制与路径规划提供道路信息。传统的交通场景图像语义分割方式有：基于颜色特征、基于纹理特征、基于道路几何形状特征等图像结构特征进行分割。
[0003]其中，基于颜色特征的方法：该方法包含最近邻法等算法，颜色信息可以提供重要的线索来检测物体，但该方法对路面积水、光照阴影等干扰较为敏感且需要对图像进行预处理操作。
[0004]基于纹理特征的方法：该方法主要是通过将纹理与重采样检测相结合，将检测任务视为一个纹理分类问题，该方法核心为图像纹理在精细尺度上的改变，能够提取到局部信息。但是该方法只适用于边缘清晰的道路，对边缘模糊的道路无法得到较好的语义分割结果。
[0005]基于道路几何形状特征的方法：该方法要求道路轮廓平滑清晰，以便于控制点的选取，所以需用数学形态学等方法填充道路空洞、连接断裂处来得到平滑的道路。但该方法过分依赖控制点，所以对边缘不清晰不平滑的路面没有很好的分割结果。
[0006]因此，目前这些传统的交通场景图像语义分割方法的分割能力不是很好，已经越来越无法满足社会的需要。随着社会的发展和科技的进步，人们迫切需要一种准确的交通场景图像语义分割方法。
专利
技术实现思路

[0007]本专利技术的目的，是要提供一种基于增强特征融合的交通场景图像语义分割方法，通过改进全卷积网络的上采样网络结构和特征融合方式，实现高精度的交通场景图像语义分割。
[0008]本专利技术为实现上述目的，所采用的技术方案如下：一种基于增强特征融合的交通场景图像语义分割方法，包括以下步骤：S1、采用在ImageNet数据库预训练的VGG16框架作为分割网络，将分割网络最后的全连接层换成卷积层；S2、在全卷积网络的上采样网络中增加一个特征融合点，并在第二层池化层、第三层池化层、第四层池化层后各进行一次卷积采样操作，然后进行特征融合，得到改进后的全卷积网络；S3、将训练集输入改进后的全卷积网络进行训练，得到训练好的全卷积网络；S4、训练结束后，利用训练好的全卷积网络对测试集进行检测，即得到分割结果。
[0009]作为限定，所述训练集与测试集是在交通场景数据库中获取的交通场景图像。
[0010]作为第二种限定，步骤S2的具体过程为：在全卷积网络的上采样网络中增加一个特征融合点，即在第二层池化层开始进行特征融合，并在第二层池化层、第三层池化层、第四层池化层后各进行一次卷积采样操作，然后对第二卷积池化层、第三卷积池化层、第四层池化层进行特征融合，得到改进后的全卷积网络。
[0011]作为第三种限定，第二层池化层、第三层池化层、第四层池化层采用通道合并的方式进行特征融合。
[0012]本专利技术由于采用了上述的技术方案，其与现有技术相比，所取得的技术进步在于：（1）本专利技术在全卷积网络的第二层池化层开始进行特征融合，目的在于更大可能的弥补部分细节丢失带来的对结果的影响，也使结果的分割边缘更加平滑；（2）本专利技术中全卷积网络的下采样网络中第二、三、四层池化层保留的特征信息粗糙，而增加采样操作后可以从该三个池化层中提取到更深层的信息并更好的进行特征信息融合，进而优化图像分割准确率；（3）本专利技术中将特征融合方式改为通道合并concat的方式，通道合并一般是合并通道数，也就是说增加描述图像本身的特征，而每一个特征下的信息并没有增加，只是空间上的叠加，依次得到具有更加完备信息的特征；（4）本专利技术改进了全卷积网络的上采样网络结构和特征融合方式，可实现高精度的交通场景图像语义分割。
[0013]本专利技术属于图像语义分割领域，用于解决交通场景图像语义分割问题。
附图说明
[0014]图1为本专利技术实施例的系统流程图；图2为本专利技术实施例的网络结构图。
具体实施方式
[0015]下面结合实施例对本专利技术作进一步说明，但本领域的技术人员应当理解，本专利技术并不限于以下实施例，任何在本专利技术具体实施例基础上做出的改进和变化都在本专利技术权利要求保护的范围之内。
[0016]实施例
ꢀꢀ
一种基于增强特征融合的交通场景图像语义分割方法如图1所示，本实施例包括以下步骤：S1、采用在ImageNet数据库预训练的VGG16框架作为分割网络，将分割网络最后的全连接层换成卷积层；S2、如图2所示，在全卷积网络的上采样网络中增加一个特征融合点pool2，即在第二层池化层开始进行特征融合，并在第二层池化层、第三层池化层、第四层池化层后各进行一次卷积采样操作，然后对第二层池化层、第三层池化层、第四层池化层进行通道合并方式的特征融合，得到改进后的全卷积网络；其中，第二层池化层、第三层池化层、第四层池化层特征融合方式通道合并concat是通道数的合并，即描述图像本身的特征增加了，而每一特征下的信息并没有增加，与原全
卷积网络采用的特征融合方式求和add不同，add是将图像每一维下的像素信息进行叠加，而图像维度本身并没有增加；本步骤中，在全卷积网络的上采样网络中增加一个特征融合点，即在第二层池化层开始进行特征融合，是因为原全卷积网络只有两次特征融合，本方法增加一次特征融合次数，将第二层池化层得到的特征与原全卷积网络分割结果二倍上采样之后的网络相融合，进而弥补部分细节信息丢失带来的影响；其中，在第二池化层、第三池化层、第四层池化层后各进行一次采样操作后，再将提取到更深层的信息进行特征融合；实验表明，增加的卷积操作当采用卷积核为一的时候，效果优于卷积核为三或五；S4、将训练集输入改进后的全卷积网络进行训练，得到训练好的全卷积网络；S5、训练结束后，利用训练好的全卷积网络对测试集进行检测，即得到分割结果；训练集与测试集是在交通场景数据库中获取的交通场景图像。
[0017]本专利技术未详细阐述的
技术实现思路
属于本领域技术人员的公知技术。
[0018]尽管上面对本专利技术说明性的具体实施方式进行了描述，以便于本
的技术人员理解本专利技术，但应该清楚，本专利技术不限于具体实施方式的范围，对本
的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本专利技术的精神和范围内，这些变化是显而易见的，一切利用本专利技术构思的专利技术创造均在保护之列。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增强特征融合的交通场景图像语义分割方法，其特征在于，包括以下步骤：S1、采用在ImageNet数据库预训练的VGG16框架作为分割网络，将分割网络最后的全连接层换成卷积层；S2、在全卷积网络的上采样网络中增加一个特征融合点，并在第二层池化层、第三层池化层、第四层池化层后各进行一次卷积采样操作，然后进行特征融合，得到改进后的全卷积网络；S3、将训练集输入改进后的全卷积网络进行训练，得到训练好的全卷积网络；S4、训练结束后，利用训练好的全卷积网络对测试集进行检测，即得到分割结果。2.根据权利要求1所述的基于增强特征融合的交通场景图像语义分割方法，其特征在...

【专利技术属性】
技术研发人员：谢刚，代文娟，谢新林，何秋生，王健安，罗臣彦，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：