一种基于联合角点池化的复杂交通场景下车辆图像分割方法技术

技术编号:22136209 阅读:30 留言:0更新日期:2019-09-18 09:47
本发明专利技术提供一种基于联合角点池化的复杂交通场景下车辆图像分割方法,重新整合CamVid数据集,沙漏网络提取数据集特征,前景分割分支、背景分割分支分别对特征进行处理。在前景分割分支中,特征首先进入多目标角点池化模块处理,得到目标候选框、目标类别标签和感兴趣区域,利用掩膜扫描模块扫描出目标的精确掩膜;在背景分割分支中,特征图与多目标角点池化模块生成的感兴趣区域进行融合,利用语义分割模块生成背景图。前景分割分支生成的掩膜、目标类别和候选框与背景分割分支生成的背景图在前背景排序模块中进行排序和定位,生成全景分割结果。解决了现有技术在检测复杂交通场景下车辆时往往表现不佳,不能准确地将这些车辆逐一检测、框选的问题。

A Vehicle Image Segmentation Method Based on Joint Corner Pooling in Complex Traffic Scene

【技术实现步骤摘要】
一种基于联合角点池化的复杂交通场景下车辆图像分割方法
本专利技术涉及图像分割
,具体而言,尤其涉及一种基于联合角点池化的复杂交通场景下车辆图像分割方法。
技术介绍
复杂交通场景下的车辆分割就是要从实际的交通场景下,对图像内的前景(车辆)和背景(建筑物等)进行识别、框选和准确的分割。通过建立深度神经网络模型并利用完整的数据集进行训练,使其能够适应各种复杂的实际环境如恶劣天气下图片内车辆较为模糊、弱光照条件下车辆不够清晰、拥堵环境下车辆展示不完整等。国内外学者在这一领域已经取得了不错的进展,其中FAIR研究团队将语义分割和实例分割统一起来,利用单一网络同时预测两个子任务,并对特征图进行合并得到全景分割结果。MIT与谷歌合作,使用由下而上的方法,同时实现了实例分割和语义分割的预测,融合两个预测结果得到全景分割。国内的中科院自动化研究所则分别从两个子网络提取关键信息,融合为全景分割。恶劣天气下图片内车辆较为模糊、弱光照条件下车辆不够清晰、拥堵环境下车辆展示不完整等问题都可以利用全景分割来得到很好的结果。随着城市交通负担的日益加剧,建立高效准确的车辆检测识别系统势在必行,尤其是复杂交通场本文档来自技高网...

【技术保护点】
1.一种基于联合角点池化的复杂交通场景下车辆图像分割方法,其特征在于,包括以下步骤:步骤S1:获取CamVid目标检测数据集,制作CamVid车辆图像数据集;步骤S2:选取沙漏网络为基石网络,并搭建神经网络框架;步骤S3:设计前景分割神经网络,利用多目标角点池化模块对基石网络产生的特征进行处理,生成图片内目标的类别和目标候选框,并利用目标候选框生成感兴趣区域,利用掩膜扫描模块处理基石网络生成的特征,输出前景目标掩膜;步骤S4:设计背景分割神经网络,将步骤S3生成的感兴趣区域和基石网络生成的特征在区域引导模块中进行融合,融合后的特征由语义分割模块处理,生成背景分割图;步骤S5:设计损失函数;步骤...

【技术特征摘要】
1.一种基于联合角点池化的复杂交通场景下车辆图像分割方法,其特征在于,包括以下步骤:步骤S1:获取CamVid目标检测数据集,制作CamVid车辆图像数据集;步骤S2:选取沙漏网络为基石网络,并搭建神经网络框架;步骤S3:设计前景分割神经网络,利用多目标角点池化模块对基石网络产生的特征进行处理,生成图片内目标的类别和目标候选框,并利用目标候选框生成感兴趣区域,利用掩膜扫描模块处理基石网络生成的特征,输出前景目标掩膜;步骤S4:设计背景分割神经网络,将步骤S3生成的感兴趣区域和基石网络生成的特征在区域引导模块中进行融合,融合后的特征由语义分割模块处理,生成背景分割图;步骤S5:设计损失函数;步骤S6:利用前背景排序模块对步骤S3得到的前景目标掩膜和步骤S4得到的背景分割图进行融合,得到图像的全景分割结果。2.根据权利要求1所述的基于联合角点池化的复杂交通场景下车辆图像分割方法,其特征在于,所述步骤S1的具体步骤如下:步骤S11:下载CamVid数据集,分别提取验证数据集、训练数据集和测试数据集中的全部车辆类别图片;步骤S12:将验证数据集和训练数据集中全部车辆类别图片用于模型训练,测试数据集用来做消融实验。3.根据权利要求1所述的基于联合角点池化的复杂交通场景下车辆图像分割方法,其特征在于,所述步骤S2的具体步骤如下:步骤S21:选取由两个沙漏模块组成的沙漏网络作为基石网络,且基石网络的输入和输出尺寸均为256*256;步骤S22:将沙漏网络内的最大池化层替换为3*3的卷积核,降低特征分辨率;步骤S23:将沙漏网络深度设置为104,采集整个网络最后一层的特征并将其传输到预测模块。4.根据权利要求1所述的基于联合角点池化的复杂交通场...

【专利技术属性】
技术研发人员:郝立颖栗杰郭戈
申请(专利权)人:大连海事大学
类型:发明
国别省市:辽宁,21

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1