基于深度学习的交通场景联合目标检测和语义分割方法技术

本发明专利技术提出了一种基于深度学习的交通场景联合目标检测和语义分割方法。该方法实现目标包括：构建基于深度学习的联合目标检测和语义分割网络，其通过将SE模块纳入Skip‑Connection机制中形成语义信息丰富的编码器‑解码器特征图，并设置了一种新的候选框初始化机制生成密集且多尺度的目标候选框，采用空洞卷积扩大感受野获取了全局信息，对分割分支采用Self‑Attention模块优化了语义分割的特征分布，并在语义分割和目标检测之间采用了Cross‑Attention模块优化了二者的性能，同时，目标检测和语义分割任务之间可以互惠互利，有效提高了交通场景中联合目标检测和语义分割结果的精度。仿真结果表明，相比现有方法，本发明专利技术对交通场景中的联合目标检测和语义分割精度均有较大提高。

【技术实现步骤摘要】
基于深度学习的交通场景联合目标检测和语义分割方法
本专利技术属于计算机视觉领域，具体设计一种基于深度学习的交通场景联合目标检测和语义分割方法。
技术介绍
目标检测和语义分割是计算机视觉中的两个重要任务，为自动驾驶和高级驾驶辅助系统等应用提供基础技术支持。早期，目标检测和语义分割被当做两个独立的问题进行研究，实际上二者是高度相关的，它们的工作可以互惠互利。语义分割能够为目标检测提供局部和全局的语义信息，而目标检测则提供先验知识来完善语义分割。另外，联合目标检测和语义分割模型可以通过共享相同的特征提取网络来节省计算消耗。因此，得益于深度学习技术的日益成熟，联合目标检测和语义分割技术逐渐成为当前的研究热点。N.Dvornik等人在ICCV2017提出的BlitzNet是一个联合目标检测和语义分割的编码器-解码器网络，该网络用每个解码器层执行多尺度目标检测，并将每个解码器层进行融合来执行语义分割，该方法将目标检测和语义分割任务进行了简单的联合，没有充分挖掘目标检测和语义分割的联系；L.Chen等人在WACV2018提出的DspNet方法是一个轻本文档来自技高网...

【技术保护点】
1.基于深度学习的交通场景联合目标检测和语义分割方法，其特征在于，包括以下步骤：/n步骤一，构建联合目标检测和语义分割神经网络Q；联合目标检测和语义分割神经网络Q由三部分组成，分别是编码器-解码器图像特征提取网络，语义分割网络和目标检测网络，所述编码器-解码器图像特征提取网络连接目标检测网络和语义分割网络；/n步骤二，根据交通场景特点，设置用于目标检测的多尺度目标候选框A；令S

【技术特征摘要】
1.基于深度学习的交通场景联合目标检测和语义分割方法，其特征在于，包括以下步骤：
步骤一，构建联合目标检测和语义分割神经网络Q；联合目标检测和语义分割神经网络Q由三部分组成，分别是编码器-解码器图像特征提取网络，语义分割网络和目标检测网络，所述编码器-解码器图像特征提取网络连接目标检测网络和语义分割网络；
步骤二，根据交通场景特点，设置用于目标检测的多尺度目标候选框A；令Sk为每一层解码器特征图所对应的基本比例，m为解码器特征图的数量，k为特征图的索引，定义Sk为：



其中Ssmallest，Smin，Smax是自定义参数，定义Ssmallest＝0.04，Smin＝0.1，Smax＝0.95，m＝7；
在解码器网络的前五层特征图的每一个锚点，设置了7个不同尺度的候选框，其宽高比分别为在解码器网络的后两层特征图的每一个定位点，设置了5个不同尺度的候选框，其宽高比分别为针对所有的解码器特征图，在宽高比为1的候选框上额外增加一个新的候选框，其基本比例为每一个目标候选框的计算方式如下：



其中w是候选框的宽度，h是候选框的高度，则根据上述方法对不同的解码器特征图生成不同尺度的密集的目标候选框A；
步骤三，设置训练联合目标检测和语义分割网络所需的损失函数Loss；损失函数Loss设置为：
Loss＝ωdLdet+ωsLseg
其中ωd和ωs分别为目标检测和语义分割所占比参数，将其设置为ωd＝1，ωs＝2；Ldet目为标检测的损失，Ldet的定义如下：



其中N为目标候选框的正样本数量，c为分类的置信度预测值，l目标候选框所对应的边界框的预测值，g为标签的位置参数，权重系数设置为1，Lcls为分类的损失，Lreg为回归的...

【专利技术属性】
技术研发人员：南智雄，彭极智，米唯实，徐林海，辛景民，郑南宁，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61