交通元素识别方法、多任务网络模型及训练方法和装置制造方法及图纸

本发明专利技术公开了一种交通元素识别方法、多任务网络模型及训练方法和装置，包括：主干网络对图像进行特征提取得到图像中的备选交通元素的特征信息；多尺度信息融合网络对特征信息进行融合处理，得到融合特征信息；检测子网络基于融合特征信息检测图像中第一指定类别的交通元素；语义分割子网络基于融合特征信息，对图像中第二指定类别的交通元素进行像素级分割；车道线检测子网络基于融合特征信息，对图像中车道线进行识别及像素级轮廓分割；检测子网络、语义分割子网络和车道线检测子网络对识别出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果。通过不同的子网络识别不同类型的交通元素，识别速度快、准确度高。确度高。确度高。

【技术实现步骤摘要】
交通元素识别方法、多任务网络模型及训练方法和装置


[0001]本专利技术涉及地理信息
，特别涉及一种交通元素识别方法、多任务网络模型及训练方法和装置。

技术介绍

[0002]在地图
和智能交通领域中，交通元素识别是不可或缺的关键技术。现有技术中，一般使用单一的检测模型或单一的分割模型对交通元素进行识别。由于交通元素种类繁多，不同类型的交通元素特征差异大，例如杆、车道线、标志牌三种交通元素特征差异很大，对这些交通要素进行识别时，只使用检测网络进行检测，对一些交通要素的识别效果并不理想，而只使用分割网络进行检测计算量远大于检测模型。例如针对交通要素例如杆和标牌，检测网络对杆这种交通要素的识别效果并不好,因此，一般会使用分割网络检测杆,而使用检测网络识别标牌，但如果在检测时检测数据和分割数据分配不均匀的话，会导致识别结果偏向于数据多的种类，也就是说哪种数据多，则检测结果就会偏向哪种数据，导致最终的识别结果不够准确。

技术实现思路

[0003]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种交通元素识别方法、多任务网络模型及训练方法和装置。
[0004]本专利技术实施例提供一种用于交通元素识别的多任务网络模型，包括：主干网络、多尺度信息融合网络和头部网络，头部网络包括检测子网络、语义分割子网络和车道线检测子网络；
[0005]所述主干网络，用于采用至少一种提取方式对图像进行特征提取，得到图像中的备选交通元素的特征信息，所述特征信息包括区域和/或位置；
[0006]所述多尺度信息融合网络，用于对所述备选交通元素的特征信息进行融合处理，得到图像中的备选交通元素融合特征信息；
[0007]所述检测子网络，用于基于备选交通元素的融合特征信息，检测图像中第一指定类别的交通元素，得到交通元素类型和位置；
[0008]所述语义分割子网络，用于基于备选交通元素的融合特征信息，对图像中第二指定类别的交通元素进行像素级分割，得到分割出的交通元素类型和轮廓；
[0009]所述车道线检测子网络，用于基于备选交通元素的融合特征信息，对图像中车道线进行识别及像素级轮廓分割，得到识别出的车道线轮廓；
[0010]所述检测子网络、语义分割子网络和车道线检测子网络对识别出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果。
[0011]在一些可选地实施例中，所述主干网络，具体用于：
[0012]对输入的图像进行分格处理，对分格处理后的图像进行多层卷积；
[0013]基于卷积处理的结果，采用配置的至少一种提取方式对图像进行交通元素特征提
取，识别出图像中存在交通元素的区域以及对应的位置，在图像中用备选框标识出来，得到图像中的备选交通元素的特征信息。
[0014]在一些可选地实施例中，所述多尺度信息融合网络，具体用于：
[0015]对主干网络提取的所述备选交通元素的特征信息、多尺度信息融合网络中包括的上采样模块采集的特征信息进行多层融合处理和交通元素特征提取，在图像中用备选框标识出来，得到图像中的备选交通元素融合特征信息。
[0016]在一些可选地实施例中，所述检测子网络，具体用于：
[0017]基于备选交通元素的融合特征信息，检测图像中第一指定类别的交通元素；将检测到的第一指定类别的交通元素位置用目标框标识出来，并对识别出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果；
[0018]所述语义分割子网络，具体用于：基于备选交通元素的融合特征信息和第二指定类别的交通元素的特征信息，对图像中的像素进行分类，分割出属于第二指定类别的交通元素的区域，提取分割出的区域的轮廓线，得到分割出的交通元素类型和轮廓；对分割出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果；
[0019]所述车道线检测子网络，具体用于：基于备选交通元素的融合特征信息，对图像中车道线进行识别，分割出属于车道线的区域，提取车道线的轮廓线，对分割出的车道线进行矢量化处理及添加类别标签后，输出交通元素识别结果。
[0020]本专利技术实施例提供一种用于交通元素识别的多任务网络模型训练方法，包括：
[0021]对采集的样本图像进行标注，得到样本数据集；
[0022]使用样本数据集训练多任务网络模型，得到预测的交通元素识别结果；
[0023]基于预测的交通元素识别结果和标注真值确定损失函数，基于损失函数调整网络参数，继续训练网络，直至损失函数符合收敛条件，得到训练好的多任务网络模型；
[0024]所述多任务网络模型为上述的多任务网络模型。
[0025]在一些可选地实施例中，所述对采集的样本图像进行标注，得到样本数据集，包括：
[0026]对于采集的样本图像，根据样本图像中包含的交通要素，对样本图像进行标注，标注出样本图像中的交通元素位置和类别，得到包括样本图像、已标注的交通要素位置和类别的样本数据集。
[0027]在一些可选地实施例中，还包括：搭建多任务网络模型架构之后，训练多任务网络模型之前，加载样本数据集；
[0028]所述加载样本数据集，包括：
[0029]目标检测数据集构建模块对目标检测数据集进行解析、处理和调度；
[0030]语义分割数据集构建模块对语义分割数据集进行解析、处理和调度；
[0031]车道线检测数据集构建模块对车道线检测数据集进行解析、处理和调度；
[0032]数据集合构建模块对来源于目标检测数据集构建模块、语义分割数据集构建模块和车道线检测数据集构建模块的不同任务类型的数据集进行统一调度。
[0033]本专利技术实施例提供一种交通元素识别方法，包括：
[0034]获取待识别图像；
[0035]将待识别图像输入训练好的多任务网络模型中，输出交通元素识别结果；其中，所
述多任务网络模型为上述的多任务网络模型。
[0036]在一些可选地实施例中，所述将待识别图像输入训练好的多任务网络模型中，输出交通元素识别结果，包括：
[0037]主干网络采用至少一种提取方式对图像进行特征提取，得到图像中的备选交通元素的特征信息，所述特征信息包括区域和/或位置；
[0038]多尺度特征融合网络对所述备选交通元素的特征信息进行融合处理，得到图像中的备选交通元素融合特征信息；
[0039]头部网络基于所述备选交通元素融合特征信息识别图像中的交通元素，对识别出交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果；其中：检测子网络检测图像中第一指定类别的交通元素，得到交通元素类型和位置；语义分割子网络对图像中第二指定类别的交通元素进行像素级分割，得到分割出的交通元素类型和轮廓；车道线检测子网络对图像中车道线进行识别及像素级轮廓分割，得到识别出的车道线轮廓。
[0040]本专利技术实施例提供一种用于交通元素识别的多任务网络模型训练装置，包括：
...

【技术保护点】

【技术特征摘要】
1.一种用于交通元素识别的多任务网络模型，其特征在于，包括：主干网络、多尺度信息融合网络和头部网络，头部网络包括检测子网络、语义分割子网络和车道线检测子网络；所述主干网络，用于采用至少一种提取方式对图像进行特征提取，得到图像中的备选交通元素的特征信息，所述特征信息包括区域和/或位置；所述多尺度信息融合网络，用于对所述备选交通元素的特征信息进行融合处理，得到图像中的备选交通元素融合特征信息；所述检测子网络，用于基于备选交通元素的融合特征信息，检测图像中第一指定类别的交通元素，得到交通元素类型和位置；所述语义分割子网络，用于基于备选交通元素的融合特征信息，对图像中第二指定类别的交通元素进行像素级分割，得到分割出的交通元素类型和轮廓；所述车道线检测子网络，用于基于备选交通元素的融合特征信息，对图像中车道线进行识别及像素级轮廓分割，得到识别出的车道线轮廓；所述检测子网络、语义分割子网络和车道线检测子网络对识别出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果。2.如权利要求1所述的多任务网络模型，其特征在于，所述主干网络，具体用于：对输入的图像进行分格处理，对分格处理后的图像进行多层卷积；基于卷积处理的结果，采用配置的至少一种提取方式对图像进行交通元素特征提取，识别出图像中存在交通元素的区域以及对应的位置，在图像中用备选框标识出来，得到图像中的备选交通元素的特征信息。3.如权利要求1所述的多任务网络模型，其特征在于，所述多尺度信息融合网络，具体用于：对主干网络提取的所述备选交通元素的特征信息、多尺度信息融合网络中包括的上采样模块采集的特征信息进行多层融合处理和交通元素特征提取，在图像中用备选框标识出来，得到图像中的备选交通元素融合特征信息。4.如权利要求1所述的多任务网络模型，其特征在于，所述检测子网络，具体用于：基于备选交通元素的融合特征信息，检测图像中第一指定类别的交通元素；将检测到的第一指定类别的交通元素位置用目标框标识出来，并对识别出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果；所述语义分割子网络，具体用于：基于备选交通元素的融合特征信息和第二指定类别的交通元素的特征信息，对图像中的像素进行分类，分割出属于第二指定类别的交通元素的区域，提取分割出的区域的轮廓线，得到分割出的交通元素类型和轮廓；对分割出的交通元素进行矢量化处理及添加类别标签后，输出交通元素识别结果；所述车道线检测子网络，具体用于：基于备选交通元素的融合特征信息，对图像中车道线进行识别，分割出属于车道线的区域，提取车道线的轮廓线，对分割出的车道线进行矢量化处理及添加类别标签后，输出交通元素识别结果。5.一种用于交通元素识别的多任务网络模型训练方法，其特征在于，包括：对采集的样本图像进行标注，得到样本数据集；使用样本数据集训练多任务网络模型，得到预测的交通元素识别结果；基于预测的交通元素识别结果和标注真值确定损失函数，基于损失函数调整网络参
数，继续训练网络，直至损失函数符合收敛条件，得到训练好的多任务网络模型；所述多任务网络模型为权利要求1
‑
4任一所述的多任务网络模型。6.如权利要求5所述的方法，其特征在于，所述对采集的样本图像进行标注，得到样本数据集，包括：对于采集的样本图像，根据样本图像中包含的交通要素，对样本图像进行标注，标注出样本图像中的交通元素位置和类别，得到包括样本图像、已标注的交通要素位置和类别的样本数据集。7.如权利要求5所述的...

【专利技术属性】
技术研发人员：田鸿嘉，马勃檀，刘晗，
申请(专利权)人：沈阳美行科技股份有限公司，
类型：发明
国别省市：