目标检测模型训练方法和装置、目标检测方法和装置制造方法及图纸

本申请公开了一种目标检测模型训练方法和装置、目标检测方法和装置，该目标检测模型训练方法包括：获取包含标注信息的待训练图像；利用目标检测模型的骨干网络对其进行特征提取，得到多尺度特征图，骨干网络包括增强后的可转换空洞卷积，其用于提取多尺度特征信息；利用目标检测模型的特征金子塔网络对多尺度特征图进行特征融合；利用目标检测模型的检测头网络对融合后的多尺度特征图进行检测，得到目标检测结果；根据目标检测结果和标注信息确定损失值，利用损失值更新目标检测模型的参数，得到训练后的目标检测模型。本申请对原有骨干网络中的可转换空洞卷积进行改进，可以自适应提取图像中的多尺度特征信息，提高了目标检测的准确性。检测的准确性。检测的准确性。

【技术实现步骤摘要】
目标检测模型训练方法和装置、目标检测方法和装置


[0001]本申请涉及目标检测
，尤其涉及一种目标检测模型训练方法和装置、目标检测方法和装置。

技术介绍

[0002]单目3D目标检测的输入仅有一张RGB图像，在道路的复杂场景下，车辆、行人等不同检测目标的固有尺度存在较大差异，同一目标距离观测装置的距离远近不同导致其在RGB图像上也显示为不同大小的尺度。
[0003]现有的单目3D目标检测将RGB图像输入具有骨干网络+特征金字塔网络+检测头构成的单目3D目标检测网络中，可以输出具有目标类别、目标3D框(box)编码、目标方向类别、目标属性以及目标中心度等向量。通过3D框解码后处理模块，解码目标3D框编码向量，从而可以获得目标的位置、目标尺度大小、目标深度以及目标角度等解码信息，结合Score评分和NMS(Non
‑
Maximum Suppression，非极大值抑制)算法可以确定最终的3D目标检测结果。
[0004]然而，上述方案对目标尺度问题的处理集中在深层网络中，特征金字塔网络先输出多尺度特征图，然后直接基于不同尺度目标的标注信息在不同尺度水平的特征图中分别训练，浅层网络大多采用通用的ResNet50或者RestNet101作为骨干网络，在底层特征的提取上并没有考虑多尺度问题，导致多尺度目标的检测能力不足。

技术实现思路

[0005]本申请实施例提供了一种目标检测模型训练方法和装置、目标检测方法和装置，以提取目标的多尺度特征信息，提高目标检测的准确性。
>[0006]本申请实施例采用下述技术方案：
[0007]第一方面，本申请实施例提供一种目标检测模型训练方法，其中，所述目标检测模型训练方法包括：
[0008]获取待训练图像，所述待训练图像包括所述待训练图像的标注信息；
[0009]利用所述目标检测模型的骨干网络对所述待训练图像进行特征提取，得到所述待训练图像的多尺度特征图，所述骨干网络包括增强后的可转换空洞卷积，所述增强后的可转换空洞卷积用于提取所述待训练图像中的多尺度特征信息；
[0010]利用所述目标检测模型的特征金子塔网络对所述待训练图像的多尺度特征图进行特征融合，得到融合后的多尺度特征图；
[0011]利用所述目标检测模型的检测头网络对所述融合后的多尺度特征图进行检测，得到所述待训练图像的目标检测结果；
[0012]根据所述待训练图像的目标检测结果和所述待训练图像的标注信息确定损失值，并利用所述损失值更新所述目标检测模型的参数，得到训练后的目标检测模型。
[0013]可选地，所述骨干网络还包括第一全局上下文模块和第二全局上下文模块，所述增强后的可转换空洞卷积包括依次级联的多个阶段的可转换空洞卷积，所述多个阶段的可
转换空洞卷积至少包括第一阶段的可转换空洞卷积和第二阶段的可转换空洞卷积，
[0014]所述利用所述目标检测模型的骨干网络对所述待训练图像进行特征提取，得到所述待训练图像的多尺度特征图包括：
[0015]获取所述待训练图像的第一特征图，所述第一特征图由所述第一全局上下文模块对应的上游模块输出；
[0016]利用所述第一全局上下文模块对所述第一特征图进行处理，得到所述第二特征图；
[0017]利用依次级联的多个阶段的可转换空洞卷积对所述第二特征图进行处理，得到第三特征图；
[0018]利用所述第二全局上下文模块对所述第三特征图进行处理，得到所述待训练图像的多尺度特征图。
[0019]可选地，所述利用所述第一全局上下文模块对所述第一特征图进行处理，得到所述第二特征图包括：
[0020]对所述第一特征图进行全局平均池化处理，得到第一全局平均池化处理结果；
[0021]对所述第一全局平均池化处理结果进行1x1卷积处理，得到第一1x1卷积处理结果；
[0022]将所述第一特征图和所述第一1x1卷积处理结果进行融合处理，得到所述第二特征图。
[0023]可选地，所述第一阶段的可转换空洞卷积包括第一转换函数、第一空洞率对应的可转换空洞卷积和第二空洞率对应的可转换空洞卷积，所述利用依次级联的多个阶段的可转换空洞卷积对所述第二特征图进行处理，得到第三特征图包括：
[0024]利用所述第一转换函数对所述第二特征图进行处理，得到所述第一转换函数的处理结果；
[0025]利用所述第一空洞率对应的可转换空洞卷积对所述第二特征图进行3x3空洞卷积处理，得到第一空洞卷积处理结果；
[0026]利用所述第二空洞率对应的可转换空洞卷积对所述第二特征图进行3x3空洞卷积处理，得到第二空洞卷积处理结果；
[0027]根据所述第一转换函数的处理结果，对所述第一空洞卷积处理结果和所述第二空洞卷积处理结果进行融合处理，得到所述第一阶段的可转换空洞卷积输出的第四特征图。
[0028]可选地，所述第一转换函数包括5x5平均池化和1x1卷积，所述利用所述第一转换函数对所述第二特征图进行处理，得到所述第一转换函数的处理结果包括：
[0029]对所述第二特征图进行5x5平均池化，得到第一平均池化结果；
[0030]对所述第一平均池化结果进行1x1卷积，得到所述第一转换函数的处理结果。
[0031]可选地，所述第二阶段的可转换空洞卷积包括第二转换函数和第三空洞率对应的可转换空洞卷积，所述利用依次级联的多个阶段的可转换空洞卷积对所述第二特征图进行处理，得到第三特征图包括：
[0032]利用所述第二转换函数对所述第二特征图进行处理，得到所述第二转换函数的处理结果；
[0033]利用所述第三空洞率对应的可转换空洞卷积对所述第二特征图进行3x3空洞卷积
处理，得到第三空洞卷积处理结果；
[0034]获取所述第一阶段的可转换空洞卷积输出的第四特征图；
[0035]根据所述第二转换函数的处理结果，对所述第四特征图和所述第三空洞卷积处理结果进行融合处理，得到所述第三特征图。
[0036]可选地，所述第二转换函数包括11x11平均池化和1x1卷积，所述利用所述第二转换函数对所述第二特征图进行处理，得到所述第二转换函数的处理结果包括：
[0037]对所述第二特征图进行11x11平均池化，得到第二平均池化结果；
[0038]对所述第二平均池化结果进行1x1卷积，得到所述第二转换函数的处理结果。
[0039]第二方面，本申请实施例还提供一种目标检测方法，其中，所述目标检测方法包括：
[0040]获取待检测图像；
[0041]利用目标检测模型对所述待检测图像进行检测，得到目标检测结果；
[0042]其中，所述目标检测模型基于前述之任一所述目标检测模型训练方法训练得到。
[0043]第三方面，本申请实施例还提供一种目标检测模型训练装置，其中，所述目标检测模型训练装置包括：
[0044]第一获取单元，用于获取待训练图像，所述待训练图像包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测模型训练方法，其中，所述目标检测模型训练方法包括：获取待训练图像，所述待训练图像包括所述待训练图像的标注信息；利用所述目标检测模型的骨干网络对所述待训练图像进行特征提取，得到所述待训练图像的多尺度特征图，所述骨干网络包括增强后的可转换空洞卷积，所述增强后的可转换空洞卷积用于提取所述待训练图像中的多尺度特征信息；利用所述目标检测模型的特征金子塔网络对所述待训练图像的多尺度特征图进行特征融合，得到融合后的多尺度特征图；利用所述目标检测模型的检测头网络对所述融合后的多尺度特征图进行检测，得到所述待训练图像的目标检测结果；根据所述待训练图像的目标检测结果和所述待训练图像的标注信息确定损失值，并利用所述损失值更新所述目标检测模型的参数，得到训练后的目标检测模型。2.如权利要求1所述的目标检测模型训练方法，其中，所述骨干网络还包括第一全局上下文模块和第二全局上下文模块，所述增强后的可转换空洞卷积包括依次级联的多个阶段的可转换空洞卷积，所述多个阶段的可转换空洞卷积至少包括第一阶段的可转换空洞卷积和第二阶段的可转换空洞卷积，所述利用所述目标检测模型的骨干网络对所述待训练图像进行特征提取，得到所述待训练图像的多尺度特征图包括：获取所述待训练图像的第一特征图，所述第一特征图由所述第一全局上下文模块对应的上游模块输出；利用所述第一全局上下文模块对所述第一特征图进行处理，得到所述第二特征图；利用依次级联的多个阶段的可转换空洞卷积对所述第二特征图进行处理，得到第三特征图；利用所述第二全局上下文模块对所述第三特征图进行处理，得到所述待训练图像的多尺度特征图。3.如权利要求2所述的目标检测模型训练方法，其中，所述利用所述第一全局上下文模块对所述第一特征图进行处理，得到所述第二特征图包括：对所述第一特征图进行全局平均池化处理，得到第一全局平均池化处理结果；对所述第一全局平均池化处理结果进行1x1卷积处理，得到第一1x1卷积处理结果；将所述第一特征图和所述第一1x1卷积处理结果进行融合处理，得到所述第二特征图。4.如权利要求2所述的目标检测模型训练方法，其中，所述第一阶段的可转换空洞卷积包括第一转换函数、第一空洞率对应的可转换空洞卷积和第二空洞率对应的可转换空洞卷积，所述利用依次级联的多个阶段的可转换空洞卷积对所述第二特征图进行处理，得到第三特征图包括：利用所述第一转换函数对所述第二特征图进行处理，得到所述第一转换函数的处理结果；利用所述第一空洞率对应的可转换空洞卷积对所述第二特征图进行3x3空洞卷积处理，得到第一空洞卷积处理结果；利用所述第二空洞率对应的可转换空洞卷积对所述第二特征图进行3x3空洞卷积处理，得到第二空洞卷积处理结果；
根据所述第一转换函数的处理结果，对所述第一空洞卷积处理结果和所述第二空洞卷积处理结果进行融合处理，得到所述第一阶段的可转换空洞卷积输出的第四特征图。...

【专利技术属性】
技术研发人员：赵明瑶，罗壮，张海强，
申请(专利权)人：智道网联科技北京有限公司，
类型：发明
国别省市：