一种基于多任务模型的停车位识别方法和装置制造方法及图纸

本发明专利技术涉及了一种基于多任务模型的停车位识别方法和装置，该方法包括：获取待识别停车位的停车场图像；利用目标神经网络模型对所述停车场图像中包含的各个对象进行目标检测，得到多个目标对象区域；利用目标神经网络模型对各个所述目标对象区域进行实例分割和特征提取，得到目标停车位入口信息；所述目标神经网络模型为多任务模型，采用基于分类和基于回归的多任务自适应损失函数训练得到；将所述目标停车位入口信息标注在所述停车场图像上，以指引车辆停车。本方案将目标检测和特征提取两个任务集成在目标神经网络中，并采用多任务自适应损失函数可以有效的平衡任务间的梯度和权重，提高模型精度的同时不会增加模型算法的时间复杂度。时间复杂度。时间复杂度。

【技术实现步骤摘要】
一种基于多任务模型的停车位识别方法和装置


[0001]本专利技术涉及车辆
，尤其涉及一种基于多任务模型的停车位识别方法和装置。

技术介绍

[0002]随着自动驾驶日益成熟，在智能驾驶领域中的自动停车技术有着越来越重要的应用。自动停车指不需要人为进行控制，汽车通过感知和控制算法自动停车入库。
[0003]停车位检测技术通常采用端到端的单阶段泊车位检测神经网络。该方法使用一阶段的检测网络进行泊车入口的检测，同时利用VGG
‑
16作为主干网络进行特征提取。具体地，通过主干网络同时获取泊车位的全局语义特征和局部语义特征，利用二者信息的融合获取图像上泊车位的信息。
[0004]但是，该模型存在两个问题：第一，停车位检测包括分割任务和检测任务，单任务模型只有检测算法，在底层芯片算力一定的情况下，新增分割任务就需要搭建新的分割网络。第二，该模型使用多个模型头来进行任务处理，但是每个子任务头训练过程中loss的权重相差甚大。这样，使得模型的时间复杂度增加，模型精度降低。

技术实现思路

[0005]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术第一方面提出一种基于多任务模型的停车位识别方法，所述方法包括：
[0006]获取待识别停车位的停车场图像；
[0007]利用目标神经网络模型对所述停车场图像中包含的各个对象进行目标检测，得到多个目标对象区域；
[0008]利用所述目标神经网络模型对各个所述目标对象区域进行实例分割和特征提取，得到目标停车位入口信息；所述目标停车位为用于停车的空闲停车位；所述目标神经网络模型为多任务模型，采用基于分类和基于回归的多任务自适应损失函数训练得到；
[0009]将所述目标停车位入口信息标注在所述停车场图像上，以指引车辆停车。
[0010]可选的，所述目标神经网络模型通过以下方法训练得到：
[0011]将停车场样本图像数据集输入初始神经网络模型中，所述停车场样本图像中标注有真实对象区域和真实停车位入口信息；
[0012]利用所述初始神经网络模型，对所述停车场样本图像中包括的各个对象进行目标检测，得到多个预测对象区域；
[0013]利用所述初始神经网络模型，对各个所述预测对象区域进行全局特征提取和局部特征提取，得到预测停车位入口信息；
[0014]确定所述预测对象区域和所述真实对象区域之间的差值，得到第一残差；
[0015]确定所述预测停车位入口信息与所述真实停车位入口信息之间的差值，得到第二残差；
[0016]利用预先确定的多任务自适应损失函数，确定所述第一残差和所述第二残差对应的目标残差；
[0017]基于所述目标残差修改所述初始神经网络模型的参数，对所述初始神经网络模型继续进行训练，直到所述目标残差小于预设阈值，则训练结束，得到目标神经网络模型。
[0018]可选的，所述利用预先确定的多任务自适应损失函数，确定所述第一残差和所述第二残差对应的目标残差，包括：
[0019]将所述第一残差和所述第二残差代入预先确定的多任务自适应损失函数中，所述多任务自适应损失函数为：
[0020][0021]其中，σ
i
为各个任务的测量噪声，L
i
(W)为各个任务对应的残差的二次方，为L
i
(W)的权重项，为正则项，所述权重项和所述正则项的大小成反比。
[0022]可选的，所述预测停车位入口信息包括预测入口角点方向和预测入口宽度，所述确定所述预测停车位入口信息与所述真实停车位入口信息之间的差值，包括：
[0023]确定所述预测入口角点方向和所述真实停车位入口信息中的真实入口角点方向之间的方向差值；
[0024]确定所述预测入口宽度和所述真实停车位入口信息中的真实入口宽度之间的宽度差值；
[0025]将所述方向差值和所述宽度差值加权融合，得到所述预测停车位入口信息与所述真实停车位入口信息之间的差值。
[0026]可选的，所述预测入口角点方向包括预测左角点方向和预测右角点方向，所述真实入口角点方向包括真实左角点方向和真实右角点方向，所述确定所述预测入口角点方向和所述真实停车位入口信息中的真实入口角点方向之间的方向差值，包括：
[0027]确定所述预测左角点方向与所述真实左角点方向之间的左角点差值，并确定所述预测右角点方向与所述真实右角点方向之间的右角点差值；
[0028]确定所述左角点方向的L1损失函数与所述左角点差值的乘积，并确定所述右角点方向的L1损失函数与所述右角点差值的乘积，分别得到第一乘积和第二乘积；
[0029]确定所述第一乘积和所述第二乘积的和，得到初始方向差值；
[0030]确定所述初始方向差值与预设约束项的和，得到所述预测入口角点方向和所述真实停车位入口信息中的真实入口角点方向之间的方向差值；
[0031]其中，所述约束项用于约束所述预测左角点方向和所述预测右角点方向相近似。
[0032]可选的，所述预设约束项为横坐标差值的绝对值和纵坐标差值的绝对值的和，所述横坐标差值为所述预测左角点的横坐标与所述预测右角点的横坐标的差，所述纵坐标差值为所述预测左角点的纵坐标与所述预测右角点的纵坐标的差。
[0033]本专利技术第二方面提出一种基于多任务模型的停车位识别装置，所述装置包括：
[0034]图像获取模块，用于获取待识别停车位的停车场图像；
[0035]目标检测模块，用于利用目标神经网络模型对所述停车场图像中包含的各个对象进行目标检测，得到多个目标对象区域；
[0036]实例分割模块，用于利用所述目标神经网络模型对各个所述目标对象区域进行实例分割和特征提取，得到目标停车位入口信息；所述目标停车位为用于停车的空闲停车位；所述目标神经网络模型为多任务模型，采用基于分类和基于回归的多任务自适应损失函数训练得到；
[0037]标注模块，用于将所述目标停车位入口信息标注在所述停车场图像上，以指引车辆停车。
[0038]可选的，所述装置还包括模型训练模块，所述模型训练模块用于：
[0039]将停车场样本图像数据集输入初始神经网络模型中，所述停车场样本图像中标注有真实对象区域和真实停车位入口信息；
[0040]利用所述初始神经网络模型，对所述停车场样本图像中包括的各个对象进行目标检测，得到多个预测对象区域；
[0041]利用所述初始神经网络模型，对各个所述预测对象区域进行全局特征提取和局部特征提取，得到预测停车位入口信息；
[0042]确定所述预测对象区域和所述真实对象区域之间的差值，得到第一残差；
[0043]确定所述预测停车位入口信息与所述真实停车位入口信息之间的差值，得到第二残差；
[0044]利用预先确定的多任务自适应损失函数，确定所述第一残差和所述第二残差对应的目标残差；
[0045]基于所述目标残差修改所述初始神经网络模型的参数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务模型的停车位识别方法，其特征在于，所述方法包括：获取待识别停车位的停车场图像；利用目标神经网络模型对所述停车场图像中包含的各个对象进行目标检测，得到多个目标对象区域；利用所述目标神经网络模型对各个所述目标对象区域进行实例分割和特征提取，得到目标停车位入口信息；所述目标停车位为用于停车的空闲停车位；所述目标神经网络模型为多任务模型，采用基于分类和基于回归的多任务自适应损失函数训练得到；将所述目标停车位入口信息标注在所述停车场图像上，以指引车辆停车。2.根据权利要求1所述的方法，其特征在于，所述目标神经网络模型通过以下方法训练得到：将停车场样本图像数据集输入初始神经网络模型中，所述停车场样本图像中标注有真实对象区域和真实停车位入口信息；利用所述初始神经网络模型，对所述停车场样本图像中包括的各个对象进行目标检测，得到多个预测对象区域；利用所述初始神经网络模型，对各个所述预测对象区域进行全局特征提取和局部特征提取，得到预测停车位入口信息；确定所述预测对象区域和所述真实对象区域之间的差值，得到第一残差；确定所述预测停车位入口信息与所述真实停车位入口信息之间的差值，得到第二残差；利用预先确定的多任务自适应损失函数，确定所述第一残差和所述第二残差对应的目标残差；基于所述目标残差修改所述初始神经网络模型的参数，对所述初始神经网络模型继续进行训练，直到所述目标残差小于预设阈值，则训练结束，得到目标神经网络模型。3.根据权利要求2所述的方法，其特征在于，所述利用预先确定的多任务自适应损失函数，确定所述第一残差和所述第二残差对应的目标残差，包括：将所述第一残差和所述第二残差代入预先确定的多任务自适应损失函数中，所述多任务自适应损失函数为：其中，σ
i
为各个任务的测量噪声，L
i
(W)为各个任务对应的残差的二次方，为L
i
(W)的权重项，为正则项，所述权重项和所述正则项的大小成反比。4.根据权利要求2所述的方法，其特征在于，所述预测停车位入口信息包括预测入口角点方向和预测入口宽度，所述确定所述预测停车位入口信息与所述真实停车位入口信息之间的差值，包括：确定所述预测入口角点方向和所述真实停车位入口信息中的真实入口角点方向之间的方向差值；确定所述预测入口宽度和所述真实停车位入口信息中的真实入口宽度之间的宽度差
值；将所述方向差值和所述宽度差值加权融合，得到所述预测停车位入口信息与所述真实停车位入口信息之间的差值。5.根据权利要求4所述的方法，其特征在于，所述预测入口角点方向包括预测左角点方向和预测右角点方向，所述真实入口角点方向包括真实左角点方向和真实右角点方向，所述确定所述预测入口角点方向和所述真实停车位入口信息中的真实入口角点方向之间的方向差值，包括：确定所述预测左角点方向与所述真实左角点方向之间的左角点差值，并确定所述预测右角点方向与所述真实右角点方向之间的右角点差值；确定所述左角点...

【专利技术属性】
技术研发人员：马然，
申请(专利权)人：中汽创智科技有限公司，
类型：发明
国别省市：