训练目标检测模型和检测目标的方法技术

本公开提供了训练目标检测模型和检测目标的方法及装置，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于智能交通场景下。具体实现方案为：获取样本集，其中，样本集中的样本包括图片和标注信息，标注信息包括目标招牌的位置信息、深度值、方向角。执行以下训练步骤：从样本集中选取样本输入目标检测模型的关键点检测层，输出位置预测结果。基于位置预测结果生成候选区域。将候选区域输入目标检测模型的预测层，得到预测方向角、分类回归结果和预测深度。基于所选取的样本的标注信息与预测方向角、分类回归结果和预测深度训练目标检测模型。该实施方式生成了可以同时检测深度和位置的目标检测模型，提高了模型识别准确率。准确率。准确率。

【技术实现步骤摘要】
训练目标检测模型和检测目标的方法


[0001]本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于智能交通场景下。

技术介绍

[0002]POI(point of interest,兴趣点)对于地图位置检索、地图导航定位等方向有着重要意义，更是本地生活业务的基本支撑。传统的POI采集方式依赖于人工作业，不仅效率低下，而且成本高昂。为实现“降本增效，实时更新”的目标，车载影像将成为POI自动化更新的主要数据源。
[0003]众所周知，深度学习本质上是一门数据科学，模型的输出与输入数据的质量息息相关，模型的泛化性能与输入数据的数量息息相关。事实上，由于现实世界的复杂性，商铺招牌往往也是多种多样，由于标注成本的限制，不可能让模型见过每一种类型的招牌，因此，在较少的精标注样本中学习到鲁棒性较强的可用于生产的模型难度较大。另一方面，由于图像是将三维世界映射到二维平面成像，因此缺少相应的深度信息，而POI的深度信息对于建设该POI的高精坐标十分重要，因此，通过技术手段从单目图像中恢复出招牌区域的深度信息也是一个难点。

技术实现思路

[0004]本公开提供了一种训练目标检测模型和检测目标的方法、装置、设备、存储介质以及计算机程序产品。
[0005]根据本公开的第一方面，提供了一种训练目标检测模型的方法，包括：获取样本集，其中，样本集中的样本包括图片和标注信息，标注信息包括目标招牌的位置信息、深度值、方向角；执行以下训练步骤：从所述样本集中选取样本输入目标检测模型的关键点检测层，输出位置预测结果，其中，所述位置预测结果包括角点与中心点热力图、中心点偏移、基于中心点的目标宽高；基于所述位置预测结果生成候选区域；将所述候选区域输入目标检测模型的预测层，得到预测方向角、分类回归结果和预测深度；基于所选取的样本的标注信息与所述预测方向角、所述分类回归结果和所述预测深度计算总损失值；若所述总损失值小于目标值，则确定出所述目标检测模型训练完成。
[0006]根据本公开的第二方面，提供了一种检测目标的方法，包括：获取待检测区域的街景图；将所述街景图输入第一方面所述的方法训练出的目标检测模型，输出所述街景图中至少一个招牌的方向角、位置信息和深度信息。
[0007]根据本公开的第三方面，提供了一种训练目标检测模型的装置，包括：获取单元，被配置成获取样本集，其中，样本集中的样本包括图片和标注信息，标注信息包括目标招牌的位置信息、深度值、方向角；训练单元，被配置成执行以下训练步骤：从所述样本集中选取样本输入目标检测模型的关键点检测层，输出位置预测结果，其中，所述位置预测结果包括角点与中心点热力图、中心点偏移、基于中心点的目标宽高；基于所述位置预测结果生成候
选区域；将所述候选区域输入目标检测模型的预测层，得到预测方向角、分类回归结果和预测深度；基于所选取的样本的标注信息与所述预测方向角、所述分类回归结果和所述预测深度计算总损失值；若所述总损失值小于目标值，则确定出所述目标检测模型训练完成。
[0008]根据本公开的第四方面，提供了一种检测目标的装置，包括：获取单元，被配置成获取待检测区域的街景图；检测单元，被配置成将所述街景图输入根据第三方面所述的装置训练出的目标检测模型，输出所述街景图中至少一个招牌的方向角、位置信息和深度信息。
[0009]根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面所述的方法。
[0010]根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面或第二方面所述的方法。
[0011]根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面或第二方面所述的方法。
[0012]本公开实施例提供的训练目标检测模型和检测目标的方法和装置，通过标注位置信息、深度值和方向角可以训练出检测目标的位置、深度和角度的模型。该模型可应用于构造地图，简化了构造地图的过程并提高了地图的精度。
[0013]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0014]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0015]图1是本公开可以应用于其中的示例性系统架构图；
[0016]图2是根据本公开训练目标检测模型的方法的一个实施例的流程图；
[0017]图3a、3b是根据本公开训练目标检测模型的方法的一个应用场景的示意图；
[0018]图4是根据本公开检测目标的方法的一个实施例的流程图；
[0019]图5是根据本公开训练目标检测模型的装置的一个实施例的结构示意图；
[0020]图6是根据本公开检测目标的装置的一个实施例的结构示意图；
[0021]图7是适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]图1示出了可以应用本申请实施例的训练目标检测模型的方法、训练目标检测模型的装置、检测目标的方法或检测目标的装置的示例性系统架构100。
[0024]如图1所示，系统架构100可以包括无人车(也称自动驾驶车)101、102，网络103、数
据库服务器104和服务器105。网络103用以在无人车101、102，数据库服务器104与服务器105之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0025]无人车101、102中安装有驾驶控制设备以及激光雷达、毫米波雷达等采集点云数据的设备。驾驶控制设备(又称为车载大脑)负责无人车的智能控制。驾驶控制设备可以是单独设置的控制器，例如可编程逻辑控制器(Programmable Logic Controller，PLC)、单片机、工业控制机等；也可以是由其他具有输入/输出端口，并具有运算控制功能的电子器件组成的设备；还可以是安装有车辆驾驶控制类应用的计算机设备。
[0026]需要说明的是，实践中无人车中还可以安装有至少一个传感器，例如，相机、重力传感器、轮速传感器等。某些情况下，无人车中还可以安装有GNSS(Global Navigation Satellite System，全球导航卫星系统)设备和S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练目标检测模型的方法，包括：获取样本集，其中，样本集中的样本包括图片和标注信息，标注信息包括目标招牌的位置信息、深度值、方向角；执行以下训练步骤：从所述样本集中选取样本输入目标检测模型的关键点检测层，输出位置预测结果，其中，所述位置预测结果包括角点与中心点热力图、中心点偏移、基于中心点的目标宽高；基于所述位置预测结果生成候选区域；将所述候选区域输入目标检测模型的预测层，得到预测方向角、分类回归结果和预测深度；基于所选取的样本的标注信息与所述预测方向角、所述分类回归结果和所述预测深度计算总损失值；若所述总损失值小于目标值，则确定出所述目标检测模型训练完成。2.根据权利要求1所述的方法，其中，所述方法还包括：若总损失值大于等于目标值，则调整所述目标检测模型的相关参数，并基于调整后的目标检测模型继续执行上述训练步骤。3.根据权利要求1所述的方法，其中，所述基于所选取的样本的标注信息与所述预测方向角、所述分类回归结果和所述预测深度计算总损失值，包括：若目标招牌的数量小于预定值，则获取所选取的样本的深度监督信号和分类回归监督信号；基于所述深度监督信号、所述分类回归监督信号对所选取的样本的标注信息进行补充；基于所选取的样本的补充后的标注信息与预测方向角、分类回归结果和预测深度计算总损失值。4.根据权利要求3所述的方法，其中，所述获取所选取的样本的深度监督信号和分类回归监督信号，包括：将所述候选区域和选取的样本输入预先训练的深度估计模型，输出所述候选区域的深度预测信息作为深度监督信号；将选取的样本输入预先训练的目标检测器，输出检测框的位置信息作为分类回归监督信号。5.根据权利要求4所述的方法，其中，所述输出检测框的位置信息作为分类回归监督信号，包括：获取每个检测框的位置信息的置信度；按置信度由大到小的顺序选取预定数目个置信度大于预定置信度阈值的检测框的位置信息作为分类回归监督信号。6.根据权利要求5所述的方法，其中，所述基于所选取的样本的标注信息与所述预测方向角、所述分类回归结果和所述预测深度计算总损失值，包括：为所述分类回归结果设置与补充后的标注信息中的置信度成正比的损失权重；基于所述损失权重、补充后的标注信息与所述预测方向角、所述分类回归结果和所述预测深度计算总损失值。7.根据权利要求5所述的方法，其中，所述角点与中心点热力图的高斯峰值为每个检测框的位置信息的置信度。8.一种检测目标的方法，包括：
获取待检测区域的街景图；将所述街景图输入根据权利要求1
‑
7中任一项所述的方法训练出的目标检测模型，输出所述街景图中至少一个招牌的方向角、位置信息和深度信息。9.根据权利要求8所述的方法，其中，所述位置信息包括中心点位置、基于中心点的目标宽高、四个角的位置；所述方法还包括：对于所述至少一个招牌中每个招牌，基于该招牌的中心点位置和基于中心点的目标宽高进行回归得到预测框，若该招牌的四个角的位置在所述预测框的内部，则保留该招牌，否则过滤掉。10.根据权利要求9所述的方法，其中，所述方法还包括：对于所述至少一个招牌中每个招牌，基于该招牌的方向角、中心点深度、中心点位置、四个角的位置分别计算每个角的深度并输出。11.一种训练目标检测模型的装置，包括：获取单元，被配置成获取样本集，其中，样本集中的样本包括图片和标注信息，标注信息包括目标招牌的位置信息、深度值、方向角；训练单元，被配置成执行以下训练步骤：从所述样本集中选取样本输入目标检测模型的关键点检测层，输出位置预测结果，其中，所...

【专利技术属性】
技术研发人员：董青，王洪志，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：