本发明专利技术公开了一种交通灯检测方法、装置、车载终端及存储介质，方法包括：将待检测交通灯图像输入至已训练的交通灯深度检测模型中，得到交通灯在待检测交通灯图像中的二维平面检测区域、交通灯类别信息，以及在三维坐标系下的交通灯位置信息，其中，交通灯类别信息包括交通灯颜色信息与交通灯图案形状信息；基于二维平面检测区域、交通灯类别信息，以及在三维坐标系下的交通灯位置信息，确定目标交通灯；基于目标交通灯进行路线规划，并控制车辆根据目标交通灯执行对应的行驶规范。本发明专利技术不但可以输出交通灯的二维平面检测区域和交通灯类别信息，还同时可以输出三维坐标系下的交通灯坐标信息，使得交通灯检测相比以往的技术具有更高的细粒度。具有更高的细粒度。具有更高的细粒度。
【技术实现步骤摘要】
一种交通灯检测方法、装置、车载终端及存储介质
[0001]本专利技术涉及交通灯检测
，尤其涉及一种交通灯检测方法、装置、车载终端及存储介质。
技术介绍
[0002]现如今，针对人驾驶场景，交通灯检测技术往往聚焦于二维平面，但是缺失对三维场景下的深度估计信息，导致检测出来的交通灯只能应用于二维场景。自动驾驶越来越受到社会的关注，但是自动驾驶的场景存在于三维世界，导致现有的基于二维平面检测的交通灯难以在自动驾驶系统(三维世界坐标系)上使用，从而导致自动驾驶场景无法精确且便捷的检测出交通灯。
[0003]因此，现有技术还有待改进和提高。
技术实现思路
[0004]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种交通灯检测方法、装置、车载终端及存储介质，旨在提供解决现有技中的基于二维平面检测的交通灯难以在自动驾驶系统(三维世界坐标系)上使用，从而导致自动驾驶场景无法精确且便捷的检测出交通灯的问题。
[0005]第一方面，本专利技术提供一种交通灯检测方法，其中，所述方法包括：
[0006]将待检测交通灯图像输入至已训练的交通灯深度检测模型中，得到交通灯在所述待检测交通灯图像中的二维平面检测区域、交通灯类别信息，以及在三维坐标系下的交通灯位置信息，其中，所述交通灯类别信息包括交通灯颜色信息与交通灯图案形状信息；
[0007]基于所述二维平面检测区域、交通灯类别信息，以及在三维坐标系下的交通灯位置信息，确定目标交通灯；
[0008]基于所述目标交通灯进行路线规划，并控制车辆根据所述目标交通灯执行对应的行驶规范。
[0009]在一种实现方式中，所述交通灯深度检测模型的训练过程包括：
[0010]获取交通灯样本图像以及与所述交通灯样本图像所对应的点云数据，
[0011]并获取所述交通灯样本图像对应的标签数据；
[0012]构建深度学习模型，并基于所述标签数据，对所述深度学习模型进行训练，得到预训练模型，所述预训练模型用于根据输入的待检测交通灯图像输出交通灯在所述待检测交通灯图像中的二维平面检测区域与交通灯类别信息；
[0013]基于所述点云数据，确定所述二维平面检测区域在三维坐标系下的交通灯坐标信息，并基于所述交通灯坐标信息，对已新增深度回归分支的预训练模型进行再训练，得到交通灯深度检测模型，所述交通灯深度检测模型用于根据输入的待检测交通灯图像输出交通灯在所述待检测交通灯图像中的二维平面检测区域、交通灯类别信息，以及在三维坐标系下的交通灯位置信息。
[0014]在一种实现方式中，所述获取所述交通灯样本图像对应的得到标签数据，包括：
[0015]基于人工标注的方式，确定所述交通灯样本图像中交通灯位置，并对所述交通灯位置的区域进行矩形框选，得到所述二维平面检测区域；
[0016]获取所述交通灯样本图像中的交通灯颜色信息与交通灯图案形状，并基于所述交通灯颜色信息与所述交通灯图案形状，确定所述交通灯类别信息；
[0017]对所述二维平面检测区域以及所述交通灯类别信息进行标注，得到所述标签数据。
[0018]在一种实现方式中，所述构建深度学习模型，并基于所述标签数据，对所述深度学习模型进行训练，得到预训练模型，包括：
[0019]构建所述深度学习模型，并设置所述深度学习模型所对应的损失函数；
[0020]基于所述标签数据，对所述深度学习模型进行迭代训练，以使得所述损失函数收敛至预设条件时停止训练，得到所述预训练模型。
[0021]在一种实现方式中，所述基于所述点云数据，确定所述交通灯的二维平面检测区域在三维坐标系下的交通灯坐标信息，包括：
[0022]将所述点云数据通过激光雷达的外参以及相机的内参与外参投影至二维平面中，并对所述二维平面中落在所述二维平面检测区域之外的点云数据进行筛除，得到剩余点云数据；
[0023]根据所述剩余点云数据，确定所述二维平面检测区域在三维坐标系下的交通灯坐标信息。
[0024]在一种实现方式中，所述根据所述剩余点云数据，确定所述二维平面检测区域在三维坐标系下的交通灯坐标信息，包括：
[0025]将所述剩余点云数据在三维坐标系下的坐标信息进行平均，得到每个二维平面中，所述二维平面检测区域在三维坐标系下的交通灯坐标信息，并将所述交通灯坐标信息作为训练数据真实值。
[0026]在一种实现方式中，所述对所述预训练模型增加深度回归分支，并基于所述交通灯坐标信息，对新增所述深度回归分支的预训练模型进行再训练，得到交通灯深度检测模型，包括：
[0027]对所述预训练模型增加深度回归分支，在所述损失函数中添加均方差损失函数，其中，所述深度回归分支用于输出训练数据预测值，所述训练数据预测值反映的是所述交通灯坐标信息的预测值；
[0028]将所述训练数据预测值与所述训练数据真实值共同输入至所述均方差损失函数中进行训练，以使得所述预训练模型学习所述训练数据真实值，得到所述交通灯深度检测模型。
[0029]第二方面，本专利技术实施例还提供一种交通灯检测装置，其中，所述装置包括：
[0030]交通灯检测模块，用于将待检测交通灯图像输入至已训练的交通灯深度检测模型中，得到交通灯在所述待检测交通灯图像中的二维平面检测区域、交通灯类别信息，以及在三维坐标系下的交通灯位置信息，其中，所述交通灯类别信息包括交通灯颜色信息与交通灯图案形状信息；
[0031]交通灯确定模块，用于基于所述二维平面检测区域、交通灯类别信息，以及在三维
坐标系下的交通灯位置信息，确定目标交通灯；
[0032]交通灯应对模块，用于基于所述目标交通灯进行路线规划，并控制车辆根据所述目标交通灯执行对应的行驶规范。
[0033]第三方面，本专利技术实施例还提供一种车载终端，其中，所述车载终端为商显终端或者投屏终端，所述车载终端包括存储器、处理器及存储在存储器中并可在处理器上运行的交通灯深度检测模型的训练程序或者基于交通灯深度检测模型的交通灯检测程序，处理器执行交通灯深度检测模型的训练程序或者基于交通灯深度检测模型的交通灯检测程序时，实现上述方案中任一项所述的交通灯检测方法的步骤。
[0034]第四方面，本专利技术实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质上存储有交通灯深度检测模型的训练程序或者基于交通灯深度检测模型的交通灯检测程序，所述交通灯深度检测模型的训练程序或者基于交通灯深度检测模型的交通灯检测程序被处理器执行时，实现上述方案中任一项所述的交通灯检测方法的步骤。
[0035]有益效果：与现有技术相比，本专利技术提供了一种交通灯检测方法，本专利技术首先将待检测交通灯图像输入至已训练的交通灯深度检测模型中，本专利技术的交通灯深度检测模型是经过两个阶段的训练得到的，可在输入待检测交通灯图像后，自动输出交通灯在所述待检测交通灯图像中的二维平面检测区域、交通灯类别信息，以及在三维坐标系下的交通灯位置信息。接着，本专利技术基于所述二维平面检测区域本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种交通灯检测方法，其特征在于，所述方法包括：将待检测交通灯图像输入至已训练的交通灯深度检测模型中，得到交通灯在所述待检测交通灯图像中的二维平面检测区域、交通灯类别信息，以及在三维坐标系下的交通灯位置信息，其中，所述交通灯类别信息包括交通灯颜色信息与交通灯图案形状信息；基于所述二维平面检测区域、交通灯类别信息，以及在三维坐标系下的交通灯位置信息，确定目标交通灯；基于所述目标交通灯进行路线规划，并控制车辆根据所述目标交通灯执行对应的行驶规范。2.根据权利要求1所述的交通灯检测方法，其特征在于，所述交通灯深度检测模型的训练过程包括：获取交通灯样本图像以及与所述交通灯样本图像所对应的点云数据，并获取所述交通灯样本图像对应的标签数据；构建深度学习模型，并基于所述标签数据，对所述深度学习模型进行训练，得到预训练模型，所述预训练模型用于根据输入的待检测交通灯图像输出交通灯在所述待检测交通灯图像中的二维平面检测区域与交通灯类别信息；基于所述点云数据，确定所述二维平面检测区域在三维坐标系下的交通灯坐标信息，并基于所述交通灯坐标信息，对已新增深度回归分支的预训练模型进行再训练，得到交通灯深度检测模型，所述交通灯深度检测模型用于根据输入的待检测交通灯图像输出交通灯在所述待检测交通灯图像中的二维平面检测区域、交通灯类别信息，以及在三维坐标系下的交通灯位置信息。3.根据权利要求2所述的交通灯检测方法，其特征在于，所述获取所述交通灯样本图像对应的得到标签数据，包括：基于人工标注的方式，确定所述交通灯样本图像中交通灯位置，并对所述交通灯位置的区域进行矩形框选，得到所述二维平面检测区域；获取所述交通灯样本图像中的交通灯颜色信息与交通灯图案形状，并基于所述交通灯颜色信息与所述交通灯图案形状，确定所述交通灯类别信息；对所述二维平面检测区域以及所述交通灯类别信息进行标注，得到所述标签数据。4.根据权利要求2所述的交通灯检测方法，其特征在于，所述构建深度学习模型，并基于所述标签数据，对所述深度学习模型进行训练，得到预训练模型，包括：构建所述深度学习模型，并设置所述深度学习模型所对应的损失函数；基于所述标签数据，对所述深度学习模型进行迭代训练，以使得所述损失函数收敛至预设条件时停止训练，得到所述预训练模型。5.根据权利要求4所述的交通灯检测方法，其特征在于，所述基于所述点云数据，确定所述交通灯的二维平面检测区域在三维坐标系下的交通灯坐标信息，包括：将所述点云数据通过激光雷达的外参以及相机的内参与外参投影至二维平面中，并对所述二维平面中落在所述二维平面...
【专利技术属性】
技术研发人员：袁杰夫，
申请(专利权)人：深圳元戎启行科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。