目标检测方法、装置、系统、电子设备及存储介质制造方法及图纸

本申请实施例提供了目标检测方法、装置、系统、电子设备及存储介质，获取待检测雷达点云数据；将待检测雷达点云数据投影到指定方向的二维栅格平面上，得到每个栅格中点的数量；基于每个栅格中点的数量，进行可见光图像的通道映射，得到伪可见光图像；利用预先训练的第一深度学习网络对伪可见光图像进行分析，得到待检测雷达点云数据中目标的类型及目标在预设平面坐标系中的位置，可以得到目标的种类及位置。基于待检测雷达点云数据中的目标在预设平面坐标系中的位置及可见光图像中的目标在预设平面坐标系中的位置，对雷达点云数据中的目标及可见光图像中的目标进行融合，得到融合目标信息，实现了雷达目标与可见光目标的融合。合。合。

【技术实现步骤摘要】
目标检测方法、装置、系统、电子设备及存储介质


[0001]本申请涉及目标检测
，特别是涉及目标检测方法、装置、系统、电子设备及存储介质。

技术介绍

[0002]随着智能交通的发展，对传感器获取数据要求越来越高，交通目标的检测已成为智慧交通中一个关键环节，其中，交通目标可以为机动车、非机动车及行人等。现有技术中，利用雷达采集周围环境中交通目标的点云，然后对点云进行聚类，得到点云簇，从利用点云簇来表示目标的位置。但是采用上述方式，用点云簇来表示目标的位置，即无法获取准确的目标框，无法得到目标的类型。

技术实现思路

[0003]本申请实施例的目的在于提供一种目标检测方法、装置、系统、电子设备及存储介质，以实现对雷达点云中点云簇表示的目标的类型进行检测。具体技术方案如下：
[0004]第一方面，本申请实施例提供了一种基于雷达点云的目标检测方法，所述方法包括：获取待检测雷达点云数据；将所述待检测雷达点云数据投影到指定方向的二维栅格平面上，得到每个栅格中点的数量；基于每个栅格中点的数量，进行可见光图像的通道映射，得到伪可见光图像；利用预先训练的第一深度学习网络对所述伪可见光图像进行分析，得到待检测雷达点云数据中雷达目标的类型及雷达目标在预设平面坐标系中的位置，其中，所述预设平面坐标系为所述指定方向上的平面坐标系。
[0005]在一种可能的实施方式中，所述获取待检测雷达点云数据，包括：获取当前帧雷达点云数据；针对当前帧雷达点云数据中静止目标的点云数据，根据所述当前帧雷达点云数据的帧号，选择对应帧号的雷达点云数据与所述当前帧雷达点云数据进行叠加，得到待检测雷达点云数据。
[0006]在一种可能的实施方式中，所述针对当前帧雷达点云数据中静止目标的点云数据，根据所述当前帧雷达点云数据的帧号，选择对应帧号的雷达点云数据与所述当前帧雷达点云数据进行叠加，得到待检测雷达点云数据，包括：针对当前帧雷达点云数据中静止目标的点云数据，得到该点云数据在预设三维坐标系中的位置；根据所述当前帧雷达点云数据的帧号，选择对应帧号的雷达点云数据；对所述对应帧号的雷达点云数据进行位置补偿，得到位置补偿后的雷达点云数据；根据该点云数据在预设三维坐标系中的位置，在位置补偿后的雷达点云数据中选取该点云数据对应的目标点云数据；将该点云数据与目标点云数据进行叠加，得到待检测雷达点云数据。
[0007]在一种可能的实施方式中，所述基于每个栅格中点的数量，进行可见光图像的通道映射，得到伪可见光图像，包括：将各栅格中点的数量映射为矩阵的各元素值，并按照各栅格的排布位置对各元素值进行排布，得到点云密度矩阵；对所述点云密度矩阵进行可见光图像的通道映射，得到伪可见光图像。
[0008]第二方面，本申请实施例提供了一种基于雷达点云及可见光图像的目标检测方法，所述方法包括：获取由相机采集的可见光图像；针对每一帧可见光图像，利用预先训练的第二深度学习网络进行目标检测，得到该帧可见光图像对应的图像目标的图像目标信息，其中，针对任一图像目标，该图像目标的图像目标信息包括基于可见光图像得到的该图像目标的类型及该图像目标在图像平面坐标系中的位置；获取由雷达采集的雷达点云数据；针对每一帧雷达点云数据，利用上述第一方面任一所述的基于雷达点云的目标检测方法，得到该帧雷达点云数据对应的雷达目标的雷达目标信息，其中，针对任一雷达目标，该雷达目标的雷达目标信息包括基于雷达点云数据得到的该雷达目标的类型及该雷达目标在预设平面坐标系中的位置；根据各图像目标的图像目标信息及各雷达目标的雷达目标信息，得到融合目标信息。
[0009]在一种可能的实施方式中，所述获取由相机采集的可见光图像，包括：获取由多个相机分别采集的各可见光图像；在所述针对每一帧可见光图像，利用预先训练的第二深度学习网络进行目标检测，得到该帧可见光图像对应的图像目标的图像目标信息之后，所述方法还包括：将所述多个相机在同一时刻采集的各帧可见光图像对应的各图像目标的图像目标信息进行整合，得到相应可见光图像采集时刻下各图像目标的图像目标信息。
[0010]在一种可能的实施方式中，所述根据各图像目标的图像目标信息及各雷达目标的雷达目标信息，得到融合目标信息，包括：针对各帧可见光图像的可见光图像采集时刻及各帧雷达点云数据的雷达点云采集时刻，按照采集时刻差值最小的原则，建立可见光图像采集时刻与雷达点云采集时刻之间的关联关系；针对每一对具有关联关系的可见光图像采集时刻及雷达点云采集时刻，根据该可见光图像采集时刻下各图像目标的图像目标信息以及该雷达点云采集时刻下各雷达目标的雷达目标信息，计算雷达目标与图像目标之间的相似度，并基于相似度确定雷达目标与图像目标的匹配关系；将具有匹配关系的雷达目标的雷达目标信息与图像目标的图像目标信息进行融合，得到融合目标信息。
[0011]在一种可能的实施方式中，所述针对每一对具有关联关系的可见光图像采集时刻及雷达点云采集时刻，根据该可见光图像采集时刻下各图像目标的图像目标信息以及该雷达点云采集时刻下各雷达目标的雷达目标信息，计算雷达目标与图像目标之间的相似度，并基于相似度确定雷达目标与图像目标的匹配关系，包括：针对每一对具有关联关系的可见光图像采集时刻及雷达点云采集时刻，将该可见光图像采集时刻下各图像目标在图像平面坐标系中的位置及该雷达点云采集时刻下各雷达目标在预设平面坐标系中的位置转换到同一平面坐标系下；针对每一对具有关联关系的可见光图像采集时刻及雷达点云采集时刻，根据同一平面坐标系下该可见光图像采集时刻下各图像目标的位置及该雷达点云采集时刻下各雷达目标的位置，计算该可见光图像采集时刻下的图像目标与该雷达点云采集时刻下的雷达目标之间的交并比相似度；针对每一对具有关联关系的可见光图像采集时刻及雷达点云采集时刻，根据该可见光图像采集时刻下的图像目标与该雷达点云采集时刻下的雷达目标之间的交并比相似度，确定该可见光图像采集时刻下的图像目标与该雷达点云采集时刻下的雷达目标之间的相似度；针对每一对具有关联关系的可见光图像采集时刻及雷达点云采集时刻，根据该可见光图像采集时刻下的图像目标与该雷达点云采集时刻下的雷达目标之间的相似度，确定雷达目标与图像目标的匹配关系。
[0012]在一种可能的实施方式中，所述方法还包括：针对当前帧雷达点云数据中运动目
标的点云数据，将运动目标的点云数据聚类得到的运动目标的点云簇，并将运动目标的点云簇投影到可见光图像的坐标系上，得到融合目标信息。
[0013]在一种可能的实施方式中，所述相机为四个鱼眼相机，所述雷达为四个角毫米波雷达，所述四个鱼眼相机分别设置在车辆的前后左右四个方向，所述四个角毫米波雷达分别设置在所述车辆的四个角上。
[0014]第三方面，本申请实施例提供了一种基于雷达点云的目标检测装置，所述装置包括：点云数据获取模块，用于获取待检测雷达点云数据；点云数据投影模块，用于将所述待检测雷达点云数据投影到指定方向的二维栅格平面上，得到每个栅格中点的数量；伪可见光图像确定模块，用于基于每个栅格中点的数量，进行可见光图像的通道映本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于雷达点云的目标检测方法，其特征在于，所述方法包括：获取待检测雷达点云数据；将所述待检测雷达点云数据投影到指定方向的二维栅格平面上，得到每个栅格中点的数量；基于每个栅格中点的数量，进行可见光图像的通道映射，得到伪可见光图像；利用预先训练的第一深度学习网络对所述伪可见光图像进行分析，得到待检测雷达点云数据中雷达目标的类型及雷达目标在预设平面坐标系中的位置，其中，所述预设平面坐标系为所述指定方向上的平面坐标系。2.根据权利要求1所述的方法，其特征在于，所述获取待检测雷达点云数据，包括：获取当前帧雷达点云数据；针对当前帧雷达点云数据中静止目标的点云数据，根据所述当前帧雷达点云数据的帧号，选择对应帧号的雷达点云数据与所述当前帧雷达点云数据进行叠加，得到待检测雷达点云数据。3.根据权利要求2所述的方法，其特征在于，所述针对当前帧雷达点云数据中静止目标的点云数据，根据所述当前帧雷达点云数据的帧号，选择对应帧号的雷达点云数据与所述当前帧雷达点云数据进行叠加，得到待检测雷达点云数据，包括：针对当前帧雷达点云数据中静止目标的点云数据，得到该点云数据在预设三维坐标系中的位置；根据所述当前帧雷达点云数据的帧号，选择对应帧号的雷达点云数据；对所述对应帧号的雷达点云数据进行位置补偿，得到位置补偿后的雷达点云数据；根据该点云数据在预设三维坐标系中的位置，在位置补偿后的雷达点云数据中选取该点云数据对应的目标点云数据；将该点云数据与目标点云数据进行叠加，得到待检测雷达点云数据。4.根据权利要求1所述的方法，其特征在于，所述基于每个栅格中点的数量，进行可见光图像的通道映射，得到伪可见光图像，包括：将各栅格中点的数量映射为矩阵的各元素值，并按照各栅格的排布位置对各元素值进行排布，得到点云密度矩阵；对所述点云密度矩阵进行可见光图像的通道映射，得到伪可见光图像。5.一种基于雷达点云及可见光图像的目标检测方法，其特征在于，所述方法包括：获取由相机采集的可见光图像；针对每一帧可见光图像，利用预先训练的第二深度学习网络进行目标检测，得到该帧可见光图像对应的图像目标的图像目标信息，其中，针对任一图像目标，该图像目标的图像目标信息包括基于可见光图像得到的该图像目标的类型及该图像目标在图像平面坐标系中的位置；获取由雷达采集的雷达点云数据；针对每一帧雷达点云数据，利用上述权利要求1
‑
4中任一所述的基于雷达点云的目标检测方法，得到该帧雷达点云数据对应的雷达目标的雷达目标信息，其中，针对任一雷达目标，该雷达目标的雷达目标信息包括基于雷达点云数据得到的该雷达目标的类型及该雷达目标在预设平面坐标系中的位置；
根据各图像目标的图像目标信息及各雷达目标的雷达目标信息，得到融合目标信息。6.根据权利要求5所述的方法，其特征在于，所述获取由相机采集的可见光图像，包括：获取由多个相机分别采集的各可见光图像；在所述针对每一帧可见光图像，利用预先训练的第二深度学习网络进行目标检测，得到该帧可见光图像对应的图像目标的图像目标信息之后，所述方法还包括：将所述多个相机在同一时刻采集的各帧可见光图像对应的各图像目标的图像目标信息进行整合，得到相应可见光图像采集时刻下各图像目标的图像目标信息。7.根据权利要求5或6所述的方法，其特征在于，所述根据各图像目标的图像目标信息及各雷达目标的雷达目标信息，得到融合目标信息，包括：针对各帧可见光图像的可见光图像采集时刻及各帧雷达点云数据的雷达点云采集时刻，按照采集时刻差值最小的原则，建立可见光图像采集时刻与雷达点云采集时刻之间的关联关系；针对每一对具有关联关系的可见光图像采集时刻及雷达点云采集时刻，根据该可见光图像采集时刻下各图像目标的图像目标信息以及该雷达点云采集时刻下各雷达目标的雷达目标信息，计算雷达目标与图像目标之间的相似度，并基于相似度确定雷达目标与图像目标的匹配关系；将具有匹配关系的雷达目标的雷达目标信息与图像目标的图像目标信息进行融合，得到融合目标信息。8.根据权利要求7所述的方法，其特征在于，所述针对每一对具有关联关系的可见光图像采集时刻及雷达...

【专利技术属性】
技术研发人员：张经纬，王宇龙，张明，赵显，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：