本发明专利技术涉及智能交通技术领域，具体公开了一种基于毫米波雷达与视觉融合的路侧端目标检测方法，其中，包括：获取训练数据集；获得物理检测框模型、三维检测框模型以及图像检测框模型；将物理检测框模型和三维检测框模型进行融合，获得第一融合检测模型，以及将物理检测框模型和三维检测框模型均与图像检测框模型进行融合，获得第二融合检测模型；将路侧端实时采集信息分别输入至第一融合检测模型和第二融合检测模型，得到第一融合检测结果和第二融合检测结果。本发明专利技术还公开了一种基于毫米波雷达与视觉融合的路侧端目标检测装置。本发明专利技术提供的基于毫米波雷达与视觉融合的路侧端目标检测方法能够提升路侧端目标检测的天气适应性。应性。应性。
【技术实现步骤摘要】
基于毫米波雷达与视觉融合的路侧端目标检测方法及装置
[0001]本专利技术涉及智能交通
，尤其涉及一种基于毫米波雷达与视觉融合的路侧端目标检测方法及基于毫米波雷达与视觉融合的路侧端目标检测装置。
技术介绍
[0002]近年来，车路协同成为了智能交通领域发展的热点之一，主要通过传感器融合等技术手段，实现对车、人、路信息的全面感知，以实现交通安全和高效。路侧端目标检测是精准感知的核心之一，也是一项重要的研究方向和极富挑战性的研究课题。
[0003]路侧端的目标检测要解决的问题是：对交通道路进行全域覆盖、全天候感知交通目标，包括车辆行人等的位置、距离信息，对精度和实时性要求较高。
[0004]传统的路侧端目标检测与分类多采用单一传感器的技术路线进行检测，不满足行业标准中全天候和高精度的要求。
[0005]例如，公开号为CN108830131B的中国专利公开了《基于深度学习的交通目标检测与测距方法》，其对交通图像数据先采用归一化方法再投入深度学习网络进行训练得到模型，并最终输出检测目标的类别、坐标、距离和置信度。但申请人发现，上述的目标检测方法只采用单一图像信息，其稳定性易受雨雪等恶劣天气影响。
[0006]又如，公开号为CN111898439B的中国专利公开了《基于深度学习的交通场景联合目标检测和语义分割方法》，其依然使用单一图像传感器，并且使用注意力模块提取区域特征，但是此方法需要规模较大的数据集以训练模型，整个结构的计算复杂度也较高，实时性较差。
[0007]在融合方面，由于摄像头与毫米波雷达视角(前景与鸟瞰景)、表征方式(RGB与XYZ)、存储方式(有序像素与无序点云)差异较大，导致深度融合效果一般较差，并且数据增强方面提升有限。
[0008]因此，如何能够提高交通目标检测的天气适应性以及准确度成为本领域技术人员亟待解决的技术问题。
技术实现思路
[0009]本专利技术提供了一种基于毫米波雷达与视觉融合的路侧端目标检测方法及基于毫米波雷达与视觉融合的路侧端目标检测装置，解决相关技术中存在的交通目标检测天气适应性差的问题。
[0010]作为本专利技术的第一个方面，提供一种基于毫米波雷达与视觉融合的路侧端目标检测方法，其中，包括：
[0011]获取训练数据集，其中所述训练数据集包括点云数据集和图像数据集，所述点云数据集被划分为物理数据集和三维特征集；
[0012]分别根据所述点云数据集中的物理数据集进行处理获得物理检测框模型，根据所述点云数据集中的三维特征集进行训练获得三维检测框模型，以及根据所述图像数据集进
行训练获得图像检测框模型；
[0013]将所述物理检测框模型和所述三维检测框模型进行融合，获得第一融合检测模型，以及将所述物理检测框模型和三维检测框模型均与图像检测框模型进行融合，获得第二融合检测模型；
[0014]将路侧端实时采集信息分别输入至所述第一融合检测模型和第二融合检测模型，得到第一融合检测结果和第二融合检测结果；
[0015]其中，当天气处于特定恶劣天气时，所述第一融合检测结果的置信度大于所述第二融合检测结果的置信度，反之所述第一融合检测结果的置信度小于或者等于所述第二融合检测结果的置信度。
[0016]进一步地，根据所述点云数据集中的物理数据集进行处理获得物理检测框模型，包括：
[0017]对所述物理数据集进行聚类处理，得到多个聚类中心；
[0018]根据每个聚类中心建立聚类簇的最小3D包围框，获得物理检测框模型。
[0019]进一步地，根据所述点云数据集中的三维特征集进行训练获得三维检测框模型，包括：
[0020]根据激光点云算法对所述三维特征集进行训练，得到三维检测框模型。
[0021]进一步地，根据所述图像数据集进行训练获得图像检测框模型，包括：
[0022]根据目标检测算法对所述图像数据集进行训练，获得图像检测框模型。
[0023]进一步地，将所述物理检测框模型和所述三维检测框模型进行融合，获得第一融合检测模型，以及将所述物理检测框模型和三维检测框模型均与图像检测框模型进行融合，获得第二融合检测模型，包括：
[0024]将所述点云数据集所在的雷达坐标系与所述图像数据集所在的图像坐标系进行配准；
[0025]将所述物理检测框模型和所述三维检测框模型在所述雷达坐标系中进行融合，获得第一融合检测模型；
[0026]将所述物理检测框模型和所述三维检测框模型均从所述雷达坐标系中投影到所述图像坐标系中，并与所述图像检测框进行融合，获得第二融合检测模型。
[0027]进一步地，将所述点云数据集所在的雷达坐标系与所述图像数据集所在的图像坐标系进行配准，包括：
[0028]将所述图像坐标系进行旋转和平移处理，其中旋转和平移的计算公式为：
[0029][0030]其中，(x
r
，y
r
，z
r
)表示图像坐标系，(x
c
，y
c
，z
c
)表示雷达坐标系，R表示3*3的转换矩阵，(t1，t2，t3)表示平移向量。
[0031]进一步地，将所述物理检测框模型和所述三维检测框模型在所述雷达坐标系中进行融合，包括：
[0032]计算所述物理检测框模型和所述三维检测框模型在所述雷达坐标系中的几何一致性；
[0033]判断所述雷达坐标系中的几何一致性的计算结果是否大于第一预设阈值；
[0034]若大于第一阈值阈值，则对所述物理检测框模型和所述三维检测框模型进行融合。
[0035]进一步地，将所述物理检测框模型和三维检测框模型均与图像检测框模型进行融合，包括：
[0036]将所述物理检测框模型和所述三维检测框模型从所述雷达坐标系中投影至图像坐标系中；
[0037]计算所述物理检测框模型、三维检测框模型和图像检测框模型在所述图像坐标系中的几何一致性；
[0038]判断所述图像坐标系中的几何一致性的计算结果是否大于第二预设阈值；
[0039]若大于第二预设阈值，则对所述物理检测框模型、三维检测框模型和图像检测框模型进行融合。
[0040]进一步地，所述物理数据集包括散射截面积、相对速度、绝对速度和首次出现帧号，所述三维特征集包括XYZ坐标信息。
[0041]作为本专利技术的另一个方面，提供一种基于毫米波雷达与视觉融合的路侧端目标检测装置，其中，包括：存储器和处理器，所述存储器和处理器通信连接，所述存储器用于存储计算机指令，所述处理器用于加载并处理所述计算机指令，以实现前文所述的基于毫米波雷达与视觉融合的路侧端目标检测方法。
[0042]本专利技术提供的基于毫米波雷达与视觉融合的路侧端目标检测方法，通过将毫米波雷达的点云数据集划分为物理数据集和三维特征集，进而能够实现与图像数据集进行晚期融合，从而有效提升不同天气情况的检测适应性，极大提升算法的鲁棒性和本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于毫米波雷达与视觉融合的路侧端目标检测方法，其特征在于，包括：获取训练数据集，其中所述训练数据集包括点云数据集和图像数据集，所述点云数据集被划分为物理数据集和三维特征集；分别根据所述点云数据集中的物理数据集进行处理获得物理检测框模型，根据所述点云数据集中的三维特征集进行训练获得三维检测框模型，以及根据所述图像数据集进行训练获得图像检测框模型；将所述物理检测框模型和所述三维检测框模型进行融合，获得第一融合检测模型，以及将所述物理检测框模型和三维检测框模型均与图像检测框模型进行融合，获得第二融合检测模型；将路侧端实时采集信息分别输入至所述第一融合检测模型和第二融合检测模型，得到第一融合检测结果和第二融合检测结果；其中，当天气处于特定恶劣天气时，所述第一融合检测结果的置信度大于所述第二融合检测结果的置信度，反之所述第一融合检测结果的置信度小于或者等于所述第二融合检测结果的置信度。2.根据权利要求1所述的方法，其特征在于，根据所述点云数据集中的物理数据集进行处理获得物理检测框模型，包括：对所述物理数据集进行聚类处理，得到多个聚类中心；根据每个聚类中心建立聚类簇的最小3D包围框，获得物理检测框模型。3.根据权利要求1所述的方法，其特征在于，根据所述点云数据集中的三维特征集进行训练获得三维检测框模型，包括：根据激光点云算法对所述三维特征集进行训练，得到三维检测框模型。4.根据权利要求1所述的方法，其特征在于，根据所述图像数据集进行训练获得图像检测框模型，包括：根据目标检测算法对所述图像数据集进行训练，获得图像检测框模型。5.根据权利要求1至4中任意一项所述的方法，其特征在于，将所述物理检测框模型和所述三维检测框模型进行融合，获得第一融合检测模型，以及将所述物理检测框模型和三维检测框模型均与图像检测框模型进行融合，获得第二融合检测模型，包括：将所述点云数据集所在的雷达坐标系与所述图像数据集所在的图像坐标系进行配准；将所述物理检测框模型和所述三维检测框模型在所述雷达坐标系中进行融合，获得第一融合检测模型；将所述物理检测框模型和所述三维检测框模型均...
【专利技术属性】
技术研发人员：李保江，冯博询，杨德钲，王明明，顾炎飚，岳玉涛，
申请(专利权)人：江苏集萃深度感知技术研究所有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。