车端目标分类检测方法及车端雷视融合设备技术

本发明专利技术涉及自动驾驶技术领域，具体公开了一种基于毫米波雷达与视觉融合的车端目标分类检测方法及车端雷视融合设备，包括：分别获取车端视觉图像和车端毫米波雷达点云数据；将所述车端视觉图像和所述车端毫米波雷达点云数据分别输入至图像分类与雷达注意力模块，获得初步分类特征图，其中所述图像分类与雷达注意力模块能够将所述车端毫米波雷达点云数据进行处理后作为门控模块与所述车端视觉图像进行特征融合；将所述初步分类特征图进行小目标检测处理，获得精细化分类特征图；将所述精细化分类特征图输入分类检测网络，获得车端分类类别和分类目标框。本发明专利技术提供的基于毫米波雷达与视觉融合的车端目标分类检测方法提高了车端目标检测精度。了车端目标检测精度。了车端目标检测精度。

【技术实现步骤摘要】
车端目标分类检测方法及车端雷视融合设备


[0001]本专利技术涉及自动驾驶
，尤其涉及一种基于毫米波雷达与视觉融合的车端目标分类检测方法及车端雷视融合设备。

技术介绍

[0002]近年来，自动驾驶成为了汽车行业发展的前沿与热点，主要通过传感器融合等技术手段，实现对行车过程中路况信息的全面感知，以实现交通安全和高效。目标检测与分类是精准感知的核心之一，也是一项重要的研究方向和极富挑战性的研究课题。
[0003]当前，车端目标检测与分类要解决的问题是：对行车过程中前方道路交通目标进行全天候感知，包括车辆行人等的位置、类别、距离信息，对精度要求极高。而传统的车端目标检测与分类多采用单一传感器的技术路线进行检测，不满足行业标准中全天候和高精度的要求。
[0004]例如，公开号为CN104573646B的中国专利公开了《基于深度学习的交通目标检测与测距方法》，其对交通图像数据先采用归一化方法再投入深度学习网络进行训练得到模型，并最终输出检测目标的类别、坐标、距离和置信度。但申请人发现，上述的目标检测方法只采用单一图像信息，其稳定性易受光照条件、雨雪等环境干扰。
[0005]又如，公开号为CN111898439A的中国专利申请公开了《基于深度学习的交通场景联合目标检测和语义分割方法》，其依然使用单一图像传感器，但是整个结构的计算复杂度较高，实时性较差。
[0006]因此，如何能够提升车端目标的检测精度成为本领域技术人员亟待解决的技术问题。

技术实现思路

[0007]本专利技术提供了一种基于毫米波雷达与视觉融合的车端目标分类检测方法及车端雷视融合设备，解决相关技术中存在的车端目标检测精度低的问题。
[0008]作为本专利技术的第一个方面，提供一种基于毫米波雷达与视觉融合的车端目标分类检测方法，其中，包括：
[0009]分别获取车端视觉图像和车端毫米波雷达点云数据；
[0010]将所述车端视觉图像和所述车端毫米波雷达点云数据分别输入至图像分类与雷达注意力模块，获得初步分类特征图，其中所述图像分类与雷达注意力模块能够将所述车端毫米波雷达点云数据进行处理后作为门控模块与所述车端视觉图像进行特征融合；
[0011]将所述初步分类特征图进行小目标检测处理，获得精细化分类特征图；
[0012]将所述精细化分类特征图输入分类检测网络，获得车端分类类别和分类目标框。
[0013]进一步地，将所述车端视觉图像和所述车端毫米波雷达点云数据分别输入至图像雷达融合模块，获得初步分类特征图，包括：
[0014]对所述车端毫米波雷达点云数据做补偿处理，获得雷达图像；
[0015]将所述雷达图像与所述车端视觉图像通过雷达注意力模块进行首次融合处理后获得首次融合特征图；
[0016]将所述首次融合特征图与所述车端视觉图像通过通道注意力模块进行再次融合处理后获得初步分类特征图。
[0017]进一步地，对所述车端毫米波雷达点云数据做补偿处理，获得雷达图像，包括：
[0018]将每一帧车端毫米波雷达点云数据投影到前视图中；
[0019]在所述前视图中生成高度方向的线，并将不含有线的像素值整体设置为0，获得雷达图像，其中所述高度方向的线在所述前视图中的宽度占据1个像素以覆盖所有目标。
[0020]进一步地，将所述雷达图像与所述车端视觉图像通过雷达注意力模块进行首次融合处理后获得首次融合特征图，包括：
[0021]将所述雷达图像通过激活函数后获得值域在[0,1]之间的权重矩阵；
[0022]将所述权重矩阵与所述车端视觉图像进行逐像素相乘操作，获得首次融合特征图。
[0023]进一步地，将所述首次融合特征图与所述车端视觉图像通过通道注意力模块进行再次融合处理后获得初步分类特征图，包括：
[0024]将所述首次融合特征图和所述车端视觉图像进行逐像素相加融合处理后，获得初步分类特征图。
[0025]进一步地，将所述初步分类特征图进行小目标检测处理，获得精细化分类特征图，包括：
[0026]构建特征金字塔模块；
[0027]将所述初步分类特征图输入至所述特征金字塔模块进行小目标检测处理，获得精细化分类特征图。
[0028]进一步地，将所述精细化分类特征图输入分类检测网络，获得车端分类类别和分类目标框，包括：
[0029]构建分类检测网络；
[0030]将所述精细化分类特征图输入至所述分类检测网络；
[0031]根据所述分类检测网络的检测损失函数获得检测结果输出，以及根据所述分类检测网络的分类损失函数获得分类结果输出。
[0032]进一步地，所述构建分类检测网络，包括：
[0033]准备跨模态数据集，其中所述跨模态数据集包括毫米波雷达点云数据集和视觉图像数据集，且所述跨模态数据集按照预设比例被划分为训练集和测试集；
[0034]将所述跨模态数据集根据Adam优化器进行反向传播训练以及测试，获得分类检测网络。
[0035]进一步地，所述基于毫米波雷达与视觉融合的车端目标分类检测方法还包括在所述分别获取车端视觉图像和车端毫米波雷达点云数据的步骤前进行的：
[0036]对毫米波雷达信息采集装置和视觉图像采集装置进行配准。
[0037]作为本专利技术的另一个方面，提供一种车端雷视融合设备，其中，包括存储器和处理器，所述存储器和处理器通信连接，所述存储器用于存储计算机指令，所述处理器用于加载并执行所述计算机指令以实现前文所述的基于毫米波雷达与视觉融合的车端目标分类检
测方法。
[0038]本专利技术提供的基于毫米波雷达与视觉融合的车端目标分类检测方法，通过将车端毫米波雷达点云数据与车端视觉图像进行特征融合，在融合过程中将雷达点云生成的雷达图像作为门控模块，实现空间注意力功能，为视觉检测与分类提供指导，较大程度地提升了算法的鲁棒性和抗干扰性。另外，由于加入了即插即用的先进的通道注意力模块，与前述的雷达空间注意力模块进一步融合，使得算法精度进一步提升，在阴雨天气和夜晚条件下，精度相较单视觉算法有较大提升。
附图说明
[0039]附图是用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术，但并不构成对本专利技术的限制。
[0040]图1为本专利技术提供的基于毫米波雷达与视觉融合的车端目标分类检测方法的流程图。
[0041]图2为本专利技术提供的雷达注意力模块的工作流程图。
[0042]图3为本专利技术提供的通道注意力模块的工作流程图。
[0043]图4为本专利技术提供的目标从雷达坐标系转换为图像坐标系的示意图。
[0044]图5为本专利技术提供的VGG16+雷达注意力模型结构图。
[0045]图6为本专利技术提供的特征金字塔结构图。
[0046]图7为本专利技术提供的RetinaNet分类与检测网络结构图。
[0047]图8为本专利技术提供的基于毫米波雷达与视觉本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于毫米波雷达与视觉融合的车端目标分类检测方法，其特征在于，包括：分别获取车端视觉图像和车端毫米波雷达点云数据；将所述车端视觉图像和所述车端毫米波雷达点云数据分别输入至图像分类与雷达注意力模块，获得初步分类特征图，其中所述图像分类与雷达注意力模块能够将所述车端毫米波雷达点云数据进行处理后作为门控模块与所述车端视觉图像进行特征融合；将所述初步分类特征图进行小目标检测处理，获得精细化分类特征图；将所述精细化分类特征图输入分类检测网络，获得车端分类类别和分类目标框。2.根据权利要求1所述的基于毫米波雷达与视觉融合的车端目标分类检测方法，其特征在于，将所述车端视觉图像和所述车端毫米波雷达点云数据分别输入至图像雷达融合模块，获得初步分类特征图，包括：对所述车端毫米波雷达点云数据做补偿处理，获得雷达图像；将所述雷达图像与所述车端视觉图像通过雷达注意力模块进行首次融合处理后获得首次融合特征图；将所述首次融合特征图与所述车端视觉图像通过通道注意力模块进行再次融合处理后获得初步分类特征图。3.根据权利要求2所述的基于毫米波雷达与视觉融合的车端目标分类检测方法，其特征在于，对所述车端毫米波雷达点云数据做补偿处理，获得雷达图像，包括：将每一帧车端毫米波雷达点云数据投影到前视图中；在所述前视图中生成高度方向的线，并将不含有线的像素值整体设置为0，获得雷达图像，其中所述高度方向的线在所述前视图中的宽度占据1个像素以覆盖所有目标。4.根据权利要求2所述的基于毫米波雷达与视觉融合的车端目标分类检测方法，其特征在于，将所述雷达图像与所述车端视觉图像通过雷达注意力模块进行首次融合处理后获得首次融合特征图，包括：将所述雷达图像通过激活函数后获得值域在[0,1]之间的权重矩阵；将所述权重矩阵与所述车端视觉图像进行逐像素相乘操作，获得首次融合特征图。5.根据权利要求2所述的基于毫米波雷达与视觉融合的车端目标分类检测方法，其特征在于，将所述首次融...

【专利技术属性】
技术研发人员：李保江，冯博询，杨德钲，王明明，顾炎飚，岳玉涛，
申请(专利权)人：江苏集萃深度感知技术研究所有限公司，
类型：发明
国别省市：