一种基于信息融合的目标检测及跟踪方法技术

本发明专利技术公开了一种基于信息融合的目标检测及跟踪方法，包括：对多种传感器进行联合标定；多个主干网络分别对每个传感器采集的数据进行目标特征提取；将每个主干网络输出的目标特征进行融合并提取目标的边界框和标签；利用目标的边界框和标签对目标进行跟踪并对目标的状态进行预测及更新。本发明专利技术对多个激光雷达和多个摄像头进行信息融合，降低天气、光照等环境因素对检测结果的影响，减少检测盲区，提高系统的鲁棒性。高系统的鲁棒性。高系统的鲁棒性。

【技术实现步骤摘要】
一种基于信息融合的目标检测及跟踪方法


[0001]本专利技术属于目标检测及跟踪
，具体来说，涉及一种基于信息融合的目标检测及跟踪方法。

技术介绍

[0002]近年来，自动驾驶技术不断发展，为许多行业都带来了深刻的变化。一旦自动驾驶技术成熟落地之后将颠覆整个人类的社会的交通方式。环境感知技术是自动驾驶不可或缺的组成部分同时也是目前亟待攻克的技术难题。车辆和人是作为道路交通的主要参与者，对其检测是当前感知领域的热点问题，但是检测的准确性、鲁棒性及实时性一直是技术痛点，难以找到平衡点。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足，提供一种基于信息融合的目标检测及跟踪方法，降低天气、光照等环境因素对检测结果的影响，减少检测盲区，提高系统的鲁棒性。
[0004]实现本专利技术目的的技术方案为：能够融合多种传感器的信息检测出道路上的车辆或者人等目标信息，在之后的运行过程中对该目标进行跟踪，具体包括：
[0005]步骤一：对多种传感器进行联合标定；
[0006]步骤二：多个主干网络分别对每个传感器采集的数据进行目标特征提取；
[0007]步骤三：将每个主干网络输出的目标特征进行融合并提取目标的边界框和标签
[0008]步骤四：利用目标的边界框和标签等特征对目标进行跟踪并对目标的状态进行预测及更新。
[0009]进一步地，所述多种传感器包括激光雷达、摄像头，所述的摄像头在车辆前方布置多个，每个摄像头的焦距不同，负责不同距离下的目标检测任务；激光雷达采集3D点云数据，摄像头采集2D图像信息，图像为RGB彩色图像，激光雷达和摄像头的分布在各个方向，确保检测无盲区。
[0010]所述步骤一联合标定包括空间标定和时间标定，空间标定通过同时采集同一区域的数据进行像素对应确定传感器之间的相对关系，通过测量主激光雷达和车辆之间的相对关系确定各个传感器和车体之间的转换关系；时间标定使用车载的GNSS作为标准时间，取距离标准时间最近的点云数据和图像数据作为当前帧数据。
[0011]进一步地，所述的目标信息(目标特征)包括目标的类型、中心点坐标、边界框的尺寸及方向，并用6面体和矩形框分别在点云和图像上将目标标注出来，最终在人机交互界面上标出目标的类型及相对距离。
[0012]所述步骤二中将激光雷达的点云数据和摄像头的图像数据作为两个独立的分支进行处理。
[0013]进一步地，激光雷达的点云数据处理分支中，具体包括：
[0014]首先将所有激光雷达输出的点云数据通过坐标变换转换至主激光雷达的坐标系
下，然后再进行下一步处理；
[0015]利用车辆的三维结构滤除掉自身反射的点云数据，车辆左右只保留相对较近的点云数据；
[0016]根据车辆自身的速度来确定车辆前后保留的点云数据的距离，车速越快，保留的点云距离越远，以保证留出足够的安全距离。
[0017]上述预处理过程中剔除了车辆自身的点云，根据车速剔除了车辆前后较远的点云，剔除了车辆左右较远的点云。
[0018]进一步地，将经过预处理的点云数据输入到网络中，这样既能保留足够的信息量，又减少了数据量，提高了计算速度。
[0019]神经网络架构进行优化，网络利用点的特征距离和欧氏距离加权求和的方式对点云数据进行采样获取目标特征，减少采样点在背景及地面上的比例，增加采样点在前景目标上的比例。
[0020]进一步地，摄像头的图像数据的图像检测主干网络直接将RGB图像输入神经网络中进行特征提取，利用特征金字塔来融合从图像中提取出的不同层次的特征。
[0021]进一步地，步骤3具体包括：
[0022]利用注意力机制对激光雷达检测的特征及摄像头检测的特征进行自适应融合；所述的自适应融合是将点云中的采样点通过坐标变换的方式转换到图像坐标系下，进而提出采样点对应的图像特征；
[0023]根据图像特征对检测结果的贡献度，计算其融合权重，然后将采样点的点云特征与图像特征进行加权融合得到最终的特征；
[0024]车辆前方的融合方式与其他方向不一致，根据点云中采样点的距离来确定与哪个摄像头的图像数据进行融合，距离远的与焦距长的摄像头数据进行融合，以获得更多的图像特征。
[0025]进一步地，利用回归算法计算出目标的边界框，具体包括
[0026]所述回归算法中采用的初始中心点为带有融合特征且特征距离所占权重较大的采样点；
[0027]利用所得到的边界框的尺寸信息及相对位置关系将目标和对应的标签进行关联。
[0028]进一步地，所述步骤四利用中心点的位置、边界框的尺寸、朝向及目标的标签进行数据关联，得到前后两帧的最优匹配，并利用滤波算法对目标的状态进行预测及更新。
[0029]与现有技术相比，本专利技术的有益效果在于：使用多个激光雷达和多个摄像头进行信息融合，降低天气、光照等环境因素对检测结果的影响，减少检测盲区，提高系统的鲁棒性；激光雷达主干网络架构为PointNet++，将经过预处理的点云数据输入到网络中，这样既能保留足够的信息量，又减少了数据量，提高了计算速度；图像处理主干网络架构选用的是ResNet
‑
50，直接将RGB图像输入神经网络中进行特征提取，利用特征金字塔来融合从图像中提取出的不同层次的特征，从而丰富特征中的语义信息；引入注意力机制进行融合可以有效的减小环境变化对最终检测结果的影响。
附图说明
[0030]图1为无人车上表面传感器布置示意图。
[0031]图2为无人车左右传感器布置示意图。
[0032]图3为无人车后方传感器布置示意图。
[0033]图4为无人车前方传感器布置示意图。
[0034]图5为为本专利技术方法流程图。
具体实施方式
[0035]下面结合附图对本专利技术作进一步详细的说明，这些附图均为简化的示意图，仅以示意方式说明本专利技术的基本结构。
[0036]如图1所示，自动驾驶控制柜中布置了高性能处理器，用来进行算法计算，自动驾驶控制柜固定安装在车厢中。
[0037]GNSS设备固定在车辆的纵向轴线上，且GNSS设备的方向沿着轴线的正方向，两个接收天线固定在车辆的两侧。
[0038]主激光雷达安装固定在车辆的前方，作为检测的主传感器。
[0039]如图2、图3、图4所示，在车辆的前、后、左、右各安装了一个补盲激光雷达，用来弥补主激光雷达的盲区。
[0040]在左、右、后的补盲激光雷达下面各安装了一个广角摄像头，在前面的补盲激光雷达下面安装了3个摄像头，这3个摄像头的焦距各不相同，分别用来检测远、中、近不同距离下的目标。
[0041]结合图5，本专利技术提出一种基于信息融合的目标检测及跟踪方法，利用了激光雷达和摄像头各自的优势，融合的第一步就是标定。
[0042]本实例中以主激光雷达作为主传感器，空间转换中所有的激光雷达和摄像头都以主激光雷达的坐标系为基准。
[0043本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信息融合的目标检测及跟踪方法，其特征在于，包括步骤：步骤1：对多种传感器进行联合标定；步骤2：多个主干网络分别对每个传感器采集的数据进行目标特征提取；步骤3：将每个主干网络输出的目标特征进行融合并提取目标的边界框和标签；步骤4：利用目标的边界框和标签对目标进行跟踪并对目标的状态进行预测及更新。2.根据权利要求1所述的基于信息融合的目标检测及跟踪方法，其特征在于，所述多种传感器包括激光雷达、摄像头，所述的摄像头在车辆前方布置多个，每个摄像头的焦距不同，负责不同距离下的目标检测任务；激光雷达采集3D点云数据，摄像头采集2D图像信息，图像为RGB彩色图像，激光雷达和摄像头的分布在各个方向，确保检测无盲区。3.根据权利要求1所述的基于信息融合的目标检测及跟踪方法，其特征在于，所述多种传感器进行联合标定具体包括：通过外参标定和时间标定将所有的传感器数据同步到同一时空坐标上，所述的外参标定采集同一区域的数据进行像素对应得出具体的参数，时间标定则使用车载GNSS的时间作为标准时间，将与标准时间最近的点云数据和图像数据作为当前帧数据。4.根据权利要求2所述的基于信息融合的目标检测及跟踪方法，其特征在于，所述的目标特征包括目标的类型、中心点坐标、边界框的尺寸及方向，并用6面体和矩形框分别在点云和图像上将目标标注出来，最终在人机交互界面上标出目标的类型及相对距离。5.根据权利要求2所述的基于信息融合的目标检测及跟踪方法，其特征在于，所述主干网络包括激光雷达检测和图像检测2个独立的主干网络，激光雷达检测主干网络对激光雷达采集的点云数据进行目标特征提取，图像检测主干网络对摄像头采集的图像数据进行目标特征提取；所述激光雷达检测主干网络的架构为PointNet++，图像检测主干网络采用ResNet
‑
50；激光雷达检测主干网络对激光雷达采集的点云数据进行目标特征提取前，对激光雷达采集的点云数据进行预处理；图像检测主干网络直接将RGB图像输入神经网络中进行目标特征提取，利用特征金字塔进行融合，从图像中提取出的不同层次的目标特征，所述特征金字塔包括BU层、TD层和LC层，BU从图像中提取到不同层次的特征图，TD将高层次的语义ResNet
‑
50信息通过采样向下传递，使得低层的特征也具有丰富的语义信息，LC则将BU层和TD层提出的特征图逐级进行融合，得到不同层次的图像特征。6.根据权利要求2所述的基于信息融合的目标检测及跟踪方法，其特征在于，所述对激光雷达采集的点云数据进行预处理具体包括：所有激光雷达输出的点云数据通过坐标变换转换至主激光雷达的坐标系下；利用车辆的三维结构滤除掉自身反射的点云数据，车辆左右只保留小于设定阈值的点云数据；根据车辆自身的速度确定车辆前后保留的点云数据的距离，过滤掉小于设定阈值的点云数据，确保留出大于设定阈值的安全距离。7.根据权利要求2所述的基于信息融合的目标检测及跟踪方法，其特征在于，所述对激光雷达采集的点云数据进行目标特征提取具体为：利用点的特征距离和欧氏距离加权求和的方式对点云数据进行采样提取目标特征，减少采样点在背景及地面上的比例，增加采样
点在前景目标上的比例；所述利用点的特征距离和欧氏距离加权求和的方式对点云数据进行采样提取目标特征具体包括：另采样点A的坐标为(x
A
、y
A
、z
A
)，采样点B的坐标为(x

【专利技术属性】
技术研发人员：梁乐，李峰，周睿，胡明伟，邓烨峰，徐田凡，欧国峰，王宏亮，刘汉鼎，
申请(专利权)人：中国船舶集团有限公司第七一六研究所中船重工信息科技有限公司，
类型：发明
国别省市：