一种基于多帧点云数据的3D目标检测装置和方法制造方法及图纸

一种基于多帧点云数据的3D目标检测装置和方法，该装置包括布设在自动驾驶系统中的多帧3D点云数据采集单元、基于3D体素的CNN的提案生成单元、基于注意力机制的对齐单元、基于transformer的点云信息增强单元、单帧目标检测单元；该方法包括通过提案生成模块得到目标提案；对多帧点云的同一个目标的目标提案对齐；对点云信息做强化处理；调用单帧目标检测器、计算总损失、优化3D目标检测结果。本发明专利技术对同一个目标在不同帧间做目标对齐操作，有效解决动态物体以帧为单位进行多帧融合时产生的拖影问题，提高目标检测的准确率。本发明专利技术通过采用直接从骨干网络提取3D点云的特征得到特征图的方法，保留了点云数据的空间信息，有利于目标对齐、以及点云信息增强。以及点云信息增强。以及点云信息增强。

【技术实现步骤摘要】
一种基于多帧点云数据的3D目标检测装置和方法


[0001]本专利技术属于机器人自动驾驶
，尤其涉及一种基于多帧点云数据的3D目标检测装置和方法。

技术介绍

[0002]目标检测是机器人自动驾驶
一项传统任务，目前2D目标检测技术已经相当成熟，3D目标检测正处于高速发展的时期。在三维世界中，3D点云数据是通过激光雷达等扫描设备产生的，得到的点云数据具有稀疏、不规则且无序的特点。由于点云的稀疏性，单帧点云检测可能会有一些缺点，例如单帧点云中不可避免地会出现遮挡、长距离等一些问题，这些问题都会在一定程度上影响单帧目标检测器的检测精度。而多帧点云由于其包含了十分丰富的前景对象的时空信息，可以对其加以利用以提高目标检测器的检测精度，充分利用连续点云数据中的时空信息来设计多帧3D点云目标检测具有重要意义。
[0003]现有技术的多帧3D点云目标检测方法是以多帧的整帧为单位进行融合，事实上，一帧中非目标部分的融合对检测结果提升不大，而且各个帧中的目标不都是静止不动的，当以帧为单位进行多帧融合时，由于每一帧的目标不都是静止不动的，运动的目标在每一帧中位置都不同，融合后运动的物体会产生拖影。尽管现有技术对多帧融合拖影问题采用了初始特征层自适应对齐的方法、可以在一定程度上减小动态目标在帧间运动时产生的拖影所带来的影响，但是得到的特征权重图仍然是对一整帧级别的特征图进行加权融合，这种粗糙的以帧为单位进行融合的方式使得解决拖影问题效果不明显，没有产生实质性的突破。

技术实现思路

[0004]本专利技术为解决现有技术的问题，提出一种基于多帧点云数据的3D目标检测装置和方法，目的在于解决现有技术当以帧为单位进行多帧融合时，以粗糙的以帧为单位进行融合的方式使得解决拖影问题效果不明显、没有产生实质性的突破的问题。
[0005]本专利技术为解决其技术问题，采用以下技术方案：
[0006]一种基于多帧点云数据的3D目标检测装置，其特点是：该装置包括布设在自动驾驶系统中的多帧3D点云数据采集单元、基于3D体素的CNN的提案生成单元、基于注意力机制的对齐单元、基于transformer的点云信息增强单元、单帧目标检测单元；该基于3D体素的CNN的提案生成单元，其输入端接收多帧3D点云数据采集单元采集的多帧3D点云数据，输出端将多帧3D点云数据转换为多个特征图的每个特征图的多个目标框的大致位置；该基于注意力机制的对齐单元，其输入端分别接收所述提案生成单元输出的多个特征图的每个特征图的多个目标的大致位置、以及多帧3D点云传感器数据采集单元输入的多帧3D点云数据，输出端输出多个特征图分类对齐后的目标特征向量；所述基于transformer的点云信息增强单元，其输入端接收所述对齐单元输出的多个特征图分类对齐后的目标特征向量，然后把对齐以后的每一类的目标特征向量进行堆叠连接、得到堆叠连接后的特征Z，再将特征Z
输入transformer，从而得到信息增强后单帧目标区域，输出端将增强后的单帧目标区域、以及单帧目标区域的大致位置发送给单帧目标检测单元；所述单帧目标检测单元，其输入端分别接收信息增强后的单帧目标区域信息、以及信息增强后的目标区域大致位置信息，输出端细化和微调信息增强后的目标区域的位置。
[0007]所述多帧3D点云数据采集单元，包括多帧数量设置模块、读取传感器数据模块、点云序列保存模块；该多帧数量设置模块用于设置能够达到预期融合效果的多帧数量；该读取传感器数据模块用于在设定时间范围内连续采集多帧3D点云数据；该点云序列保存模块用于保存指定时间范围内传感器采集的多帧数据，并将该数据发送给基于3D体素的CNN的提案生成单元、以及基于注意力机制的对齐单元。
[0008]所述基于3D体素的CNN的提案生成单元，包括降采样单元、生成2D特征图单元、调用生成目标提案单元；所述降采样单元将3D点云转换成3D体素并使用3D体素卷积网络降采样；所述生成2D特征图单元将降采样后的多帧3D特征体转换成为多帧2D的鸟瞰图特征图；所述调用生成目标提案单元将多帧2D的鸟瞰图特征图输入到目标提案生成网络，该目标提案生成网络对特征图进行处理、生成目标提案，所述目标提案为多帧的每帧特征图的多个目标的大致位置。
[0009]所述的基于注意力机制的对齐单元包括生成多帧2D特征图单元、映射并生成目标框单元、生成输入值Q、K、V单元，调用注意力机制结构单元；所述生成多帧2D特征图单元接收所述点云序列保存模块的数据，通过骨干网络直接对3D点云数据提取2D特征图；所述映射并生成目标框单元将所述提案生成单元的多个2D特征图的目标框映射到当前多个对应的2D特征图上，并通过映射关系生成当前多个对应的2D特征图的每个特征图的目标框；所述的生成输入值Q、K、V单元将多帧的当前帧特征图目标框的目标区域作为输入值QUERY Q，将多帧的历史帧的特征图目标框的目标区域作为输入值key K和value V，该多帧的当前帧为多帧当中时间最近的一帧，该多帧的历史帧为多帧当中时间较远的一帧或多帧；所述的调用注意力机制结构单元将Q、K、V输入到注意力机制结构中，得到多个特征图分类对齐后的目标特征向量，该分类对齐是指多个特征图上的相同目标进行归类并加以同类别的标记。
[0010]所述基于transformer的点云信息增强单元包括堆叠连接生成特征值单元、以及调用transformer实现多帧融合单元，所述堆叠连接生成特征值单元把对齐以后的每一类的目标特征向量进行堆叠连接，得到堆叠连接后的特征Z；所述调用transformer实现多帧融合单元将特征Z输入transformer，得到信息增强后的目标区域。
[0011]所述单帧目标检测单元，包括获取信息增强后的单帧目标区域模块、获取信息增强后的目标区域大致位置模块、细化和微调信息增强后的目标区域的大致位置模块、输出信息增强后的目标区域的精确位置模块；所述输出信息增强后的目标区域的精确位置模块根据获取信息增强后的单帧目标区域模块、以及获取信息增强后的目标区域大致位置模块的信息，并加以处理，输出信息增强后的目标区域的精确位置。
[0012]一种多帧点云数据3D目标检测方法，其特征在于，包括以下步骤：
[0013]步骤一、多帧点云的每一帧通过提案生成模块得到目标提案；
[0014]步骤二、对多帧点云的同一个目标的目标提案对齐；
[0015]步骤三、融合多帧点云的信息对目标级别的点云信息做强化处理；
[0016]步骤四、调用单帧目标检测器、计算总损失、优化3D目标检测结果。
[0017]所述步骤一的多帧点云的每一帧通过提案生成模块得到目标提案，具体过程如下：
[0018]1)多帧点云3D目标检测初始化：该初始化包括多帧数量设置、读取传感器数据、点云序列保存，该保存的点云序列用于步骤一的提案生成、以及步骤二的目标提案对齐；
[0019]2)将多帧3D点云转换成多帧3D体素、并使用3D体素卷积网络降采样：
[0020]3)将降采样后的多帧3D特征体转换成为多帧2D的鸟瞰本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多帧点云数据的3D目标检测装置，其特征在于：该装置包括布设在自动驾驶系统中的多帧3D点云数据采集单元、基于3D体素的CNN的提案生成单元、基于注意力机制的对齐单元、基于transformer的点云信息增强单元、单帧目标检测单元；该基于3D体素的CNN的提案生成单元，其输入端接收多帧3D点云数据采集单元采集的多帧3D点云数据，输出端将多帧3D点云数据转换为多个特征图的每个特征图的多个目标框的大致位置；该基于注意力机制的对齐单元，其输入端分别接收所述提案生成单元输出的多个特征图的每个特征图的多个目标的大致位置、以及多帧3D点云传感器数据采集单元输入的多帧3D点云数据，输出端输出多个特征图分类对齐后的目标特征向量；所述基于transformer的点云信息增强单元，其输入端接收所述对齐单元输出的多个特征图分类对齐后的目标特征向量，然后把对齐以后的每一类的目标特征向量进行堆叠连接、得到堆叠连接后的特征Z，再将特征Z输入transformer，从而得到信息增强后单帧目标区域，输出端将增强后的单帧目标区域、以及单帧目标区域的大致位置发送给单帧目标检测单元；所述单帧目标检测单元，其输入端分别接收信息增强后的单帧目标区域信息、以及信息增强后的目标区域大致位置信息，输出端输出信息增强后的目标区域的精确位置。2.根据权利要求1所述一种基于多帧点云数据的3D目标检测装置，其特征在于：所述多帧3D点云数据采集单元，包括多帧数量设置模块、读取传感器数据模块、点云序列保存模块；该多帧数量设置模块用于设置能够达到预期融合效果的多帧数量；该读取传感器数据模块用于在设定时间范围内连续采集多帧3D点云数据；该点云序列保存模块用于保存指定时间范围内传感器采集的多帧数据，并将该数据发送给基于3D体素的CNN的提案生成单元、以及基于注意力机制的对齐单元。3.根据权利要求1所述一种基于多帧点云数据的3D目标检测装置，其特征在于：所述基于3D体素的CNN的提案生成单元，包括降采样单元、生成2D特征图单元、调用生成目标提案单元；所述降采样单元将3D点云转换成3D体素并使用3D体素卷积网络降采样；所述生成2D特征图单元将降采样后的多帧3D特征体转换成为多帧2D的鸟瞰图特征图；所述调用生成目标提案单元将多帧2D的鸟瞰图特征图输入到目标提案生成网络，该目标提案生成网络对特征图进行处理、生成目标提案，所述目标提案为多帧的每帧特征图的多个目标的大致位置。4.根据权利要求1所述一种基于多帧点云数据的3D目标检测装置，其特征在于：所述的基于注意力机制的对齐单元包括生成多帧2D特征图单元、映射并生成目标框单元、生成输入值Q、K、V单元，调用注意力机制结构单元；所述生成多帧2D特征图单元接收所述点云序列保存模块的数据，通过骨干网络直接对3D点云数据提取2D特征图；所述映射并生成目标框单元将所述提案生成单元的多个2D特征图的目标框映射到当前多个对应的2D特征图上，并通过映射关系生成当前多个对应的2D特征图的每个特征图的目标框；所述的生成输入值Q、K、V单元将多帧的当前帧特征图目标框的目标区域作为输入值QUERY Q，将多帧的历史帧的特征图目标框的目标区域作为输入值key K和value V，该多帧的当前帧为多帧当中时间最近的一帧，该多帧的历史帧为多帧当中时间较远的一帧或多帧；所述的调用注意力机制结构单元将Q、K、V输入到注意力机制结构中，得到多个特征图分类对齐后的目标特征向量，该分类对齐是指多个特征图上的相同目标进行归类并加以同类别的标记。5.根据权利要求1所述一种基于多帧点云数据的3D目标检测装置，其特征在于：所述基于transformer的点云信息增强单元包括堆叠连接生成特征值单元、以及调用transformer
实现多帧融合单元，所述堆叠连接生成特征值单元把对齐以后的每一类的目标特征向量进行堆叠连接，得到堆叠连接后的特征Z；所述调用transfor...

【专利技术属性】
技术研发人员：王念，范圣印，李雪，
申请(专利权)人：北京易航远智科技有限公司，
类型：发明
国别省市：