一种基于时序选择的目标感知方法及装置制造方法及图纸

本发明专利技术公开了一种基于时序选择的目标感知方法及装置，基于时序选择机制，判断时序点云数据的目标掩码图中是否存在当前时刻点云数据中未检测出的目标，选择出有效的时序点云数据，并基于一个时序特征自学习网络单元，自适应的和当前点云特征互补融合，利用融合后的特征检测生成目标感知信息。本发明专利技术通过仿射变换矩阵将当前时刻和历史时序点云数据进行空间对齐，利用位置预测网络单元获取对齐后点云数据的带有目标初始位置信息的索引特征，并对高斯滤波后的索引特征采用局部最大值判断方式进一步生成目标掩码图。本发明专利技术利用有效时序特征互补，解决现有的感知方法不能连续准确检测出扫描不完整或缺失点云目标的问题，提升自动驾驶安全性能。动驾驶安全性能。动驾驶安全性能。

【技术实现步骤摘要】
一种基于时序选择的目标感知方法及装置


[0001]本专利技术涉及智能感知
，尤其涉及一种基于时序选择的目标感知方法及装置。

技术介绍

[0002]随着传感器性能的提升，越来越多的自动驾驶车辆通过安装传感器来实现障碍物目标的准确感知。在自动驾驶场景中，通过激光雷达点云数据进行感知，检测出包括机动车、非机动车、动物等障碍物目标的位置和类别，是自动驾驶利用传感器实现完全无人驾驶的重要技术手段。目前激光雷达是最常见的感知设备之一，可实现对障碍物目标的识别和定位，在面对复杂交通道路场景，由于可以准确获得障碍物目标的三维位置信息相比于其他传感器感知效率更高。但是由于激光雷达和障碍物目标往往均处于移动状态，使得帧与帧之间扫描的目标形态和点数有较大差异，导致有些帧能明显感知出目标，有些帧又无法感知出目标，现有的感知方法由于不能连续感知出目标的位置，造成目标行为预测难度较大，给自动驾驶带来安全隐患。
[0003]因此，针对目前的激光雷达感知方法不能连续准确感知出障碍物目标位置的问题，本专利技术提出一种基于时序选择的目标感知方法，选择有效的时序点云和当前点云进行特征互补融合，提高对扫描不完整或缺失点云障碍物目标的感知能力，提升自动驾驶安全性能。

技术实现思路

[0004]本专利技术的目的在于针对现有技术的不足，提供一种基于时序选择的目标感知方法及装置，利用空间对齐后的时序点云数据生成带有目标初始位置信息的索引特征和目标掩码图，选择有效的时序点云，并基于时序特征自学习网络单元融合时序点云特征，提高对障碍物目标尤其是稀疏或缺失点云障碍物目标的感知能力，为目标位置准确感知提供有效技术支撑。
[0005]本专利技术的目的是通过以下技术方案来实现的：第一方面，本专利技术提供了一种基于时序选择的目标感知方法，该方法包括以下步骤：步骤一：获取包含道路信息的当前时刻和N个历史时刻的激光雷达时序点云数据；步骤二：将N个历史时刻的时序点云数据与当前时刻的点云数据进行空间对齐；步骤三：对于空间对齐后的点云数据，提取点云中间特征并经过一个位置预测网络单元获取带有目标初始位置信息的索引特征，对索引特征进行高斯滤波后采用局部最大值判断方式生成点云数据的目标掩码图；步骤四：利用当前时刻点云数据和时序点云数据的目标掩码图做逻辑与操作，判断目标掩码图中是否存在当前时刻点云数据中未检测出的目标，选择出有效时序点云数据；步骤五：将当前时刻点云数据的中间特征和有效时序点云数据的中间特征按通道
方向进行拼接，并将拼接后的特征经过一个时序特征自学习网络单元，学习通道特征的时序内权重和时序间权重；将时序内权重分别与对应的通道特征进行加权，获得时序内特征，将时序间权重分别与所有其他的通道特征进行加权求和，获得时序间特征，将时序内特征和时序间特征进行融合得到互补特征，将互补特征经过一个检测头，生成目标感知信息。
[0006]进一步地，步骤一中，获取激光雷达点云数据时记录下激光雷达的姿态信息；激光雷达的姿态信息包括激光雷达在世界坐标下的坐标信息和朝向角信息。
[0007]进一步地，步骤二中，包括以下步骤：（2.1）建立各时刻点云数据的激光雷达坐标系与世界坐标系之间的转换矩阵，其中，当前时刻T点云数据的激光雷达坐标系与世界坐标系之间的转换矩阵为；时刻点云数据的激光雷达坐标系与世界坐标系之间的转换矩阵为，；（2.2）再基于转换矩阵建立当前时刻点云数据的激光雷达坐标系分别与N个历史时刻的时序点云数据的激光雷达坐标系之间的仿射变换矩阵；则时刻的点云数据的激光雷达坐标系与当前时刻点云数据的激光雷达坐标系之间的仿射变换矩阵表示为：
[0008]其中，表示对矩阵的转置，表示矩阵乘法。
[0009]（2.3）利用仿射变换矩阵将时刻的点云数据与当前时刻的点云数据进行空间对齐，具体为：对时刻的点云数据中的任意一个点，其坐标为，则利用仿射变换矩阵变换后的点的坐标表示为：
[0010]对时刻的点云数据中的所有点执行仿射变换操作，则变换后的点云数据与时刻的点云数据空间对齐；将N个历史时刻的时序点云数据均执行空间对齐操作，直至所有的时序点云数据均与当前时刻的点云数据空间对齐。
[0011]进一步地，步骤三中，包括以下步骤：（3.1）采用基于3D点云目标检测算法PointPillar的主干网络的点云特征提取网络提取点云中间特征；（3.2）设计一个位置预测网络单元，由一个卷积块组成，卷积核大小为，输入通道数为，输出通道数为2，将点云中间特征输入该位置预测网络单元，点云中间特征大小为，则输出大小为，对通道方向取最大值，得到大小为的索引特征；其中和分别表示点云中间特征的长和宽；（3.3）利用方差为1、核大小为的高斯滤波器对索引特征进行滤波，并对滤波后的索引特征采用局部最大值判断方式生成目标掩码图，即对索引特征上的每一个特征值，若其最邻近8个点的值大小均小于该特征值，则目标掩码图相应位置值为1，否则为0，对最近邻点的个数不足8个的特征值，对应的目标掩码图位置值均为0。
[0012]进一步地，步骤四中，包括以下步骤：（4.1）利用当前时刻点云数据和时序点云数据的目标掩码图做逻辑与操作；当前
时刻点云数据的目标掩码图为，则当前时刻点云数据的需求掩码图表示为：
[0013]时刻的时序点云数据的目标掩码图为，利用当前时刻点云数据的需求掩码图和时刻的时序点云数据的目标掩码图做逻辑与操作，则逻辑与操作结果为：
[0014]（4.2）判断时序点云数据的目标掩码图中是否存在当前时刻点云数据中未检测出的目标，选择出有效的时序点云数据，具体判断方式为：若逻辑与操作结果中存在值大小为1且其邻近范围内为1的值的个数大于r，则认为时刻的点云数据中存在时刻点云中未检测出的目标，为有效的时序点云数据，否则认为是无效的时序点云数据，其中r为经验值，与实际点云数据和特征分布相关；（4.3）对所有的时序点云数据执行步骤（4.1）~（4.2），选择出所有的有效时序点云。
[0015]进一步地，步骤五中，将当前时刻点云数据的中间特征和有效时序点云数据的中间特征按通道方向进行拼接，具体为：提取出的点云中间特征大小为，有效时序点云数量为K
‑
1，则拼接后的特征大小为，其中表示拼接后的点云中间特征的通道数量大小。
[0016]进一步地，步骤五中，将拼接后的特征经过一个时序特征自学习网络单元，具体包括以下步骤：（5.1）首先学习时序内权重；对拼接后的特征，对其每个通道特征，其中，采用平均池化进行处理，处理后的向量维度大小为，再经过两个隐藏层大小分别为和的全连接层，和一个sigmoid激活函数处理后，得到时序内权重，维度大小为；对通道特征，其对应的时序内权重即为的第j个权重，维度大小为1，其中；（5.2）再次学习时序间权重；对拼接后的特征，对其每个通道特征，其中，将其分别与所有其他通道特征相乘求和，其中，得到各通道特征相对于其他通道特征的时序间权重，维度大小为；获取过程表示如下：
[0017]其中，表示对特征矩阵的转置，其中表示矩阵乘法；对通道特征，其对应的时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序选择的目标感知方法，其特征在于，该方法包括以下步骤：步骤一：获取包含道路信息的当前时刻和N个历史时刻的激光雷达时序点云数据；步骤二：将N个历史时刻的时序点云数据与当前时刻的点云数据进行空间对齐；步骤三：对于空间对齐后的点云数据，提取点云中间特征并经过一个位置预测网络单元获取带有目标初始位置信息的索引特征，对索引特征进行高斯滤波后采用局部最大值判断方式生成点云数据的目标掩码图；步骤四：利用当前时刻点云数据和时序点云数据的目标掩码图做逻辑与操作，判断目标掩码图中是否存在当前时刻点云数据中未检测出的目标，选择出有效时序点云数据；步骤五：将当前时刻点云数据的中间特征和有效时序点云数据的中间特征按通道方向进行拼接，并将拼接后的特征经过一个时序特征自学习网络单元，学习通道特征的时序内权重和时序间权重；将时序内权重分别与对应的通道特征进行加权，获得时序内特征，将时序间权重分别与所有其他的通道特征进行加权求和，获得时序间特征，将时序内特征和时序间特征进行融合得到互补特征，将互补特征经过一个检测头，生成目标感知信息。2.根据权利要求1所述的一种基于时序选择的目标感知方法，其特征在于，步骤一中，获取激光雷达点云数据时记录下激光雷达的姿态信息；激光雷达的姿态信息包括激光雷达在世界坐标下的坐标信息和朝向角信息。3.根据权利要求2所述的一种基于时序选择的目标感知方法，其特征在于，步骤二中，包括以下步骤：（2.1）建立各时刻点云数据的激光雷达坐标系与世界坐标系之间的转换矩阵，其中，当前时刻T点云数据的激光雷达坐标系与世界坐标系之间的转换矩阵为；时刻点云数据的激光雷达坐标系与世界坐标系之间的转换矩阵为，；（2.2）再基于转换矩阵建立当前时刻点云数据的激光雷达坐标系分别与N个历史时刻的时序点云数据的激光雷达坐标系之间的仿射变换矩阵；则时刻的点云数据的激光雷达坐标系与当前时刻点云数据的激光雷达坐标系之间的仿射变换矩阵表示为：；其中，表示对矩阵的转置，表示矩阵乘法；（2.3）利用仿射变换矩阵将时刻的点云数据与当前时刻的点云数据进行空间对齐，具体为：对时刻的点云数据中的任意一个点，其坐标为，则利用仿射变换矩阵变换后的点的坐标表示为：；对时刻的点云数据中的所有点执行仿射变换操作，则变换后的点云数据与时刻的点云数据空间对齐；将N个历史时刻的时序点云数据均执行空间对齐操作，直至所有的时序点云数据均与当前时刻的点云数据空间对齐。4.根据权利要求1所述的一种基于时序选择的目标感知方法，其特征在于，步骤三中，包括以下步骤：
（3.1）采用基于3D点云目标检测算法PointPillar的主干网络的点云特征提取网络提取点云中间特征；（3.2）设计一个位置预测网络单元，由一个卷积块组成，卷积核大小为，输入通道数为，输出通道数为2，将点云中间特征输入该位置预测网络单元，点云中间特征大小为，则输出大小为，对通道方向取最大值，得到大小为的索引特征；其中和分别表示点云中间特征的长和宽；（3.3）利用方差为1、核大小为的高斯滤波器对索引特征进行滤波，并对滤波后的索引特征采用局部最大值判断方式生成目标掩码图，即对索引特征上的每一个特征值，若其最邻近8个点的值大小均小于该特征值，则目标掩码图相应位置值为1，否则为0，对最近邻点的个数不足8个的特征值，对应的目标掩码图位置值均为0。5.根据权利要求1所述的一种基于时序选择的目标感知方法，其特征在于，步骤四中，包括以下步骤：（4.1）利用当前时刻点云数据和时序点云数据的目标掩码图做逻辑与操作；当前时刻点云数据的目标掩码图为，则当前时刻点...

【专利技术属性】
技术研发人员：黄倩，朱永东，赵志峰，刘云涛，李道勋，黄崇栋，
申请(专利权)人：之江实验室，
类型：发明
国别省市：