一种基于点云序列数据的3D目标跟踪方法及系统技术方案

本发明专利技术公开了一种基于点云序列数据的3D目标跟踪方法及系统，属于数字图像识别领域，包括：在当前帧和上一帧中分别提取包含目标框的搜索点云和模板点云并标准化，利用3D目标跟踪模型预测目标框在当前帧中的位置和姿态，以确定3D目标在当前帧中的位置；3D目标跟踪模型中，特征提取网络用于提取模板点云特征和搜索点云特征，相关性预测网络用于预测搜索点云中各特征点的目标性得分，集成回归网络用于对两个特征进行融合后，逐点回归，位置预测网络用于根据搜索点云各特征点的目标性得分，对融合特征中各特征点距离目标框中心的距离和姿态进行加权相乘。本发明专利技术能够充分利用物体的立体属性，同时提高3D目标跟踪的计算效率和稳定性。

A 3D target tracking method and system based on point cloud sequence data

【技术实现步骤摘要】
一种基于点云序列数据的3D目标跟踪方法及系统
本专利技术属于数字图像识别领域，更具体地，涉及一种基于点云序列数据的3D目标跟踪方法及系统。
技术介绍
在自动驾驶、机器人运功轨迹规划等领域中，通常需要对周围环境进行感知理解，探知周围目标物体的运动轨迹，进而规划自身运动方向，其中，探知目标运动轨迹便需要用到目标跟踪技术。传统的2D目标跟踪技术已经取得了显著的成果，但其只能跟踪目标在相机平面上的运动，因而不能满足自动驾驶和机器人运动轨迹规划等需要获得目标立体运动信息的要求。相比于2D目标跟踪技术，3D目标跟踪技术能够在目标跟踪的过程中很好地利用目标的立体运动信息。现有的3D目标跟踪技术主要分为三种：基于RGBD视频序列的3D目标跟踪方法、基于鸟瞰图视频序列的3D目标跟踪方法和基于3D点云序列数据的3D目标跟踪方法。其中，基于RGBD视频序列的3D目标跟踪方法非常依赖2D目标跟踪技术，是在2D目标跟踪结果的基础上利用深度图信息进行进一步的处理，没有充分利用3D物体结构信息；基于鸟瞰图视频序列的3D目标跟踪方法将3D点云数据进行了俯视投影，进而采用2D目标跟踪的方法进行跟踪，其损失了高度方向的目标信息，对于在高度方向有较大变化的目标无法进行有效的跟踪。与基于RGBD视频序列的3D目标跟踪方法以及基于鸟瞰图视频序列的3D目标跟踪方法相比，基于点云序列数据的3D目标跟踪方法能够充分利用物体的立体属性，但是，受点云数据具有无序性、稀疏性等特性的影响，现有的基于点云序列数据的3D目标跟踪方法在根据上一帧点云数据的跟踪结果预测当前帧点云数据中目标框的位置时，其搜索空间极其庞大，因此计算效率低下，并且不能对预测模型进行端到端训练，跟踪结果的稳定性得不到保证。
技术实现思路
针对现有技术的缺陷和改进需求，本专利技术提供了一种基于点云序列数据的3D目标跟踪方法及系统，其目的在于，充分利用物体的立体属性，同时提高3D目标跟踪的计算效率和稳定性。为实现上述目的，按照本专利技术的第一方面，提供了一种基于点云序列数据的3D目标跟踪方法，包括：根据上一帧的预测结果在当前帧中截取包含目标框的搜索点云，并在上一帧中截取包含目标框的模板点云；对模板点云和搜索点云分别进行标准化之后作为输入，利用已训练好的3D目标跟踪模型预测目标框中心在当前帧中的位置以及目标框在当前帧中的姿态，以确定3D目标在当前帧中的位置，从而在当前帧中完成对3D目标的跟踪；其中，3D目标跟踪模型包括特征提取网络、相关性预测网络、集成回归网络以及位置预测网络；特征提取网络用于对模板点云和搜索点云进行特征提取，从而分别得到模板点云特征和搜索点云特征；相关性预测网络用于预测搜索点云特征中各特征点的目标性得分；集成回归网络用于对模板点云特征和搜索点云特征进行特征融合后，逐点回归，以得到融合特征中各特征点距离目标框中心的距离和姿态；位置预测网络用于根据搜索点云特征中各特征点的目标性得分，对融合特征中各特征点距离目标框中心的距离和姿态进行加权相乘，从而预测得到目标框中心在当前帧中的位置以及目标框在当前帧中的姿态；其中，搜索点云特征中各特征点的目标性得分，由搜索点云特征中各特征点与目标点云特征之间的相关性系数经过归一化操作之后得到。本专利技术利用点云数据进行3D目标跟踪，能够充分利用物体的立体属性；在上一帧和当前帧中分别截取到模板点云和搜索点云后，采用逐点相关的方式预测相关性系数、进行特征融合以及加权相乘，能够充分结合点云数据的无序性、稀疏性等特性，缩小搜索空间，从而能够提高计算效率，并利用端到端训练方式进行模型训练，提高3D目标跟踪的稳定性。总的来说，本专利技术能够充分利用物体的立体属性，同时提高3D目标跟踪的计算效率和稳定性。进一步地，特征提取网络为不包含用于回归分类结果的全连接层的PointNet++网络。进一步地，相关性预测网络包括第一矩阵运算层、池化层和归一化层；第一矩阵运算层，用于通过矩阵运算预测搜索点云特征中各特征点与目标点云特征之间的相关性，从而得到搜索点云和目标点云的逐点相关性；池化层，用于对通过池化操作将第一矩阵运算层输出的搜索点云和目标点云的逐点相关性转化为搜索点云各特征点和目标点云之间的相关性系数；归一化层，用于对池化层输出的结果进行归一化操作，得到搜索点云特征中各特征点的目标性得分。本专利技术将相关性预测的计算简化为矩阵运算，并通过逐点相关的方式进行计算，能够提高相关性计算的效率。进一步地，集成回归网络包括第二矩阵运算层和多层感知机；第二矩阵运算层，用于通过矩阵运算对模板点云特征和搜索点云特征进行特征融合，以得到融合特征；多层感知机，用于对第二矩阵运算层输出的融合特征进行逐点回归，从而得到融合特征中各特征点距离目标框中心的距离和姿态。本专利技术将特征融合及回归简化为矩阵运算，并通过逐点相关的方式进行计算，能够提高特征融合及回归的计算效率。进一步地，第二矩阵运算层，根据F＝(BATA|B)对模板点云特征和搜索点云特征进行特征融合；其中，A和B分别表示模板点云特征和搜索点云特征，F表示由模板点云特征和搜索点云特征融合得到的融合特征，|表示在特征维度将两个向量进行串接。本专利技术根据F＝(BATA|B)进行特征融合，将特征融合转换为了矩阵运算，从而能够直接利用相关的神经网络模型完成相关的计算，进一步提高计算效率。进一步地，根据上一帧的预测结果在当前帧中截取包含目标框的搜索点云，并在上一帧中截取包含目标框的模板点云，包括：根据上一帧的预测结果获得目标框在上一帧中的位置P和姿态G，并根据位置P和姿态G建立参考坐标系；根据位置P在上一帧中截取尺寸为r1*sizeP的模板框，对模板框进行旋转、平移，使模板框中心与参考坐标系的零点重合，并对模板框内的点云数量进行标准化后，将模板框内的点云数据作为模板点云；根据位置P在当前帧中截取尺寸为r2*sizeP的搜索框，对搜索框进行旋转、平移，使搜索框中心与参考坐标系的零点重合，并对搜索框内的点云数量进行标准化后，将搜索框内的点云数据作为搜索点云；其中，sizeP表示目标框的尺寸，r1和r2均为预设的扩大倍数，且1＜r1＜r2。本专利技术在截取目标点云时，在目标框尺寸的基础上扩大了一定的倍数(r1倍)，能够保证所截取的点云数据充分包含目标物体，在截取搜索点云时，在目标框尺寸的基础上扩大了一定的倍数(r2倍)，能够保证所截取的点云数据充分包含目标物体可能的运动位置，因此，本专利技术能够保证3D目标跟踪的准确性。进一步地，3D目标跟踪模型的训练方法包括：在各帧中目标框的位置和姿态已知的点云序列中，在任意连续两帧中根据上一帧中目标框的位置和姿态，在两帧中分别截取包含目标框的模板点云和搜索点云，由截取得到的模板点云和搜索点云以及当前帧中目标框的位置和姿态构成一个训练样本；构造多个训练样本，并由所有训练样本构成训练集；建立3D目标跟踪模型，并利用训练集对所建立的3D目标跟本文档来自技高网...

【技术保护点】
1.一种基于点云序列数据的3D目标跟踪方法，其特征在于，包括：/n根据上一帧的预测结果在当前帧中截取包含目标框的搜索点云，并在上一帧中截取包含目标框的模板点云；/n对所述模板点云和搜索点云分别进行标准化之后作为输入，利用已训练好的3D目标跟踪模型预测目标框中心在当前帧中的位置以及目标框在当前帧中的姿态，以确定3D目标在当前帧中的位置，从而在当前帧中完成对3D目标的跟踪；/n其中，所述3D目标跟踪模型包括特征提取网络、相关性预测网络、集成回归网络以及位置预测网络；所述特征提取网络用于对所述模板点云和所述搜索点云进行特征提取，从而分别得到模板点云特征和搜索点云特征；所述相关性预测网络用于预测所述搜索点云特征中各特征点的目标性得分；所述集成回归网络用于对所述模板点云特征和所述搜索点云特征进行特征融合后，逐点回归，以得到融合特征中各特征点距离目标框中心的距离和姿态；所述位置预测网络用于根据所述搜索点云特征中各特征点的目标性得分，对所述融合特征中各特征点距离目标框中心的距离和姿态进行加权相乘，从而预测得到目标框中心在当前帧中的位置以及目标框在当前帧中的姿态；/n其中，所述搜索点云特征中各特征点的目标性得分，由所述搜索点云特征中各特征点与所述目标点云特征之间的相关性系数经过归一化操作之后得到。/n...

【技术特征摘要】
1.一种基于点云序列数据的3D目标跟踪方法，其特征在于，包括：
根据上一帧的预测结果在当前帧中截取包含目标框的搜索点云，并在上一帧中截取包含目标框的模板点云；
对所述模板点云和搜索点云分别进行标准化之后作为输入，利用已训练好的3D目标跟踪模型预测目标框中心在当前帧中的位置以及目标框在当前帧中的姿态，以确定3D目标在当前帧中的位置，从而在当前帧中完成对3D目标的跟踪；
其中，所述3D目标跟踪模型包括特征提取网络、相关性预测网络、集成回归网络以及位置预测网络；所述特征提取网络用于对所述模板点云和所述搜索点云进行特征提取，从而分别得到模板点云特征和搜索点云特征；所述相关性预测网络用于预测所述搜索点云特征中各特征点的目标性得分；所述集成回归网络用于对所述模板点云特征和所述搜索点云特征进行特征融合后，逐点回归，以得到融合特征中各特征点距离目标框中心的距离和姿态；所述位置预测网络用于根据所述搜索点云特征中各特征点的目标性得分，对所述融合特征中各特征点距离目标框中心的距离和姿态进行加权相乘，从而预测得到目标框中心在当前帧中的位置以及目标框在当前帧中的姿态；
其中，所述搜索点云特征中各特征点的目标性得分，由所述搜索点云特征中各特征点与所述目标点云特征之间的相关性系数经过归一化操作之后得到。


2.如权利要求1所述的基于点云序列数据的3D目标跟踪方法，其特征在于，所述特征提取网络为不包含用于回归分类结果的全连接层的PointNet++网络。


3.如权利要求1所述的基于点云序列数据的3D目标跟踪方法，其特征在于，所述相关性预测网络包括第一矩阵运算层、池化层和归一化层；
所述第一矩阵运算层，用于通过矩阵运算预测所述搜索点云特征中各特征点与所述目标点云特征之间的相关性，从而得到所述搜索点云和所述目标点云的逐点相关性；
所述池化层，用于通过池化操作将所述第一矩阵运算层输出的搜索点云和目标点云的逐点相关性转化为搜索点云各特征点和目标点云之间的相关性系数；
所述归一化层，用于对所述池化层输出的结果进行归一化操作，得到所述搜索点云特征中各特征点的目标性得分。


4.如权利要求1所述的基于点云序列数据的3D目标跟踪方法，其特征在于，所述集成回归网络包括第二矩阵运算层和多层感知机；
所述第二矩阵运算层，用于通过矩阵运算对所述模板点云特征和所述搜索点云特征进行特征...

【专利技术属性】
技术研发人员：曹治国，綦浩喆，肖阳，于泰东，刘承鑫，张博深，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42