一种基于RGB语义点云的实时聚类跟踪方法技术

本发明专利技术公开了一种基于RGB语义点云的实时聚类跟踪方法，应用于自动驾驶设备。本发明专利技术将语义分割后的目标分割掩膜作为RGB图像与点云融合，赋予点云语义信息，使目标检测结果更加准确。仅将感兴趣区域点云提交聚类和跟踪模块处理，大大减少点云数据量，有效提高聚类跟踪模块的处理速度，以便于在实时应用场景中使用。在点云欧式聚类阶段，根据上述赋予点云的RGB信息区分目标种类，将聚类簇赋予物体标签信息。使用Kalman滤波器跟踪上述聚类簇时，针对不同标签种类采用不同跟踪参数模型，提升跟踪、预测计算的准确率。相较原有传统算法，应用本发明专利技术的自动驾驶设备在城市道路环境测试效果优秀，表现为路边车辆、行人等目标识别准确；聚类跟踪效果稳定等优点。聚类跟踪效果稳定等优点。聚类跟踪效果稳定等优点。

【技术实现步骤摘要】
一种基于RGB语义点云的实时聚类跟踪方法


[0001]本专利技术涉及点云处理领域，具体涉及一种基于RGB语义点云的实时聚类跟踪方法。

技术介绍

[0002]点云处理是三维图像处理领域的重要研究方向，其中RGB语义点云是一种通过给点云点添加颜色信息来描述场景语义的点云模型。RGB语义点云与普通点云数据的主要区别在于RGB语义点云在普通点云数据的基础上添加了语义信息。对上述普通点云处理，最相近的现有技术方案包括基于点云簇形状进行特征提取和聚类分析的方法、基于深度学习的点云特征提取方法等。
[0003]对于复杂场景的点云，点云特征提取和聚类分析方法可能不能准确识别所有目标。例如，传统的点云特征提取聚类很容易将停放在路边的汽车与绿化带聚成一类。在自动驾驶场景下，由于自车运动导致激光雷达探测范围变化，此问题会导致绿化带聚类簇与车保持同速同向运动，目标跟踪模块易误判其速度。
[0004]基于点云深度学习的方法对于点云数据的预处理要求较高，并且需要大量的训练数据不断进行迭代。此外，若激光点云较稀疏，此方法识别目标的准确率会显著降低。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGB语义点云的实时聚类跟踪方法，其特征在于，包括以下步骤：步骤1：获取RGB语义点云：获取摄像头的RGB视频流，对其中的每帧图像均进行语义分割，获得每帧图像中目标的分割掩膜，并以视频流的形式发布；根据激光雷达相机标定结果将获得的激光点云从三维投影到二维，根据每帧图像中目标的分割掩膜获取投影后对应帧每个激光点的RGB数值，并将其RGB数值分别赋值给原点云帧中的激光点，得到RGB语义点云；根据实际需要，判断每个点云帧中每个点的RGB信息，使用搜索算法从RGB语义点云中提取ROI点云并保存，得到仅包含ROI区域的点云帧；步骤2：基于点之间的欧几里得距离将仅包含ROI区域的点云帧数据分组成聚类簇；聚类结束后，遍历每个聚类簇中点的RGB数值，选择其中包含一个RGB数值最多的点的RGB值对应的目标的标签作为聚类簇标签，并同聚类簇一并发布；步骤3：使用Kalman滤波器跟踪步骤2的所有聚类簇；创建一个Kalman滤波器，读取步骤2中聚类簇的标签信息，对于不同类型的聚类簇采用不同的Kalman滤波器参数；随后使用最小二乘法对聚类簇轮廓进行拟合，并根据标签信息对应的滤波参数，使用Kalman滤波器对聚类簇轮廓进行更新，完成对所有聚类簇轮廓的连续跟踪。2.根据权利要求1所述的一种基于RGB语义点云的实时聚类跟踪方法，其特征在于，步骤1中的搜索算法为k
‑
d树。3.根据权利要求1所述的一种基于RGB语义点云的实时聚类跟踪方法，其特征在于，步骤2中分组成聚类簇的具体过程为：将步骤1得到的仅包含ROI区域的点云帧中的点云数据转换为PCL库所需格式，定义两点之间被视为同一聚类的最大欧几里得距离，采用k
‑
d树作为搜索算法，搜索点云中每个点的最近邻并检查它是否已被分配到聚类；若没有，继续使用搜索算法找到它的最近邻，并使用最近邻形成新的聚类，对于每个未分配点重复该过程，直到所有点都被分配到聚类；计算两点之间最大欧几里得距离的数学公式如下：；其中，d为欧几里得距离， (x1, y1, z1) 和 (x2, y2, z2) 为两个点的坐标。4.根据权利要求1所述的一种基于RGB语义点云的实时聚类跟踪方法，其特征在于，步骤3中对于不同类型的聚类簇采用不同的Kalman滤波器参数，具体为：聚类簇类型为静态障碍物，静态障碍物包括建筑物、绿化带、绿化树、路灯，静态障碍物的速度为0km/h，Kalman滤波器中的状态转移矩阵F和观测矩阵H为单位矩阵，即：，；过程噪声协方差矩阵和测量噪声协方差矩阵为：；；聚类簇类型为行人或者宠物这类低速障碍物目标，行人或者宠物的速度区间为0...

【专利技术属性】
技术研发人员：崔宇豪，张锐，
申请(专利权)人：北京钢铁侠科技有限公司，
类型：发明
国别省市：