System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于场景流估计的无监督连续点云动态物体检测方法技术_技高网

基于场景流估计的无监督连续点云动态物体检测方法技术

技术编号:40710624 阅读:4 留言:0更新日期:2024-03-22 11:12
本发明专利技术公开了一种基于场景流估计的无监督连续点云动态物体检测方法,通过改进一种无监督的场景流预测算法,估计点云中所有点在初始帧与待测帧之间的位移,并结合拟合平面的点云聚类和主成分分析方法,获取帧间动态物体实例及其运动方向,最后根据物体的动态占比和边界框交并比,判断当前帧的点云动态物体。本发明专利技术采用无监督的方式不需要动态物体标注数据进行训练,并且对于激光雷达传感器的扫描方式、点云数量没有限制,可以有效提高点云动态物体检测的准确率,在嵌入语义分割模块后能进一步提升检测精度。

【技术实现步骤摘要】

本专利技术属于计算机视觉中的三维视觉领域,具体为一种基于场景流估计的无监督连续点云动态物体检测方法


技术介绍

1、室外环境中的动态物体检测可以给导航、避障提供关键信息,不仅能改善同步定位和地图构建的效果,还可以提高自主定位的精度。人们在此问题上做了大量研究,分为传统基于几何的方法和基于深度学习的方法。

2、传统基于几何的方法包括基于边界框和基于地图清洗两种,它们虽然不需要训练,但依赖于给定的先验知识,比如目标的形状大小、运动特征等,往往对于符合先验知识的动态物体具有较高的检测精度,但如果场景复杂多样,准确率会大幅下降。并且没有对点云做特殊处理,导致推理运算的速度缓慢。

3、基于深度学习的方法,通常通过卷积神经网络对点云进行特征提取和编码,学习场景中的物体运动信息。该方法需要大量的动态物体标注数据进行训练,并且模型的泛化能力弱,无法适应不同的场景;同样由于对点云做了不同的处理,就会对传感器的类型、扫描方式等有所要求。

4、综上,训练数据集高昂的标注成本、深度学习模型的泛化能力弱和传感器采集设备受限是点云动态物体检测现在面临的主要问题。


技术实现思路

1、本专利技术的目的在于提出了一种基于场景流估计的无监督连续点云动态物体检测方法。

2、实现本专利技术目的的技术方案为:一种基于场景流估计的无监督连续点云动态物体检测方法,包括以下步骤:

3、获取连续的点云序列数据,进行点云对齐;

4、根据对齐的点云序列进行场景流预测,获得所有点的帧间位移;

5、对于点云中的每个点使用拟合平面的聚类算法进行聚类;

6、根据点云聚类结果采用主成分分析方法,对每个类别所有点的场景流进行svd分解,获得物体的运动方向;

7、对于每个点云聚类计算边界框,获得前一帧与当前帧点云聚类的边界框交并比;

8、根据场景流、点云聚类、主成分分析和边界框交并比的结果,进行点云动态物体检测。

9、优选地,获取连续的点云序列数据,进行点云对齐的具体方法为:

10、通过同步定位和地图构建方法(slam)获得位姿数据其中为一组4×4矩阵,表示刚体在三维空间中的旋转和平移,t为总时间,t为当前时刻,根据位姿数据将前一帧点云序列转换到当前帧点云坐标系,坐标转换公式如下:

11、p′=(ξtc)-1(ξt-1c)st-1

12、其中,p′表示转换到当前帧坐标系后的前一帧点云,ξt-1为t-1时刻的位姿数据,st-1为前一帧点云。

13、优选地,根据对齐的点云序列利用flowstep3d模型进行场景流预测,获得所有点的帧间位移:

14、将对齐后的前一帧点云和当前帧点云分别输入两条结构相同的编码器支路,所述编码器支路包括集合卷积层的局部编码器和全局编码器,获得前一帧点云和当前帧点云的局部几何特征信息和更深层次的全局特征信息;

15、全局相关单元对前一帧点云和当前帧点云的局部几何特征信息和全局特征信息进行融合,输出逐点平移矢量的初值;

16、通过含有门控循环单元的若干个局部更新单元进行迭代细化每一次迭代将前一次迭代输出的场景流预测、前一次迭代输出的场景流预测与前一帧点云加权融合的结果以及利用局部编码器提取的当前帧点云的局部几何特征信息输入进局部相关单元,用于局部相关性的计算;最后一次迭代完成会输出最终的场景流预测结果。

17、优选地,所述flowstep3d模型的损失函数为:

18、

19、式中,αk、βk、γk为比例权重参数,为拉普拉斯算子的正则化项,为chamfer损失,为正则化项,k为迭代总次数。

20、优选地,正则化项具体为:

21、

22、式中,fk(pi)表示点pi第k次迭代的场景流估计值,s为点云集合,h(pi)为点云中的点pi在竖直方向上的高度。

23、优选地,对于点云中的每个点使用拟合平面的聚类算法进行聚类的具体方法为:

24、基于点云密度的进行聚类,具体为:找到所有中心点及其邻域内的点,形成初步的聚类;

25、将靠近中心点的边界点归入相应的聚类,不属于任何聚类的点被视为噪声点;

26、对于每个聚类使用ransac平面拟合,获得每个平面的参数;

27、根据平面参数将属于同一平面的聚类划分到同一类。

28、优选地,根据平面参数将属于同一平面的聚类划分到同一类的具体方法为:

29、两平面{(x,y,z)|a1x+b1y+c1z=d1}和{(x,y,z)|a2x+b2y+c2z=d2},其中a1,a2,b1,b2,c1,c2,d1,d2为平面参数,(x,y,z)为平面上点的空间坐标,判断是否共面即判断平面的法线与平面间距离是否在一定阈值内,将处在同一平面的聚类划分到同一类别,具体满足如下公式:

30、

31、其中∈1和∈2为阈值。

32、优选地,点云序列中的当前帧st和前一帧st-1,有聚类ci∈st和cj∈st-1;根据聚类各坐标轴方向的最值获得轴对齐边界框bi和bj,将边界框投影到xy平面得到对应的二维点集和则前一帧与当前帧点云聚类的边界框交并比为:

33、

34、其中ch(·)为点集的凸包计算。

35、优选地,根据场景流、点云聚类、主成分分析和边界框交并比的结果,进行点云动态物体检测的具体方法为:

36、对单个点的场景流添加运动距离和运动方向的约束,生成掩码,即:

37、

38、其中i(·)是指示函数,fi为对应点的场景流,vi是该点的运动方向,r和θ为运动距离阈值和角度阈值,在获取每个聚类的动态占比时,对该类中所有点的掩码加和,即:

39、

40、其中c(i)为第i个点所属聚类,|c(i)|表示聚类中点的总数,如果动态点的比例大于阈值c,整个聚类被认为是动态的;

41、根据动态占比和边界框交并比iou判断该物体是否为动态物体,即:

42、

43、其中μ为边界框交并比的阈值,当该聚类是动态的并且满足边界框交并比iou最大值大于μ,则判定为动态物体。

44、本专利技术与现有技术相比,其显著优点为:

45、(1)本专利技术不需要动态物体标注的数据集进行训练,采用无监督的方式对点云中的动态物体进行检测,降低标注成本。

46、(2)本专利技术改进了点云场景流预测方法的损失函数,提高稀疏点云区域的检测准确率,使本专利技术整体不受限于传感器的类型、扫描方式。

47、(3)本专利技术改进点云聚类方法,解决由于物体遮挡导致的聚类效果降低。

本文档来自技高网...

【技术保护点】

1.一种基于场景流估计的无监督连续点云动态物体检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于场景流估计的无监督连续点云动态物体检测方法,其特征在于,获取连续的点云序列数据,进行点云对齐的具体方法为:

3.根据权利要求1所述的基于场景流估计的无监督连续点云动态物体检测方法,其特征在于,根据对齐的点云序列利用FlowStep3D模型进行场景流预测,获得所有点的帧间位移:

4.根据权利要求1所述的基于场景流估计的无监督连续点云动态物体检测方法,其特征在于,所述FlowStep3D模型的损失函数为:

5.根据权利要求4所述的基于场景流估计的无监督连续点云动态物体检测方法,其特征在于,正则化项具体为:

6.根据权利要求1所述的基于场景流估计的无监督连续点云动态物体检测方法,其特征在于,对于点云中的每个点使用拟合平面的聚类算法进行聚类的具体方法为:

7.根据权利要求6所述的基于场景流估计的无监督连续点云动态物体检测方法,其特征在于,根据平面参数将属于同一平面的聚类划分到同一类的具体方法为:

>8.根据权利要求1所述的基于场景流估计的无监督连续点云动态物体检测方法,其特征在于,点云序列中的当前帧St和前一帧St-1,有聚类Ci∈St和Cj∈St-1;根据聚类各坐标轴方向的最值获得轴对齐边界框Bi和Bj,将边界框投影到xy平面得到对应的二维点集和则前一帧与当前帧点云聚类的边界框交并比为:

9.根据权利要求1所述的基于场景流估计的无监督连续点云动态物体检测方法,其特征在于,根据场景流、点云聚类、主成分分析和边界框交并比的结果,进行点云动态物体检测的具体方法为:

...

【技术特征摘要】

1.一种基于场景流估计的无监督连续点云动态物体检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于场景流估计的无监督连续点云动态物体检测方法,其特征在于,获取连续的点云序列数据,进行点云对齐的具体方法为:

3.根据权利要求1所述的基于场景流估计的无监督连续点云动态物体检测方法,其特征在于,根据对齐的点云序列利用flowstep3d模型进行场景流预测,获得所有点的帧间位移:

4.根据权利要求1所述的基于场景流估计的无监督连续点云动态物体检测方法,其特征在于,所述flowstep3d模型的损失函数为:

5.根据权利要求4所述的基于场景流估计的无监督连续点云动态物体检测方法,其特征在于,正则化项具体为:

6.根据权利要求1所述的基于场景流估计的无监督连续点云动态物...

【专利技术属性】
技术研发人员:陈宣竹宋振波陆建峰
申请(专利权)人:南京理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1