System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于时序特征的多帧点云检测方法及系统技术方案_技高网

一种基于时序特征的多帧点云检测方法及系统技术方案

技术编号:40282105 阅读:7 留言:0更新日期:2024-02-07 20:36
本发明专利技术公开了一种基于时序特征的多帧点云检测方法及系统,涉及点云检测领域,包括:获取前n帧点云;对所述前n帧点云进行点云拼接;对拼接后的点云进行点云特征提取,得到第一结果;对拼接后的点云进行时序特征提取;对时序特征提取结果进行时序特征压缩,得到第二结果;对所述第一结果和所述第二结果进行特征拼接;将特征拼接的结果输入至2D卷积检测网络,得到检测结果。本发明专利技术中的上述方法在不损失精度的同时,提高了部署速度,减少了模型的复杂度。

【技术实现步骤摘要】

本专利技术涉及点云检测,特别涉及一种基于时序特征的多帧点云检测方法及系统


技术介绍

1、在自动驾驶感知方案中,相比于视觉3d目标检测,基于激光雷达的目标检测是目前精度更高的方案。在单帧点云输入方案上进行优化的同时,如何利用时序信息提升点云检测算法的精度也是尤为重要。一些方案在使用3d稀疏卷积和点级别特征提取方法的基础上提出了一些在特征层上的时序特征融合方案。离线训练可以得到精度较高的模型,但在实际量产方案的激光雷达算法部署时,3d稀疏卷积耗时很大,需要针对算子和部署硬件进行优化,费时费力;点级别特征提取方法,如pointnet,pointnet++等方法,更多的使用了全连接层,而全连接层相比于卷积操作,同复杂度的情况下,在gpu或npu上计算时延也会慢很多。所以在车端量产点云感知方案的设计时除了需要考虑检测模型的精度外,还需要考虑模型部署的时延。

2、现有公开的点云检测方法和利用时序信息提高精测的方法,大多是在3d点云模型中,点云特征提取主要使用了3d稀疏卷积(3d sparse conv),但对于部署来说,现有车端量产芯片基本没有针对性支持3d稀疏卷积做部署优化,而是对2d卷积支持的更好,部署速度更快。对于点级别的特征提取,如pointnet等网络结构中,更多的使用了全连接层,很多只有npu的车端部署芯片上,对全连接层的部署也较为困难,部署速度慢。针对以上问题,本专利技术提出了一种基于时序特征的多帧点云检测方法,在不使用3d稀疏卷积和点级别特征提取的情况下,能够更好地利用时序信息提升检测结果。


<p>技术实现思路

1、本专利技术的目的是提供一种基于时序特征的多帧点云检测方法及系统,能够更好地利用时序信息提升检测结果。

2、为实现上述目的,本专利技术提供了如下方案:

3、第一方面,本专利技术公开了一种基于时序特征的多帧点云检测方法,包括:

4、获取前n帧点云;

5、对所述前n帧点云进行点云拼接;

6、对拼接后的点云进行点云特征提取,得到第一结果;

7、对拼接后的点云进行时序特征提取;

8、对时序特征提取结果进行时序特征压缩,得到第二结果;

9、对所述第一结果和所述第二结果进行特征拼接;

10、将特征拼接的结果输入至2d卷积检测网络,得到检测结果。

11、可选的,所述点云检测方法在步骤“获取前n帧点云”和步骤“对所述前n帧点云进行点云拼接”之间还包括:对前1帧到前n帧的点云使用位姿转化到当前帧坐标系下。

12、可选的,对拼接后的点云进行点云特征提取,得到第一结果具体包括以下步骤:

13、对拼接后的点云进行体素化特征处理;

14、对体素化特征处理后的结果进行特征提取。

15、可选的,所述对拼接后的点云进行时序特征提取具体包括:

16、将原始点云的4维特征扩展到4+n维[x,y,z,intensity,t1,t2,…,tn];其中对于第x帧,增加的n维特征值中第x个值为t(x)-t(x-1),其余值为0;t(x)为第x帧的时间戳,t(x-1)为第x-1帧的时间戳。

17、第二方面,本专利技术提供了一种基于时序特征的多帧点云检测系统,包括:

18、点云获取模块,用于获取前n帧点云;

19、点云拼接模块,用于对所述前n帧点云进行点云拼接;

20、点云特征提取模块,用于对拼接后的点云进行点云特征提取,得到第一结果;

21、时序特征提取模块,用于对拼接后的点云进行时序特征提取;

22、特征压缩模块,用于对时序特征提取结果进行时序特征压缩,得到第二结果;

23、特征拼接模块,用于对所述第一结果和所述第二结果进行特征拼接;

24、检测模块,用于将特征拼接的结果输入至2d卷积检测网络,得到检测结果。

25、可选的,所述点云检测系统还包括:坐标转换模块,用于对前1帧到前n帧的点云使用位姿转化到当前帧坐标系下。

26、可选的,所述点云特征提取模块具体包括以下步骤:

27、对拼接后的点云进行体素化特征处理;

28、对体素化特征处理后的结果进行特征提取。

29、可选的,所述时序特征提取模块具体包括:

30、将原始点云的4维特征扩展到4+n维[x,y,z,intensity,t1,t2,…,tn];其中对于第x帧,增加的n维特征值中第x个值为t(x)-t(x-1),其余值为0;t(x)为第x帧的时间戳,t(x-1)为第x-1帧的时间戳

31、第三方面,本专利技术提供了一种电子设备,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行上述的基于时序特征的多帧点云检测方法。

32、第四方面,本专利技术提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现上述的基于时序特征的多帧点云检测方法。

33、根据本专利技术提供的具体实施例,本专利技术公开了以下技术效果:

34、本专利技术公开了一种基于时序特征的多帧点云检测方法,包括:获取前n帧点云;对所述前n帧点云进行点云拼接;对拼接后的点云进行点云特征提取,得到第一结果;对拼接后的点云进行时序特征提取;对时序特征提取结果进行时序特征压缩,得到第二结果;对所述第一结果和所述第二结果进行特征拼接;将特征拼接的结果输入至2d卷积检测网络,得到检测结果,综上,本专利技术提出了针对只使用2d卷积网络进行多帧输入的时序点云检测方法的思路,并在设计算法时考虑到了模型计算复杂度的增加,时序特征使用的是不增加计算量的帧间时间差编码,即设计了更合理的更高效的时序特征编码方法,给低算力时序点云检测算法提供了更有效的思路,即,本专利技术提出了在不使用3d稀疏卷积和点级别特征提取的情况下,能够更好地利用时序信息提升检测结果,在不损失精度的同时,提高了部署速度,减少了模型的复杂度。

本文档来自技高网
...

【技术保护点】

1.一种基于时序特征的多帧点云检测方法,其特征在于,包括:

2.根据权利要求1所述的基于时序特征的多帧点云检测方法,其特征在于,所述点云检测方法在步骤“获取前n帧点云”和步骤“对所述前n帧点云进行点云拼接”之间还包括:对前1帧到前n帧的点云使用位姿转化到当前帧坐标系下。

3.根据权利要求1所述的基于时序特征的多帧点云检测方法,其特征在于,对拼接后的点云进行点云特征提取,得到第一结果具体包括以下步骤:

4.根据权利要求1所述的基于时序特征的多帧点云检测方法,其特征在于,所述对拼接后的点云进行时序特征提取具体包括:

5.一种基于时序特征的多帧点云检测系统,其特征在于,包括:

6.根据权利要求5所述的基于时序特征的多帧点云检测系统,其特征在于,所述点云检测系统还包括:坐标转换模块,用于对前1帧到前n帧的点云使用位姿转化到当前帧坐标系下。

7.根据权利要求5所述的基于时序特征的多帧点云检测系统,其特征在于,所述点云特征提取模块具体包括以下步骤:

8.根据权利要求5所述的基于时序特征的多帧点云检测方法,其特征在于,所述时序特征提取模块具体包括:

9.一种电子设备,其特征在于,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行权利要求1-5中任一项所述的基于时序特征的多帧点云检测方法。

10.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的基于时序特征的多帧点云检测方法。

...

【技术特征摘要】

1.一种基于时序特征的多帧点云检测方法,其特征在于,包括:

2.根据权利要求1所述的基于时序特征的多帧点云检测方法,其特征在于,所述点云检测方法在步骤“获取前n帧点云”和步骤“对所述前n帧点云进行点云拼接”之间还包括:对前1帧到前n帧的点云使用位姿转化到当前帧坐标系下。

3.根据权利要求1所述的基于时序特征的多帧点云检测方法,其特征在于,对拼接后的点云进行点云特征提取,得到第一结果具体包括以下步骤:

4.根据权利要求1所述的基于时序特征的多帧点云检测方法,其特征在于,所述对拼接后的点云进行时序特征提取具体包括:

5.一种基于时序特征的多帧点云检测系统,其特征在于,包括:

6.根据权利要求5所述的基于时序特征的多帧点云检测系统,其特征在...

【专利技术属性】
技术研发人员:秦欢赵亚丽梁爽
申请(专利权)人:北京超星未来科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1