基于点云多样性表征和PointRCNN的多模态目标零件检测方法技术

本发明专利技术公开了基于点云多样性表征和PointRCNN的多模态目标零件检测方法，将点云数据的柱体表示和图表示结合起来，充分利用各自的优势来提高算法整体的特征表达能力，并结合流形自注意力机制构建点云中点与点之间的相对位置和结构信息，最终提高多模态目标零件检测的准确性和效率，包括下述步骤：通过数据预处理，将原始点云数据转换为2D主干网络所需数据格式；所得的数据输入到点云多样性表示模块和流形分组特征采样模块进行处理，获得多样化特征和多层图像特征；将多样化特征和多层图像特征输入进双层特征融合模块中，进行融合和增强处理，输出多模态融合特征；利用3D骨干网络对多模态融合特征进行目标零件检测，获得目标零件的检测结果。

【技术实现步骤摘要】

本专利技术涉及机械工程、智能制造技术等领域，具体的说，是基于点云多样性表征和pointrcnn的多模态目标零件检测方法。

技术介绍

1、多模态目标检测是将激光雷达、摄像头、毫米波雷达等多种传感器的数据进行整合，以实现对三维环境中目标的检测与识别。与单模态目标检测相比，这种方法提供了更高的精确度和鲁棒性。通过结合不同模态的数据，能够有效克服单一模态在特定场景下的局限，从而提升实际应用中物体检测的准确性和稳定性。早期的研究，如mv3d和avod，通常将对象表示为来自不同视角的多个二维图像，并通过多视图融合技术进行目标检测。然而，由于不同视角下的图像在角度和分辨率上的差异，融合过程常常受到信息不一致的影响。此外，像transfusion、3d-cvf和clocs等基于图像与lidar融合的方法，利用图像的语义信息和点云数据的空间特征，旨在提高目标检测的准确性与鲁棒性。然而，这些方法大多依赖简单的特征融合技术，例如串联或加权求和，未能充分挖掘不同特征类型之间的相关性与互补性，因此，增强融合过程以更好地利用不同模态特征之间的协同作用已成为研究的重要方向之一。此外，点本文档来自技高网...

【技术保护点】

1.基于点云多样性表征和PointRCNN的多模态目标零件检测方法，其特征在于：包括下述步骤：

2.根据权利要求1所述的基于点云多样性表征和PointRCNN的多模态目标零件检测方法，其特征在于：所述步骤1)中的2D主干网络使用预训练的Swin-Transformer模型作为2D主干网络的检测模型进行图像特征提取；2D主干网络对数据进行预处理时将RGB图像中的多层次语义特征集成到点云特征中；在2D主干网络中引入特征金字塔网络结构，在原有的四层基础上，增加了一个额外的池化层，从而生成五层图像特征，表示为Fimage＝{fI1,fI2,fI3,fI4,fI5}，通过在顶层特征上进...

【技术特征摘要】

1.基于点云多样性表征和pointrcnn的多模态目标零件检测方法，其特征在于：包括下述步骤：

2.根据权利要求1所述的基于点云多样性表征和pointrcnn的多模态目标零件检测方法，其特征在于：所述步骤1)中的2d主干网络使用预训练的swin-transformer模型作为2d主干网络的检测模型进行图像特征提取；2d主干网络对数据进行预处理时将rgb图像中的多层次语义特征集成到点云特征中；在2d主干网络中引入特征金字塔网络结构，在原有的四层基础上，增加了一个额外的池化层，从而生成五层图像特征，表示为fimage＝{fi1,fi2,fi3,fi4,fi5}，通过在顶层特征上进行池化操作以获得第五层特征。

3.根据权利要求1所述的基于点云多样性表征和pointrcnn的多模态目标零件检测方法，其特征在于：所述步骤2)中的点云多样性表示模块结合了柱体表示和图表示，采用动态柱体特征编码和动态图网络编码对步骤1)输出的数据进行处理；所述动态柱体特征编码将原始点云数据表示为p＝{p1,p2,p3,...,pn}，其中pi＝{(xi,yi,zi)|i＝1,2,3,...,n}，(xi,yi,zi)表示第i点的三维坐标，r表示反射率强度，将点云空间划分为三维柱体空间，每个柱体具有指定的尺寸[δx,δy,δz]，则一个三维柱体用如下公式表示：

4.根据权利要求3所述的基于点云多样性表征和pointrcnn的多模态目标零件检测方法，其特征在于：所述步骤3)中的流形分组特征采样模块能够将点云中每个点的输入特征向量f进行单位向量化，得到映射到流形空间内的特征表示，以在流形空间中使用自注意力机制，计算公式描述如下：

5.根据...

【专利技术属性】
技术研发人员：闫乔松，周炜桁，梁炜恒，任航，杨进，熊瑞平，倪胜巧，
申请(专利权)人：四川大学，
类型：发明
国别省市：