二维图像与三维点云结合的位姿估计方法、介质及设备技术

技术编号:43393193 阅读:36 留言:0更新日期:2024-11-19 18:08
本发明专利技术涉及自动化技术领域,尤其是指二维图像与三维点云结合的位姿估计方法、介质及设备,其包括以下步骤:实时数据采集;YOLOv8图像实例分割;点云映射分割;对图像进行实例分割,然后使用二维图像和三维点云的对应关系进行分割;点云配准顺序决策;从YOLOv8识别分割实例的置信度、点云实例的平均高度以及点云实例与点云配准模板点数关系,三个维度来综合起来对点云配准的先后顺序进行决策;点云预处理;点云配准;输出目标类别及位姿。本发明专利技术使用深度学习识别分割实例图像,通过点云映射分割的方式得到目标的点云实例,并提出全新的配准决策方法,可以解决复杂混叠场景下的目标识别和点云分割的精度低、效率差的问题。

【技术实现步骤摘要】

本专利技术涉及自动化,尤其是指二维图像与三维点云结合的位姿估计方法、介质及设备


技术介绍

1、传统的点云目标识别分割和点云配准方法通常采用基于传统机器学习和点云分割技术的方法进行实现,然而在复杂的场景下,这些方法往往难以满足点云分割和配准的精度和效率要求。这是因为复杂场景下的点云数据通常具有更高的维度和更大的数据量,而传统的机器学习方法往往无法有效处理这些数据。此外,传统的点云分割方法也难以处理复杂场景下的遮挡、噪声和点云之间的重叠等问题,从而影响了点云分割和配准的精度和效率。目前,点云的分割与配准是无序抓取、工业分拣、自主上下料等工业领域的一大难点,是实现工业自动化必须解决的问题。现有技术中,大多基于传统的二维图像或三维点云;基于二维图像的方法效率一般较高,但是由于没有物体的深度距离信息,仅能满足简单、有规律的场景的工业应用。基于三维点云的方法,含有丰富的物体特征信息,并且能够准确地描述物体的形状和空间位置关系;然而,点云数据的维度较高,导致进行部分数据处理和计算复杂度较高,需要高效的算法和计算资源来实现实时的运算。


>

技术实本文档来自技高网...

【技术保护点】

1.二维图像与三维点云结合的位姿估计方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的二维图像与三维点云结合的位姿估计方法,其特征在于:所述步骤S10中,所述二维图像采集使用相机设备进行图像的捕捉,通过调整相机的参数获得不同角度和清晰度的图像。

3.根据权利要求1所述的二维图像与三维点云结合的位姿估计方法,其特征在于:所述步骤S10中,所述三维点云实时数据采集使用激光扫描仪来获取物体表面的点云数据;通过激光扫描仪的发射激光束和接收器的接收反射光信号,得到物体表面上的点云坐标。

4.根据权利要求1所述的二维图像与三维点云结合的位姿估计方法,其特征...

【技术特征摘要】

1.二维图像与三维点云结合的位姿估计方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的二维图像与三维点云结合的位姿估计方法,其特征在于:所述步骤s10中,所述二维图像采集使用相机设备进行图像的捕捉,通过调整相机的参数获得不同角度和清晰度的图像。

3.根据权利要求1所述的二维图像与三维点云结合的位姿估计方法,其特征在于:所述步骤s10中,所述三维点云实时数据采集使用激光扫描仪来获取物体表面的点云数据;通过激光扫描仪的发射激光束和接收器的接收反射光信号,得到物体表面上的点云坐标。

4.根据权利要求1所述的二维图像与三维点云结合的位姿估计方法,其特征在于,所述步骤s30中,点云映射分割的方法为:

5.根据权利要求1所述的二维图像与三维点云结合的位...

【专利技术属性】
技术研发人员:仇泽军梁健城周芳青董海飞唐国华
申请(专利权)人:东莞市德普特电子有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1