【技术实现步骤摘要】
本专利技术属于三维点云配准，具体涉及一种基于深度学习的工业场景点云多模态配准方法及系统。
技术介绍
1、点云配准是三维重建技术的核心问题之一，在智能工业制造领域具有广泛的应用。如对工业零件的多视角点云重建，可用于后续缺陷检测；再例如通过配准多视角点云，估计机械臂的位姿变换，以进行工业零件的拾取。
2、由于点云扫描设备的视域范围有限，一次扫描并不能完整地捕获整个对象的点云数据，需要对目标对象进行多视角扫描，这将导致目标对象在扫描设备中发生相对位置的变化。点云配准的目标就是估计出上述多视角点云之间的相对位置变化,即刚性变换矩阵，将多个视角的点云对齐，以此重建出目标对象完整的三维点云，使得后续工业场景中的零件抓取与缺陷检测等工作顺利开展。
3、点云配准流程大致分为三步：特征提取，对应点估计，刚性变换求解。其中如何提取具有区分性的特征对于提升配准性能至关重要，一个良好的特征提取方法，可以产生数量充足的正确对应点对，实现高精度的点云配准。点云配准的特征提取方法主要分为两类：传统方法和深度学习方法。传统的点云配准特征提取依赖...
【技术保护点】
1.一种基于深度学习的工业场景点云多模态配准方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的工业场景点云多模态配准方法，其特征在于，步骤S1中，工业零部件数据集由结构光相机对工业零部件在纯背景板与复杂车间两个背景下采样得到，按照背景复杂程度将工业零部件数据集划分为简单背景工件数据和复杂背景工件数据，将简单背景工件数据与公开数据集7Scenes混合作为神经网络的训练集，将复杂背景工件数据作为测试集，简单背景工件数据和复杂背景工件数据中每个样本包括由传感器扫描得到的点云与对应RGB图像，通过双线性插值将分辨率统一，对每个样本中的点云进行...
【技术特征摘要】
1.一种基于深度学习的工业场景点云多模态配准方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的工业场景点云多模态配准方法，其特征在于，步骤s1中，工业零部件数据集由结构光相机对工业零部件在纯背景板与复杂车间两个背景下采样得到，按照背景复杂程度将工业零部件数据集划分为简单背景工件数据和复杂背景工件数据，将简单背景工件数据与公开数据集7scenes混合作为神经网络的训练集，将复杂背景工件数据作为测试集，简单背景工件数据和复杂背景工件数据中每个样本包括由传感器扫描得到的点云与对应rgb图像，通过双线性插值将分辨率统一，对每个样本中的点云进行下采样与点云归一化处理，并沿x,y,z轴对点云进行旋转和平移变换，对旋转平移变换前后的两个点云分别进行二次下采样，模拟两个不同视角的部分对应点云p1与p2。
3.根据权利要求1所述的基于深度学习的工业场景点云多模态配准方法，其特征在于，步骤s2具体为：
4.根据权利要求1所述的基于深度学习的工业场景点云多模态配准方法，其特征在于，步骤s3具体为：
5.根据权利要求1所述的基于深度学习的工业场景点云多模态配准方法，其特征在于，步骤s4中，两不同视角点云p1与p2通过交叉注意力多模态特征融合模块得到融合图像纹理信息后的特征，并由与表示，计算两点云点特征之间的欧式距离，获取匹配矩阵m，基于匹配矩阵m对点云p2关于p1加...
【专利技术属性】
技术研发人员：赵海霞，孙佳琪，李彦慧，晏文璟，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。