一种同时分割和检测抓取位姿的多模态特征融合方法技术

本发明专利技术提供一种同时分割和检测抓取位姿的多模态特征融合方法，涉及机器人抓取位姿检测技术领域。本发明专利技术设计了一种点云图像协同指导的融合模块，模块不仅能够融合点云和图像特征，还能突出其中关键的特征对并抑制非感兴趣区域的特征。算法的预测过程从对融合特征进行前景点分割开始，然后设计一种同时考虑语义信息、距离信息、抓取置信度的种子点采样算法，生成质量更高的种子点。然后根据选定的种子点进行抓取位姿预测。本发明专利技术能够充分利用点云和图像信息，通过多模态特征来促进分割和抓取检测的性能，以服务于服务机器人、工业机器人等应用场景。用场景。用场景。

【技术实现步骤摘要】
一种同时分割和检测抓取位姿的多模态特征融合方法


[0001]本专利技术涉及机器人抓取位姿检测
，尤其涉及一种同时分割和检测抓取位姿的多模态特征融合方法。

技术介绍

[0002]机器人视觉抓取检测是机器人技术中非常重要的研究方向，它涉及到机器人与真实世界的交互和操作，是机器人应用中必不可少的一环，近年来受到广泛关注。现有的抓取位姿检测方法主要分为平面抓取检测和6自由度抓取检测。平面抓取检测方法通常在RGB图像上预测对应物体的抓取矩形框，这种2D矩形框要求机械臂自顶向下接近被抓取物体，应用场景受限。6自由度抓取检测通常利用场景的三维点云预测更灵活的多自由度抓取位姿(6
‑
DoF),这种抓取方式允许机械臂夹爪从任意方向接近物体，具有良好的应用前景。6自由度抓取检测主要利用神经网络提取三维点云中的几何结构特征，然后对高级特征进行解码预测。RGB图像包含丰富的外观纹理信息，可以辅助进行物体分割等任务，提高抓取检测的鲁棒性。但是现有的6自由度抓取检测模型在特征提取过程中通常忽略了图像信息的使用，导致模型的精度无法进一步提高。
...

【技术保护点】

【技术特征摘要】
1.一种同时分割和检测抓取位姿的多模态特征融合方法，其特征在于，包括以下步骤：步骤1：使用双流骨干网络分别提取点云和图像特征；步骤2：设计协同指导的点云
‑
图像特征融合模块，进行点云
‑
图像特征融合；所述点云
‑
图像特征融合模块的输入是点云特征F
point
和图像特征F
image
，它们的大小分别是N
×
512和N
×
128，经过点云
‑
图像特征融合模块后输出的融合特征大小F
fusion
为N
×
512；步骤3：设计种子点采样算法，生成种子点：步骤4：基于步骤3生成的种子点进行6自由度抓取位姿预测。2.根据权利要求1所述的一种同时分割和检测抓取位姿的多模态特征融合方法，其特征在于，所述步骤1具体为，给定一帧对齐的RGB
‑
D图像，首先使用相机内参将深度图转换为3D点云图，然后使用双流骨干网络，即点云流和图像流分别提取几何特征和颜色特征。3.根据权利要求2所述的一种同时分割和检测抓取位姿的多模态特征融合方法，其特征在于，所述点云流利用PointNet++骨干网络提取3D点云图中逐点的几何特征，所述PointNet++骨干网络包含四个集合抽象SA层和四个特征传播FP层，所述集合抽象SA层对点云进行下采样并提取局部特征，所述特征传播FP层对点特征进行上采样，将点云恢复到原来的大小；点云流输入网络的点云数据为N
×
3，经过PointNet++骨干网络的特征提取，网络的输出数据为N
×
512；所述图像流利用残差网络ResNet提取RGB图像中的像素级颜色特征，所述残差网络ResNet包含四个卷积层和反卷积层；每个卷积层将输入该层的特征图缩小一半以扩大感受野并提取图像特征，反卷积层用于将高级图像特征图的尺寸恢复到与原始图像相同的尺寸H
×
W，图像流输入网络的图像数据为H
×
W
×
3，经过残差网络的特征提取，网络的输出数据为H
×
W
×
128；经过上述双流骨干网络的特征提取，获得了逐点的几何特征和逐像素的图像特征，分别用F
point
和F
image
表示。4.根据权利要求1所述的一种同时分割和检测抓取位姿的多模态特征融合方法，其特征在于，步骤2中所述协同指导的点云
‑
图像特征融合模块的具体设计步骤如下：步骤S1：设计两个并行的全连接层Fully Connec...

【专利技术属性】
技术研发人员：张云洲，刘晓正，曹赫，单德兴，赵家奇，
申请(专利权)人：东北大学，
类型：发明
国别省市：