【技术实现步骤摘要】
本专利技术属于计算机视觉，具体涉及一种融合图像与点云信息的物料显著性检测方法、系统和设备。
技术介绍
1、对于制造企业，带有机械臂的复合式移动机器人能够解决智能制造工厂中的物料装卸及转运问题，可替代大多数固定式的上下料机械臂。它具备灵活的机动性和自主决策能力，能够适应不同的工作环境和任务需求。然而，与固定式的上下料机械臂不同，复合式移动机器人与目标物料的相对位置不再固定。因此，复合式移动机器人需要依靠视觉信息进行目标物料的显著性检测。物料的显著性检测是获取物料准确位姿并进行抓取的前提。显著性检测主要用于突出图像中需要关注的目标区域，而对于复合式移动机器人来说，这些目标区域就是需要搬运的物料。
2、目前已经陆续提出了许多针对rgb图像的显著性检测模型，但在物料抓取过程中存在的动态背景及前景遮挡等问题，其鲁棒性仍然不足。rgb图像信息包含了大量的颜色与纹理信息，然而由于摄影过程中的三维到二维投影，目标的位置与结构信息会丢失，因此上下料机械臂在缺乏位置与结构信息的rgb图像上难以进行后续的物料定位。而采用2.5d视觉方法的显著性检...
【技术保护点】
1.一种融合图像与点云信息的物料显著性检测方法，其特征在于，具体步骤包括：
2.根据权利要求1所述的一种融合图像与点云信息的物料显著性检测方法，其特征在于，所述步骤1的具体方法为：
3.根据权利要求1所述的一种融合图像与点云信息的物料显著性检测方法，其特征在于，所述步骤2具体方法为：
4.根据权利要求3所述的一种融合图像与点云信息的物料显著性检测方法，其特征在于，所述步骤2.6中对XYZ Map的最近邻插值法步骤如下：
5.根据权利要求3所述的一种融合图像与点云信息的物料显著性检测方法，其特征在于，所述步骤2.6中每个阶...
【技术特征摘要】
1.一种融合图像与点云信息的物料显著性检测方法，其特征在于，具体步骤包括：
2.根据权利要求1所述的一种融合图像与点云信息的物料显著性检测方法，其特征在于，所述步骤1的具体方法为：
3.根据权利要求1所述的一种融合图像与点云信息的物料显著性检测方法，其特征在于，所述步骤2具体方法为：
4.根据权利要求3所述的一种融合图像与点云信息的物料显著性检测方法，其特征在于，所述步骤2.6中对xyz map的最近邻插值法步骤如下：
5.根据权利要求3所述的一种融合图像与点云信息的物料显著性检测方法，其特征在于，所述步骤2.6中每个阶段的双向特征融合中点云特征到像素特征的融合过程具体为：对于该阶段输入的每个像素特征根据其像素在对应阶段的xyz map找到该坐标对应的xyzmap像素值，即该像素特征所对应三维坐标；在点云特征中根据该三维坐标查找得到对应的样本点；并且采用k邻近算法(k-nearest neighbor，knn)在点云特征中找到该样本点周围的k个点作为邻近点，将临近点与样本点的k+1个点云特征输入多层感知器(mlp)，并进行最大池化得到与此阶段输入的像素特征相同维度的融合特征；将融合特征与此阶段输入的像素特征拼接后再次通过一个多层感知器得到融合后的像素特征，并将融合后的像素特征返回到rgb网络分支中...
【专利技术属性】
技术研发人员：史晓军，黄子健，郭路楠，梅雪松，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。