一种透明物体深度图像补全方法、装置、终端设备及介质制造方法及图纸

技术编号:41722833 阅读:37 留言:0更新日期:2024-06-19 12:47
本发明专利技术公开了一种透明物体深度图像补全方法、装置、终端设备及介质,方法包括:将获取到的表面法线、遮挡边界、分割蒙版、RGB图像以及初始深度图像分别输入至预设的残差网络中进行特征提取,得到图像信息特征图以及初始深度特征图;根据图像信息特征图得到的全局特征及局部特征进行特征融合,得到图像信息融合特征图;根据图像信息融合特征图以及初始深度特征图进行卷积融合,得到透明物体初始融合特征图;将透明物体初始融合特征图进行通道维度上和空间维度上的特征融合,得到待补全透明物体的补全后的深度图像。通过实施本发明专利技术提高了透明物体深度图像补全的效果,降低对透明物体的抓取难度。

【技术实现步骤摘要】

本专利技术涉及计算机视觉和深度学习,尤其涉及一种透明物体深度图像补全方法、装置、终端设备及介质


技术介绍

1、在日常生活中存在大量的透明物体,透明物体和非透明物体不同,其没有丰富的纹理信息,同时因为具有反光和透光两个独特的光学特性,导致目前只能采集透明物体的rgb图像,无法感知有效的深度信息。在这种情况下,导致透明物体的深度图像具有严重缺失或者错误的深度值,所以机器人对透明物体进行抓取会产生诸多问题。

2、深度补全是一种从深度相机感知的原始深度图像中计算出准确深度值并填补到空缺处的方法,从而使深度图像更加完整。目前深度补全技术大多是针对室内和室外场景的非透明物体,非透明物体图像的深度补全通常只需要利用稀疏深度图和彩色图像的信息,而透明物体图像的深度补全还需要考虑光线的折射和反射,目前的深度补全技术适用于非透明物体,对透明物体的深度图像补全效果不佳。

3、因此,对于透明物体深度图像进行深度补全,降低对透明物体的抓取难度,成为一个急需解决的问题。


技术实现思路

1、本专利技术实施例提供一本文档来自技高网...

【技术保护点】

1.一种透明物体深度图像补全方法,其特征在于,包括:

2.如权利要求1所述的一种透明物体深度图像补全方法,其特征在于,根据所述图像信息特征图提取所述待补全透明物体的全局特征,包括:

3.如权利要求2所述的一种透明物体深度图像补全方法,其特征在于,根据所述图像信息特征图提取所述待补全透明物体的局部特征,包括:

4.如权利要求3所述的一种透明物体深度图像补全方法,其特征在于,根据所述全局特征及所述局部特征进行特征融合,得到图像信息融合特征图,包括:

5.如权利要求1所述的一种透明物体深度图像补全方法,其特征在于,将所述透明物体初始融合特征图进行...

【技术特征摘要】

1.一种透明物体深度图像补全方法,其特征在于,包括:

2.如权利要求1所述的一种透明物体深度图像补全方法,其特征在于,根据所述图像信息特征图提取所述待补全透明物体的全局特征,包括:

3.如权利要求2所述的一种透明物体深度图像补全方法,其特征在于,根据所述图像信息特征图提取所述待补全透明物体的局部特征,包括:

4.如权利要求3所述的一种透明物体深度图像补全方法,其特征在于,根据所述全局特征及所述局部特征进行特征融合,得到图像信息融合特征图,包括:

5.如权利要求1所述的一种透明物体深度图像补全方法,其特征在于,将所述透明物体初始融合特征图进行通道维度上的特征融合得到通道注意力图包括:

6.如权利要求1所述的一种透明物体深度图像补全方法,其特征在于,将所述通道调整后的特征...

【专利技术属性】
技术研发人员:廖丽敏梁庆锋李冬梅
申请(专利权)人:广东佛山联创工程研究生院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1