当前位置: 首页 > 专利查询>郑州大学专利>正文

一种基于多模态视觉的缺陷检测方法及系统技术方案

技术编号:43616297 阅读:42 留言:0更新日期:2024-12-11 14:58
本发明专利技术公开了一种基于多模态视觉的缺陷检测方法及系统,方法包括以下步骤:对RGB图像和深度图像分别进行特征提取,获得多级RGB编码特征和多级深度编码特征;对多级RGB编码特征和多级深度编码特征进行跨模态特征融合,获得多级RGB‑D编码特征,同时生成含缺陷边缘特征的边缘图;根据多级RGB‑D编码特征和缺陷边缘特征进行解码,获得缺陷预测图。本发明专利技术的缺陷检测方法能够挖掘并利用与RGB特征在语义上能够匹配的深度信息,有效整合RGB与深度信息,以实现更深层次的特征融合,并增强缺陷特征的表示;同时,结合了粗粒度和细粒度的边缘信息,用于缺陷边界细化,实现更精确的缺陷区域定位。

【技术实现步骤摘要】

本专利技术涉及计算机视觉和深度学习,尤其涉及一种基于多模态视觉的缺陷检测方法及系统


技术介绍

1、在现代制造业和产品维护领域,表面缺陷检测对于确保产品质量的稳定性和系统的安全性至关重要。随着深度学习技术的飞速发展,智能缺陷检测方法的研究与实践已经取得了显著进展,极大地提高了工业生产中质量控制的可靠性和效率。然而,目前主流的智能缺陷检测技术主要依赖于单一的rgb图像信息。当物体表面的颜色和纹理与背景相似时,缺陷可能难以从rgb图像中被有效区分。

2、针对这一挑战,深度成像技术的发展为缺陷检测带来了新的机遇。深度图像(depth map)提供了丰富的几何形状信息,有助于算法基于物体的立体特征更准确地识别缺陷,并适应各种场景的变化。然而,深度图像与rgb图像在质量和语义上的差异,意味着不能简单地将两者同等对待并采用传统的特征融合策略。这种方法在表面缺陷检测领域无法充分发挥两者的互补优势。此外,在背景复杂、前景与背景对比不明显的缺陷场景中,以往的检测算法也难以精准地定位缺陷的边界区域。


技术实现思路b>

1本文档来自技高网...

【技术保护点】

1.一种基于多模态视觉的缺陷检测方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的缺陷检测方法,其特征在于,所述对RGB图像和深度图像分别进行特征提取,获得多级RGB编码特征和多级深度编码特征之前,还包括步骤:

3.根据权利要求2所述的缺陷检测方法,其特征在于,所述对RGB图像和深度图像分别进行特征提取,获得多级RGB编码特征和多级深度编码特征,包括步骤:

4.根据权利要求1所述的缺陷检测方法,其特征在于,所述生成含缺陷边缘特征的边缘图,包括步骤:

5.根据权利要求1所述的缺陷检测方法,其特征在于,所述根据所述多级RGB-D...

【技术特征摘要】

1.一种基于多模态视觉的缺陷检测方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的缺陷检测方法,其特征在于,所述对rgb图像和深度图像分别进行特征提取,获得多级rgb编码特征和多级深度编码特征之前,还包括步骤:

3.根据权利要求2所述的缺陷检测方法,其特征在于,所述对rgb图像和深度图像分别进行特征提取,获得多级rgb编码特征和多级深度编码特征,包括步骤:

4.根据权利要求1所述的缺陷检测方法,其特征在于,所述生成含缺陷边缘特征的边缘图,包括步骤:

5.根据权利要求1所述的缺陷检测方法,其特征在于,所述根据所述多级rgb-d编码特征和所述缺陷边缘特征进行解码,获得缺陷预测图,包括步骤:<...

【专利技术属性】
技术研发人员:徐明亮姜晓恒杨谦威卢洋崔丽莎
申请(专利权)人:郑州大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1