一种基于SAM的镜面检测方法技术

本发明专利技术公开了一种基于SAM的镜面检测方法，基于分割一切模型构建MirrorSAM，专门用于镜面检测。具体而言，由于镜子在不同位置产生的反射各异，且复杂的视觉空间会干扰定位，在低秩空间中设计了分层方向专家混合(Hierarchical Mixture of Direction Experts，简称HMDE)，以减少SAM对实体的偏倚，并根据输入动态调整专家。同时，我们观察到镜面与其相邻区域之间存在深度差异，提出了深度标记校准(Depth Token Calibration，简称DTC)，引入可学习的深度标记以生成深度图并作为误差校正因子，此外，本发明专利技术进一步制定了选择性像素‑原型对比(Selective Pixel‑Prototype Contrastive，简称SPPC)损失，选择部分易混淆样本以促进镜面和非镜面表示的解耦。在四个镜面基准数据集和三种设置上的广泛实验表明，本发明专利技术在少量可训练参数和FLOPs的情况下超越了现有最先进的方法。

【技术实现步骤摘要】

本专利技术属于镜面检测，更为具体地讲，涉及一种基于sam(segmentanything model，分割一切模型)的镜面检测方法。

技术介绍

1、现有的分割与检测工作在物理实体感知方面取得了显著进展，但对虚拟成像的探索仍然不足。当具有几乎相同属性的对象共存于同一视觉空间中且未被有效区分时，可能会严重阻碍下游任务，例如路径规划和3d重建。镜子反射物理实体并生成相同但虚幻的影像，这可能严重混淆和影响对视觉空间的理解与建模，镜面检测(md)旨在区分镜面与非镜面区域，为精确场景理解提供先验指导。

2、在全监督设置下，yang等人率先提出了首个镜面检测方法mirrornet，该方法利用镜子内部和外部特征之间的相关性进行镜面检测。lin等人设计了pmdnet，该方法通过将镜子特征与上下文进行对比以建立对应关系，并结合边缘信息进行镜面检测。guan等人基于图表示构建物体之间的语义关联来进行镜面检测。这些方法共享一个共同动机，即建立实体与影像之间的关联。huang等人开发了基于transformer的双流网络，利用镜子的对称性特性进行镜面检测。he等人提出了本文档来自技高网...

【技术保护点】

1.一种基于SAM的镜面检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于SAM的镜面检测方法，其特征在于，所述构建分层方向专家混合包括以下步骤：

3.根据权利要求2所述的基于SAM的镜面检测方法，其特征在于，所述深度标记校准包括以下步骤：

4.根据权利要求3所述的基于SAM的镜面检测方法，其特征在于，所述计算选择性像素-原型对比损失包括以下步骤：

【技术特征摘要】

1.一种基于sam的镜面检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于sam的镜面检测方法，其特征在于，所述构建分层方向专家混合包括以下步骤：

3.根据权利要...

【专利技术属性】
技术研发人员：王国庆，查明峰，李天宇，裴云强，王玉庆，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：