一种跨尺度多方向特征融合增强的镜面检测方法及系统技术方案

本发明专利技术公开了一种跨尺度多方向特征融合增强的镜面检测方法及系统，本发明专利技术包括将输入图像利用编码器提取M种尺度的镜面特征，利用边缘提取网络提取镜面边缘特征、利用M层的特征增强块HFF提取增强特征，再分尺度上采样融合，再与镜面边缘特征一起利用解码头进行解码以获得镜面检测结果；任意第i层的特征增强块HFF由全局特征提取分支、局部特征提取分支和多尺度特征融合分支组成，全局/局部特征提取分支用于将第i种尺度的镜面特征进行不同方向的多个全局、局部特征提取路径提取全局/局部特征。本发明专利技术旨在解决复杂背景下的镜面目标与背景高度一致、边缘不明显或检测困难导致镜面目标检测精度低的问题。

【技术实现步骤摘要】

本专利技术涉及图像处理，具体涉及一种跨尺度多方向特征融合增强的镜面检测方法及系统。

技术介绍

1、镜面检测是指通过计算机视觉技术识别图像或视频中因镜面反射形成的高光区域或反射物体。镜面检测是计算机视觉领域的一项关键任务，在自动驾驶、工业质检、安防监控等场景中具有重要应用价值。在真实环境中，镜面反射常由光滑表面（如玻璃、水面、金属）对光源的强反射形成，其亮度高、纹理细节缺失并且边界模糊，容易与真实物体混淆，导致目标识别和场景理解的误差。传统方法依赖颜色空间转换（如hsv分离高光区域）或物理反射模型分析，但在复杂光照或动态场景中鲁棒性不足。基于深度学习的方法通过端到端特征提取，能够学习镜面反射与漫反射区域的本质差异。当前研究集中在多模态数据融合（如rgb-d相机联合偏振传感器）、反射成分分离（基于生成对抗网络重构无反射图像）以及多尺度注意力机制（定位微小反射区域）等方向。然而，在航拍或移动机器人场景中，镜面反射区域可能因视角变化产生动态形变，且小尺寸反射点（如车窗反光）易被背景噪声淹没。此外，自然环境中水面的波动反射、雨雪天气的随机反光等现象，进一步增加了检测本文档来自技高网...

【技术保护点】

1.一种跨尺度多方向特征融合增强的镜面检测方法，其特征在于，包括下述步骤：将输入图像利用编码器提取M种尺度的镜面特征，再分别利用边缘提取网络提取镜面边缘特征、利用M层的特征增强块HFF提取增强特征，将增强特征进行分尺度上采样融合，再与镜面边缘特征一起利用解码头进行解码以获得镜面检测结果；任意第i层的特征增强块HFF由全局特征提取分支、局部特征提取分支和多尺度特征融合分支组成，所述全局特征提取分支用于将第i种尺度的镜面特征利用不同方向的多个全局特征提取路径提取全局特征，所述全局特征提取路径包括使用关系特征提取器基于八向空间偏移机制捕捉目标边缘的连续性与方向性关联特征，所述局部特征提取分支用...

【技术特征摘要】

1.一种跨尺度多方向特征融合增强的镜面检测方法，其特征在于，包括下述步骤：将输入图像利用编码器提取m种尺度的镜面特征，再分别利用边缘提取网络提取镜面边缘特征、利用m层的特征增强块hff提取增强特征，将增强特征进行分尺度上采样融合，再与镜面边缘特征一起利用解码头进行解码以获得镜面检测结果；任意第i层的特征增强块hff由全局特征提取分支、局部特征提取分支和多尺度特征融合分支组成，所述全局特征提取分支用于将第i种尺度的镜面特征利用不同方向的多个全局特征提取路径提取全局特征，所述全局特征提取路径包括使用关系特征提取器基于八向空间偏移机制捕捉目标边缘的连续性与方向性关联特征，所述局部特征提取分支用于将第i种尺度的镜面特征进行不同方向的多个局部特征提取路径提取局部特征，所述多尺度特征融合分支用于将第i-1层的特征增强块hff输出的增强特征与全局特征提取分支、局部特征提取分支的输出特征进行融合以获得第i层的特征增强块hff输出的增强特征。

2. 根据权利要求1所述的跨尺度多方向特征融合增强的镜面检测方法，其特征在于，全局特征提取分支将第i种尺度的镜面特征利用不同方向的多个全局特征提取路径提取全局特征包括：将第i种尺度的镜面特征使用全局注意力模块提取得到全局特征图，将特征旋转指定角度得到旋转全局特征图；将全局特征图、旋转全局特征图分别使用关系特征提取器基于八向空间偏移机制捕捉目标边缘的连续性与方向性关联特征作为关系特征图，并将关系特征图分别进行全局最大池化和全局平均池化操作两路池化特征图，分别使用共享的多层感知机mlp提取特征后求和得到求和特征图；分别将全局特征图、旋转全局特征图的求和特征图通过 sigmoid 函数将其归一化得到通道注意力图；将全局特征图及其通道注意力图相乘得到与输入特征图空间尺寸相同、通道数目不变的第一个全局特征，将旋转全局特征图及其通道注意力图相乘后逆向旋转指定角度恢复得到与输入特征图空间尺寸相同、通道数目不变的第二个全局特征。

3.根据权利要求2所述的跨尺度多方向特征融合增强的镜面检测方法，其特征在于，所述使用关系特征提取器基于八向空间偏移机制捕捉目标边缘的连续性与方向性关联特征包括：基于预先定义的八个方向的偏移量集合：

4. 根据权利要求2所述的跨尺度多方向特征融合增强的镜面检测方法，其特征在于，局部特征提取分支将第i种尺度的镜面特征进行不同方向的多个局部特征提取路径提取局部特征包括：将第i种尺度的镜面特征使用局部注意力模块提取得到局部特征图，将局部特征图旋转指定角度得到旋转局部特征图；将局部特征图通过两条不同的卷积路径进行卷积操作、批归一化和sigmoid 函数归一化，将两条不同的卷积路径的计算结果求差得到差异特征作为输出的第一个局部特征；将旋转局部特征图通过两条不同的卷积路径进行卷积操作、批归一化和sigmoid 函数归一化，两条不同的卷积路径中的卷积操作为空洞卷积操作，一条卷积路径中的空洞卷积操作采用步长为1的3×3卷积核，另一条卷积路径中的空洞卷积操作采用步长为2的3×3卷积核，将两条不同的卷积路径的计算结果求差得到差异特征，再将差异特...

【专利技术属性】
技术研发人员：刘孟煊，韦晓辉，宋启亚，邱宇，肖林，
申请(专利权)人：湖南师范大学，
类型：发明
国别省市：