一种基于多任务协作的镜子检测方法技术

本发明专利技术公开了一种基于多任务协作的镜子检测方法，属于目标检测领域。本发明专利技术针对单张RGB图像，通过多任务协作实现镜子检测。本发明专利技术所述镜子检测网络SemirNet包括共享编码器和协作网络，协作网络包括镜子分割网络、镜子边界检测网络和深度预测网络；通过深度预测网络预测的深度和镜子边界检测网络的边界信息，加强镜子分割网络对图像域中不连续的特征的判别能力，从而对输入的镜子图像生成最终的镜子检测结果。本发明专利技术解决了由于镜子的存在所导致的复杂的场景理解的困难，帮助系统区分镜子中的反射内容和真实场景中的内容，去除镜子的干扰，产生精确的镜子检测结果；且适用于多种形状、大小的镜子及不同场景下的镜子检测。

A mirror detection method based on multi task cooperation

【技术实现步骤摘要】
一种基于多任务协作的镜子检测方法
本专利技术属于计算机视觉领域中的目标检测(ObjectDetection)领域，具体实现结果为镜子的检测，特别涉及一种真实环境中镜子检测的方法。
技术介绍
目标检测任务主要是帮助计算机理解真实环境中的场景信息，根据用户定义的检测目标，确定环境中该目标的大小、形状和位置等信息，具有巨大的实际应用价值。随着人工智能技术的快速发展，场景理解相关任务，例如目标检测、语义分割、深度估计、显著性检测、阴影检测等，都获得了显著的性能提升。但是场景中经常会存在一些特殊的物体，比如镜子，这类物体会对场景理解造成重要的影响，但却没有相关的研究来处理这类物体。场景中镜子的存在会严重影响目前的计算机视觉系统，因为这些系统不能够区分镜子外真实的内容和镜子里反射的内容，进而使这些视觉系统失效，例如产生错误的深度估计或错误地将镜子中反射的物体识别为真实的物体。而检测场景中的镜子是一个极具挑战的任务，因为镜子能够反射周围或者远处的场景，使镜子中的内容和镜子外的内容极其相似，难以区分，而且在镜子内部，反射内容复杂多样，使镜子本质上不同于本文档来自技高网...

【技术保护点】
1.一种基于多任务协作的镜子检测方法，其特征在于，所述方法包括以下步骤：/n步骤1选择镜子检测数据集MSD/n选择一个镜子检测数据集MSD，该数据集包括镜子的图像和对应的人工标注的镜子掩膜图像；且该数据集涵盖场景中的多种样式的镜子以及被实物遮挡的镜子；将得到的MSD数据集中的图像划分为训练集和测试集；/n步骤2共享编码器提取特征/n将步骤1构建的MSD数据集中训练集的图像输入到共享编码器中以收获多级别的特征；所述的共享编码器利用特征提取网络实现；/n步骤3构建协作网络/n所述的协作网络包括三个并行的网络，分别为镜子分割网络S-Net、镜子边界检测网络B-Net和深度预测网络D-Net；/n所述...

【技术特征摘要】
1.一种基于多任务协作的镜子检测方法，其特征在于，所述方法包括以下步骤：
步骤1选择镜子检测数据集MSD
选择一个镜子检测数据集MSD，该数据集包括镜子的图像和对应的人工标注的镜子掩膜图像；且该数据集涵盖场景中的多种样式的镜子以及被实物遮挡的镜子；将得到的MSD数据集中的图像划分为训练集和测试集；
步骤2共享编码器提取特征
将步骤1构建的MSD数据集中训练集的图像输入到共享编码器中以收获多级别的特征；所述的共享编码器利用特征提取网络实现；
步骤3构建协作网络
所述的协作网络包括三个并行的网络，分别为镜子分割网络S-Net、镜子边界检测网络B-Net和深度预测网络D-Net；
所述的镜子分割网络S-Net用于检测图像域中的不连续性，镜子分割网络S-Net要求共享编码器提供输入图像的高级语义信息，由此生成图像内容中的不连续性；因此，在带有预训练的ResNet-101编码器的PSP模块上构建镜子分割网络S-Net；
所述的深度预测网络D-Net用于估计图片的深度图，并转化为注意力图，以引导网络专注于深度域不一致的区域；所述的深度预测网络D-Net使用跨连接方式连接六个卷积层实现深度预测，通过将步骤2中共享编码器得到的多级特征输入到D-Net中，生成最终的深度注意力图，并将深度注意力图馈送到主网络以增强空间上下文信息；所述深度预测网络D-Net采用上采样和下采样模块将步骤2中的共享编码器提供的多级特征图对齐到相同的空间分辨率；
所述的镜子边界检测网络B-Net...

【专利技术属性】
技术研发人员：梅海洋，杨鑫，魏小鹏，尹宝才，刘圆圆，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21