基于频域与空间域信息融合的实时实例分割方法技术

本发明专利技术公开了一种基于频域与空间域信息融合的实时实例分割方法，首先设置模型训练的损失函数；然后，采用带动量的随机梯度下降算法作为优化方法，并采用了非极大值抑制算法消除重复检测；接着，搭建由多个残差块堆叠组成的ResNet50残差网络架构作为主干网络；然后，采用改进的双向特征金字塔结构对后三个卷积模块的特征图进行操作融合语义信息，并引入频域表示以获得更准确全局信息；最后，将完成信息融合的最后一层特征图输入到掩模分支，使用改进的频域表示特征融合方法将得到的掩模系数和原型掩模特征图相结合，得到目标物体的位置坐标、类别信息和像素分割结果。本发明专利技术在实时(每秒超过30帧)的基础上有效地提高了图像的分割精度，且结构合理。

【技术实现步骤摘要】

本专利技术属于图像分割方法，特别是针对频域与空间域信息融合的实时实例分割方法。

技术介绍

1、全卷积神经网络(fcn)已经在图像分割尤其是语义分割领域占据了主导地位，由于其具有可以接受任意大小的输入图像、运算速率高效等特点，并能取得像素级别的图像分割效果。

2、当前对于全卷积神经网络已经做了大量的实验，自2015年fcn起，产生了一批经典的模型，如unet及unet-like等结构，这些模型基于fcn不断的加深网络层数以提高网络的分割精度的。虽然上述模型逐步提高了图像分割的质量，但是由于图像特征提取的困难和数字图像处理的巨大计算量，图像的实时实例分割一直是非常具有挑战性的任务。

3、为实现高精度且快速的图像分割，通过对大量现有的分割模型进行分析研究和比对。发现一般有以下3种限制：1)图像特征提取的困难和数字图像处理的巨大计算量是图像的实时实例分割任务面临的挑战。2)深度学习虽然取得进展，但仍然有提高准确度、实现实时性的难题。3)在图像分割中，需要平衡模型的计算速度和准确度，特别是实时应用的需求。对于一阶段和两阶段的模型，需要在准确度本文档来自技高网...

【技术保护点】

1.基于频域与空间域信息融合的实时实例分割方法，其特征在于，包括以下步骤：

2.根据权利要求1所述基于频域与空间域信息融合的实时实例分割方法，其特征在于：所述步骤1中所述实例分割数据集为PASCAL VOC 2012，所述训练集为train2017数据集，所述测试集为val2017和test-dev数据集。

3.根据权利要求1或2所述基于频域与空间域信息融合的实时实例分割方法，其特征在于：所述步骤1中实例分割部分采用交叉熵损失函数，其表达式为：

4.根据权利要求1或2所述基于频域与空间域信息融合的实时实例分割方法，其特征在于：训练过程中采用非极大值抑制...

【技术特征摘要】

1.基于频域与空间域信息融合的实时实例分割方法，其特征在于，包括以下步骤：

2.根据权利要求1所述基于频域与空间域信息融合的实时实例分割方法，其特征在于：所述步骤1中所述实例分割数据集为pascal voc 2012，所述训练集为train2017数据集，所述测试集为val2017和test-dev数据集。

3.根据权利要求1或2所述基于频域与空间域信息融合的实时实例分割方法，其特征在于：所述步骤1中实例分割部分采用交叉熵损失函数，其表达式为：

4.根据权利要求1或2所述基于频域与空间域信息融合的实时实例分割方法，其特征在于：训练过程中采用非极大值抑制算法，具体包括：首先，在同一类别目标的所有检测框中选取出得分最高的；然后，依次将其他得分较低的检测框与之比较，计算它们之间的交并比iou，如果iou高于某一个阈值，则认为它们检测的是同一个目标，去除掉得分较低的检测框；然后将此轮比较中得分最高的检测框作为一个合理的检测结果，并从当前循环集合中去除；循环以上的步骤，直到所有此类别的检测框都判定完成。

5.根据权利要求1所述基于频域与空间域信息融合的实时实例分割方法，其特征在于：步骤2所述resnet50残差网络结构具体如下：

6.根据权利要求1所述基于频域与空间域信息融合的实时实例分割方法，其特征在于：步骤3所述改进的双向特征金字塔，在基础金字塔模型自顶向下特征提取的基础上，采用步长为2的卷积完成浅层特征图的下采样，...

【专利技术属性】
技术研发人员：谢颖，唐贤伦，赵坤驰，彭江平，李波，钱晓东，尚靖凯，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：