基于特征图恢复的场景分割方法和系统技术方案

本发明专利技术涉及一种基于特征图恢复的场景分割方法和系统，包括对原始图像进行降采样，得到降采样图像，通过特征学习网络得到该降采样图像的降采样特征图，将该降采样特征图的尺寸恢复为原始图像尺寸，得到上采样特征图，将该上采样特征图输入场景分割网络，得到该原始图像的场景分割结果。本发明专利技术利用降采样输入图像可以获得的较快的分割速度；利用原始大小输入图像可以获得的较高的分割精度。此外，本发明专利技术还提出了辅助中间层监督和边境区域重加权的方法辅助场景分割神经网络模型的优化过程，从而在保持模型加速的前提下提升加速后模型的分割精度。

【技术实现步骤摘要】
基于特征图恢复的场景分割方法和系统
本方法属于机器学习和计算机视觉领域，并特别涉及一种基于特征图恢复的场景分割方法和系统。
技术介绍
场景分割问题是计算机视觉领域一项重要而富有挑战性的问题，并且在生产和生活中具有广泛的应用价值，如自动驾驶、辅助驾驶、视频监控等。场景分割的目标是对场景图像中的每个像素点判断其所属类别。近年来，基于深度卷积神经网络的场景分割方法取得了极大的成功，例如基于全卷积网络的方法。然而，绝大部分现有的场景分割方法主要专注于提高分割的精度，因此常使用较深的神经网络和较高分辨率的特征图，这都会导致较慢的分割速度。然而在实际应用中，分割精度和分割速度都是很重要的。近年来，大部分的神经网络加速方法都是用于对图像分类网络进行加速。这些方法主要基于参数近似或网络模仿的方法。然而，图像分类问题和场景分割问题之间存在较大的差异。对于图像分类问题，由于其预测值是一个图像级别的向量，因此通常输入图像会被缩小为一个较小的尺寸(如为224x224)，且特征图的分辨率通常较低(如为输入图像尺寸的1/32)。相比之下，场景分割问题的预测结果是像素级别的，需要更多的细节信息，因此通常使用较大尺本文档来自技高网...

【技术保护点】
1.一种基于特征图恢复的场景分割方法，其特征在于，包括：步骤1、对原始图像进行降采样，得到降采样图像，通过特征学习网络得到该降采样图像的降采样特征图，将该降采样特征图的尺寸恢复为原始图像尺寸，得到上采样特征图，将该上采样特征图输入场景分割网络，得到该原始图像的场景分割结果。

【技术特征摘要】
1.一种基于特征图恢复的场景分割方法，其特征在于，包括：步骤1、对原始图像进行降采样，得到降采样图像，通过特征学习网络得到该降采样图像的降采样特征图，将该降采样特征图的尺寸恢复为原始图像尺寸，得到上采样特征图，将该上采样特征图输入场景分割网络，得到该原始图像的场景分割结果。2.如权利要求1所述的基于特征图恢复的场景分割方法，其特征在于，该场景分割方法还包括：步骤2、直接将该原始图像输入至特征学习网络，得到原始特征图，将该原始特征图输入场景分割网络，得到该原始图像的的参考分割结果；该步骤1还包括：构建具有多个反卷积层的特征超分辨率学习模块，以根据降采样比率将该降采样特征图的尺寸恢复为原始图像尺寸；该场景分割方法还包括：步骤3、以该原始特征图和该参考分割结果分别优化该特征超分辨率学习模块和该场景分割结果。3.如权利要求2所述的基于特征图恢复的场景分割方法，其特征在于，该特征超分辨率学习模块开始和结尾，分别具有尺寸为1×1的卷积层用于降低通道数和恢复通道数。4.如权利要求2所述的基于特征图恢复的场景分割方法，其特征在于，根据该上采样特征图与该原始特征图的L2距离，构建损失函数：式中LL2为该上采样特征图与该原始特征图的L2距离，fup为该上采样特征图，f为该原始特征图，该损失函数用于优化该场景分割结果。5.如权利要求2所述的基于特征图恢复的场景分割方法，其特征在于，将该特征超分辨率学习模块插入到特征学习网络中，并进行端对端的训练。6.如权利要求4所述的基于特征图恢复的场景分割方法，其特征在于，使用两个回归损失函数，分别应用在特征学习网络，以恢复中间层的特征图并收集重建损失，其中回归损失函数为：其中分别是步骤1中特征学习网络的中间层特征图；分别是由超分辨率恢复模块产生的特征图；fb3，fb4分别是步骤2中特征学习网络的中间层特征图并作为期望恢复的特征图目标，用于得到辅助中间层监督的回归损失Laux1，Laux2。7.如权利要求6所述的基于特征图恢复的场景分割方法，其特征在于，该步骤1的损失函数为：L＝λ1LL2+λ2Ls+λ3(Laux1+Laux2)其中Ls为softmax损失函数，λ1、λ2和λ3是损失函数L中的权重。8.如权利要求7所述的基于特征图恢复的场景分割方法，其特征在于，采用边界区域重加权的方法增大边界区域的回归损失，以提升特征...

【专利技术属性】
技术研发人员：唐胜，张蕊，李锦涛，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11