一种基于精准尺度预测的图像语义分割方法及模型技术

本发明专利技术提供了一种基于精准尺度预测的图像语义分割方法及模型，对于原始图像，用深度卷积网络编码基础特征图；基础特征图上每个点编码了原始图像上以该点为中心的一个区域的语义及外观特征；将编码得到的基础特征图划分为K×K个区域，采用卷积层；根据预设的S个候选尺度，针对每个区域，利用卷积层及softmax归一化，预测每个区域属于每个预设尺度的概率，即尺度置信度Ps；根据设定的对象类别，在划分的K×K个区域中，利用卷积层及softmax归一化，预测每个区域属于每个对象类别的类别置信度Pc；基于预测的尺度置信度Ps，对各个区域进行语义分割。提高了尺度预测的精准性。并在精准的尺度预测结果上进行图像语义分割，提高了分割精度。

【技术实现步骤摘要】
一种基于精准尺度预测的图像语义分割方法及模型
本专利技术涉及一种基于精准尺度预测的图像语义分割方法及模型，涉及计算机视觉、图像语义分割、机器学习、神经网络领域。
技术介绍
近年来，基于深度卷积网络的图像语义分割方法已经成为解决图像分割问题最有力的武器。研究者们利用深度卷积网络编码各个对象的特征，基于编码的特征对各个对象进行分割及分类。该方式面临的主要问题是：图像中各个对象尺寸差异很大，该方式采用同一尺寸的卷积核对尺寸不一的对象进行编码，容易产生编码错误，进而导致分类错误、过分割、欠分割等现象。目前解决这一问题的技术主要有两类：基于多尺度融合的图像语义分割方法和基于弱监督尺度预测的图像语义分割方法。基于多尺度融合的图像语义分割方法将图像采样为不同尺度，然后用同一深度卷积网络在不同尺度的采样上编码特征，最后将多个尺度上得到的特征进行平均，以应对不同大小的对象。该方法仅仅简单的求取多尺度平均，并不能针对不同大小对象选择最适宜的图像分割尺度。不适宜的尺度上的结果将作为噪声干扰最终的分割结果。基于弱监督尺度预测的图像语义分割方法能够学习并预测每个对象适宜的分割尺度，进而在分割时为每个对象选取分本文档来自技高网...

【技术保护点】
1.一种基于精准尺度预测的图像语义分割方法，对于原始图像I，用深度卷积网络编码基础特征图F；基础特征图F上每个点编码了原始图像上以该点为中心的一个区域的语义及外观特征；将编码得到的基础特征图F划分为K×K个区域，采用卷积层；根据预设的S个候选尺度，针对每个区域，利用卷积层及softmax归一化，预测每个区域属于每个预设尺度的概率，即尺度置信度Ps；其中，s=1…S；根据设定的对象类别，在划分的K×K个区域中，利用卷积层及softmax归一化，预测每个区域属于每个对象类别的类别置信度Pc；其中，c=1…C，C为对象类别数；基于预测的尺度置信度Ps，采用软加权方式对各个区域进行语义分割。

【技术特征摘要】
1.一种基于精准尺度预测的图像语义分割方法，对于原始图像I，用深度卷积网络编码基础特征图F；基础特征图F上每个点编码了原始图像上以该点为中心的一个区域的语义及外观特征；将编码得到的基础特征图F划分为K×K个区域，采用卷积层；根据预设的S个候选尺度，针对每个区域，利用卷积层及softmax归一化，预测每个区域属于每个预设尺度的概率，即尺度置信度Ps；其中，s=1…S；根据设定的对象类别，在划分的K×K个区域中，利用卷积层及softmax归一化，预测每个区域属于每个对象类别的类别置信度Pc；其中，c=1…C，C为对象类别数；基于预测的尺度置信度Ps，采用软加权方式对各个区域进行语义分割。2.根据权利要求1所述的图像语义分割方法，采用软加权方式对各个区域进行语义分割的具体方法包括：对基础特征图F采样得到几个预设的候选尺度；然后，分别用卷积层及softmax归一化进行语义分割，得到不同候选尺度上的分割结果Ms；其中，s=1…S；最后对于每个区域，利用预测的尺度置信度Ps作为权重，对对应候选尺度上的分割结果进行加权平均，得到基于尺度的语义分割结果Mscale。3.根据权利要求2所述的图像语义分割方法，采用软加权方式对各个区域进行语义分割的具体方法还包括：将不同候选尺度上的分割结果采用到同一尺度后，再利用...

【专利技术属性】
技术研发人员：李宏亮，石恒璨，
申请(专利权)人：成都快眼科技有限公司，
类型：发明
国别省市：四川,51