一种基于卷积实现的图像全景分割预测优化方法技术

本发明专利技术公开了一种基于卷积实现的图像全景分割优化方法，该方法使用卷积网络为每一个检测出的实例物体预测遮挡优先级排序得分值，并以该遮挡优先级排序得分值为判断依据，优化全景分割中的预测过程，以处理在全景分割中存在的不同实例物体的遮挡问题。本发明专利技术使用了卷积层作为特征提取方法，实现了可自主学习的、与预测网络一体化的优化方法，其实现方法简单，可与原有预测网络在同一框架内实现，并且能够显著提高预测结果。

Prediction optimization method of image panoramic segmentation based on convolution

The present invention discloses an image panoramic segmentation optimization method based on convolution. The method uses convolution network to predict the occlusion priority ranking score value for each detected instance object, and optimizes the prediction process in panoramic segmentation based on the occlusion priority ranking score value to deal with the occlusion problem of different instance objects in panoramic segmentation. The invention uses convolution layer as feature extraction method, realizes the optimization method of autonomous learning and integration with prediction network. The realization method is simple, can be realized in the same framework as the original prediction network, and can significantly improve the prediction results.

【技术实现步骤摘要】
一种基于卷积实现的图像全景分割预测优化方法
本专利技术涉及计算机视觉
，尤其涉及一种基于卷积实现的遮挡优先级排序得分值预测的图像全景分割预测优化方法。
技术介绍
全景分割任务是近期提出的新视觉任务，在场景理解、无人驾驶中有着广泛的应用。其任务目标是对摄像机拍摄到的图像每个像素点，预测类别信息和实例ID信息。它相对于语义分割视觉任务，增加实例信息的预测；相对于实例分割视觉任务，增加了无定形区域(具有相似纹理或物质的区域，如草地，天空，道路)的预测。全景分割任务需要融合语义分割和实例分割的预测结果，目前现有方法中采用的是最简单的基于先验逻辑判断的方法，该方法虽然能够将语义分割和实例分割的预测结果融合成全景分割，但是存在较多误判的情况。而卷积神经网络具有较强的网络学习能力，如何通过卷积神经网络实现融合算法，目前缺少具体的实现方法。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种基于卷积实现的图像全景分割预测优化方法，本专利技术优化了现有的融合方法，提高预测准确度。本专利技术的目的是通过以下技术方案来实现的：一种基于卷积实现的图像全景分割预测优化方法，包括以下步骤：(1)使用语义分割网络预测stuff填充区域；(2)使用实例分割网络预测object实例区域；(3)使用基于卷积实现的遮挡优先级排序得分值预测算法，对不同实例的遮挡优先级排序得分值进行预测；(4)对实例分割网络预测的实例物体，以步骤3预测得到的遮挡优先级排序得分值为依据，从大到小进行排序，依次将每个实例物体对应的前景区域赋值到相应的全景分割的结果中，如果排序靠后的实例物体像素点位置已经被排序靠前的实例物体占用，则丢弃此类像素点；(5)将语义分割得到的stuff预测赋值到相应的全景分割的结果中，若有像素点被步骤4的实例物体占用，则丢弃此类像素点。最终得到全景分割的结果。进一步地，所述步骤3通过以下子步骤来实现：(3.1)将实例分割的结果投影到原图大小的特征图中，该特征图的维度是物体的类别数目，不同类别的实例预测结果会被映射到不同通道中。特征图初始化时取值为0，被映射的像素点取值为1。然后使用2层卷积核大小为3的卷积层对特征图进行变换，最后输出层级得分预测结果图。(3.2)对得到的类别排序预测得分结果，使用softmax函数进行归一化，即每个像素点的所有通道得分值相加为1；每个实例物体的排序得分由该实例物体所有像素点在对应的类别排序预测结果图上的得分平均计算得到。本专利技术的有益效果是，本专利技术使用卷积网络，实现了可学习的遮挡优先级排序得分预测算法，能够通过卷积神经网络实现遮挡关系的判断预测，其具有较高的准确度，显著提高预测结果。附图说明图1是基于卷积实现的全景分割优化方法流程图；图2是遮挡优先级排序得分预测算法流程图。具体实施方式下面根据附图和实施例详细说明本专利技术。本专利技术基于遮挡优先级排序得分预测算法的图像全景分割预测优化方法，包括以下步骤：步骤一：使用语义分割网络预测stuff填充区域如图1所示，使用公开的语义分割网络DeepLab，训练网络时，输入原始图像，监督信号是stuff的真实标注，其中非stuff区域设为背景类；在预测网络时，输入原始图像，输出每个像素点的stuff类别预测结果；步骤二：使用实例分割网络预测object实例区域如图1所示，使用公开的实例分割网络MaskRCNN，训练网络时，输入原始图像，监督信号是object实例框与实例分割区域；在预测网络时，输入原始图像，输出检测出的每个object实例检测框，及相应的实例分割区域；步骤三：使用基于卷积实现的遮挡优先级排序得分预测算法对不同实例的遮挡优先级得分值进行预测，方法流程如图2所示：将实例分割的结果投影到原图大小的特征图中，该特征图的维度是物体的类别数目，不同类别的实例预测结果会被映射到不同通道中。特征图初始化时取值为0，被映射的像素点取值为1。然后使用2层卷积核大小为3的卷积层对特征图进行变换，并使用softmax函数对其输出进行归一化，最后得到像素点层级得分预测结果图。在算法训练阶段，使用object语义分割标注作为监督信号；在算法预测阶段，每个实例物体的排序得分由该实例物体所有像素点在对应的遮挡优先级排序得分预测结果图上的得分平均计算得到，公式如下所示：其中，Si,j,cls表示在像素点(i,j)、类别为cls的排序得分，这里Si,j,cls是使用softmax函数进行归一化的，即每个像素点的所有通道得分值相加为1；i,j表示图像像素点的横轴、纵轴坐标，cls表示像素点类别。如果像素点属于实例物体的前景，则其取值为1，表示该像素点属于这一实例。这个实例物体的排序得分由该实例物体所有像素点的得分平均计算得到。步骤四：对实例分割网络预测的实例物体，以步骤三得到的优先级得分值为依据，从大到小进行排序，依次将每个实例物体对应的前景区域赋值到相应的全景分割的结果中，如果排序靠后的实例物体像素点位置已经被排序靠前的实例物体占用，则丢弃此类像素点；步骤五：将语义分割得到的stuff预测赋值到相应的全景分割的结果中，若有像素点被步骤四的实例物体占用，则丢弃此类像素点。最终得到全景分割的结果。本文档来自技高网...

【技术保护点】
1.一种基于卷积实现的遮挡优先级排序得分预测的图像全景分割预测优化方法，其特征在于，包括以下步骤：(1)使用语义分割网络预测stuff填充区域，得到原始图像每个像素点的stuff类别预测结果；(2)使用实例分割网络预测object实例区域，得到原始图像检测出的每个object实例检测框及相应的实例分割区域；(3)使用基于卷积实现的遮挡优先级排序得分值预测算法，对不同实例的遮挡优先级排序得分值进行预测；(4)对实例分割网络预测的实例物体，以步骤3预测得到的遮挡优先级排序得分值为依据，从大到小进行排序，依次将每个实例物体对应的前景区域赋值到相应的全景分割的结果中，如果排序靠后的实例物体像素点位置已经被排序靠前的实例物体占用，则丢弃此类像素点；(5)将语义分割得到的stuff预测赋值到相应的全景分割的结果中，若有像素点被步骤4的实例物体占用，则丢弃此类像素点。最终得到全景分割的结果。

【技术特征摘要】
1.一种基于卷积实现的遮挡优先级排序得分预测的图像全景分割预测优化方法，其特征在于，包括以下步骤：(1)使用语义分割网络预测stuff填充区域，得到原始图像每个像素点的stuff类别预测结果；(2)使用实例分割网络预测object实例区域，得到原始图像检测出的每个object实例检测框及相应的实例分割区域；(3)使用基于卷积实现的遮挡优先级排序得分值预测算法，对不同实例的遮挡优先级排序得分值进行预测；(4)对实例分割网络预测的实例物体，以步骤3预测得到的遮挡优先级排序得分值为依据，从大到小进行排序，依次将每个实例物体对应的前景区域赋值到相应的全景分割的结果中，如果排序靠后的实例物体像素点位置已经被排序靠前的实例物体占用，则丢弃此类像素点；(5)将语义分割得到的stuff...

【专利技术属性】
技术研发人员：姜伟，刘环宇，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33