基于受控像素嵌入表征显式交互的场景全景分割方法及系统技术方案

本发明专利技术公开一种基于受控像素嵌入表征显式交互的场景全景分割方法及系统，包括对输入模型的图像进行特征编码，对特征编码器的输出进行解码，得到像素语义表征和实例表征；从像素语义表征和实例表征中抽取总结出语义ROI的高维特征向量，实例ROI的高维特征向量，以及实例质心COI的高维特征向量；通过像素语义表征来回归语义分割结果，通过像素实例表征来回归实例质心热图；基于模型输出的以上结果，通过度量优化后模型输出的实例质心COI的高维特征向量与像素实例表征的相似度来进行实例分割，进而完成全景分割。保证优化后的EINet模型能够让像素的语义表征和实例个体的表征可控，并有效的增强原始的语义表征和实例表征，提升全景分割的质量。景分割的质量。景分割的质量。

Panoramic scene segmentation method and system based on controlled pixel embedded representation and explicit interaction

【技术实现步骤摘要】
基于受控像素嵌入表征显式交互的场景全景分割方法及系统


[0001]本专利技术属于计算机视觉图像分割领域，具体涉及一种基于受控像素嵌入表征显式交互的场景全景分割方法及系统。

技术介绍

[0002]图像分割作为计算机视觉领域中的一个基础且有着丰厚研究成果的任务，可以简单的分离为仅关注场景中前后景物体语义类别的语义分割任务和仅关注场景中作为前景出现的物体的类别以及该物体实例观念的实例分割任务。长久以来，语义分割与实例分割任务的研究都是分离进行的。而在2018年，学术界新提出的一项用全景分割任务将语义分割和实例分割统一了起来，自此学术界和工业界开始了对全景分割任务的研究探索及应。全景分割确保场景中每一个像素拥有唯一的语义类别，且如果该类别为规定的前景类别，还需要为该像素指定唯一的实例ID。
[0003]从方法上区分，全景分割范式可以分为top
‑
down和bottom
‑
up两种。Top
‑
down的全景分割方案则是分别进行语义分割与实例分割，研究的重点在于如何在后处理过程中将像素的语义类别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于受控像素嵌入表征显式交互的场景全景分割方法，其特征在于，包括以下步骤：从训练数据集中随机采样出一个批次的图像数据，对输入图像进行下采样和特征编码，将经过特征编码的图像进行像素语义信息和实例个体信息的解码，得到像素的语义表征S和实例表征I；借助原始输入图像的真实全景分割标签，获得原始输入图像中的语义ROI、实例个体ROI以及实例个体质心COI，然后像素的语义表征S中凭借语义ROI抽取总结语义ROI的高维特征向量V，同时在像素的实例表征I中凭借实例个体ROI抽取总结实例ROI的高维特征向量E，并借助实例个体质心COI抽取总结实例质心COI的高维特征向量O；对语义表征S进行语义分割，得到模型输出的语义分割结果P；同时对实例表征I，进行实例质心热图回归，得到模型输出的实例质心热图H；基于实例表征I和实例质心热图H得到优化后的实例质心COI的高维特征向量O，再通过计算实例质心COI的高维特征向量O与像素实例表征I的相似度来进行实例分割，从而得到全景分割的结果。2.根据权利要求1所述的基于受控像素嵌入表征显式交互的场景全景分割方法，其特征在于，基于优化后的EINet模型，输出实例表征I，语义分割结果P与实例质心热图H，先基于所述实例表征I和实例质心热图H得到优化后的实例质心COI的高维特征向量O，再通过计算实例质心COI的高维特征向量O与像素实例表征I的相似度来进行实例分割，从而得到全景分割的结果；所述EINet模型包括卷积神经网络、带空洞池化金字塔特征解码器和特征金字塔的特征解码器、能生成语义分割结果的语义分割任务头以及用于回归实例质心热图的任务头，卷积神经网络用于对输入图像进行特征编码，一个带空洞池化金字塔特征解码器用于语义解码，得到像素的语义表征S；特征金字塔的特征解码器用于实例个体解码得到像素的实例表征I；所述EINet模型优化包括以下步骤：从训练数据集中随机采样出一个批次的图像数据，对输入图像进行下采样和特征编码，将经过特征编码的图像进行像素语义信息和实例个体信息的解码，得到像素的语义表征S和实例表征I；借助原始输入图像的真实全景分割标签，获得原始输入图像中的语义ROI、实例个体ROI以及实例个体质心COI，然后像素的语义表征S中凭借语义ROI抽取总结语义ROI的高维特征向量V，同时在像素的实例表征I中凭借实例个体ROI抽取总结实例ROI的高维特征向量E，并借助实例个体质心COI抽取总结实例质心COI的高维特征向量O；对语义表征S进行语义分割，得到模型输出的语义分割结果P；同时对实例表征I，进行实例质心热图回归，得到模型输出的实例质心热图H；基于语义ROI的高维特征向量V，实例ROI的高维特征向量E，实例质心COI的高维特征向量O和语义分割结果P与实例质心热图H，使用基于特征显式交互的优化函数，对模型进行优化更新，得到所述优化后的EINet模型。3.根据权利要求1或2所述的基于受控像素嵌入表征显式交互的场景全景分割方法，其特征在于，基于实例表征I和实例质心热图H得到实例质心COI的高维特征向量O，再通过计
算实例质心COI的高维特征向量O与像素实例表征I的相似度来进行实例分割，从而得到全景分割的结果具体如下：基于优化的模型，输出实例质心热图H与实例表征I，先从实例质心热图H中解析出实例个体的实际坐标位置，然后抽取所述实际坐标位置的COI高维特征向量，绑定实例个体的ID和其对应的COI高维特征向量，构成实例质心表征字典M；基于优化的模型，输出优化后的语义分割结果P，先用语义分割结果P中属于前景类别的像素构成待实例分割的像素集合，再通过度量待实例分割像素集合中每个像素的实例表征与实例质心表征字典中每个实例ID对应高维特征向量的距离，为待实例分割的像素集合中的每个像素分配实例ID，以此从语义分割结果中剥离出实例个体完成前景类物体的实例分割，从而得到最终的全景分割结果。4.根据权利要求1或2所述的基于受控像素嵌入表征显式交互的场景全景分割方法，其特征在于，从训练数据集中随机采样出一个批次的图像数据，对输入图像进行下采样和特征编码，将经过特征编码的图像进行像素语义信息和实例个体信息的解码，得到像素的语义表征S和实例表征I，具体实现方法如下：S101，使用四组不同降采样倍率的卷积block对输入模型的图像进行像素特征编码；S102，使用双分支的特征解码器对像素编码特征进行解码，包括一路基于空洞池化金字塔模组的语义解码分支和一路基于金字塔式上采样的实例个体解码分支，并在两条分支进行解码时，分别通过跨越式连接使用了编码模块给予的高分辨率特征，最终得到像素的语义表征S和实例表征I。5.根据权利要求1或2所述的基于受控像素嵌入表征显式交互的场景全景分割方法，其特征在于，借助原始输入图像的真实全景分割标签，获得原始输入图像中的语义ROI、实例个体ROI以及实例个体质心COI，然后像素的语义表征S中凭借语...

【专利技术属性】
技术研发人员：王进军，孟荣业，邓烨，黄文丽，周三平，万星宇，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：