一种实例分割方法及装置、电子设备、存储介质制造方法及图纸

本公开实施例公开了一种实例分割方法，该方法包括：获取图像的一个以上建议区域，以及每个建议区域的特征，将每个建议区域的特征输入至包含N个层级的预测网络中，进行N级物体框预测和物体框中的掩膜预测，输出得到图像的实例分割的结果。通过实施上述方案，提高了实例分割的准确率。

【技术实现步骤摘要】
一种实例分割方法及装置、电子设备、存储介质
本公开涉及图像处理
，尤其涉及一种实例分割方法及装置、电子设备、存储介质。
技术介绍
图像的实例分割，是计算机视觉中的一个基本任务，广泛地应用于人脸检测、移动娱乐应用和自动驾驶中，物体检测要求用矩形框定位物体并且预测类别，而实例分割则更具有挑战性，要求定位出属于该物体的像素点，即用掩膜来表示该物体。一般地，在实例分割算法MaskR-CNN中，先用卷积神经网络提取图片的特征图，然后再用区域提议网络得到图片的若干个建议区域，对每个建议区域通过ROIAlign在图片的特征图的基础上提取每个建议区域的特征，然后经过两个分支，分别预测物体框和物体框中的掩膜；然而，由于每个分支预测物体框和物体框中的掩膜的能力有限，导致实例分割的准确率较低。
技术实现思路
本公开实施例期望提供一种实例分割方法及装置、电子设备、存储介质，旨在提高实例分割的准确率。本公开实施例的技术方案是这样实现的：本公开实施例提供了一种实例分割方法，包括：获取图像的一个以上建议区域，以及每个建议区域的特征；将所述每个建议区域的特征输入至包含N个层级的预测网络中，进行N级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果；其中，N为大于等于2的正整数。在上述方案中，所述将所述每个建议区域的特征输入至包含N个层级的预测网络中，进行N级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果，包括：将所述每个建议区域的特征输入至包含N个层级的预测网络中，分别进行N级物体框预测和物体掩膜预测，得到所述每个建议区域的物体框和所述每个建议区域的物体框中的掩膜。在上述方案中，所述将所述每个建议区域的特征输入至包含N个层级的预测网络中，进行N级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果，包括：将所述每个建议区域的特征输入至包含N个层级的预测网络中，每一级按照先物体框预测后物体框中的掩膜预测的顺序，进行N级物体框预测和物体框中的掩膜预测，得到所述每个建议区域的物体框和所述每个建议区域的物体框中的掩膜。在上述方案中，所述将所述每个建议区域的特征输入至包含N个层级的预测网络中，进行N级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果，包括：获取所述每个建议区域的第i-1级物体框，并从所述每个建议区域的第i-1级物体框中提取特征；根据从所述每个建议区域的第i-1级物体框中提取出的特征，进行第i级物体框预测和第i级物体框中的掩膜预测，得到所述每个建议区域的第i级物体框和第i级物体框中的掩膜；i更新为i+1，返回至所述获取所述每个建议区域的第i-1级物体框，并从所述每个建议区域的第i-1级物体框中提取特征；直至得到所述每个建议区域的第N级物体框和第N级物体框中的掩膜，将所述每个建议区域的第N级物体框和第N级物体框中的掩膜，作为所述图像的实例分割的结果；其中，i大于等于1小于等于N；当i＝1时，从所述每个建议区域的第i-1级物体框中提取出的特征为所述每个建议区域的特征。在上述方案中，所述根据从所述每个建议区域的第i-1级物体框中提取出的特征，进行第i级物体框中的掩膜预测，得到所述每个建议区域的第i级物体框中的掩膜，包括：当i>1时，获取所述每个建议区域的第i-1级物体框，以及获取所述每个建议区域进行第i-1级物体框中的掩膜预测的特征；根据从所述每个建议区域的第i-1级物体框中提取出的特征和所述每个建议区域进行第i-1级物体框中的掩膜预测的特征，进行特征融合得到第i级物体框中的掩膜预测的融合特征；根据所述第i级物体框中的掩膜预测的融合特征，进行所述每个建议区域的第i级物体框中的掩膜预测，得到所述每个建议区域的第i级物体框中的掩膜。在上述方案中，所述获取所述每个建议区域进行第i-1级物体框中的掩膜预测的特征，包括：对从所述每个建议区域的第i-1级物体框中提取出的特征进行特征变换，得到所述每个建议区域的第i-1级物体框中的掩膜预测的中间特征；对所述第i-1级物体框中的掩膜预测的中间特征进行特征编码，得到所述每个建议区域进行第i-1级物体框中的掩膜预测的特征。在上述方案中，在获取图像的一个以上建议区域，以及每个建议区域的特征之后，所述方法还包括：对所述图像的特征进行缩放和相加处理，得到处理后的图像的特征；对所述处理后的图像的特征进行特征变换，得到变换后的特征；对所述变换后的特征分别进行语义分割处理，得到所述图像的语义分割的特征。在上述方案中，所述根据从所述每个建议区域的第i-1级物体框中提取出的特征和所述每个建议区域进行第i-1级物体框中掩膜预测的特征，进行特征融合得到第i级物体框中的掩膜预测的融合特征，包括：根据所述图像的语义分割的特征、从所述每个建议区域的第i-1级物体框中提取出的特征和所述每个建议区域进行第i-1级物体框中掩膜预测的特征，进行特征融合得到所述第i级物体框中的掩膜预测的融合特征。在上述方案中，所述根据从所述每个建议区域的第i-1级物体框中提取出的特征，进行第i级物体框预测，得到所述每个建议区域的第i级物体框，包括：根据所述图像的语义分割的特征和从所述每个建议区域的第i-1级物体框中提取出的特征，进行特征融合，得到第i级物体框预测的融合特征；根据所述第i级物体框预测的融合特征，进行第i级物体框预测，得到所述每个建议区域的第i级物体框。本公开实施例提供了一种实例分割装置，所述实例分割装置包括：获取模块，用于获取图像的一个以上建议区域，以及每个建议区域的特征；预测模块，用于将所述每个建议区域的特征输入至包含N个层级的预测网络中，进行N级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果；其中，N为大于等于2的正整数。在上述语义分割装置中，所述预测模块，具体用于：将所述每个建议区域的特征输入至包含N个层级的预测网络中，分别进行N级物体框预测和物体掩膜预测，得到所述每个建议区域的物体框和所述每个建议区域的物体框中的掩膜。在上述语义分割装置中，所述预测模块，具体用于：将所述每个建议区域的特征输入至包含N个层级的预测网络中，每一级按照先物体框预测后物体框中的掩膜预测的顺序，进行N级物体框预测和物体框中的掩膜预测，得到所述每个建议区域的物体框和所述每个建议区域的物体框中的掩膜。在上述语义分割装置中，所述预测模块，包括：第一获取子模块，用于获取所述每个建议区域的第i-1级物体框，并从所述每个建议区域的第i-1级物体框中提取特征；第一预测子模块，用于根据从所述每个建议区域的第i-1级物体框中提取出的特征，进行第i级物体框预测和第i级物体框中的掩膜预测，得到所述每个建议区域的第i级物体框和第i级物体框中的掩膜；更新子模块，用于i更新为i+1，返回至所述获取所述每个建议区域的第i-1级物体框，并从所述每个建议区域的第i-1级物体框中提取特征；确定子模块，用于直至得到所述每个建议区域的第N级物体框和第N级物体框中的掩膜，将所述每个建议区域的第N级物体框和第N级物体框中的掩膜，作为所述图像的实例分割的结果；其中，i大于等于1小于等于N；当i＝1时，从所述每个建议区域的第i-1级物体框中提取出的特征为所述每个建议区域的特征。在上述语义分割装置中，第一预测子模本文档来自技高网...

【技术保护点】
1.一种实例分割方法，其特征在于，包括：获取图像的一个以上建议区域，以及每个建议区域的特征；将所述每个建议区域的特征输入至包含N个层级的预测网络中，进行N级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果；其中，N为大于等于2的正整数。

【技术特征摘要】
1.一种实例分割方法，其特征在于，包括：获取图像的一个以上建议区域，以及每个建议区域的特征；将所述每个建议区域的特征输入至包含N个层级的预测网络中，进行N级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果；其中，N为大于等于2的正整数。2.根据权利要求1所述的方法，其特征在于，所述将所述每个建议区域的特征输入至包含N个层级的预测网络中，进行N级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果，包括：将所述每个建议区域的特征输入至包含N个层级的预测网络中，分别进行N级物体框预测和物体掩膜预测，得到所述每个建议区域的物体框和所述每个建议区域的物体框中的掩膜。3.根据权利要求1所述的方法，其特征在于，所述将所述每个建议区域的特征输入至包含N个层级的预测网络中，进行N级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果，包括：将所述每个建议区域的特征输入至包含N个层级的预测网络中，每一级按照先物体框预测后物体框中的掩膜预测的顺序，进行N级物体框预测和物体框中的掩膜预测，得到所述每个建议区域的物体框和所述每个建议区域的物体框中的掩膜。4.根据权利要求1所述的方法，其特征在于，所述将所述每个建议区域的特征输入至包含N个层级的预测网络中，进行N级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果，包括：获取所述每个建议区域的第i-1级物体框，并从所述每个建议区域的第i-1级物体框中提取特征；根据从所述每个建议区域的第i-1级物体框中提取出的特征，进行第i级物体框预测和第i级物体框中的掩膜预测，得到所述每个建议区域的第i级物体框和第i级物体框中的掩膜；i更新为i+1，返回至所述获取所述每个建议区域的第i-1级物体框，并从所述每个建议区域的第i-1级物体框中提取特征；直至得到所述每个建议区域的第N级物体框和第N级物体框中的掩膜，将所述每个建议区域的第N级物体框和第N级物体框中的掩膜，作为所述图像的实例分割的结果；其中，i大于等于1小于等于N；当i＝1时，从所述每个建议区域的第i-1级物体框中提取出的特征为所述每个建议区域的特征。5.根据权利要求4所述的方法，其特征在于，所述根据从所述每个建议区域的第i-1级物体框中...

【专利技术属性】
技术研发人员：陈恺，庞江淼，王佳琦，熊宇，李晓潇，孙书洋，奉万森，刘子玮，石建萍，欧阳万里，吕健勤，林达华，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11