一种图像实例分割方法及装置制造方法及图纸

本发明专利技术提供一种图像实例分割方法及装置，包括：获得图像多个层次的特征图；将所述多个层次的特征图中的至少两个层次的特征图融合获得检测共享特征图；将所述检测共享特征图输入到目标检测子网络，得到目标区域，所述目标为所述图像中的物体；将所述检测共享特征图和所述多个层次的特征图中的至少一个层次的特征图融合获得分割共享特征图；在所述目标区域中根据所述分割共享特征图对图像进行分割，获得实例分割结果。本发明专利技术实施例提高了目标检测和目标分割时的特征共享，使得目标检测检测任务与分割任务之间的信息传播的更加充分，有助于提高实例分割的速度和精度。

【技术实现步骤摘要】
一种图像实例分割方法及装置
本专利技术涉及图像处理
，尤其涉及一种图像实例分割方法及装置。
技术介绍
图像实例分割指的检测图像中的目标，并对所检测的目标进行分割的过程。现有图像实例分割的运算效率较低，例如，对于实时采集的视频图像进行图像实例分割时，为了确保显示效果，需要对实时采集的图像进行检测和分割，数据处理数量较多，需要较大的计算量。
技术实现思路
本专利技术实施例提供一种图像实例分割方法及装置，以解决图像实例分割在这些硬件水平相对较低的设备上的运行质量也相对较低的问题。为了解决上述技术问题，本专利技术是这样实现的：第一方面，本专利技术实施例提供了一种图像实例分割方法，包括以下步骤：获得图像多个层次的特征图；将所述多个层次的特征图中的至少两个层次的特征图融合获得检测共享特征图；将所述检测共享特征图输入到目标检测子网络，得到目标区域，所述目标为所述图像中的物体；将所述检测共享特征图和基准特征图融合获得分割共享特征图，其中，所述基准特征图为所述多个层次的特征图中的至少一个层次的特征图；根据所述目标区域分割所述分割共享特征图获得实例分割结果。可选的，所述获得图像多个层次的特征图，包括：将所述图像输入主干网络，获得所述多个层次的特征图；其中，所述主干网络包括：主干模块，包括卷积层和下采样层，所述主干模块用于提取图像第一层次的特征图；多个密集卷积模块，每一所述密集卷积模块包括稠密瓶颈层、卷积层和平均池化层，所述密集卷积模块用于提取图像第二层次的特征图和第三层次的特征图，其中，第一层次的特征图的复杂程度低于所述第二层次的特征图，所述第二层次的特征图的复杂程度低于所述第三层次的特征图；分类模块，包括平均池化层和全连接层，用于在数据集上训练得到预训练模型。可选的，所述多个层次的特征图包括顺次获得的五个层次的特征图，其中，后三个层次的特征图的尺寸相同；将所述多个层次的特征图中的至少两个层次的特征图融合获得检测共享特征图，包括：将所述多个层次的特征图中的后三个层次的特征图通过直连和卷积，得到所述检测共享特征图。将所述检测共享特征图和基准特征图融合获得分割共享特征图，包括：将所述检测共享特征图进行上采样后与基准特征图进行直连和卷积，得到分割共享特征图，其中，所述基准特征图为所述多个层次的特征图中的第二个层次的特征图。可选的，所述目标检测子网络包括区域推荐网络、位置敏感的候选区域池化模块和区域分类与回归模块；所述将所述检测共享特征图输入到目标检测子网络，得到目标区域，包括：将所述检测共享特征图输入至所述区域推荐网络，得到候选区域的评估结果，所述评估结果为所述候选区域是否包含所述目标的结果；根据包含所述目标的所述候选区域，通过非极大值抑制，得到目标候选区域；对所述检测共享特征图进行大尺度可分离卷积，得到目标检测特征图；利用所述位置敏感的候选区域池化模块，根据所述目标检测特征图对所述目标候选区域进行裁剪，得到所述候选目标区域的特征；根据候选目标区域的特征，通过所述区域分类与回归模块判断所述目标的类别，并通过回归优化所述候选区域的边界，并将优化后的所述候选区域作为目标区域。可选的，在所述目标区域中根据所述分割共享特征图对图像进行分割，获得实例分割结果，包括：根据所述目标区域对所述分割共享特征图进行裁剪，得到所述图像的目标区域特征；将所述目标区域特征输入至实例分割子网络，得到实例分割结果。可选的，所述实例分割子网络包括反卷积层，所述将所述目标区域特征输入至实例分割子网络，得到实例分割结果，包括：将所述目标区域特征输入到所述实例分割子网络，将所述反卷积层的输出结果作为目标语义特征，并得到每个目标区域的多类别掩膜输出，作为实例分割结果。第二方面，本专利技术实施例还提供了一种图像实例分割装置，包括：特征提取模块，用于获得图像多个层次的特征图；第一融合模块，用于将所述多个层次的特征图中的至少两个层次的特征图融合获得检测共享特征图；目标检测模块，用于将所述检测共享特征图输入到目标检测子网络，得到目标区域，所述目标为所述图像中的物体；第二融合模块，用于将所述检测共享特征图和基准特征图融合获得分割共享特征图，其中，所述基准特征图为所述多个层次的特征图中的至少一个层次的特征图；实例分割模块，用于根据所述目标区域分割所述分割共享特征图获得实例分割结果。第三方面，本专利技术实施例还提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如以上任一项所述的图像实例分割方法的步骤。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上任一项所述的图像实例分割方法的步骤。本专利技术实施例将多个层次的特征图中的至少两个层次的特征图融合获得检测共享特征图，以进行目标检测，并将所述检测共享特征图和所述多个层次的特征图中的至少一个层次的特征图融合获得分割共享特征图，以进行目标实例分割，提高了目标检测和目标分割时的特征共享，使得目标检测检测任务与分割任务之间的信息传播的更加充分，有助于提高实例分割的速度和精度。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种图像实例分割方法的流程图；图2是本专利技术实施例提供的另一种图像实例分割方法的流程图；图3是本专利技术实施例图像实例分割模块结构的总体结构示意图；图4是本专利技术实施例图像主干网络的示意图；图5是本专利技术实施例双路降采样层的示意图；图6是本专利技术实施例稠密瓶颈层的示意图；图7是本专利技术实施例扩张瓶颈层的示意图；图8是本专利技术实施例目标检测子网络的结构示意图；图9是本专利技术实施例分离卷积运算的示意图；图10是本专利技术实施例分割子网络的结构示意图；图11是本专利技术实施例提供的一种图像实例分割装置的结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参见图1，图1是本专利技术实施例提供的一种图像实例分割方法的流程图，如图1所示，包括以下步骤：步骤101：获得图像多个层次的特征图。本实施例中，所获得的多个层次的特征图分别对应不同复杂程度的特征，其中，低层次的特征对应复杂程度相对较低的特征，例如图像中基础的点、线等。中、高层次的特征提取则对应复杂程度稍高的特征，例如中层次的特征用于描述图像中某一物体的轮廓，高层次的特征则可用于描述图像中的语义信息等。步骤102：将所述多个层次的特征图中的至少两个层次的特征图融合获得检测共享特征图。融合后所获得的检测共享特征图中的特征信息更加丰富，有利于提高目标检测的精度。可选的，在一个具体实施方式中，多个层次的特征图包括顺次获得的五个层次的特征图，其中，后三个层次的特征图的尺寸相同。该步骤102具体包括：将所述多个层次的特征图中的后三个层次的特征图通过直连本文档来自技高网...

【技术保护点】
1.一种图像实例分割方法，其特征在于，包括以下步骤：获得图像多个层次的特征图；将所述多个层次的特征图中的至少两个层次的特征图融合获得检测共享特征图；将所述检测共享特征图输入到目标检测子网络，得到目标区域，所述目标为所述图像中的物体；将所述检测共享特征图经上采样后与基准特征图进行融合，获得分割共享特征图，其中，所述基准特征图为所述多个层次的特征图中的至少一个层次的特征图；在所述目标区域中根据所述分割共享特征图对图像进行分割，获得实例分割结果。

【技术特征摘要】
1.一种图像实例分割方法，其特征在于，包括以下步骤：获得图像多个层次的特征图；将所述多个层次的特征图中的至少两个层次的特征图融合获得检测共享特征图；将所述检测共享特征图输入到目标检测子网络，得到目标区域，所述目标为所述图像中的物体；将所述检测共享特征图经上采样后与基准特征图进行融合，获得分割共享特征图，其中，所述基准特征图为所述多个层次的特征图中的至少一个层次的特征图；在所述目标区域中根据所述分割共享特征图对图像进行分割，获得实例分割结果。2.如权利要求1所述的图像实例分割方法，其特征在于，所述获得图像多个层次的特征图，包括：将所述图像输入主干网络，获得所述多个层次的特征图；其中，所述主干网络包括：主干模块，包括卷积层和下采样层，所述主干模块用于提取图像第一层次的特征图；多个密集卷积模块，每一所述密集卷积模块包括稠密瓶颈层、卷积层和平均池化层，所述密集卷积模块用于提取图像第二层次的特征图和第三层次的特征图；分类模块，包括平均池化层和全连接层，用于在数据集上训练得到预训练模型。3.如权利要求1所述的图像实例分割方法，其特征在于，所述多个层次的特征图包括顺次获得的五个层次的特征图，其中，后三个层次的特征图的尺寸相同；所述将所述多个层次的特征图中的至少两个层次的特征图融合获得检测共享特征图，包括：将所述多个层次的特征图中的后三个层次的特征图通过直连和卷积，得到所述检测共享特征图。4.如权利要求1所述的图像实例分割方法，其特征在于，将所述检测共享特征图和基准特征图融合获得分割共享特征图，包括：将所述检测共享特征图进行上采样后与基准特征图进行直连和卷积，得到分割共享特征图，其中，所述基准特征图为所述多个层次的特征图中的第二个层次的特征图。5.如权利要求1所述的方法，其特征在于，所述目标检测子网络包括区域推荐网络、位置敏感的候选区域池化模块和区域分类与回归模块；所述将所述检测共享特征图输入到目标检测子网络，得到目标区域，包括：将所述检测共享特征图输入至所述区域推荐网络，得到候选区域的评估结果，所述评估结果为所述候选区域是否包含所述目标的结果；根...

【专利技术属性】
技术研发人员：钱智明，刘洋，
申请(专利权)人：北京悉见科技有限公司，
类型：发明
国别省市：北京,11