实例分割模型的训练方法、实例分割方法、设备及介质技术

本申请公开了一种实例分割模型的训练方法、实例分割方法、设备及介质，训练方法在掩膜识别网络进行训练引入动态感兴趣区域特征对齐(DRA)，DRA按照包围框的长宽比将候选区域动态划分长度和宽度，并根据动态长度和动态宽度，对第一候选区域进行特征提取，实现第一候选区域在水平方向和垂直方向上采样均匀一致，避免在第一候选区域的较长边出现欠采样的情况，同时基于动态长度和动态宽度提取得到的掩膜数据，具有等比例缩放的特点，能够更好的表示细长目标的拓扑结构，有效避免细长目标出现畸变、扭曲和失真等情况，使得细长目标的分割结果更加精确，提高实例分割模型的适用范围。提高实例分割模型的适用范围。提高实例分割模型的适用范围。

【技术实现步骤摘要】
实例分割模型的训练方法、实例分割方法、设备及介质


[0001]本申请涉及计算机领域，尤其涉及一种实例分割模型的训练方法、实例分割方法、设备及介质。

技术介绍

[0002]实例分割是计算机领域的一项基础视觉识别任务，该任务包括目标检测和语义分割，通过定位和识别图像中的不同目标，并为每个目标分配一个单独类别的像素级掩膜。其中以Mask RCNN为代表的基于目标检测的自顶向下的二阶段实例分割方法具有较好的精度和可扩展性，该类方法一般利用检测器输出候选区域，再为每个候选区域预测出实例掩膜。
[0003]在预测实例掩膜过程中，采用感兴趣区域特征对齐(Region of Interest Align，RoI Align)的方式在特征金字塔(Feature Pyramid Network，FPN)网络上的特征图提取候选区域特征，并将不同尺寸的候选区域统一为固定尺寸M
×
M。但是基于固定尺寸的候选区域的特征提取方式在水平方向和竖直方向上进行相同间隔的采样策略，会导致难以提取到细长目标的有效候选区域特征；并且该类方法采用固定大小为K
×
2M
×
2M的小掩膜(Tiny Mask，TM)表示每个实例的拓扑结构，容易造成细长目标的几何特征失真。可见当前实例分割方法无法有效适用于细长目标的实例分割。

技术实现思路

[0004]本申请提供了一种实例分割模型的训练方法、实例分割方法、设备及介质，旨在解决现有实例分割方法存在适用范围小的问题。
[0005]为了解决上述技术问题，第一方面，本申请实施例提供了一种实例分割模型的训练方法，包括：
[0006]获取图像样本的标注数据和目标特征图，标注数据包括包围框标注数据和掩膜标注数据，包围框标注数据包括包围框长宽比标注数据，目标特征图上对应有第一候选区域；
[0007]基于标注数据和目标特征图，对预设的细长目标实例分割模型中的包围框识别网络和掩膜识别网络进行迭代训练，直至细长目标实例分割模型达到预设收敛条件，停止训练，得到实例分割模型的最终训练结果；
[0008]其中每次对掩膜识别网络进行训练时，包括以下步骤：
[0009]基于包围框长宽比标注数据，确定目标特征图上的第一候选区域的动态长度和动态宽度；
[0010]利用掩膜识别网络，根据动态长度和动态宽度，对第一候选区域进行特征提取，得到第一候选区域的掩膜数据；
[0011]基于掩膜数据与掩膜标注数据之间的第一损失函数，更新掩膜识别网络的网络参数。
[0012]本实施例在掩膜识别网络进行训练引入动态感兴趣区域特征对齐(Dynamic Region of Interest Align，DRA)，DRA按照包围框的长宽比将候选区域动态划分长度和宽
度，并根据动态长度和动态宽度，对第一候选区域进行特征提取，实现第一候选区域在水平方向和垂直方向上采样均匀一致，避免在第一候选区域的较长边出现欠采样的情况，同时基于动态长度和动态宽度提取得到的掩膜数据，具有等比例缩放的特点，能够更好的表示细长目标的拓扑结构，有效避免细长目标出现畸变、扭曲和失真等情况，使得细长目标的分割结果更加精确，提高实例分割模型的适用范围。
[0013]在一实施例中，基于包围框长宽比标注数据，确定目标特征图上的第一候选区域的动态长度和动态宽度，包括：
[0014]基于预设超参数和包围框长宽比标注数据，确定目标特征图上的第一候选区域的动态长度和动态宽度，预设超参数用于设定候选区域特征的总像素数。
[0015]在一实施例中，利用掩膜识别网络，根据动态长度和动态宽度，对第一候选区域进行特征提取，得到第一候选区域的掩膜数据，包括：
[0016]根据动态长度和动态宽度，对第一候选区域进行特征提取，得到第一候选区域特征；
[0017]利用预设的双层图卷积神经网络，根据第一候选区域特征，提取第一候选区域的图卷积特征，得到第一候选区域的掩膜数据。
[0018]进一步地，利用预设的双层图卷积神经网络，根据第一候选区域特征，提取第一候选区域的图卷积特征，得到第一候选区域的掩膜数据，包括：
[0019]对第一候选区域特征进行下采样，得到下采样后的第一候选区域特征；
[0020]利用双层图卷积神经网络，对下采样后的第一候选区域特征进行线性变换，得到相似性邻接矩阵；
[0021]基于相似性邻接矩阵，提取第一候选区域的图卷积特征，得到第一候选区域的掩膜数据。
[0022]在一实施例中，每次对包围框识别网络进行训练时，包括以下步骤：
[0023]利用包围框识别网络，提取目标特征图上的第一候选区域的包围框特征；
[0024]基于包围框特征，识别第一候选区域的包围框类别、包围框坐标和包围框长宽比，得到第一候选区域的包围框数据；
[0025]基于包围框数据与包围框标注数据之间的第二损失函数，更新包围框识别网络的网络参数。
[0026]可选地，第二损失函数为：
[0027][0028]其中，L
cls
为Fast RCNN网络的包围框回归损失函数，L
reg
为Fast RCNN网络的包围框定位损失函数，L
r
为smooth L1损失函数，p
i
为包围框类别，为包围框标注数据中的包围框类别标注数据，t
i
为包围框坐标，为包围框标注数据中的包围框坐标标注数据，r
i
为包围框长宽比，为包围框长宽比标注数据，N
cls
为训练批次，N
reg
为候选区域数量，α和β为
平衡参数。
[0029]在一实施例中，预设收敛条件为细长目标实例分割模型的迭代次数达到预设次数或训练的损失值小于预设值。
[0030]在一实施例中，获取图像样本的标注数据和目标特征图，包括：
[0031]获取图像样本和图像样本的标注数据；
[0032]利用预设的骨干网络，提取图像样本的第一图像特征；
[0033]利用预设的特征金字塔网络，根据第一图像特征，输出多个不同分辨率的目标特征图；
[0034]利用预设的候选区域网络，预测目标特征图的第一候选区域。
[0035]第二方面，本申请实施例提供了一种实例分割方法，包括：
[0036]获取待分割图像的实例特征图，实例特征图上对应有第二候选区域；
[0037]基于预设的实例分割模型，对实例特征图上的第二候选区域进行实例分割，得到第二候选区域的包围框实例数据和掩膜实例数据，实例分割模型基于上述第一方面的训练方法训练得到。
[0038]在一实施例中，获取待分割图像的实例特征图，包括：
[0039]获取待分割图像；
[0040]利用预设的骨干网络，提取待分割图像的第二图像特征；
[0041]利用预设的特征金字塔网络，根据第二图像特征，输出多个不同分辨率的实例特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实例分割模型的训练方法，其特征在于，包括：获取图像样本的标注数据和目标特征图，所述标注数据包括包围框标注数据和掩膜标注数据，所述包围框标注数据包括包围框长宽比标注数据，所述目标特征图上对应有第一候选区域；基于所述标注数据和目标特征图，对预设的细长目标实例分割模型中的包围框识别网络和掩膜识别网络进行迭代训练，直至所述细长目标实例分割模型达到预设收敛条件，停止训练，得到所述细长目标实例分割模型的最终训练结果；其中每次对所述掩膜识别网络进行训练时，包括以下步骤：基于所述包围框长宽比标注数据，确定所述目标特征图上的第一候选区域的动态长度和动态宽度；利用所述掩膜识别网络，根据所述动态长度和所述动态宽度，对所述第一候选区域进行特征提取，得到所述第一候选区域的掩膜数据；基于所述掩膜数据与所述掩膜标注数据之间的第一损失函数，更新所述掩膜识别网络的网络参数。2.如权利要求1所述的实例分割模型的训练方法，其特征在于，所述利用所述掩膜识别网络，根据所述动态长度和所述动态宽度，对所述第一候选区域进行特征提取，得到所述第一候选区域的掩膜数据，包括：根据所述动态长度和所述动态宽度，对所述第一候选区域进行特征提取，得到第一候选区域特征；利用预设的双层图卷积神经网络，根据所述第一候选区域特征，提取所述第一候选区域的图卷积特征，得到所述第一候选区域的掩膜数据。3.如权利要求2所述的实例分割模型的训练方法，其特征在于，所述利用预设的双层图卷积神经网络，根据所述第一候选区域特征，提取所述第一候选区域的图卷积特征，得到所述第一候选区域的掩膜数据，包括：对所述第一候选区域特征进行下采样，得到下采样后的第一候选区域特征；利用所述双层图卷积神经网络，对所述下采样后的第一候选区域特征进行线性变换，得到相似性邻接矩阵；基于所述相似性邻接矩阵，提取所述第一候选区域的图卷积特征，得到所述第一候选区域的掩膜数据。4.如权利要求1所述的实例分割模型的训练方法，其特征在于，每次对所述包围框识别网络进行训练时，包括以下步骤：利用所述包围框识别网络，提取所述目标特征图上的第一候选区域的包围框特征；基于所述包围框特征，识别所述第一候选区域的包围框类别、包围框坐标和包围框长宽比，得到所述第一候选区域的包围框数据；基于所述包围框数据与所述包围框标注数据之间的第二损失函数，更新所述包围框识别网络的网络参数。5.一种实例分割方法，其特征在于，包括：获取待分割图像的实例特征图，所述实例特征图上对应有第二候选区域；基于预设的实例...

【专利技术属性】
技术研发人员：许慧青，陈旭，肖思恒，
申请(专利权)人：广东能源集团科学技术研究院有限公司，
类型：发明
国别省市：