一种跨阶段特征信息融合的实时实例分割方法及系统技术方案

本发明专利技术公开了一种跨阶段特征信息融合的实时实例分割方法及系统，所述方法包括：对SOLOv2模型进行改进，以缩减主干网络计算量、改善小目标漏分割和目标遮挡问题，得到实例分割模型；其中，所述实例分割模型包括基于位置注意力的跨阶段融合骨干网络、双向特征金字塔网络以及跨阶段掩码特征融合结构；对所述实例分割模型进行训练；利用训练好的实例分割模型对待分割的图像进行处理，得到对应的实例分割结果。本发明专利技术通过缩减主干网络计算量、改善小目标漏分割和目标遮挡问题，进一步提高了模型的整体分割精度。的整体分割精度。的整体分割精度。

【技术实现步骤摘要】
一种跨阶段特征信息融合的实时实例分割方法及系统


[0001]本专利技术涉及智慧交通
，特别涉及一种跨阶段特征信息融合的实时实例分割方法及系统。

技术介绍

[0002]作为智慧交通领域的重要组成部分，街道场景的实例分割在实时路况检测、交通规划优化、自动驾驶等方面具有广泛的应用前景。
[0003]实例分割是目标检测和语义分割的结合，能够提取更精确的图像目标信息。基于街道场景的实例分割是指利用计算机视觉技术，对街道场景中的各种交通工具、路标、建筑物、行人等各种目标进行识别和区分，并精确地将它们分割出来的过程。
[0004]基于深度学习的实例分割方法主要分为两阶段、单阶段和多阶段。两阶段和多阶段实例分割方法以较高的分割精度应用广泛，但这些模型很难处理实时性问题。单阶段实例分割方法通过并行地进行检测和分割，实现了分割精度和推理速度的相对平衡。街道场景对系统反馈的时效性要求较高，但目前大部分实例分割算法无法同时满足分割精度和实时性的要求。

技术实现思路

[0005]本专利技术提供了一种跨阶段特征信息融合的实时实例分割方法及系统，以解决目前现有的实例分割算法无法同时满足分割精度和实时性要求的技术问题。
[0006]为解决上述技术问题，本专利技术提供了如下技术方案：
[0007]一方面，本专利技术提供了一种跨阶段特征信息融合的实时实例分割方法，所述跨阶段特征信息融合的实时实例分割方法包括：
[0008]对SOLOv2模型进行改进，以缩减主干网络计算量、改善小目标漏分割和目标遮挡问题，得到实例分割模型；其中，所述实例分割模型包括基于位置注意力的跨阶段融合骨干网络、双向特征金字塔网络和跨阶段掩码特征融合结构；
[0009]对所述实例分割模型进行训练，得到训练好的实例分割模型；
[0010]利用训练好的实例分割模型对待分割的图像进行处理，得到实例分割结果。
[0011]进一步地，所述对SOLOv2模型进行改进，包括：
[0012]采用跨阶段融合结构改进SOLOv2模型原主干网络ResNet，缩减卷积层的参数量，重用特征图，以减少内存消耗，提高模型的训练效率；
[0013]采用Mish激活函数对Relu激活函数进行替换；
[0014]设计位置注意力插入残差块之间，以提取底层特征图的位置信息。
[0015]进一步地，所述对SOLOv2模型进行改进，还包括：
[0016]通过引入底层位置信息流与高层语义信息融合，设计双向特征金字塔网络TWFPN，以补充位置信息的缺失；
[0017]针对原网络FPN将特征层放大到同一尺寸后进行叠加的操作，将高层语义层P5进
行2倍上采样后与低一层的特征N4在通道维度进行拼接，并通过跨阶段8倍上采样对语义信息增强，设计跨阶段掩码特征融合结构，考虑计算量的同时将全局语义信息引入掩码特征分支，改善模型对小目标的检测与分割能力。
[0018]进一步地，所述对SOLOv2模型进行改进，还包括：
[0019]设计自适应最小损失函数匹配方法，包括：首先在函数L
Mask
中引入影响因子ε，自适应调整预测掩码的权重信息，提高实例分割精度；然后以sigmoid函数对类别和掩码损失进行归一化处理，通过求和运算综合两种损失；最后，对Loss进行比较，取最小损失进行网络训练；其中，L
Mask
、ε、Loss被定义为：
[0020][0021][0022]Loss＝sigmoid(L
Cate
)+sigmoid(λL
Mask
)
[0023]其中，L
Cate
代表类别损失函数，采用焦点损失进行计算，P是正样本集合，N
pos
是正样本数量，m
i
表示第i个特征点的预测掩码，g
i
表示第i个特征点的真实掩码，λ设置为3，C
PX
、C
PY
表示预测掩码中心点位置的横纵坐标，C
GX
、C
GY
表示真实标注中心点位置的横纵坐标。
[0024]另一方面，本专利技术还提供了一种跨阶段特征信息融合的实时实例分割系统，所述跨阶段特征信息融合的实时实例分割系统包括：
[0025]模型改进模块，用于对SOLOv2模型进行改进，以缩减主干网络计算量、改善小目标漏分割和目标遮挡问题，得到实例分割模型；其中，所述实例分割模型包括基于位置注意力的跨阶段融合骨干网络、双向特征金字塔网络和跨阶段掩码特征融合结构；
[0026]模型训练模块，用于对所述模型改进模块得到的实例分割模型进行训练，得到训练好的实例分割模型；
[0027]实例分割模块，用于利用经所述模型训练模块训练好的实例分割模型对待分割的图像进行处理，得到实例分割结果。
[0028]进一步地，所述模型改进模块具体用于：
[0029]采用跨阶段融合结构改进SOLOv2模型原主干网络ResNet，缩减卷积层的参数量，重用特征图，以减少内存消耗，提高模型的训练效率；
[0030]采用Mish激活函数对Relu激活函数进行替换；
[0031]设计位置注意力插入残差块之间，以提取底层特征图的位置信息。
[0032]进一步地，所述模型改进模块具体还用于：
[0033]通过引入底层位置信息流与高层语义信息融合，设计双向特征金字塔网络TWFPN，以补充位置信息的缺失；
[0034]针对原网络FPN将特征层放大到同一尺寸后进行叠加的操作，将高层语义层P5进行2倍上采样后与低一层的特征N4在通道维度进行拼接，并通过跨阶段8倍上采样对语义信息增强，设计跨阶段掩码特征融合结构，考虑计算量的同时将全局语义信息引入掩码特征分支，改善模型对小目标的检测与分割能力。
[0035]进一步地，所述模型改进模块具体还用于：
[0036]设计自适应最小损失函数匹配方法，包括：首先在函数L
Mask
中引入影响因子ε，自适应调整预测掩码的权重信息，提高实例分割精度；然后以sigmoid函数对类别和掩码损失进行归一化处理，通过求和运算综合两种损失；最后，对Loss进行比较，取最小损失进行网络训练；其中，L
Mask
、ε、Loss被定义为：
[0037][0038][0039]Loss＝sigmoid(L
Cate
)+sigmoid(λL
Mask
)
[0040]其中，L
Cate
代表类别损失函数，采用焦点损失进行计算，P是正样本集合，N
pos
是正样本数量，m
i
表示第i个特征点的预测掩码，g
i
表示第i个特征点的真实掩码，λ设置为3，C
PX
、C
PY
表示预测掩码中心点位置的横纵坐标，C
GX
、C
GY...

【技术保护点】

【技术特征摘要】
1.一种跨阶段特征信息融合的实时实例分割方法，其特征在于，包括：对SOLOv2模型进行改进，以缩减主干网络计算量、改善小目标漏分割和目标遮挡问题，得到实例分割模型；其中，所述实例分割模型包括基于位置注意力的跨阶段融合骨干网络、双向特征金字塔网络和跨阶段掩码特征融合结构；对所述实例分割模型进行训练，得到训练好的实例分割模型；利用训练好的实例分割模型对待分割的图像进行处理，得到实例分割结果。2.如权利要求1所述的跨阶段特征信息融合的实时实例分割方法，其特征在于，所述对SOLOv2模型进行改进，包括：采用跨阶段融合结构改进SOLOv2模型原主干网络ResNet，缩减卷积层的参数量，重用特征图，以减少内存消耗，提高模型的训练效率；采用Mish激活函数对Relu激活函数进行替换；设计位置注意力插入残差块之间，以提取底层特征图的位置信息。3.如权利要求2所述的跨阶段特征信息融合的实时实例分割方法，其特征在于，所述对SOLOv2模型进行改进，还包括：通过引入底层位置信息流与高层语义信息融合，设计双向特征金字塔网络TWFPN，以补充位置信息的缺失；针对原网络FPN将特征层放大到同一尺寸后进行叠加的操作，将高层语义层P5进行2倍上采样后与低一层的特征N4在通道维度进行拼接，并通过跨阶段8倍上采样对语义信息增强，设计跨阶段掩码特征融合结构，考虑计算量的同时将全局语义信息引入掩码特征分支，改善模型对小目标的检测与分割能力。4.如权利要求3所述的跨阶段特征信息融合的实时实例分割方法，其特征在于，所述对SOLOv2模型进行改进，还包括：设计自适应最小损失函数匹配方法，包括：首先在函数L
Mask
中引入影响因子ε，自适应调整预测掩码的权重信息，提高实例分割精度；然后以sigmoid函数对类别和掩码损失进行归一化处理，通过求和运算综合两种损失；最后，对Loss进行比较，取最小损失进行网络训练；其中，L
Mask
、ε、Loss被定义为：、ε、Loss被定义为：Loss＝sigmoid(L
Cate
)+sigmoid(λL
Mask
)其中，L
Cate
代表类别损失函数，采用焦点损失进行计算，P是正样本集合，N
pos
是正样本数量，m
i
表示第i个特征点的预测掩码，g
i
表示第i个特征点的真实掩码，λ设置为3，C
PX
、C
PY
表示预测掩码中心点位置的横纵坐标，C
GX
、C
GY
表示真实标注中心点位置的横纵坐标。5.一种跨阶段特征信息融合的实时实例分割...

【专利技术属性】
技术研发人员：刘丽，李云涛，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：