本发明专利技术提供了一种实例分割模型构建方法、系统、电子设备及存储介质，属于自动驾驶图像处理的感知术领域。所述方法包括：采用自监督单目深度估计网络的训练框架训练单目深度估计模型；基于单目深度估计模型的FPN特征提取ResNeXt50骨干网络，并针对骨干网络进行组归一化和权重标准化处理得到预处理骨干网络；将特征金字塔网络添置于单目深度估计模型中；基于改进空间注意力构造深度信息引导模块；通过深度信息引导模块加载至特征金字塔网络与预处理骨干网络之间；根据金字塔特征修正感兴趣区域及合成固定区域以使构建目标实例分割模型。本申请可有效克服远距离目标和/或大尺寸目标的检测、分割因准确度不高、分割边界不清晰导致分割错误或失效的问题。晰导致分割错误或失效的问题。晰导致分割错误或失效的问题。
【技术实现步骤摘要】
实例分割模型构建方法、系统、电子设备及存储介质
[0001]本专利技术属于自动驾驶图像处理的感知
，具体地涉及一种实例分割模型构建方法、系统、电子设备及存储介质。
技术介绍
[0002]自动驾驶汽车的视觉感知系统涉及到包括目标检测、分类、分割、定位、目标跟踪、深度估计等在内的多个视觉任务。基于目标检测结果实现的目标运动预测、姿态估计是自动驾驶汽车碰撞规避控制、运动轨迹规划等功能实现的前提；在道路场景中目标检测、实例分割主要是判断目标类别属性，准确定位目标位置。一般道路场景主要可以划分为两个类别，即包含行人、不同类型的车辆等具体可数目标的thing类，以及包含纹理相似区域、难可计数区域的stuff类。实例分割可以看作是目标检测的拓展，主要针对的是thing类物体，实现在检测目标的基础上还要对数量不一的不同类别的目标进行一个逐像素的分割。不同于语义分割的是，实例分割中同一类别的目标需要被区分对待，且同一类别的目标数量又是变动的，因而不能简单地通过一个类似语义分割的逐像素分类的思路解决实例分割问题，如图1所示不同场景的感知任务比较，图1(a)原始图像，图1(b)语义分割处理的图像，图1(c)目标检测处理的图像，图1(d)实例分割处理的图像。
[0003]以自动驾驶常见的道路场景为例，密集分布的远距离和/或大尺寸的人群、车辆等目标的实例分割有时会因图像局部纹理接近或而出现分割边界不清晰甚至分割错误、失效，如图2所示实例分割时效的情况，图2(a)原始图像及其局部放大，图2(b)实例分割结果及其局部放大。相比于从单一的二维图像信息中学习目标所在区域分割掩模及检测框位置、大小，随着基于深度学习的图像处理引入的深度特征中，不同物体在三维场景中的位置都是可区分的，纹理相近但深度值差异较大的区域必然不属于同一个物体。特别是在道路环境中有遮挡关系的车辆队列、行人等场景的深度估计信息将能够对实例分割任务起到进一步引导和辅助作用。然而，现有相关研究中，少有研究关注深度估计信息对于实例分割模型性能提升的可行性与有效性。
[0004]因此，如何将深度估计信息引导应用于实施分割，以克服远距离目标和/或大尺寸目标的检测、分割因准确度不高、分割边界不清晰导致分割错误或失效的问题，一直是本领域技术人员亟待解决的课题。
技术实现思路
[0005]为了解决上述技术问题，本专利技术提供了一种实例分割模型构建方法、系统、电子设备及存储介质。
[0006]第一方面，该专利技术提供了一种实例分割模型构建方法，包括：
[0007]采用自监督单目深度估计网络的训练框架训练单目深度估计模型；
[0008]基于所述单目深度估计模型的FPN特征提取ResNeXt50骨干网络，并针对所述骨干网络进行组归一化和权重标准化处理，得到预处理骨干网络；
[0009]将特征金字塔网络添置于所述单目深度估计模型中；
[0010]基于改进空间注意力构造深度信息引导模块；
[0011]通过所述深度信息引导模块加载至所述特征金字塔网络与所述预处理骨干网络之间，以使将所述预处理骨干网络提取到的深度信息沿所述特征金字塔网络的上采样、融合通道体现至不同尺度的金字塔特征中；
[0012]根据具有所述深度信息的所述金字塔特征修正感兴趣区域及合成固定区域，并结合所述单目深度估计模型，以使构建目标实例分割模型。
[0013]较佳地，所述自监督单目深度估计网络包括单目深度估计网络和位姿估计网络，其中，所述单目深度估计网络的主干网络采用标准ResNet
‑
50网络。
[0014]较佳地，所述单目深度估计网络分别在阶段4、3、2、1上通过深度估计预测头生成多尺度相对深度的特征图，其中所述相对深度的范围在0～1。
[0015]较佳地，所述标准ResNet
‑
50网络的解码器包括系列上采样和融合跳跃连接的融合卷积；所述位姿估计网络对所述标准ResNet
‑
50网络的编码器最后一层输出的特征图进行若干卷积、激活以预测两帧特征图之间的变换矩阵参数。
[0016]较佳地，所述特征金字塔网络在所述ResNeXt50骨干网络的四层layer1、layer2、layer3、layer4的输出F1、F2、F3、F4基础上通过通道变换、上采样融合生成通道数均为C
out
的一组金字塔特征，并在所述ResNeXt50骨干网络最后一层输出的基础上增加一输出P5。
[0017]较佳地，所述深度信息引导模块用于对来自所述ResNeXt50骨干网络的特征和来自所述单目深度估计网络的特征进行线性变换，得到各自的子空间表示。
[0018]较佳地，所述深度信息引导模块中增加一可学习权重参数α，且在所述自监督单目深度估计网络训练开始时，α初始化为0，所述深度信息引导模块等价于所示ResNeXt50骨干网络的横向卷积。
[0019]第二方面，该专利技术提供了一种实例分割模型构建系统，包括：
[0020]训练模块，用于采用自监督单目深度估计网络的训练框架训练单目深度估计模型；
[0021]预处理模块，用于基于所述单目深度估计模型的FPN特征提取ResNeXt50骨干网络，并针对所述骨干网络进行组归一化和权重标准化处理，得到预处理骨干网络；
[0022]添置模块，用于将特征金字塔网络添置于所述单目深度估计模型中；
[0023]构造模块，用于基于改进空间注意力构造深度信息引导模块；
[0024]融合模块，用于通过所述深度信息引导模块加载至所述特征金字塔网络与所述预处理骨干网络之间，以使将所述预处理骨干网络提取到的深度信息沿所述特征金字塔网络的上采样、融合通道体现至不同尺度的金字塔特征中；
[0025]构建模块，用于根据具有所述深度信息的所述金字塔特征修正感兴趣区域及合成固定区域，并结合所述单目深度估计模型，以使构建目标实例分割模型。
[0026]第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的实例分割模型构建方法。
[0027]第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被
处理器执行时实现如第一方面所述的实例分割模型构建方法。
[0028]相比于现有技术，该专利技术提供的一种实例分割模型构建方法、系统、电子设备及存储介质，其有益效果如下：
[0029]1、采取在实例分割主干网络的特征金字塔生成的输入端增加多尺度的空间注意力模块，通过计算深度特征与实例分割骨架网络提取的特征间的相似性关系，借助深度信息对原始实例分割特征进行选择性加权，从而在实例分割主干网络提取到的金字塔特征中突出场景结构信息，为实例分割的大物体检测以及远距离目标检测、分割提供更多的辅助。
[0030]2、所构建的实例分割模型利用视觉深度信息，相比现有模型显著提升了远距离目标和/或大尺寸目标的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种实例分割模型构建方法，其特征在于，包括：采用自监督单目深度估计网络的训练框架训练单目深度估计模型；基于所述单目深度估计模型的FPN特征提取ResNeXt50骨干网络，并针对所述骨干网络进行组归一化和权重标准化处理，得到预处理骨干网络；将特征金字塔网络添置于所述单目深度估计模型中；基于改进空间注意力构造深度信息引导模块；通过所述深度信息引导模块加载至所述特征金字塔网络与所述预处理骨干网络之间，以使将所述预处理骨干网络提取到的深度信息沿所述特征金字塔网络的上采样、融合通道体现至不同尺度的金字塔特征中；根据具有所述深度信息的所述金字塔特征修正感兴趣区域及合成固定区域，并结合所述单目深度估计模型，以使构建目标实例分割模型。2.根据权利要求1所述的实例分割模型构建方法，其特征在于，所述自监督单目深度估计网络包括单目深度估计网络和位姿估计网络，其中，所述单目深度估计网络的主干网络采用标准ResNet
‑
50网络。3.根据权利要求2所述的实例分割模型构建方法，其特征在于，所述单目深度估计网络分别在阶段4、3、2、1上通过深度估计预测头生成多尺度相对深度的特征图，其中所述相对深度的范围在0～1。4.根据权利要求2所述的实例分割模型构建方法，其特征在于，所述标准ResNet
‑
50网络的解码器包括系列上采样和融合跳跃连接的融合卷积；所述位姿估计网络对所述标准ResNet
‑
50网络的编码器最后一层输出的特征图进行若干卷积、激活以预测两帧特征图之间的变换矩阵参数。5.根据权利要求1所述的实例分割模型构建方法，其特征在于，所述特征金字塔网络在所述ResNeXt50骨干网络的四层layer1、layer2、layer3、layer4的输出F1、F2、F3、F4基础上通过通道变换、上采样融合生成通道数均为C
【专利技术属性】
技术研发人员：田炜，余先旺，孙震，曹旭，林艺，
申请(专利权)人：南昌智能新能源汽车研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。