一种基于深度信息引导的单目三维实例分割方法技术

本发明专利技术提出了一种基于深度信息引导的单目三维实例分割方法。该方法包括实例信息与深度信息获取模块和三维实例分割模块。实例信息与深度信息获取模块采用多任务网络，同时进行二维实例分割与深度估计，其中，在进行实例分割时，将深度估计分支中的深度特征引入，更进一步提升实例分割的准确性能。三维实例分割模块利用获取到实例信息与深度信息生成带有实例信息的三维点云，之后设计自适应点云过滤单元对点云中的噪声点进行过滤，实现对目标的单目三维实例分割。本发明专利技术的有益效果是：基于深度信息引导的单目三维实例分割方法在仅有RGB相机且缺乏3D实例分割数据标签的应用场景中，能够对场景目标进行准确的三维实例分割。能够对场景目标进行准确的三维实例分割。能够对场景目标进行准确的三维实例分割。

【技术实现步骤摘要】
一种基于深度信息引导的单目三维实例分割方法


[0001]本专利技术属于计算机视觉、深度学习领域，具体涉及一种基于深度信息引导的单目三维实例分割方法。

技术介绍

[0002]随着工业互联网的发展，生产车间逐渐走向智能化，而车间智能化的一个首要前提便是对车间场景目标的准确识别。三维实例分割作为场景目标识别的有效方法，不仅可以获取目标的类别信息，还可以获得到二维实例分割无法获取的三维空间位置信息，其显著提升了运动估计，距离测量等基础应用的准确性。正因为这些特性三维实例分割已经被广泛应用于自动驾驶，虚拟现实增强，机器人导航等领域。然而目前车间场景中的目标识别方法大多基于二维信息，很少有将三维信息应用于车间场景中。如果将三维实例分割引入生产车间，将有效提升车间安全监控，车间AGV导航避障等应用的准确性，因此研究车间内的三维实例分割是十分必要的。
[0003]然而由于智能车间场景的特殊性与复杂性，对智能车间场景目标的识别面临以下两方面的难题：
[0004](1)由于当前生产车间中，信息采集设备大多为RGB单目相机，其只能获取二维空间信息，无本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度信息引导的单目三维实例分割方法，其特征在于，包括如下步骤：S1.建立三维实例分割模型：所述三维实例分割模型包括实例信息与深度信息获取模块和三维实例分割模块；所述实例信息与深度信息获取模块，即多任务网络，包括编码模块与解码模块；所述编码模块由一个DLA34主干网络构成，用于对输入彩色图像进行特征提取，得到不同尺寸特征图；所述解码模块利用所述编码模块生成的不同尺寸特征图进行实例分割与深度估计，获取得到二维实例掩码与深度图像；所述三维实例分割模块，包括点云生成单元与自适应点云过滤单元；所述点云生成单元利用所述实例信息与深度信息获取模块生成的二维实例掩码与深度图像生成带有实例信息的三维点云；所述自适应点云过滤单元对所述点云生成单元生成的带有实例信息的三维点云进行自适应点云过滤处理得到准确的三维实例分割结果；S2.进行多任务网络的训练：将彩色、深度图和其对应的二维实例分割标签输入到所述多任务网络中，进行端到端的训练，得到训练后的多任务网络；S3.单目三维实例分割：将彩色图像输入训练后的多任务网络，得到二维实例掩码与深度图像，之后将二维实例掩码与深度图像输入三维实例分割模块生成最终三维实例分割结果。2.根据权利要求1所述的一种基于深度信息引导的单目三维实例分割方法，其特征在于，所述的解码模块包括深度估计分支与二维实例分割分支；所述深度估计分支利用反卷积操作对所述编码模块中生成的不同尺寸特征图中下层特征进行上采样操作对特征尺寸进行调整，之后将上层特征进行卷积操作用于对通道数量进行调整，并将调整后的两种特征进行元素相加的融合处理，生成融合后的特征，如此迭代三次获得三层融合后的特征，最后将最上层特征再次进行反卷积操作生成相较于输入彩色图像大小的深度图像，此外，将最上层特征作为深度特征传入二维实例分割分支中用于辅助预测二维实例掩码；所述二维实例分割分支利用所述编码模块生成的不同尺寸特征图中的第0层特征与所述深度估计分支传入的深度特征共同确定目标的边界，生成二维实例掩码。3.根据权利要求2所述的一种基于深度信息引导的单目三维实例分割方法，其特征在于，所述二维实例分割分支包括初始边界生成模块，边界偏移量获取模块，边界形变模块，其中二维实例分割分支利用初始边界生成模块生成目标初始边界，并迭代执行边界偏移量获取模块与边界形变模型对初始边界进行形变，生成预测边界以拟合真实目标边界；所述初始边界生成模块利用所述编码模块生成的不同尺寸特征图进行特征上采样处理与目标检测框的预测，生成包含高级语义信息的特征与目标检测框，即目标初始边界；所述边界偏移量获取模块利用所述初始边界生成模块生成的包含高级语义信息的特征与所述深度估计分支传入的深度特征共同确定边界偏移量，用于对初始边界进行调整；所述边界形变模块利用所述边界偏移量获取模块生成的边界偏移量对初始边界进行元素相加的调整操作，以拟合真实目标边界。4.根据权利要求3所述的一种基于深度信息引导的单目三维实例分割方法，其特征在于，所述的边界偏移量获取模块包括两个偏移量预测网络与偏移权重获取单元；利用偏移权重获取单元生成的偏移权重对两个偏移量预测网络预测的偏移量进行加权求和生成边
界偏移量，以上边界形变模块中的操作用以下公式表示为：式中，offset
All
表示边界偏移量，分别表示两种模态特征各自的偏移权重，offset
RGB
，offset
Depth
分别表示两种模态各自的偏移量；所述两个偏移量预测网络为两个具有相同结构的子网络，分别用于预测彩色，深度两种模态特征各自的偏移量；所述子网络包括特征提取模块，特征融合模块与预测模块；特征提取模块分别对所述初始边界生成模块生成的包含高级语义信息的特征与深度特征进行进一步特征提取，得到偏移量特征；所述特征融合模块对得到的偏移量特征进行融合，得到融合后的特征；所述预测模块利用融合后的特征进行偏移量的预测；所述偏移权重获取单元利用所述特征融合模块生成的融合后的特征，生成两种模态特征各自的偏移权重。5.根据权利要求4所述的一种基于深度信息引导的单目三维实例分割方法，其特征在于，所述偏移权重获取单元首先将所述特征融合模块生成的两种模态各自的融合后的特征按照通道维度进行拼接融合，生成拼接后的特征；将拼接后的特征传入注意力模块，获取得到两种模态各自的初始权重；将两种模态各自的初始权重按照通道维度进行拼接融合，并进行Softmax操作对权重进行归一化处理，获得归一化后的偏移权重向量；最后对归一化后的偏移权重向量进行拆分处理，获取得到彩色模态与深度模态各自的偏移权重：上述偏移权重获取单元中的操作用以下公式表示为：Weight
RGB
＝WA
RGB
(Concat(RGB
in
，Depth
in
))Weight
Depth
＝WA
Depth
(Concat(RGB
in
，Depth
in
))Weight
All
＝Softmax(Concat(Weight
RGB
，Weight
Detph
)))...

【专利技术属性】
技术研发人员：陈光柱，唐在作，缪镇莲，
申请(专利权)人：成都理工大学，
类型：发明
国别省市：