【技术实现步骤摘要】
一种两阶段多模态三维实例分割方法
[0001]本专利技术属于计算机视觉、深度学习领域，具体涉及一种两阶段多模态三维实例分割方法。
技术介绍
[0002]随着工业互联网的兴起，制造业逐渐向智能化方向发展。智能车间是制造过程中的重要组成部分，场景感知程度是其智能化水平的重要指标。作为一种有效的场景感知方法，三维实例分割方法可以通过生成三维对象边界以获得二维实例分割方法无法获得的对象类别信息和目标空间位置信息。此外，三维实例分割已应用于自动驾驶、机器人导航和虚拟/增强现实等领域。然而，智能车间中的大多数应用仅基于二维场景感知。因此，研究智能车间场景中的三维实例分割方法具有重要意义。然而由于智能车间场景的特殊性与复杂性，对智能车间场景目标的识别面临以下两方面的难题：（1）由于智能车间场景下三维信息采集困难，三维标签标注成本极高，因此在缺少三维实例分割标签的情况下，实现对智能车间场景目标准确的三维实例分割是难以避免的难题；（2）智能车间场景中生产线上存在大量相同的机床，它们具有相似的色彩特征与形状特征，导致现有识别方法难以区分他们的边...
【技术保护点】
【技术特征摘要】
1.一种两阶段多模态三维实例分割方法，其特征在于，包括如下步骤：S1.建立智能车间目标实例分割数据集：所述智能车间目标实例分割数据集中目标种类包括人、机器人、普通车床、数控车床、普通铣床、数控铣床、踏板七类，数据集中图像类型包含彩色图、深度图和对应的实例分割图像数据标签；S2.建立三维实例分割模型：所述三维实例分割模型包括二维先验信息获取模块与三维实例分割模块；所述二维先验信息获取模块即RGBD多模态融合二维实例分割网络，包括多模态特征融合主干网络、特征金字塔模块与网络预测头部；所述多模态特征融合主干网络用于将彩色图与深度图两种模态的特征进行融合，生成不同尺寸大小特征；所述特征金字塔模块用于对所述多模态特征融合主干网络生成的不同尺寸大小特征进行融合处理，得到多尺寸融合后的特征；所述网络预测头部，利用所述特征金字塔模块生成的多尺寸融合后的特征进行二维实例区域的预测；所述三维实例分割模块，包括点云生成单元与点云过滤单元；所述点云生成单元利用所述网络预测头部生成的二维实例区域结合深度图像生成带有实例信息的点云；所述点云过滤单元对所述点云生成单元生成的带有实例信息的点云进行过滤处理得到准确的三维实例分割结果；S3.进行RGBD多模态融合二维实例分割网络训练：将彩色图，深度图与其对应的实例分割图像数据标签输入到所述RGBD多模态融合二维实例分割网络中进行端到端的训练，得到训练后的RGBD多模态融合二维实例分割网络；S4.三维实例分割：将待测图片输入到训练后的RGBD多模态融合二维实例分割网络，得到二维先验信息即二维实例区域，将二维先验信息与深度图输入三维实例分割模块中生成三维实例分割结果。2.根据权利要求1所述的一种两阶段多模态三维实例分割方法，其特征在于，所述的RGBD多模态融合二维实例分割网络训练采用了针对深度图的数据增强策略；所述针对深度图的数据增强策略，首先构建由三角形，矩形，圆形组成的掩码形状池，和由缩放，旋转，拉伸组成的掩码操作池，之后随机从掩码形状池中选择随机数量的掩码形状，再从掩码操作池中随机选择掩码操作对掩码进行处理，最后利用处理后的掩码对深度图进行遮盖处理，抹除深度图上掩码对应位置的深度值。3.根据权利要求1所述的一种两阶段多模态三维实例分割方法，其特征在于，所述多模态特征融合主干网络由两路ResNet
‑
50主干网络与四个特征融合模块构成；所述两路ResNet
‑
50主干网络分别用于提取彩色特征与深度特征，并在其第一至第四特征提取层后将特征传入四个特征融合模块；所述四个特征融合模块对所述两路ResNet
‑
50主干网络提取出的彩色特征与深度特征进行特征融合处理。4.根据权利要求3所述的一种两阶段多模态三维实例分割方法，其特征在于，所述的四个特征融合模块具有相同的框架结构，包括特征校正单元与特征融合单元；所述特征校正单元首先利用深度特征校正模块对深度特征进行校正，之后将校正之后的深度特征与彩色特征拼接并利用全连接层获取得到两种模态特征各自的通道注意力向量，最后根据获取到的通道注意力向量采用元素相乘的方式对输入的彩色特征与深度特征中具有代表性的通道特征给予突出，并在突出处理后加入到对方模态中实现彩色特征与深
度特征的补充校正；所述特征融合单元首先将补充校正后的彩色特征与深度特征按照通道维度进行特征拼接，并利用卷积层获取得到两种模态各自空间注意力向量，之后根据获取得到的空间注意力向量采用元素相乘的方式对输入的彩色特征与深度特征中具有代表性的空间特征给予突出，最后将处理后的彩色特征与深度特征按照元素相加的方式进行融合。5.根据权利要求4所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。