【技术实现步骤摘要】
一种语义实例重建方法、装置、设备及介质
[0001]本专利技术涉及三维视觉领域，特别涉及一种语义实例重建方法、装置、设备及介质。
技术介绍
[0002]深度相机等设备扫描三维真实场景时，由于遮挡、视角限制、光线不好等原因，扫描结果存在缺失。语义实例重建任务将三维语义理解与三维重建进行耦合，目的在于修复不完整的场景扫描结果，重建得到物体的完整几何形状、姿态以及类别信息，为三维场景理解提供基础，广泛应用于智能驾驶、机器人、虚拟现实、增强现实等领域。当前的语义实例重建方法大多是基于单模态的，主要可以分为两类：基于RGB图和基于三维点云。在基于RGB图的语义实例重建方法中，利用RGB图进行目标检测和实例重建，例如Mesh R
‑
CNN框架通过改进实例分割框架Mask R
‑
CNN，以增加网格预测分支来生成物体的重建网格，可以用RGB图实现目标检测、实例分割和物体网格预测，但是仅利用RGB图，会产生深度歧义，导致目标定位错误等情况。在基于三维点云的语义实例重建方法中，通过利用点云提供的几何信息可以提...
【技术保护点】
【技术特征摘要】
1.一种语义实例重建方法，其特征在于，包括：利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息；基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云；基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果。2.根据权利要求1所述的语义实例重建方法，其特征在于，所述利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，包括：利用Faster R
‑
CNN网络对目标场景的原始图像进行处理以得到目标物体的二维特征信息。3.根据权利要求2所述的语义实例重建方法，其特征在于，所述利用Faster R
‑
CNN网络对目标场景的原始图像进行处理以得到目标物体的二维特征信息，包括：利用Faster R
‑
CNN网络的卷积层对目标场景的原始图像进行特征提取，并通过激活函数输出第一预设数量个包括目标物体的位置信息和语义类别信息的二维特征信息。4.根据权利要求3所述的语义实例重建方法，其特征在于，所述基于所述第一特征信息预测所述目标物体的第一粗糙点云，包括：基于所述位置信息和所述语义类别信息，利用点生成网络预测所述目标物体的第一粗糙点云。5.根据权利要求4所述的语义实例重建方法，其特征在于，还包括：基于三维目标检测网络和三维物体重建网络构建包括所述第一目标检测网络、所述第二目标检测网络、所述点生成网络和所述预设形状生成网络的语义实例重建网络。6.根据权利要求5所述的语义实例重建方法，其特征在于，还包括：构建总损失函数，并利用所述总损失函数对所述语义实例重建网络进行训练，直到满足预设迭代次数，以得到训练后语义实例重建网络。7.根据权利要求6所述的语义实例重建方法，其特征在于，所述利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息，包括：利用VoteNet网络对所述目标场景的三维点云进行处理以得到所述目标物体的三维特征信息。8.根据权利要求7所述的语义实例重建方法，其特征在于，所述利用VoteNet网络对所述目标场景的三维点云进行处理以得到所述目标物体的三维特征信息，包括：利用VoteNet网络的PointNet网络对所述目标场景的三维点云进行特征提取得到三维点云特征；基于所述三维点云特征和三维点云坐标，并通过多层感知机网络得到所述目标物体的中心点坐标；基于所述中心点坐标和和所述三维点云特征，并通过多层感知机网络输出第二预设数量个包括所述目标物体的物体类别信...
【专利技术属性】
技术研发人员：卢丽华，魏辉，李茹杨，赵雅倩，李仁刚，
申请(专利权)人：山东海量信息技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。