一种基于方向角信息进行三维目标检测的方法技术

本发明专利技术公开了一种基于方向角信息进行三维目标检测的方法，其包括以下步骤:通过Depth‑RCNN对RGB‑D相机采集到的彩色图像和深度图像进行特征融合并经过支持向量机分类，得到2.5维检测框和对应的二维分割实例图；在得到的二维分割实例图上选取p1、p2、p3三个点，并根据限制条件进行优化；通过二维到三维的点云重建计算所提取的三个点在三维坐标系中的坐标确定初始化三维框的方向角；根据融合后的特征对初始化三维框进行回归。本发明专利技术通过深度信息与方向角信息的融合利用，在保证三维框的中心和长宽高的准确率同时提高了方向角估计的准确率，为提高三维目标的检测精度奠定了基础。

【技术实现步骤摘要】
一种基于方向角信息进行三维目标检测的方法
本专利技术是涉及一种基于方向角信息进行三维目标检测的方法，属于计算机视觉与图像处理

技术介绍
目标检测是指利用图像处理、模式识别、人工智能等技术，通过提取场景目标的不同特征信息，对相应目标进行检测，它是计算机视觉和图像处理的一个重要分支。传统的目标检测方法的研究大多仅基于RGB相机获取的二维光学图像，而现实世界是一个三维世界，当涉及到机器人导航、机器人避障、自动驾驶等应用场景时，二维检测由于缺少深度信息，无法提供目标在三维场景下的位置、大小、方向的原因而受到限制。因此，结合深度信息进行三维目标的检测显得十分重要。现有的三维检测分为基于2.5维信息和3维信息的两类检测方法，其中2.5维的方法是通过卷积网络分别提取颜色信息和深度信息特征或将深度信息编码为彩色信息的额外通道，然后建立模型将二维信息的结果转换到三维空间，如：Amodal3Det[1]算法，根据先验几何信息对三维框进行中心点和长宽高的初始化，并通过从卷积神经网络中提取的颜色信息和深度信息回归初始化三维框，由于该方法缺少对三维信息的数据利用，以致基于2.5维信息的检测方法均将方本文档来自技高网...

【技术保护点】
1.一种基于方向角信息进行三维目标检测的方法，其特征在于，包括以下步骤:S1：通过Depth‑RCNN对RGB‑D相机采集到的彩色图像和深度图像进行特征融合并经过支持向量机分类，得到2.5维检测框和对应的二维分割实例图；S2：在得到的二维分割实例图上选取p1、p2、p3三个点，并根据排除不确定点、增加计算信息、修正误判点3个限制条件对p1、p2、p3三个点的信息进行优化；S3：通过二维到三维的点云重建计算所提取的三个点在三维坐标系中的坐标，根据三个点的坐标确定方向角θ，并将该方向角θ作为初始化三维框的方向角；S4：将彩色图像和深度图像分别通过VGG‑16计算特征图，再通过二维候选框和上下文信息...

【技术特征摘要】
1.一种基于方向角信息进行三维目标检测的方法，其特征在于，包括以下步骤:S1：通过Depth-RCNN对RGB-D相机采集到的彩色图像和深度图像进行特征融合并经过支持向量机分类，得到2.5维检测框和对应的二维分割实例图；S2：在得到的二维分割实例图上选取p1、p2、p3三个点，并根据排除不确定点、增加计算信息、修正误判点3个限制条件对p1、p2、p3三个点的信息进行优化；S3：通过二维到三维的点云重建计算所提取的三个点在三维坐标系中的坐标，根据三个点的坐标确定方向角θ，并将该方向角θ作为初始化三维框的方向角；S4：将彩色图像和深度图像分别通过VGG-16计算特征图，再通过二维候选框和上下文信息候选框从ROIpooling层中提取特征进行通道融合，并根据融合后的特征对初始化三维框进行回归。2.根据权利要求1所述的方法，其特征在于，步骤S1中得到2.5维检测框的步骤是：先对RGB-D相机采集到的彩色图像和深度图像进行边缘检测，再通过MCG算法利用边缘检测的信息生成2.5维检测框。3.根据权利要求1所述的方法，其特征在于，步骤S2选取的p1、p2、p3三个点分别为二维分割实例图中的：c最小中r最大的点、r最大中c最小的点、c最大中r最大的点，其中的r、c分别代表二维分割实例图中像素点的行值或列值。4.根据权利要求1所述的方法，其特征在于：步骤S2中所述的排除不确定点是针对目标在图片中显示不全的情况所设置的条件，即：通过对p1、p2、p3三个点的行、列值进行判断，若找到的三个点中存在两个点的行值与图片的横向尺寸值相同，或列值与图片的纵向尺寸值相同，则将方向角度初始化为0，...

【专利技术属性】
技术研发人员：方志军，赵华卿，高永彬，简佳雁，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：上海,31