【技术实现步骤摘要】
一种基于图像修复的三维目标检测方法和系统
本专利技术涉及计算机视觉与图像处理
，尤其是涉及一种基于图像修复的三维目标检测方法和系统。
技术介绍
目标检测作为计算机视觉领域中必不可少的一个任务，其广泛应用于自动驾驶，医学图像分析，视频监控等领域。现今对于三维目标检测任务，使用深度学习框架的算法非常普遍，而深度学习网络需要使用大量的数据进行训练。目前的训练数据一般包括RGB图像、深度图像与激光雷达点云数据。基于RGB图像的三维目标检测方法因缺少三维几何信息，因此需要较多的先验信息来弥补，这些局限性使得运用这类方法的目标检测效果一直无法得到大幅提升。基于RGB-D的三维目标检测方法虽然利用了深度图中的三维信息，但信息使用率过少的原因，导致三维框定位存在很大的偏移。现有基于RGB图与雷达点云的三维目标检测方法虽然直接利用了三维的雷达点云信息，但由于激光雷达摄像机扫描到的点云仅得到了物体在摄像机视野范围内的点，因此对于背着单物体，其被遮挡部分点云存在大面积的丢失，物体的点云信息极不完整，而这些不完整的信息会导致三维目标检测框存在...
【技术保护点】
1.一种基于图像修复的三维目标检测方法，其特征在于，包括以下步骤：/nS1、获取三维目标的RGB图和雷达点云；/nS2、根据二维目标检测算法在RGB图上生成二维目标检测框，并且判断RGB图上的目标是否存在遮挡；/nS3、对于存在被遮挡目标的图片，采用实例分割算法进行实例分割得到目标被遮挡处的掩码，然后根据形态学闭运算计算目标的完整掩码；/nS4、将雷达点云通过相机矩阵转化为深度图，在深度图上将目标的被遮挡处去除，然后进行图像修复，修复完成后，根据目标的完整掩码，提取目标的深度图形式的深度信息；/nS5、根据目标的深度图形式的深度信息通过相机矩阵和参数将其转化为修复后点云；/...
【技术特征摘要】
1.一种基于图像修复的三维目标检测方法，其特征在于，包括以下步骤：
S1、获取三维目标的RGB图和雷达点云；
S2、根据二维目标检测算法在RGB图上生成二维目标检测框，并且判断RGB图上的目标是否存在遮挡；
S3、对于存在被遮挡目标的图片，采用实例分割算法进行实例分割得到目标被遮挡处的掩码，然后根据形态学闭运算计算目标的完整掩码；
S4、将雷达点云通过相机矩阵转化为深度图，在深度图上将目标的被遮挡处去除，然后进行图像修复，修复完成后，根据目标的完整掩码，提取目标的深度图形式的深度信息；
S5、根据目标的深度图形式的深度信息通过相机矩阵和参数将其转化为修复后点云；
S6、将修复后点云输入三维目标检测网络中进行三维目标检测。
2.根据权利要求1所述的一种基于图像修复的三维目标检测方法，其特征在于，所述的步骤S2中，二维目标检测框包含检测框的中心的位置和尺寸、检测框中检测目标的属于某类别的置信度与检测目标的类别，以及遮挡判断信息。
3.根据权利要求1所述的一种基于图像修复的三维目标检测方法，其特征在于，目标被遮挡处的掩码或目标的完整掩码为与图片像素大小一致的二维矩阵，矩阵单元为0和1。
4.根据权利要求1所述的一种基于图像修复的三维目标检测方法，其特征在于，所述的步骤S4中，深度图与RGB图为同一视角，同一区域，且尺寸大小相同。
5.根据权利要求1所述的一种基于图像修复的三维目标检测方法，其特征在于，所述的步骤S4中，图像修复的步骤包括进行未知像素的优先级计算，对于优先级高的像素在图像已知区域上进行相似度搜索，找到和待修复像素相似度最高的像素值进行填充，并更新待修复区域数值，重复上述步骤直至未知部分修复完成。
6.根据权利要求5所述的一种基于图像修复的三维目标检测方法，其特征在于，所述的优先级计算表达式为：
Pp＝E(p)*F(p)
式中，E(p)和F(p)的表达式如下：
式中，I为需要修复的图像，Ω为目标的被遮挡处区域...
【专利技术属性】
技术研发人员：黄勃，黄漫，高永彬，方志军，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。