【技术实现步骤摘要】
基于有监督单目深度估计的虚拟点云三维目标检测方法
本专利技术属于目标检测
，尤其涉及一种基于有监督单目深度估计的虚拟点云三维目标检测方法。
技术介绍
目标检测技术是环境感知中最重要的任务之一，主要通过图像来感知目标物体的位置与类别。该技术被广泛应用于工业、交通、航天、医学等诸多领域。传统目标检测技术以二维检测为主，通过生成二维的检测框对目标物体的检测任务。为进一步提升感知水平，近年来许多研究工作将二维检测框推广到三维检测框，以获取更为详细的目标物体位姿状态。但由于图像信息本身无法提供距离信息，在以单一图像作为输入时的三维目标检测方法无法提供精确的位姿信息。目前，一些方法在硬件层面引入额外的传感器用于提升目标检测算法的感知能力，其主要包括摄像头、毫米波雷达、激光雷达等。其中，多摄像头方案通过多视角的手段提升检测精度，但容易受到光照条件影响；毫米波雷达则对金属物体较为灵敏，易出现感知过度的情况，并不适合大范围的环境感知；激光雷达凭借精度高，探测距离远，不受光照条件影响等优点，是目前最为可靠的环境感知传感器之一。YO...
【技术保护点】
1.一种基于有监督单目深度估计的虚拟点云三维目标检测方法，其特征在于，包括以下步骤：/n步骤1、使用激光雷达进行测量，采集场景的深度信息；使用单目摄像头采集场景RGB图像；构成RGB图像与深度图一一对应的数据集；/n步骤2、用步骤1获得的数据集训练单目深度估计模型：根据采集到的场景图像与深度信息，将单目RGB图像信息作为训练数据，将深度信息作为标签，使用单目深度估计模型进行有监督的权重参数微调训练；固定单目深度估计模型中卷积层倒数第一层之前的所有权重参数，针对最后一层卷积层和输出层进行权重参数训练；/n步骤3、通过步骤2中获得的单目深度估计模型的最优权重系数，将单目深度估计...
【技术特征摘要】
1.一种基于有监督单目深度估计的虚拟点云三维目标检测方法，其特征在于，包括以下步骤：
步骤1、使用激光雷达进行测量，采集场景的深度信息；使用单目摄像头采集场景RGB图像；构成RGB图像与深度图一一对应的数据集；
步骤2、用步骤1获得的数据集训练单目深度估计模型：根据采集到的场景图像与深度信息，将单目RGB图像信息作为训练数据，将深度信息作为标签，使用单目深度估计模型进行有监督的权重参数微调训练；固定单目深度估计模型中卷积层倒数第一层之前的所有权重参数，针对最后一层卷积层和输出层进行权重参数训练；
步骤3、通过步骤2中获得的单目深度估计模型的最优权重系数，将单目深度估计模型的权重系数固化并部署到边缘设备，同时根据摄像头采集单目RGB图像作为模型输入I，推理深度信息D：
上式中，D为深度图中的深度信息，W为图像的宽，h为图像的高，R为实数空间；
步骤4、通过步骤3中获得的深度信息D构建稠密的虚拟点云；其中，借助像素空间到三维空间的映射关系，将深度图中每个二维像素点映射到三维空间坐标系得到虚拟点云点：
上式中，为旋转矩阵、为平移矩阵、为相机焦距、为焦距在像素平面的横坐标轴数值、为焦距在像素平面的纵坐标轴数值、为像素平面原点横坐标轴数值、为像素平面原点纵坐标轴数值、为深度图像素坐标系中的横坐标、为深度图像素坐标系中的纵坐标；
上式中，L指虚拟点云集合，一个虚拟点云集合L由N个虚拟点云点点构成；
构建包含虚拟点云和标签信息的目标检测数据集，利用目标检测数据集训练三维目标检测模型；
步骤5、通过步骤4中获得的目标检测数据集，训练基于多尺度的特征平衡化两阶段目标检测模型；
步骤6、将由步骤5获得的基于多尺度的特征平衡化两阶段目标检测模型部署到边缘设备，与步骤4得到的虚拟点云共同构成基于虚拟点云的目标检测网络，得到基于虚拟点云的三维目标检测框。
2.根据权利要求1所述基于有监督单目深度估计的虚拟点云三维目标检测方法，其特征在于，所述步骤5具体包括如下步骤：
步骤5.1、构建基于特征平衡化的候选框生成网络，提取虚拟点云的候选检测框和前景背景分割特征；同时构建特征平衡化的网络参数初始化策略，根据正负样本不平衡程度对偏置量参数进行赋值：
其中，为初始化正样本权重，为负样本权重；假设样本种类数量为，正样本数量为，负样本数量为；
步骤5.2、构建基于多尺度特征的区域卷积神经网络，用基于多尺度特征的区域卷积神经网络在候选框中选择最优三维检测结果；其中...
【专利技术属性】
技术研发人员：傅骏伟，孟瑜伟，俞荣栋，刘轩驿，吴林峰，王豆，
申请(专利权)人：浙江浙能技术研究院有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。