一种目标检测方法、装置及计算机设备制造方法及图纸

技术编号:32545512 阅读:21 留言:0更新日期:2022-03-05 11:43
本申请提供一种目标检测方法、装置及计算机设备。该方法应用于图形处理器,包括:获取对应目标区域的原始点云和原始图像;将原始点云中各稀疏点投影至原始图像,得到各稀疏点与像素点之间的对应关系;提取原始点云的点云特征,以及提取原始图像的图像特征;根据各稀疏点与像素点之间的对应关系,将各稀疏点特征与对应的像素点特征进行融合,得到目标区域对应的目标融合特征;基于目标融合特征对目标区域进行类别预测和边界框预测,得到检测目标。本申请中包括投影和融合在内的整个目标检测过程均在图形处理器上完成,能实现端到端的实时运行,且目标融合特征包括了高层次的语义信息,增大了检测的准确性。增大了检测的准确性。增大了检测的准确性。

【技术实现步骤摘要】
一种目标检测方法、装置及计算机设备


[0001]本申请涉及图像识别领域,尤其涉及一种目标检测方法、装置及计算机设备。

技术介绍

[0002]在自动驾驶感知系统中,相机和激光雷达是自动驾驶车辆必不可少的传感器。相机可采集周围环境的RGB彩色信息与纹理信息,模拟人类视觉感知成像,相机的优势在于可以准确的描述目标的纹理信息,但缺少目标的深度信息。激光雷达依靠激光束不间断扫描完成对周围环境的场景再现,激光束可以在物体表面产生激光点,它可以采集周围环境在雷达坐标系下的XYZ准确坐标和反射率,激光雷达的优势在于可以获取目标的深度信息,但缺乏目标的纹理信息。可以通过图像和激光雷达的融合算法,保留目标的纹理信息和缺深度信息。
[0003]但是,现有技术基于图像和激光点云融合的3D目标检测存在两大问题。一是图像和激光雷达的融合算法总体设计比较复杂,整个模型从点云与图像的输入到检测结果的输出,无法同时在图形处理器(Graphics Processing Unit,简称GPU)实现,造成数据在处理过程中在设备间传输多次造成极大的延时,无法达到实际应用。二是现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测方法,其特征在于,应用于图形处理器,所述方法包括:获取对应目标区域的原始点云和原始图像,其中,所述原始点云包括多个稀疏点,所述原始图像包括多个像素点;将所述原始点云中各所述稀疏点投影至所述原始图像,得到各稀疏点与像素点之间的对应关系;提取所述原始点云的点云特征,以及提取所述原始图像的图像特征,其中,所述点云特征包括多个稀疏点特征,所述图像特征包括多个像素点特征;根据各稀疏点与像素点之间的对应关系,将各稀疏点特征与对应的像素点特征进行融合,得到所述目标区域对应的目标融合特征;基于所述目标融合特征对所述目标区域进行类别预测和边界框预测,得到检测目标。2.根据权利要求1所述的方法,其特征在于,将所述原始点云中各稀疏点投影至所述原始图像,得到各稀疏点与像素点之间的对应关系的步骤,包括:基于公式建立稀疏点与像素点之间的对应关系,其中,[u,v,1]为像素点在图像坐标系中的二维坐标值,P
[3*4]
为相机坐标系到图像坐标系的投影矩阵,大小为3*4,P
[3*4]
为相机的旋转矩阵,大小为4*4,为雷达到相机的投影矩阵,大小为4*4,[X,Y,Y,1]为稀疏点在点云坐标系中的三维坐标值。3.根据权利要求1所述的方法,其特征在于,各稀疏点对应的点云数据包括三维坐标值和反射率,提取所述原始点云的点云特征的步骤,包括;将所述原始点云进行并行下采样;基于下采样后的原始点云中各所述稀疏点对应的点云数据,提取各稀疏点对应的稀疏点特征和邻域特征,其中,以任一所述稀疏点为关键点,预设半径范围内的稀疏点为所述关键点对应的邻近点,所述邻域特征由稀疏点对应的邻近点的点云数据拼接组成;将各所述稀疏点特征及对应的邻域特征融合为所述点云特征。4.根据权利要求3所述的方法,其特征在于,确定各稀疏点的邻近点的步骤,包括:判断以所述关键点为中心的所述预设半径范围内的稀疏点的数量N是否大于或等于预设数量M,其中,N为正整数;若N≥M,按照各稀疏点与关键点的距离,将N个所述稀疏点进行升序排列,并将前M个次序对应的稀疏点确定为所述关键点的邻近点;若N<M,按照各稀疏点与关键点的距离,将N个所述稀疏点进行升序排列,并将前M

N个稀疏点确定为补充点,复制所述补充点,将N个所述稀疏点和M

N个所述补充点确定为所述关键点的邻近点。5.根据权利要求1所述的方法,其特征在于,根据稀疏点与像素点之间的对应关系,将各稀疏点特征与对应的像素点特征进行融合,得到所述目标区域对应的融合特征的步骤,包括:基于各稀疏点与像素点之间的对应关系,将各稀疏点特征与对应的像素点特征进行融合,得到第一融合特征;将所述第一融合特征进行插值,得到第二融合特征;
通过两个Linear

BN

【专利技术属性】
技术研发人员:赵亚丽梁爽陈义飞邱中原刘浩
申请(专利权)人:北京超星未来科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1