【技术实现步骤摘要】
一种目标检测方法、装置及计算机设备
[0001]本申请涉及图像识别领域,尤其涉及一种目标检测方法、装置及计算机设备。
技术介绍
[0002]在自动驾驶感知系统中,相机和激光雷达是自动驾驶车辆必不可少的传感器。相机可采集周围环境的RGB彩色信息与纹理信息,模拟人类视觉感知成像,相机的优势在于可以准确的描述目标的纹理信息,但缺少目标的深度信息。激光雷达依靠激光束不间断扫描完成对周围环境的场景再现,激光束可以在物体表面产生激光点,它可以采集周围环境在雷达坐标系下的XYZ准确坐标和反射率,激光雷达的优势在于可以获取目标的深度信息,但缺乏目标的纹理信息。可以通过图像和激光雷达的融合算法,保留目标的纹理信息和缺深度信息。
[0003]但是,现有技术基于图像和激光点云融合的3D目标检测存在两大问题。一是图像和激光雷达的融合算法总体设计比较复杂,整个模型从点云与图像的输入到检测结果的输出,无法同时在图形处理器(Graphics Processing Unit,简称GPU)实现,造成数据在处理过程中在设备间传输多次造成极大的延时,无法 ...
【技术保护点】
【技术特征摘要】
1.一种目标检测方法,其特征在于,应用于图形处理器,所述方法包括:获取对应目标区域的原始点云和原始图像,其中,所述原始点云包括多个稀疏点,所述原始图像包括多个像素点;将所述原始点云中各所述稀疏点投影至所述原始图像,得到各稀疏点与像素点之间的对应关系;提取所述原始点云的点云特征,以及提取所述原始图像的图像特征,其中,所述点云特征包括多个稀疏点特征,所述图像特征包括多个像素点特征;根据各稀疏点与像素点之间的对应关系,将各稀疏点特征与对应的像素点特征进行融合,得到所述目标区域对应的目标融合特征;基于所述目标融合特征对所述目标区域进行类别预测和边界框预测,得到检测目标。2.根据权利要求1所述的方法,其特征在于,将所述原始点云中各稀疏点投影至所述原始图像,得到各稀疏点与像素点之间的对应关系的步骤,包括:基于公式建立稀疏点与像素点之间的对应关系,其中,[u,v,1]为像素点在图像坐标系中的二维坐标值,P
[3*4]
为相机坐标系到图像坐标系的投影矩阵,大小为3*4,P
[3*4]
为相机的旋转矩阵,大小为4*4,为雷达到相机的投影矩阵,大小为4*4,[X,Y,Y,1]为稀疏点在点云坐标系中的三维坐标值。3.根据权利要求1所述的方法,其特征在于,各稀疏点对应的点云数据包括三维坐标值和反射率,提取所述原始点云的点云特征的步骤,包括;将所述原始点云进行并行下采样;基于下采样后的原始点云中各所述稀疏点对应的点云数据,提取各稀疏点对应的稀疏点特征和邻域特征,其中,以任一所述稀疏点为关键点,预设半径范围内的稀疏点为所述关键点对应的邻近点,所述邻域特征由稀疏点对应的邻近点的点云数据拼接组成;将各所述稀疏点特征及对应的邻域特征融合为所述点云特征。4.根据权利要求3所述的方法,其特征在于,确定各稀疏点的邻近点的步骤,包括:判断以所述关键点为中心的所述预设半径范围内的稀疏点的数量N是否大于或等于预设数量M,其中,N为正整数;若N≥M,按照各稀疏点与关键点的距离,将N个所述稀疏点进行升序排列,并将前M个次序对应的稀疏点确定为所述关键点的邻近点;若N<M,按照各稀疏点与关键点的距离,将N个所述稀疏点进行升序排列,并将前M
‑
N个稀疏点确定为补充点,复制所述补充点,将N个所述稀疏点和M
‑
N个所述补充点确定为所述关键点的邻近点。5.根据权利要求1所述的方法,其特征在于,根据稀疏点与像素点之间的对应关系,将各稀疏点特征与对应的像素点特征进行融合,得到所述目标区域对应的融合特征的步骤,包括:基于各稀疏点与像素点之间的对应关系,将各稀疏点特征与对应的像素点特征进行融合,得到第一融合特征;将所述第一融合特征进行插值,得到第二融合特征;
通过两个Linear
‑
BN
【专利技术属性】
技术研发人员:赵亚丽,梁爽,陈义飞,邱中原,刘浩,
申请(专利权)人:北京超星未来科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。