用于三维对象检测的方法和装置制造方法及图纸

根据本公开的实施例，提供了一种用于三维对象检测的方法、装置、设备、存储介质和程序产品。在此提出的方法包括：利用点云特征提取模型处理点云数据，以确定与第一分辨率相关联的一组点云特征；基于一组点云特征和与第一分辨率相关联的一组图像特征，确定一组融合特征，一组图像特征是由图像特征提取模型基于与点云数据对准的图像数据所确定的；以及基于一组融合特征，确定与候选对象相关联的三维检测框和分类信息，分类信息指示候选对象属于多个预定类别的置信度。基于这样的方式，可以通过点云特征和图像特征的融合来实现更加准确的三维对象检测。维对象检测。维对象检测。

【技术实现步骤摘要】
用于三维对象检测的方法和装置


[0001]本公开的实施例总体上涉及计算机
，更具体地，涉及用于三维对象检测的方法、装置、动作设备、计算机存储介质和计算机程序产品。

技术介绍

[0002]随着计算机视觉技术的发展，对象检测技术已经被广泛地应用于诸多领域，例如，智能交通、安防等。在智能交通领域中，准确地感知周围环境中的对象是一项基础却又充满挑战的任务。人们期望能够获得更为准确的对象检测结果。

技术实现思路

[0003]根据本公开的一些实施例，提供了一种用于三维对象检测的方案。
[0004]在本公开的第一方面，提供了一种用于三维对象检测的方法。该方法包括：利用点云特征提取模型处理点云数据，以确定与第一分辨率相关联的一组点云特征；基于一组点云特征和与第一分辨率相关联的一组图像特征，确定一组融合特征，一组图像特征是由图像特征提取模型基于与点云数据对准的图像数据所确定的；以及基于一组融合特征，确定与候选对象相关联的三维检测框和分类信息，分类信息指示候选对象属于多个预定类别的置信度。
[0005]在本公开的第二方面，提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维对象检测的方法，包括：利用点云特征提取模型处理点云数据，以确定与第一分辨率相关联的一组点云特征；基于所述一组点云特征和与所述第一分辨率相关联的一组图像特征，确定一组融合特征，所述一组图像特征是由图像特征提取模型基于与所述点云数据对准的图像数据所确定的；以及基于所述一组融合特征，确定与候选对象相关联的三维检测框和分类信息，所述分类信息指示所述候选对象属于多个预定类别的置信度。2.根据权利要求1所述的方法，其中确定一组融合特征包括：针对所述一组点云特征中的目标点云特征：基于所述点云数据和所述图像数据之间的对准，从所述一组图像特征中确定与所述目标点云特征对应的目标图像特征；以及基于所述目标点云特征和所述目标图像特征，确定目标融合特征。3.根据权利要求2所述的方法，其中基于所述目标点云特征和所述目标图像特征确定目标融合特征包括：级联所述目标点云特征和所述目标图像特征，以确定级联特征；利用多层感知器MLP模型处理所述级联特征，以确定权重系数；基于所述权重系数，确定经加权点云特征和加权图像特征；以及级联所述加权点云特征和所述加权图像特征，以确定所述目标融合特征。4.根据权利要求1所述的方法，其中所述一组点云特征为第一组点云特征，所述一组图像特征为第一组图像特征，所述一组融合特征为第一组融合特征，并且确定与候选对象相关联的三维检测框和分类信息包括：利用所述点云特征提取模型处理所述第一组融合特征，以确定与第二分辨率相关联的第二组点云特征；基于所述第二组点云特征和与所述第二分辨率相关联的第二组图像特征，确定第二组融合特征，所述一组图像特征是基于由所述图像特征提取模型基于所述第一组图像特征所确定的；以及基于所述第二组融合特征，确定与所述候选对象相关联的三维检测框和分类信息。5.根据权利要求1所述的方法，其中确定与候选对象相关联的三维检测框和分类信息包括：基于所述一组融合特征，确定与至少一个三维候选框相关联的区域特征；获取由所述图像特征提取模块基于所述图像数据所确定的全局图像特征；基于所述区域特征和所述全局图像特征，确定针对所述至少一个三维候选框的区域融合特征；以及基于所述区域融合特征，确定与候选对象相关联的三维检测框和分类信息。6.根据权利要求1所述的方法，其中所述点云特征提取模型和所述图像特征提取模型基于以下过程而被训练：利用点云特征提取模型和图像特...

【专利技术属性】
技术研发人员：车正平，金钊，赵震，王泽杰，唐剑，
申请(专利权)人：北京航迹科技有限公司，
类型：发明
国别省市：