一种基于相机的3D目标检测方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例公开了一种基于相机的3D目标检测方法、装置、设备及介质。其中，该方法包括：获取车辆相机的相机内参信息及其采集的目标图像；基于所述相机内参信息确定目标深度概率分布；基于所述目标深度概率分布确定所述目标图像的3D点云特征；基于所述3D点云特征进行3D目标检测。本技术方案，可以解决相机内参必须与开发阶段采用的摄像头的内参保持一致，否则会导致深度预测精度下降的问题。则会导致深度预测精度下降的问题。则会导致深度预测精度下降的问题。

【技术实现步骤摘要】
一种基于相机的3D目标检测方法、装置、设备及介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于相机的3D目标检测方法、装置、设备及介质。

技术介绍

[0002]随着科技的发展，自动驾驶技术在人们生活中的应用越来越广泛。自动驾驶载体可以对周围一定距离内的目标物体(车辆、行人、骑车人等)进行3D检测，以获得目标物体的三维空间信息。基于目标物体的三维空间信息对目标物体进行测距、测速，以实现更好的驾驶控制。
[0003]目前，利用多个摄像采集的图像，在鸟瞰空间(BEV空间)进行3D检测，并应用在辅助驾驶或者自动驾驶的感知任务中，但一般的图像BEV技术，如果在一组摄像头的内参和外参基础上进行开发，则只能在该组参数上进行使用，如果相机型号或者安装位置发生改变，检测结果的精度会大幅降低。

技术实现思路

[0004]本专利技术提供了一种基于相机的3D目标检测方法、装置、设备及介质，可以解决相机内参必须与开发阶段采用的摄像头的内参保持一致，否则会导致深度预测精度下降的问题。
[0005]根据本专利技术的一方面，提供了一种基于相机的3D目标检测方法，包括：
[0006]获取车辆相机的相机内参信息及其采集的目标图像；
[0007]基于所述相机内参信息确定目标深度概率分布；
[0008]基于所述目标深度概率分布确定所述目标图像的3D点云特征；
[0009]基于所述3D点云特征进行3D目标检测。
[0010]可选的，所述相机内参信息包括真实相机内参和虚拟相机内参；
[0011]相应的，基于所述相机内参信息确定目标深度概率分布，包括：
[0012]基于所述虚拟相机内参进行深度估计，确定虚拟深度概率分布；
[0013]根据所述虚拟相机内参、所述真实相机内参以及所述虚拟深度概率分布确定目标深度概率分布。
[0014]可选的，基于所述虚拟相机内参进行深度估计，确定虚拟深度概率分布，包括：
[0015]将所述虚拟相机内参输入深度预测模型，得到所述目标图像的虚拟深度的均值和虚拟深度的误差数据；
[0016]根据所述均值和所述误差数据确定虚拟深度概率分布。
[0017]可选的，根据所述均值和所述误差数据确定虚拟深度概率分布，包括：
[0018]将所述均值和所述误差数据输入设定概率分布函数，得到虚拟深度概率分布。
[0019]可选的，所述真实相机内参包括真实焦距，所述虚拟相机内参包括虚拟焦距；
[0020]相应的，根据所述虚拟相机内参、所述真实相机内参以及所述虚拟深度概率分布
确定目标深度概率分布，包括：
[0021]根据所述真实焦距确定相机平均焦距；
[0022]根据所述相机平均焦距、所述虚拟焦距以及所述虚拟深度概率分布确定目标深度概率分布。
[0023]可选的，在确定目标深度概率分布之后，还包括：
[0024]获取缩放参数和偏移参数；
[0025]根据所述缩放参数对所述目标深度概率分布进行缩放调整，和/或根据所述偏移参数对所述目标深度概率分布进行偏移调整。
[0026]可选的，基于所述目标深度概率分布确定所述目标图像的3D点云特征，包括：
[0027]通过特征提取网络提取所述目标图像的图像特征；
[0028]基于所述目标深度概率分布、相机内参信息以及图像特征生成目标图像的3D点云特征。
[0029]根据本专利技术的另一方面，提供了一种基于相机的3D目标检测装置，包括：
[0030]信息获取模块，用于获取车辆相机的相机内参信息及其采集的目标图像；
[0031]目标深度概率分布确定模块，用于基于所述相机内参信息确定目标深度概率分布；
[0032]点云特征确定模块，用于基于所述目标深度概率分布确定所述目标图像的3D点云特征；
[0033]3D目标检测检测模块，用于基于所述3D点云特征进行3D目标检测。
[0034]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0035]至少一个处理器；以及
[0036]与所述至少一个处理器通信连接的存储器；其中，
[0037]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的基于相机的3D目标检测方法。
[0038]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的基于相机的3D目标检测方法。
[0039]本专利技术实施例的技术方案，通过获取车辆相机的相机内参信息及其采集的目标图像；基于所述相机内参信息确定目标深度概率分布；基于所述目标深度概率分布确定所述目标图像的3D点云特征；基于所述3D点云特征进行3D目标检测。本技术方案，可以解决相机内参必须与开发阶段采用的摄像头的内参保持一致，否则会导致深度预测精度下降的问题。
[0040]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0041]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于
本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]图1是根据本专利技术实施例一提供的一种基于相机的3D目标检测方法的流程图；
[0043]图2是根据本专利技术实施例二提供的一种基于相机的3D目标检测方法的流程图；
[0044]图3是根据本专利技术实施例三提供的一种基于相机的3D目标检测装置的结构示意图；
[0045]图4是根据本专利技术实施例四提供的一种电子设备的结构示意图。
具体实施方式
[0046]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0047]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相机的3D目标检测方法，其特征在于，包括：获取车辆相机的相机内参信息及其采集的目标图像；基于所述相机内参信息确定目标深度概率分布；基于所述目标深度概率分布确定所述目标图像的3D点云特征；基于所述3D点云特征进行3D目标检测。2.根据权利要求1所述的方法，其特征在于，所述相机内参信息包括真实相机内参和虚拟相机内参；相应的，基于所述相机内参信息确定目标深度概率分布，包括：基于所述虚拟相机内参进行深度估计，确定虚拟深度概率分布；根据所述虚拟相机内参、所述真实相机内参以及所述虚拟深度概率分布确定目标深度概率分布。3.根据权利要求2所述的方法，其特征在于，基于所述虚拟相机内参进行深度估计，确定虚拟深度概率分布，包括：将所述虚拟相机内参输入深度预测模型，得到所述目标图像的虚拟深度的均值和虚拟深度的误差数据；根据所述均值和所述误差数据确定虚拟深度概率分布。4.根据权利要求3所述的方法，其特征在于，根据所述均值和所述误差数据确定虚拟深度概率分布，包括：将所述均值和所述误差数据输入设定概率分布函数，得到虚拟深度概率分布。5.根据权利要求2所述的方法，其特征在于，所述真实相机内参包括真实焦距，所述虚拟相机内参包括虚拟焦距；相应的，根据所述虚拟相机内参、所述真实相机内参以及所述虚拟深度概率分布确定目标深度概率分布，包括：根据所述真实焦距确定相机平均焦距；根据所述相机平均焦距、所述虚拟焦距以及所述虚拟深度概率分布确定目标深度概率分布。6.根据权利要求2所述的方法，其特征在于...

【专利技术属性】
技术研发人员：韩强，彭登富，
申请(专利权)人：成都市卡蛙科技有限公司，
类型：发明
国别省市：