目标检测方法、电子设备及存储介质技术

本申请实施例公开一种目标检测方法、电子设备及存储介质，该方法包括：提取图像组中图像的语义特征，得到二维语义特征图，其中，所述图像组中包括多个摄像头采集到的二维图像；对所述二维语义特征图进行深度信息估计，得到二维深度特征图；在特征图的高度维度上，对所述二维语义特征图进行特征压缩，得到一维语义特征图，以及对所述二维深度特征图进行特征压缩，得到一维深度特征图；基于所述一维语义特征图和所述一维深度特征图，生成二维鸟瞰视角特征图；基于所述二维鸟瞰视角特征图，进行目标检测。标检测。标检测。

【技术实现步骤摘要】
目标检测方法、电子设备及存储介质


[0001]本申请涉及机器视觉
，特别涉及一种目标检测方法、电子设备及存储介质。

技术介绍

[0002]随着机器视觉技术的不断发展，3D目标检测技术被广泛应用于自动驾驶和机器人领域。以自动驾驶领域为例，自动驾驶车辆不仅需要识别障碍物的类型，还需要识别障碍物的精确位置和朝向，以提供信息给规划控制模块，规划出合理的线路，3D目标检测旨在通过多传感器数据如摄像头、雷达、激光雷达等，使得自动驾驶车辆具备检测车辆、行人、障碍物等物体的能力，保障行驶安全。
[0003]目前，多摄像头环视鸟瞰视角下的3D目标检测技术，由于具有高性能、支持多种任务融合如目标检测、目标分割、车道线检测等优点，近期得到了高速发展。这类3D目标检测技术相比于传统的以FCOS3D为代表的检测器，其主要改进在于将图像特征从相机视角转换到鸟瞰视角，多目特征的融合也在这一步骤中同时进行。
[0004]相关技术中，在将图像特征从相机视角转换到鸟瞰视角时，采用以BEVFormer为代表的数据驱动的转换方案，通过训练神经网络模型如Transformer模型，来实现隐式的特征转换。然而，这类方法由于使用庞大的神经网络模型，需要大量的训练数据并且占用大量的显存空间，因此在车载芯片上部署成本较高。

技术实现思路

[0005]本申请实施例提供一种目标检测方法、电子设备及存储介质，以解决3D目标检测技术在车载芯片上部署成本较高的技术问题。
[0006]根据本申请的第一方面，公开了一种目标检测方法，所述方法包括：
[0007]提取图像组中图像的语义特征，得到二维语义特征图，其中，所述图像组中包括多个摄像头采集到的二维图像；
[0008]对所述二维语义特征图进行深度信息估计，得到二维深度特征图；
[0009]在特征图的高度维度上，对所述二维语义特征图进行特征压缩，得到一维语义特征图，以及对所述二维深度特征图进行特征压缩，得到一维深度特征图；
[0010]基于所述一维语义特征图和所述一维深度特征图，生成二维鸟瞰视角特征图；
[0011]基于所述二维鸟瞰视角特征图，进行目标检测。
[0012]根据本申请的第二方面，公开了一种目标检测装置，所述装置包括：
[0013]提取模块，用于提取图像组中图像的语义特征，得到二维语义特征图，其中，所述图像组中包括多个摄像头采集到的二维图像；
[0014]估计模块，用于对所述二维语义特征图进行深度信息估计，得到二维深度特征图；
[0015]压缩模块，用于在特征图的高度维度上，对所述二维语义特征图进行特征压缩，得到一维语义特征图，以及对所述二维深度特征图进行特征压缩，得到一维深度特征图；
[0016]生成模块，用于基于所述一维语义特征图和所述一维深度特征图，生成二维鸟瞰视角特征图；
[0017]检测模块，用于基于所述二维鸟瞰视角特征图，进行目标检测。
[0018]根据本申请的第三方面，公开了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现如第一方面中的目标检测方法。
[0019]根据本申请的第四方面，公开了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的目标检测方法。
[0020]根据本申请的第五方面，公开了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的目标检测方法。
[0021]本申请实施例中，提取图像组中图像的语义特征，得到二维语义特征图，对二维语义特征图进行深度信息估计，得到二维深度特征图，在特征图的高度维度上，对二维语义特征图进行特征压缩，得到一维语义特征图，以及对二维深度特征图进行特征压缩，得到一维深度特征图；基于一维语义特征图和一维深度特征图，生成二维鸟瞰视角特征图，基于二维鸟瞰视角特征图，进行目标检测。
[0022]与相关技术相比，本申请实施例中，在将图像特征从相机视角转换到鸟瞰视角的过程中，考虑到二维图像在高度维度上存在信息冗余，因此可以将相机视角下的二维图像特征和二维深度信息在高度维度上压缩为一维图像特征和一维深度信息，基于一维图像特征和一维深度信息生成用于3D目标检测的二维鸟瞰视角特征图，由于转换过程中只涉及高度维度冗余信息压缩处理，宽度维度的信息不会被压缩处理，并且将二维信息转换为一维信息可以大幅降低转换过程中的数据量，因此可以在保证特征转换结果准确的前提下减少对显存的占用，降低在车载芯片上部署的成本。
附图说明
[0023]图1是本申请实施例提供的目标检测方法的流程图之一；
[0024]图2是本申请实施例提供的特征压缩过程的示意图；
[0025]图3是本申请实施例提供的目标检测方法的流程图之二；
[0026]图4是本申请实施例提供的二维鸟瞰视角特征图生成过程的示意图；
[0027]图5是本申请实施例提供的目标检测系统的示意图；
[0028]图6是本申请实施例提供的目标检测方法的流程图之三；
[0029]图7是本申请实施例提供的一种目标检测装置的结构示意图；
[0030]图8是本申请实施例提供的一种电子设备的结构框图。
具体实施方式
[0031]为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
[0032]需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该
知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
[0033]近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安全防范、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测方法，其特征在于，所述方法包括：提取图像组中图像的语义特征，得到二维语义特征图，其中，所述图像组中包括多个摄像头采集到的二维图像；对所述二维语义特征图进行深度信息估计，得到二维深度特征图；在特征图的高度维度上，对所述二维语义特征图进行特征压缩，得到一维语义特征图，以及对所述二维深度特征图进行特征压缩，得到一维深度特征图；基于所述一维语义特征图和所述一维深度特征图，生成二维鸟瞰视角特征图；基于所述二维鸟瞰视角特征图，进行目标检测。2.根据权利要求1所述的方法，其特征在于，所述基于所述一维语义特征图和所述一维深度特征图，生成二维鸟瞰视角特征图，包括：基于静态变换矩阵，以所述一维深度特征图中的深度信息为引导，将所述一维语义特征图中的特征投影到二维鸟瞰视角特征图中；其中，所述静态变换矩阵是基于所述多个摄像头的内参信息和外参信息生成的，所述静态变换矩阵中包含极坐标系与笛卡尔坐标系之间的坐标转换信息，所述坐标转换信息用于将极坐标系下的语义特征和深度信息转换为笛卡尔坐标系下的二维鸟瞰视角特征。3.根据权利要求2所述的方法，其特征在于，所述静态变换矩阵包括：环矩阵和射线矩阵，其中，所述环矩阵中包含所述多个摄像头的深度信息，所述射线矩阵包含所述多个摄像头的方向信息。4.根据权利要求3所述的方法，其特征在于，所述基于静态变换矩阵，以所述一维深度特征图中的深度信息为引导，将所述一维语义特征图中的特征投影到二维鸟瞰视角特征图中，包括：对所述环矩阵与所述一维深度特征图中的深度信息进行矩阵叉乘运算，得到中间矩阵；将所述中间矩阵与所述射线矩阵进行矩阵点乘运算，得到投影矩阵；将所述投影矩阵与所述一维语义特征图中的特征进行矩阵叉乘运算，得到二维鸟瞰视角特征图。5.根据权利要求3所述的方法，其特征在于，所述环矩阵的生成过程包括：构建尺寸为L*L的第一初始矩阵，以及设置M个深度值d，其中，L为二维鸟瞰视角特征图的尺寸，M为所述一维语义特征图中深度信息的通道数，L和M均为大于1的整数；对于每个深度值d，在所述第一初始矩阵的每个位置，若该位置对应的实际坐标到摄像头的深度等于d，则将该位置的值设置为1，否则设置为0，得到M个尺寸为L*L的矩阵；对所述M个尺寸为L*L的矩阵进行叠加，得到所述环矩...

【专利技术属性】
技术研发人员：周鸿宇，葛政，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：