目标检测方法和装置制造方法及图纸

本公开提供了目标检测方法和装置，涉及人工智能领域，具体涉及计算机视觉、图像识别和深度学习技术，具体可用于智慧城市和智能交通场景下。具体实现方案为：首先响应于获取到包括待检测对象的三维点云数据，获取三维点云数据对应的二维图像，然后基于二维骨干网络对二维图像进行特征提取，得到二维图像对应的图像特征金字塔，图像特征金字塔包括多张不同分辨率的目标特征图，最后根据特征图分辨率和检测头之间的对应关系，分别将多张不同分辨率的目标特征图输入到对应的检测头中，基于检测头对目标特征图进行检测处理，生成待检测对象对应的三维检测结果，针对三维目标对象的检测，利用不同的检测头针对不同分辨率的目标特征图进行检测处理。进行检测处理。进行检测处理。

【技术实现步骤摘要】
目标检测方法和装置


[0001]本公开涉及人工智能领域，具体涉及计算机视觉、图像识别和深度学习技术，具体可用于智慧城市和智能交通场景下。

技术介绍

[0002]激光雷达在自动驾驶系统中起着关键的作用，利用激光雷达，自动驾驶系统可以准确地对车辆所处环境做实时3D建模，特别是在一些基于相机的视觉感知系统失效的场景下，如：大雾、夜晚、白车等；激光雷达可以极大的提升自动驾驶系统的安全性，同时准确感知某个3D目标(如：车辆、行人等)在激光雷达点云坐标系中的位置、大小及姿态，我们称之为雷达点云3D目标检测任务。
[0003]目前在使用的3D检测网络中，在检测头部分，输入的是单个分辨率的特征图，在单张特征图上进行检测操作，若同时包含大物体和小物体时，如：卡车、行人，特征图的分辨率中最小像素的大小要小于等于需要识别的最小物体类别大小。

技术实现思路

[0004]本公开提供了一种目标检测方法、装置、电子设备、存储介质以及计算机程序产品。
[0005]根据本公开的一方面，提供了一种目标检测方法，该方法包括：响应于获取到包括待检测对象的三维点云数据，获取三维点云数据对应的二维图像；基于二维骨干网络对二维图像进行特征提取，得到二维图像对应的图像特征金字塔，其中，图像特征金字塔包括多张不同分辨率的目标特征图；根据特征图分辨率和检测头之间的对应关系，分别将多张不同分辨率的目标特征图输入到对应的检测头中，基于检测头对目标特征图进行检测处理，生成待检测对象对应的三维检测结果。
[0006]根据本公开的另一方面，提供了一种目标检测装置，该装置包括：获取模块，被配置成响应于获取到包括待检测对象的三维点云数据，获取三维点云数据对应的二维图像；特征提取模块，被配置成基于二维骨干网络对二维图像进行特征提取，得到二维图像对应的图像特征金字塔，其中，图像特征金字塔包括多张不同分辨率的目标特征图；生成模块，被配置成根据特征图分辨率和检测头之间的对应关系，分别将多张不同分辨率的目标特征图输入到对应的检测头中，基于检测头对目标特征图进行检测处理，生成待检测对象对应的三维检测结果。
[0007]根据本公开的另一方面，提供了一种电子设备，该电子设备包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述目标检测方法。
[0008]根据本公开的另一方面，提供了一种计算机可读介质，其上存储有计算机指令，该计算机指令用于使计算机能够执行上述目标检测方法。
[0009]根据本公开的另一方面，本申请实施例提供了一种计算机程序产品，其包括计算
机程序/指令，计算机程序/指令被处理器执行时实现上述目标检测方法。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1是根据本公开的目标检测方法的一个实施例的流程图；
[0013]图2是根据本公开的目标检测方法的又一个实施例的流程图；
[0014]图3是根据本公开的目标检测方法的另一个实施例的流程图；
[0015]图4是根据本公开的获取三维点云数据对应的二维图像的一个实施例的流程图；
[0016]图5是根据本公开的得到二维图像对应的图像特征金字塔的一个实施例的流程图；
[0017]图6是根据本公开的目标检测装置的一个实施例的结构示意图；
[0018]图7是用来实现本公开实施例的目标检测方法的电子设备的框图。
具体实施方式
[0019]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0020]参考图1，图1示出了可以应用于本公开的目标检测方法的实施例的流程示意图100。该目标检测方法包括以下步骤：
[0021]步骤110，响应于获取到包括待检测对象的三维点云数据，获取三维点云数据对应的二维图像。
[0022]在本实施例中，目标检测方法的执行主体(例如服务器)可以通过网络读取或者从终端设备接收包括待检测对象的三维点云数据，该三维点云数据可以是针对待检测对象进行采集得到的在三维坐标系统中的一组向量的集合，点云数据除了具有几何位置以外，还具有颜色信息和强度信息，该颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息(RGB)赋予点云中对应的点，该强度信息是通过激光扫描仪接收装置采集到的回波强度，强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
[0023]上述执行主体获取到待检测对象对应的三维点云数据后，可以将三维点云数据投影为多通道的二维图像，其中，多通道的二维图像可以包括反射强度图、高程图和深度图。上述执行主体可以通过任何相关技术所支持的方式获取三维点云数据对应的二维图像。
[0024]步骤120，基于二维骨干网络对二维图像进行特征提取，得到二维图像对应的图像特征金字塔。
[0025]在本实施例中，上述执行主体获取到三维点云数据对应的二维图像后，获取用于提取图像特征的二维骨干网络，该二维骨干网络可以是深度神经提取特征网络，可以由不同卷积层和池化层组合而成的残差提取块，同时使用不同的尺度特征提取模块来提取对应
信息。上述执行主体将二维图像输入至二维骨干网络中，二维骨干网络对二维图像进行特征提取，输出二维图像对应的图像特征金字塔，该图像金字塔可以包括二维图像对应的多张不同分辨率的目标特征图。
[0026]步骤130，根据特征图分辨率和检测头之间的对应关系，分别将多张不同分辨率的目标特征图输入到对应的检测头中，基于检测头对目标特征图进行检测处理，生成待检测对象对应的三维检测结果。
[0027]在本实施例中，上述执行主体获取到二维图像对应的图像特征金字塔后，可以获取特征图分辨率和检测头之间的对应关系，不同特征图分辨率对应不同的检测头，检测头可以用于对特定分辨率的特征图进行目标检测，完成对象的定位和分类，高分辨率特征图可以对应处理高分辨率图像的检测头，低分辨率特征图可以对应处理低分辨率图像的检测头。上述执行主体可以分别根据图像特征金字塔中每张目标特征图的分辨率，确定出每张目标特征图对应的检测头，并分别将多张不同分辨率的目标特征图输入到对应的检测头中，即将每张目标特征图输入至对应的检测头中。
[0028]上述执行主体将目标特征图输入至对应的检测头后，检测头可以对输入的目标特征图进行对待检测对象的检测处理，对待检测对象的空间位置和类别信息进行检测和确定，生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测方法，包括：响应于获取到包括待检测对象的三维点云数据，获取所述三维点云数据对应的二维图像；基于二维骨干网络对所述二维图像进行特征提取，得到所述二维图像对应的图像特征金字塔，其中，所述图像特征金字塔包括多张不同分辨率的目标特征图；根据特征图分辨率和检测头之间的对应关系，分别将所述多张不同分辨率的目标特征图输入到对应的检测头中，基于所述检测头对所述目标特征图进行检测处理，生成所述待检测对象对应的三维检测结果。2.根据权利要求1所述的方法，其中，所述三维点云数据对应多个待检测对象；所述每张目标特征图中包括当前分辨率下需要检测的至少一个待检测对象；以及所述根据特征图分辨率和检测头之间的对应关系，分别将所述多张不同分辨率的目标特征图输入到对应的检测头中，基于所述检测头对所述目标特征图进行检测处理，生成所述待检测对象对应的三维检测结果，包括：根据特征图分辨率和检测头之间的对应关系，确定每张目标特征图对应的检测头；分别将每张目标特征图输入到对应的检测头中，基于所述检测头对所述目标特征图进行检测处理，得到每张目标特征图中至少一个待检测对象对应的预测结果；对每张目标特征图中至少一个待检测对象对应的预测结果进行特征融合，得到所述多个待检测对象对应的三维检测结果。3.根据权利要求2所述的方法，其中，所述根据特征图分辨率和检测头之间的对应关系，确定每张目标特征图对应的检测头，包括：根据特征图分辨率和检测头之间的对应关系，确定每张目标特征图对应的检测头集合，其中，所述检测头集合包括用于检测相同分辨率的特征图、且检测不同对象的至少一个检测头；以及所述分别将每张目标特征图输入到对应的检测头中，基于所述检测头对所述目标特征图进行检测处理，得到每张目标特征图中至少一个待检测对象对应的预测结果，包括：针对每张目标特征图，根据所述目标特征图中的至少一个待检测对象，从所述检测头集合中确定出用于检测所述目标特征图的至少一个待用检测头；分别将所述目标特征图输入至所述至少一个待用检测头中，基于所述至少一个待用检测头对所述目标特征图进行检测处理，得到所述目标特征图中至少一个待检测对象对应的预测结果。4.根据权利要求1所述的方法，其中，所述响应于获取到包括待检测对象的三维点云数据，获取所述三维点云数据对应的二维图像，包括：响应于获取到包括待检测对象的三维点云数据，基于三维骨干网络对所述三维点云数据进行特征提取，得到所述三维点云数据对应的三维特征；根据所述三维特征，获取所述三维点云数据对应的二维图像。5.根据权利要求1所述的方法，其中，所述基于二维骨干网络对所述二维图像进行特征提取，得到所述二维图像对应的图像特征金字塔，包括：基于二维骨干网络对所述二维图像进行特征提取，得到所述二维图像对应的初始图像特征金字塔，其中，所述初始图像特征金字塔包括多张不同分辨率的初始特征图；
通过多尺度特征融合网络对所述多张不同分辨率的初始特征图进行特征融合，得到所述二维图像对应的图像特征金字塔。6.一种目标检测装置，包括：获取模块，被配置成响应于获取到包括待检测对象的三维点云数据，获取所述三维点云数据对应的二维图像；特征提取模块，被配置成基于二维骨干...

【专利技术属性】
技术研发人员：鞠波，叶晓青，谭啸，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：