鸟瞰图特征的确定方法、目标检测方法、装置和电子设备制造方法及图纸

本公开实施例公开了一种鸟瞰图特征的确定方法、目标检测方法、装置和电子设备，其中，方法包括：基于至少一个视角中各所述视角分别对应的待处理图像，确定各所述视角分别对应的第一图像特征；基于预先获得的二维鸟瞰图位置编码和鸟瞰图内容编码，确定三维鸟瞰图位置编码；基于各所述视角分别对应的所述第一图像特征和所述三维鸟瞰图位置编码，确定所述至少一个视角对应的鸟瞰图特征。本公开实施例基于增强的三维鸟瞰图位置编码，实现了在不依赖于相机参数情况下准确地确定鸟瞰图特征，进而可以提高基于鸟瞰图特征的相关任务处理结果的准确性和稳定性。确性和稳定性。确性和稳定性。

【技术实现步骤摘要】
鸟瞰图特征的确定方法、目标检测方法、装置和电子设备


[0001]本公开涉及计算机视觉技术，尤其是一种鸟瞰图特征的确定方法、目标检测方法、装置和电子设备。

技术介绍

[0002]在自动驾驶领域中，基于视觉技术从车辆上的多个相机采集的图像可确定出鸟瞰图(Bird's Eye View，简称：BEV)特征，进而基于鸟瞰图特征进行目标检测、语义分割等任务，成为新兴的研究重点，相关技术中，通常结合相机参数进行坐标系转换实现图像特征到鸟瞰图特征的确定，确定的鸟瞰图特征容易受相机参数的影响(比如外参噪声的影响)，导致获得的鸟瞰图特征鲁棒性较差，进而导致相应任务的处理结果准确性及稳定性较差。

技术实现思路

[0003]为了解决上述鸟瞰图特征受相机参数影响导致任务处理结果准确性及稳定性较差等技术问题，提出了本公开。本公开的实施例提供了一种鸟瞰图特征的确定方法、目标检测方法、装置和电子设备。
[0004]根据本公开实施例的一个方面，提供了一种鸟瞰图特征的确定方法，包括：基于至少一个视角中各所述视角分别对应的待处理图像，确定各所述视角分别对应的第一图像特征；基于预先获得的二维鸟瞰图位置编码和鸟瞰图内容编码，确定三维鸟瞰图位置编码；基于各所述视角分别对应的所述第一图像特征和所述三维鸟瞰图位置编码，确定所述至少一个视角对应的鸟瞰图特征。
[0005]根据本公开实施例的另一个方面，提供了一种目标检测方法，包括：基于至少一个视角中各所述视角分别对应的待处理图像，确定各所述视角分别对应的第一图像特征；基于预先获得的二维鸟瞰图位置编码和鸟瞰图内容编码，确定三维鸟瞰图位置编码；基于各所述视角分别对应的所述第一图像特征和所述三维鸟瞰图位置编码，确定所述至少一个视角对应的鸟瞰图特征；基于所述鸟瞰图特征，利用检测头网络，确定目标检测结果。
[0006]根据本公开实施例的再一个方面，提供了一种鸟瞰图特征的确定装置，包括：第一处理模块，用于基于至少一个视角中各所述视角分别对应的待处理图像，确定各所述视角分别对应的第一图像特征；第二处理模块，用于基于预先获得的二维鸟瞰图位置编码和鸟瞰图内容编码，确定三维鸟瞰图位置编码；第三处理模块，用于基于各所述视角分别对应的所述第一图像特征和所述三维鸟瞰图位置编码，确定所述至少一个视角对应的鸟瞰图特征。
[0007]根据本公开实施例的又一个方面，提供了一种目标检测装置，包括：第四处理模块，用于基于至少一个视角中各所述视角分别对应的待处理图像，确定各所述视角分别对应的第一图像特征；第五处理模块，用于基于预先获得的二维鸟瞰图位置编码和鸟瞰图内容编码，确定三维鸟瞰图位置编码；第六处理模块，用于基于各所述视角分别对应的所述第一图像特征和所述三维鸟瞰图位置编码，确定所述至少一个视角对应的鸟瞰图特征；第七
处理模块，用于基于所述鸟瞰图特征，利用检测头网络，确定目标检测结果。
[0008]根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的方法。
[0009]根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的方法。
[0010]基于本公开上述实施例提供的鸟瞰图特征的确定方法、目标检测方法、装置和电子设备，通过基于二维鸟瞰图位置编码和鸟瞰图内容编码确定出三维鸟瞰图位置编码，基于第一图像特征和三维鸟瞰图位置编码确定鸟瞰图特征。本公开基于增强的三维鸟瞰图位置编码，实现了在不依赖于相机参数情况下准确地确定鸟瞰图特征，进而可以提高基于鸟瞰图特征的相关任务处理结果的准确性及稳定性。
[0011]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0012]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0013]图1是本公开提供的鸟瞰图特征的确定方法的一个示例性的应用场景；
[0014]图2是本公开一示例性实施例提供的鸟瞰图特征的确定方法的流程示意图；
[0015]图3是本公开一示例性实施例提供的激光雷达坐标系的示意图；
[0016]图4是本公开另一示例性实施例提供的鸟瞰图特征的确定方法的流程示意图；
[0017]图5是本公开再一示例性实施例提供的鸟瞰图特征的确定方法的流程示意图；
[0018]图6是本公开又一示例性实施例提供的鸟瞰图特征的确定方法的流程示意图；
[0019]图7是本公开一示例性实施例提供的视角感知注意力网络的网络结构示意图；
[0020]图8是本公开一示例实施例提供的步骤2021的流程示意图；
[0021]图9是本公开一示例性实施例提供的步骤20215的流程示意图；
[0022]图10是本公开一示例性实施例提供的位置感知增强网络的结构示意图；
[0023]图11是本公开一示例性实施例提供的目标检测方法的流程示意图；
[0024]图12是本公开一示例性实施例提供的鸟瞰图特征的确定装置的结构示意图；
[0025]图13是本公开另一示例性实施例提供的鸟瞰图特征的确定装置的结构示意图；
[0026]图14是本公开一示例性实施例提供的第二处理单元5032的结构示意图；
[0027]图15是本公开一示例性实施例提供的第三处理单元5021的结构示意图；
[0028]图16是本公开一示例实施例提供的目标检测装置的结构示意图；
[0029]图17是本公开电子设备一个应用实施例的结构示意图。
具体实施方式
[0030]下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的
示例实施例的限制。
[0031]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0032]本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[0033]还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
[0034]还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
[0035]另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种鸟瞰图特征的确定方法，包括：基于至少一个视角中各所述视角分别对应的待处理图像，确定各所述视角分别对应的第一图像特征；基于预先获得的二维鸟瞰图位置编码和鸟瞰图内容编码，确定三维鸟瞰图位置编码；基于各所述视角分别对应的所述第一图像特征和所述三维鸟瞰图位置编码，确定所述至少一个视角对应的鸟瞰图特征。2.根据权利要求1所述的方法，其中，所述基于各所述视角分别对应的所述第一图像特征和所述三维鸟瞰图位置编码，确定所述至少一个视角对应的鸟瞰图特征，包括：基于所述三维鸟瞰图位置编码和所述鸟瞰图内容编码，确定鸟瞰图嵌入特征；基于各所述视角分别对应的所述第一图像特征和所述鸟瞰图嵌入特征，利用预先训练获得的视角感知注意力网络，确定所述鸟瞰图特征。3.根据权利要求2所述的方法，其中，所述视角感知注意力网络包括编码器和解码器，所述基于各所述视角分别对应的所述第一图像特征和所述鸟瞰图嵌入特征，利用预先训练获得的视角感知注意力网络，确定所述鸟瞰图特征，包括：基于各所述视角分别对应的所述第一图像特征，利用所述编码器，确定各所述视角分别对应的第一编码结果；基于各所述视角分别对应的所述第一编码结果和所述鸟瞰图嵌入特征，利用所述解码器，确定所述鸟瞰图特征。4.根据权利要求3所述的方法，其中，所述编码器包括自注意力网络；所述基于各所述视角分别对应的所述第一图像特征，利用所述编码器，确定各所述视角分别对应的第一编码结果，包括：针对每个所述视角对应的所述第一图像特征，基于该第一图像特征及该第一图像特征对应的图像位置编码，确定该第一图像特征对应的第一查询张量、第一键张量和第一值张量；基于所述第一查询张量、所述第一键张量和所述第一值张量，利用所述自注意力网络，确定该第一图像特征对应的自注意力结果；基于所述自注意力结果，确定该第一图像特征对应的编码结果；将各所述第一图像特征分别对应的所述编码结果作为各所述视角分别对应的所述第一编码结果。5.根据权利要求4所述的方法，其中，所述解码器包括交叉注意力网络；所述基于各所述视角分别对应的所述第一编码结果和所述鸟瞰图嵌入特征，利用所述解码器，确定所述鸟瞰图特征，包括：基于预设窗口切分规则，确定所述鸟瞰图嵌入特征对应的预设数量的窗口；针对所述预设数量的窗口中的每个所述窗口，基于该窗口确定第二查询张量；基于该窗口对应的视角组中各视角分别对应的所述第一编码结果，确定第二键张量和第二值张量；基于所述第二查询张量、所述第二键张量和所述第二值张量，利用所述交叉注意力网络，确定该窗口对应的交叉注意力结果；基于该窗口对应的所述交叉注意力结果，确定该窗口对应的解码结果；
基于各所述窗口分别对应的所述解码结果，确定所述鸟瞰图特征。6.根据权利要求1所述的方法，其中，所述基于预先获得的二维鸟瞰图位置编码和鸟瞰图内容编码，确定三维鸟瞰图位置编码，包括：基于所述二维鸟瞰图位置编码和所述鸟瞰图内容编码，利用预先训练获得的位置感知增强网络，确定三维鸟瞰图位置编码。7.根据权利要求6所述的方法，其中，所述基...

【专利技术属性】
技术研发人员：姜鸿翔，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：