鸟瞰图特征的确定方法、图像处理方法、装置和设备制造方法及图纸

本公开实施例公开了一种鸟瞰图特征的确定方法、图像处理方法、装置和设备，其中，方法包括：基于至少一个视角中各视角分别对应的待处理图像，确定各视角分别对应的第一图像特征；基于各第一图像特征和第一鸟瞰图查询特征，进行基于局部窗口的交叉注意力操作，获得第一注意力结果；基于第一注意力结果，确定第二鸟瞰图查询特征；基于第二鸟瞰图查询特征和各第一图像特征，进行基于局部和全局窗口的交叉注意力操作，获得第二注意力结果；基于第二注意力结果，确定至少一个视角对应的目标鸟瞰图特征。本公开实施例通过窗口的切分可以大大降低交叉注意力操作的计算复杂度，通过局部交互和全局交互可以有效提高鸟瞰图特征的准确性和有效性。性和有效性。性和有效性。

【技术实现步骤摘要】
鸟瞰图特征的确定方法、图像处理方法、装置和设备


[0001]本公开涉及计算机视觉技术，尤其是一种鸟瞰图特征的确定方法、图像处理方法、装置和设备。

技术介绍

[0002]在自动驾驶、辅助驾驶等领域中，基于视觉技术从车辆上的多个相机采集的图像可确定出鸟瞰图(Bird
′
s Eye View，简称：BEV)特征，进而基于鸟瞰图特征进行目标检测、语义分割等任务，成为新兴的研究重点。相关技术中，通常基于注意力机制实现图像特征到鸟瞰图特征的确定。但是，相关技术中的注意力机制通常是基于全局注意力的机制，计算复杂度较高，在车端部署难度较大。

技术实现思路

[0003]为了解决上述计算复杂度高等技术问题，本公开的实施例提供了一种鸟瞰图特征的确定方法、图像处理方法、装置和设备，基于局部窗口划分和全局窗口划分实现鸟瞰图查询特征与图像特征的局部交互和全局交互，有效降低确定鸟瞰图特征的计算复杂度，提高处理效率，便于在车端部署。
[0004]本公开的第一个方面，提供了一种鸟瞰图特征的确定方法，包括：基于至少一个视角中各所述视角分别对应的待处理图像，确定各所述视角分别对应的第一图像特征；基于各所述第一图像特征和第一鸟瞰图查询特征，进行基于局部窗口的交叉注意力操作，获得第一注意力结果；基于所述第一注意力结果，确定第二鸟瞰图查询特征；基于所述第二鸟瞰图查询特征和各所述第一图像特征，进行基于局部和全局窗口的交叉注意力操作，获得第二注意力结果；基于所述第二注意力结果，确定所述至少一个视角对应的目标鸟瞰图特征。r/>[0005]本公开的第二个方面，提供了一种图像处理方法，包括：获取至少一个视角中各所述视角分别对应的待处理图像；基于各所述视角分别对应的待处理图像，确定目标鸟瞰图特征；基于所述目标鸟瞰图特征及预测头网络，确定图像处理结果；其中，所述目标鸟瞰图特征基于上述任一实施例提供的鸟瞰图特征的确定方法获得。
[0006]本公开的第三个方面，提供了一种鸟瞰图特征的确定装置，包括：第一处理模块，用于基于至少一个视角中各所述视角分别对应的待处理图像，确定各所述视角分别对应的第一图像特征；第二处理模块，用于基于各所述第一图像特征和第一鸟瞰图查询特征，进行基于局部窗口的交叉注意力操作，获得第一注意力结果；第三处理模块，用于基于所述第一注意力结果，确定第二鸟瞰图查询特征；第四处理模块，用于基于所述第二鸟瞰图查询特征和各所述第一图像特征，进行基于局部和全局窗口的交叉注意力操作，获得第二注意力结果；第五处理模块，用于基于所述第二注意力结果，确定所述至少一个视角对应的目标鸟瞰图特征。
[0007]本公开的第四个方面，提供了一种图像处理装置，包括：图像获取模块，用于获取至少一个视角中各所述视角分别对应的待处理图像；鸟瞰图特征确定模块，用于基于各所
述视角分别对应的所述待处理图像，确定目标鸟瞰图特征；预测模块，用于基于所述目标鸟瞰图特征及预测头网络，确定图像处理结果；其中，所述目标鸟瞰图特征基于上述任一实施例提供的鸟瞰图特征的确定方法获得。
[0008]本公开的第五个方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的鸟瞰图特征的确定方法，或者，执行本公开上述任一实施例所述的图像处理方法。
[0009]本公开的第六个方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的鸟瞰图特征的确定方法，或者，执行本公开上述任一实施例所述的图像处理方法。
[0010]本公开的第七个方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令被处理器执行时，执行本公开上述任一实施例提供的鸟瞰图特征的确定方法，或者，执行本公开上述任一实施例所述的图像处理方法。
[0011]基于本公开上述实施例提供的鸟瞰图特征的确定方法、图像处理方法、装置和设备，通过对各视角分别对应的第一图像特征和第一鸟瞰图查询特征进行基于局部窗口的交叉注意力操作，可以实现第一鸟瞰图查询特征与第一图像特征的局部交互，基于局部交互获得的第一注意力结果，确定第二鸟瞰图查询特征，进而基于第二鸟瞰图查询特征和各第一图像特征进行基于局部和全局窗口的交叉注意力操作，实现第二鸟瞰图查询特征与第一图像特征的全局交互，基于全局交互获得的第二注意力结果获得目标鸟瞰图特征。一方面通过窗口的切分可以大大降低从多视角图像特征确定鸟瞰图特征的计算复杂度，另一方面通过局部交互和全局交互，兼顾了第一图像特征的局部特征和全局特征，从而可以有效提高确定的鸟瞰图特征的准确性和有效性。
附图说明
[0012]图1是本公开提供的鸟瞰图特征的确定方法的一个示例性的应用场景；
[0013]图2是本公开一示例性实施例提供的鸟瞰图特征的确定方法的流程示意图；
[0014]图3是本公开另一示例性实施例提供的鸟瞰图特征的确定方法的流程示意图；
[0015]图4是本公开一示例性实施例提供的局部窗口切分示意图；
[0016]图5是本公开一示例性实施例提供的全局窗口切分原理示意图；
[0017]图6是本公开一示例性实施例提供的鸟瞰图特征的确定模型的网络架构示意图；
[0018]图7是本公开一示例性实施例提供的图像处理方法的流程示意图；
[0019]图8是本公开一示例性实施例提供的鸟瞰图特征的确定装置的结构示意图；
[0020]图9是本公开另一示例性实施例提供的鸟瞰图特征的确定装置的结构示意图；
[0021]图10是本公开一示例性实施例提供的图像处理装置的结构示意图；
[0022]图11是本公开实施例提供的一种电子设备的结构图。
具体实施方式
[0023]为了解释本公开，下面将参考附图详细地描述本公开的示例实施例，显然，所描述的实施例仅是本公开的一部分实施例，而不是全部实施例，应理解，本公开不受示例性实施
例的限制。
[0024]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0025]本公开概述
[0026]在实现本公开的过程中，专利技术人发现，在自动驾驶、辅助驾驶等领域中，基于视觉技术从车辆上的多个相机采集的图像可确定出鸟瞰图特征，进而基于鸟瞰图特征进行目标检测、语义分割等任务，成为新兴的研究重点。相关技术中，通常基于注意力机制实现图像特征到鸟瞰图特征的确定。但是，相关技术中的注意力机制通常是基于全局注意力的机制，计算复杂度较高，在车端部署难度较大。
[0027]示例性概述
[0028]图1是本公开提供的鸟瞰图特征的确定方法的一个示例性的应用场景。
[0029]在自动驾驶的目标检测场景，可以将车辆上的各视角(例如视角1
‑
视角m，m为正整数)的图像传感器所采集的图像(或将采集的图像经一定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种鸟瞰图特征的确定方法，包括：基于至少一个视角中各所述视角分别对应的待处理图像，确定各所述视角分别对应的第一图像特征；基于各所述第一图像特征和第一鸟瞰图查询特征，进行基于局部窗口的交叉注意力操作，获得第一注意力结果；基于所述第一注意力结果，确定第二鸟瞰图查询特征；基于所述第二鸟瞰图查询特征和各所述第一图像特征，进行基于局部和全局窗口的交叉注意力操作，获得第二注意力结果；基于所述第二注意力结果，确定所述至少一个视角对应的目标鸟瞰图特征。2.根据权利要求1所述的方法，其中，所述基于各所述第一图像特征和第一鸟瞰图查询特征，进行基于局部窗口的交叉注意力操作，获得第一注意力结果，包括：基于所述第一鸟瞰图查询特征和第一局部窗口切分规则，确定第一数量个局部窗口分别对应的第一窗口查询特征；针对每个所述第一图像特征，基于所述第一局部窗口切分规则，确定该第一图像特征中与各所述第一窗口查询特征分别对应的第一窗口图像特征；基于各所述第一窗口查询特征及各所述第一窗口查询特征分别对应的所述第一窗口图像特征，进行交叉注意力操作，获得所述第一注意力结果。3.根据权利要求2所述的方法，其中，所述基于各所述第一窗口查询特征及各所述第一窗口查询特征分别对应的所述第一窗口图像特征，进行交叉注意力操作，获得所述第一注意力结果，包括：基于各所述第一窗口查询特征，确定第一查询张量；基于各所述第一窗口图像特征，确定第一键张量和第一值张量；基于所述第一查询张量、所述第一键张量和所述第一值张量，进行交叉注意力操作，获得所述第一注意力结果。4.根据权利要求2所述的方法，其中，所述基于所述第一鸟瞰图查询特征和第一局部窗口切分规则，确定第一数量个局部窗口分别对应的第一窗口查询特征，包括：基于所述第一局部窗口切分规则，确定所述第一鸟瞰图查询特征对应的第一局部窗口尺寸；根据所述第一局部窗口尺寸，将所述第一鸟瞰图查询特征切分为所述第一数量个局部窗口分别对应的所述第一窗口查询特征；和/或，所述针对每个所述第一图像特征，基于所述第一局部窗口切分规则，确定该第一图像特征中与各所述第一窗口查询特征分别对应的第一窗口图像特征，包括：基于所述第一局部窗口切分规则，确定所述第一图像特征对应的第二局部窗口尺寸；根据所述第二局部窗口尺寸，将该第一图像特征切分为与各所述第一窗口查询特征分别对应的所述第一窗口图像特征。5.根据权利要求2所述的方法，其中，所述第一注意力结果包括各所述第一窗口查询特征分别对应的注意力结果；所述基于所述第一注意力结果，确定第二鸟瞰图查询特征，包括：将各所述第一窗口查询特征分别对应的注意力结果进行窗口合并，获得第一合并结
果；基于所述第一合并结果，利用第一前馈神经网络，确定所述第二鸟瞰图查询特征。6.根据权利要求1所述的方法，其中，所述基于所述第二鸟瞰图查询特征和各所述第一图像特征，进行基于局部和全局窗口的交叉注意力操作，获得第二注意力结果，包括：基于所述第二鸟瞰图查询特征和第二局部窗口切分规则，确定第二数量个局部窗口分别对应的第二窗口查询特征；针对每个所述第一图像特征，基于全局窗口切分规则，确定该第一图像特征中与各所述第二窗口查询特征分别对应的全局窗口图像特征；基于各所述第二窗口查询特征及各所述第二窗口查询特征分别对应的所述全局窗口图像特征，进行交叉注意力操作，获得所述第二注意力结果。7.根据权利要求6所述的方法，其中，所述基于各所述第二窗口查询特征及各所述第二窗口查询特征分别对应的所述全局窗口图像特征，进行交叉注意力操作，获得所述第二注意力结果，包括：基于各所述第二窗口查询特征，确定第二查询张量；基于各所述全局窗口图像特征，确定第二键张量和第二值张量；基于所述第二查询张量、所述第二键张量和所述第二值张量，进行交叉注意力操作，获得所述第二注意力结果。8.根据权利要求6所述的方法，其中，所述基于所述第二鸟瞰图查询特征和第二局部窗口切分规则，确定第二数量个局部窗口分别对应的第二窗口查询特征，包括：基于所述第二局部窗口切分规则，确定所述第二鸟瞰图查询特征对应的第三局部窗口尺寸；根据所述第三局部窗口尺...

【专利技术属性】
技术研发人员：尹浩然，张骞，隋伟，
申请(专利权)人：地平线上海人工智能技术有限公司，
类型：发明
国别省市：