本申请涉及一种融合感知方法、装置、设备及存储介质，其中，融合感知方法包括：获取多模态传感器数据；对多模态传感器数据进行编码，得到特征数据；基于模态无关特征采样器对特征数据进行特征采样，得到目标特征数据；对目标特征数据进行解码，得到目标检测框信息和目标类别信息。本申请能够自动适应不同任务和领域，能够并行地处理多种传感器采集到的数据，其可以通过跨模态的信息融合，结合不同传感器的优势，从而可以得到更加精确和全面的特征，可以实现更加精确和全面的三维物体检测能力，提高感知准确性和可靠性。
【技术实现步骤摘要】
本申请涉及感知，具体涉及一种融合感知方法、装置、设备及存储介质。
技术介绍
1、在自动驾驶感知中，三维物体检测的关键在于在三维环境中识别并定位决策敏感的物体。许多早期的方法只利用单一传感器所捕获的数据来进行三维物体检测，这在一定程度上限制了检测性能的提升，检测效果较差。
2、一些相关技术中，在原始输入或者中间特征的相关过程中进行融合，你采用单边融合策略对毫米波雷达、激光雷达和相机采集的数据进行融合，但仍以相机作为主要模态。还有一些相关技术中，在物体提议的过程中进行融合，其完全忽略了三种模态之间的内在关联。因此，以上方法都未能充分利用三种模态，特别是它们强大的互补性，导致三维物体检测的效果仍然较差。
技术实现思路
1、本申请的目的之一在于提供一种融合感知方法，其可以通过跨模态的信息融合，结合不同传感器的优势，从而可以得到更加精确和全面的特征，可以实现更加精确和全面的三维物体检测能力，提高感知准确性和可靠性；本申请的目的之二在于提供一种融合感知装置；本申请的目的之三在于提供一种设备；本申请的目标之四在于提供一种存储介质。
2、为了实现上述目的，第一方面，本申请提供一种融合感知方法，所述融合感知方法包括：
3、获取多模态传感器数据；其中，所述多模态传感器数据包括至少两个传感器采集的数据；
4、对所述多模态传感器数据进行编码，得到特征数据；其中，所述特征数据包括至少两个特征图，至少两个所述特征图与至少两个所述传感器采集的数据一一对应；
5、基于模态无关特征采样器对所述特征数据进行特征采样，得到目标特征数据；
6、对所述目标特征数据进行解码，得到目标检测框信息和目标类别信息。
7、进一步地，
8、所述基于模态无关特征采样器对所述特征数据进行特征采样，得到目标特征数据，包括：
9、基于模态无关特征采样器，以设定查询方式对所述特征数据进行迭代查询，将最后一次迭代查询得到的当前特征数据确定为所述目标特征数据；
10、其中，所述设定查询方式包括：
11、基于当前次查询的初始查询信息进行查询，得到当前融合特征数据以及的当前位置信息；
12、将所述当前位置信息添加至所述当前融合特征数据，得到所述当前次查询对应的当前特征数据；
13、基于所述当前特征数据，确定下一次查询的初始查询信息。
14、进一步地，所述基于当前次查询的初始查询信息进行查询，得到当前融合特征数据，包括：
15、基于所述初始查询信息，确定与至少两个所述传感器一一对应的至少两个初始位置信息；
16、基于所述初始位置信息对相应的所述传感器对应的特征图进行特征采样，以确定此传感器对应的查询特征数据；
17、融合至少两个所述传感器对应的所述查询特征数据，以得到所述当前融合特征数据。
18、进一步地，所述融合至少两个所述传感器对应的所述查询特征数据，以得到所述当前融合特征数据，包括：
19、串联至少两个所述传感器对应的所述查询特征数据，并使用全连接神经网络对串联后的数据进行编码，以得到所述当前融合特征数据。
20、进一步地，所述设定查询方式包括，包括：
21、配置原始位置信息；
22、融合所述特征数据的至少两个特征图，得到原始融合特征数据；
23、将所述原始位置信息添加至所述原始融合特征数据，得到第一次查询的初始查询信息。
24、进一步地，所述对所述多模态传感器数据进行编码，得到特征数据，包括：
25、确定所述多模态传感器数据中所述传感器采集的数据对应的编码器；其中，所述编码器包括特征金字塔；
26、基于所述编码器对相应的所述传感器采集的数据进行编码，得到所述传感器采集的数据对应的所述特征图。
27、进一步地，所述基于所述编码器对相应的所述传感器采集的数据进行编码，得到所述传感器采集的数据对应的所述特征图，包括以下中的至少一种：
28、当所述传感器包括多视角相机时，基于第一编码器对所述多视角相机采集到的图像进行特征提取，以确定多个相机特征图；其中，多个所述相机特征图与所述多视角相机的多个视角一一对应，所述第一编码器包括2d主干网络和第一特征金字塔；
29、当所述传感器包括激光雷达时，基于第二编码器对所述激光雷达采集到的激光雷达点云数据进行特征提取，以确定激光雷达鸟类视图特征图；其中，所述第二编码器包括激光雷达主干网络和第二特征金字塔；
30、当所述传感器包括毫米波雷达时，基于第三编码器对所述毫米波雷达采集到的毫米波雷达点云数据进行特征提取，以确定毫米波雷达鸟类视图特征；其中，所述第三编码器包括毫米波雷达主干网络和第三特征金字塔。
31、进一步地，所述对所述目标融合特征数据进行解码，得到目标检测框信息和目标类别信息，包括：
32、基于transformer解码器对所述目标特征数据进行解码，得到所述目标检测框信息和所述目标类别信息。
33、进一步地，所述传感器包括以下中的至少一种：
34、多视角相机，激光雷达，毫米波雷达。
35、为实现上述目的，第二方面，本申请还提供一种融合感知装置，应用于设备，所述融合感知装置包括：
36、获取模块，用于获取多模态传感器数据；其中，所述多模态传感器数据包括至少两个传感器采集的数据；
37、编码模块，用于对所述多模态传感器数据进行编码，得到特征数据；其中，所述特征数据包括至少两个特征图，至少两个所述特征图与至少两个所述传感器采集的数据一一对应；
38、采样模块，用于基于模态无关特征采样器对所述特征数据进行特征采样，得到目标特征数据；
39、解码模块，用于对所述目标特征数据进行解码，得到目标检测框信息和目标类别信息。
40、为实现上述目的，第三方面，本申请还提供一种设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的控制程序，以实现如上述第一方面任一项所述融合感知方法。
41、为实现上述目的，第四方面，本申请还提供一种存储介质，该存储介质存储有一个或者至少一个程序，所述一个或者至少一个程序可被一个或者至少一个处理器执行，以实现如第一方面任一项所述融合感知方法。
42、本申请的有益效果：
43、本申请中，可以对至少两个传感器采集的数据进行编码，从而将多模态传感器数据编码为统一的特征数据，然后再基于模态无关特征采样器对上述统一的特征数据进行特征采样，以得到特征聚合后的目标特征数据，然后再基于目标特征数据进行解码预测，从而得到物体的分类分别以及对应的检测框信息，即得到三维物体检测的类别及其所对应的区域。该方法能够自动适应不同任务和领域，能够并行地处理多种传感器采集到的数据，其可以通过跨模态的信息融合，结合不同传感器的优势，从而可以得到更本文档来自技高网
...
【技术保护点】
1.一种融合感知方法，其特征在于，所述融合感知方法包括：
2.根据权利要求1所述融合感知方法，其特征在于，
3.根据权利要求2所述融合感知方法，其特征在于，所述基于当前次查询的初始查询信息进行查询，得到当前融合特征数据，包括：
4.根据权利要求3所述融合感知方法，其特征在于，所述融合至少两个所述传感器对应的所述查询特征数据，以得到所述当前融合特征数据，包括：
5.根据权利要求2所述融合感知方法，其特征在于，所述设定查询方式包括，包括：
6.根据权利要求1所述融合感知方法，其特征在于，所述对所述多模态传感器数据进行编码，得到特征数据，包括：
7.根据权利要求6所述融合感知方法，其特征在于，所述基于所述编码器对相应的所述传感器采集的数据进行编码，得到所述传感器采集的数据对应的所述特征图，包括以下中的至少一种：
8.根据权利要求1所述融合感知方法，其特征在于，所述对所述目标融合特征数据进行解码，得到目标检测框信息和目标类别信息，包括：
9.根据权利要求1-8任一项所述融合感知方法，其特征在于，所述传感器包括以下中的至少一种：
10.一种融合感知装置，其特征在于，应用于设备，所述融合感知装置包括：
11.一种设备，其特征在于，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的控制程序，以实现权利要求1-9中任一项所述融合感知方法。
12.一种存储介质，其特征在于，所述存储介质存储有一个或者至少一个程序，所述一个或者至少一个程序可被一个或者至少一个处理器执行，以实现权利要求1-9中任一项所述融合感知方法。
...
【技术特征摘要】
1.一种融合感知方法，其特征在于，所述融合感知方法包括：
2.根据权利要求1所述融合感知方法，其特征在于，
3.根据权利要求2所述融合感知方法，其特征在于，所述基于当前次查询的初始查询信息进行查询，得到当前融合特征数据，包括：
4.根据权利要求3所述融合感知方法，其特征在于，所述融合至少两个所述传感器对应的所述查询特征数据，以得到所述当前融合特征数据，包括：
5.根据权利要求2所述融合感知方法，其特征在于，所述设定查询方式包括，包括：
6.根据权利要求1所述融合感知方法，其特征在于，所述对所述多模态传感器数据进行编码，得到特征数据，包括：
7.根据权利要求6所述融合感知方法，其特征在于，所述基于所述编码器对相应的所述传感器采集的数据进行编码，得到所...
【专利技术属性】
技术研发人员：邢允，漆昇翔，董楠，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。