本申请提供了一种自动驾驶仿真中多模态融合方法、装置、设备及介质，该方法包括：在自动驾驶仿真中，获取不同类型感知传感器对应的多种原始数据；对多种原始数据进行多模态前融合处理及多模态中融合处理，分别获得第一融合数据及第二融合数据；将多种原始数据、第一融合数据及第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值；将每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值输入构建的多模态后融合模型，获得最终融合结果的取值。通过采用上述自动驾驶仿真中多模态融合方法、装置、设备及介质，解决了自动驾驶仿真中，融合结果精度低的问题。低的问题。低的问题。
【技术实现步骤摘要】
一种自动驾驶仿真中多模态融合方法、装置、设备及介质
[0001]本申请涉及自动驾驶
，具体而言，涉及一种自动驾驶仿真中多模态融合方法、装置、设备及介质。
技术介绍
[0002]在自动驾驶仿真过程中，传感器数据感知技术是必不可少的存在。传感器数据感知中包括单模态数据感知，单模态数据感知存在固有的缺陷，例如：摄像机数据主要在前视图的位置捕获，在复杂环境中目标物可能会被遮挡，给目标检测和语义分割带来严峻挑战；激光雷达在不同距离处具有不同的分辨率，并且容易受到雨雾等极端天气的影响。尽管单模态的数据在各自领域都有优秀表现，但传感器之间的互补性使得多模态融合可以取得更好的精度和性能，多模态融合可以分为多模态前融合、多模态中融合及多模态后融合，多模态前融合是对原始数据进行融合，多模态中融合是在特征空间中对特征进行融合，多模态后融合是对多个检测模型的预测结果进行融合。
[0003]然而，多模态前融合存在数据域不对齐和格式不统一的问题，会对融合结果的精度造成影响。多模态中融合存在融合过程不稳定，且因模态间相干性出现强模态抢占弱模态的问题，也会影响融合结果精度。多模态后融合中，当各个模态对应的检测模型的预测结果较差时，最终的融合结果精度也较低。可见上述不同的多模态融合方法，均会导致融合结果精度低的问题。
技术实现思路
[0004]有鉴于此，本申请的目的在于提供一种自动驾驶仿真中多模态融合方法、装置、设备及介质，以解决自动驾驶仿真过程中，融合结果精度低的问题。
[0005]第一方面，本申请实施例提供了一种自动驾驶仿真中多模态融合方法，包括：
[0006]在自动驾驶仿真中，获取不同类型感知传感器对应的多种原始数据；
[0007]对多种原始数据进行多模态前融合处理及多模态中融合处理，分别获得第一融合数据及第二融合数据；
[0008]将多种原始数据、第一融合数据及第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值，每种原始数据对应一个第一感知结果；
[0009]将每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值输入构建的多模态后融合模型，获得最终融合结果的取值。
[0010]可选地，对多种原始数据进行多模态前融合处理及多模态中融合处理，分别获得第一融合数据及第二融合数据，包括：通过空间对齐及投影对不同感知传感器对应的多种原始数据进行多模态前融合处理，获得第一融合数据；在特征空间中，通过级联或者元素相乘对不同感知传感器对应的多种原始数据进行多模态中融合处理，获得第二融合数据。
[0011]可选地，目标感知模型包括单模态感知模型、多模态前融合感知模型及多模态后
融合感知模型；将多种原始数据、第一融合数据及第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值，包括：针对每个感知传感器，将该感知传感器对应的原始数据输入至该感知传感器对应的单模态感知模型，获得该感知传感器对应的第一感知结果的取值；将第一融合数据输入多模态前融合感知模型，获得第二感知结果的取值；将第二融合数据输入多模态中融合检测模型，获得第三感知结果的取值。
[0012]可选地，在将每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值输入构建的多模态后融合模型，获得最终融合结果的取值之前，还包括：将多个后验概率的乘积作为联合概率，每个感知结果对应一个后验概率，每个后验概率均为计算中间量；根据不同感知传感器对应的感知结果互相独立的性质，建立最终融合结果与感知结果之间的正比关系，感知结果是根据所述联合概率及先验值确定的；根据正比关系构建多模态后融合模型。
[0013]可选地，根据不同感知传感器对应的感知结果互相独立的性质，建立最终融合结果与感知结果之间的正比关系，包括：将联合概率与先验值的乘积作为第一乘积；将第一乘积与不相关概率的比值作为第一比值；建立第一比值与最终融合结果之间的等式关系；根据不同感知传感器对应的感知结果互相独立的性质，将等式关系转化为最终融合结果与感知结果之间的正比关系。
[0014]可选地，将等式关系转化为最终融合结果与感知结果之间的正比关系，包括：根据不同感知传感器对应的感知结果互相独立的性质，将等式关系转化为最终融合结果与第一乘积之间的第一正比关系；针对每个后验概率，将该后验概率与先验值的乘积作为该后验概率对应的感知结果；将第一正比关系转换为最终融合结果与感知结果比值之间的正比关系，感知结果比值是多个感知结果的乘积与先验值的设定数量次幂的比值，设定数量相比于感知结果的数量少一。
[0015]可选地，在将多种原始数据、第一融合数据及第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值之前，还包括：针对每个感知传感器，对该感知传感器对应的单模态感知模型进行训练，得到该感知传感器对应的目标感知模型；对多模态前融合感知模型进行训练，得到第一融合数据对应的目标感知模型；对多模态中融合检测模型进行训练，得到第二融合数据对应的目标感知模型。
[0016]第二方面，本申请实施例还提供了一种自动驾驶仿真中多模态融合装置，所述装置包括：
[0017]数据获取模块，用于在自动驾驶仿真中，获取不同感知传感器对应的多种原始数据；
[0018]数据融合模块，用于对多种原始数据进行多模态前融合处理及多模态中融合处理，分别获得第一融合数据及第二融合数据；
[0019]结果预测模块，用于将多种原始数据、第一融合数据及第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值，每种原始数据对应一个第一感知结果；
[0020]结果融合模块，用于将每个第一感知结果的取值、第二感知结果的取值及第三感
知结果的取值输入构建的多模态后融合模型，获得最终融合结果的取值。
[0021]第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的自动驾驶仿真中多模态融合方法的步骤。
[0022]第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的自动驾驶仿真中多模态融合方法的步骤。
[0023]本申请实施例带来了以下有益效果：
[0024]本申请实施例提供的一种自动驾驶仿真中多模态融合方法、装置、设备及介质，能够对多种原始数据分别进行多模态前融合处理及多模态中融合处理，以获得第一融合数据及第二融合数据，再将第一融合数据及第二融合数据及多种原始数据输入各自的目标感知模型中得到多个感知结果的取值，将每个感知结果的取值输入至多模态后融合模型中获得最终感知结果的取值，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种自动驾驶仿真中多模态融合方法，其特征在于，包括：在自动驾驶仿真中，获取不同类型感知传感器对应的多种原始数据；对所述多种原始数据进行多模态前融合处理及多模态中融合处理，分别获得第一融合数据及第二融合数据；将所述多种原始数据、所述第一融合数据及所述第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值，每种原始数据对应一个第一感知结果；将所述每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值输入构建的多模态后融合模型，获得最终融合结果的取值。2.根据权利要求1所述的方法，其特征在于，所述对所述多种原始数据进行多模态前融合处理及多模态中融合处理，分别获得第一融合数据及第二融合数据，包括：通过空间对齐及投影对不同感知传感器对应的多种原始数据进行多模态前融合处理，获得第一融合数据；在特征空间中，通过级联或者元素相乘对不同感知传感器对应的多种原始数据进行多模态中融合处理，获得第二融合数据。3.根据权利要求1所述的方法，其特征在于，所述目标感知模型包括单模态感知模型、多模态前融合感知模型及多模态后融合感知模型；所述将所述多种原始数据、所述第一融合数据及所述第二融合数据分别输入各自对应的目标感知模型中，确定每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值，包括：针对每个感知传感器，将该感知传感器对应的原始数据输入至该感知传感器对应的单模态感知模型，获得该感知传感器对应的第一感知结果的取值；将所述第一融合数据输入所述多模态前融合感知模型，获得第二感知结果的取值；将所述第二融合数据输入所述多模态中融合检测模型，获得第三感知结果的取值。4.根据权利要求1所述的方法，其特征在于，在所述将所述每个第一感知结果的取值、第二感知结果的取值及第三感知结果的取值输入构建的多模态后融合模型，获得最终融合结果的取值之前，还包括：将多个后验概率的乘积作为联合概率，每个感知结果对应一个后验概率，每个后验概率均为计算中间量；根据不同感知传感器对应的感知结果互相独立的性质，建立所述最终融合结果与感知结果之间的正比关系，所述感知结果是根据所述联合概率及先验值确定的；根据所述正比关系构建多模态后融合模型。5.根据权利要求4所述的方法，其特征在于，所述根据不同感知传感器对应的感知结果互相独立的性质，建立所述最终融合结果与感知结果之间的正比关系，包括：将所述联合概率与先验值的乘积作为第一乘积；将所述第一乘积与不相关概率的比值作为第一比值；建立所述第一比值与最...
【专利技术属性】
技术研发人员：胡大林，徐显涛，叶云飞，杨强，
申请(专利权)人：北京赛目科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。