【技术实现步骤摘要】
用于自主驾驶交通工具的稳健多模态传感器融合
[0001]本公开总体上涉及用于实现自主交通工具的多模态传感器融合的技术，并且具体地涉及使用神经网络相对于传感器和模型数据的不确定性进行建模和估计以提供可靠的和稳健的结果。
技术介绍
[0002]自主交通工具(AV)配备有各种感测模态(诸如相机、光检测和测距(LIDAR)、雷达等)以感测其操作的环境。由这些传感器捕获的数据固有地是有噪声的并且是不确定的。具有一种用于融合这些多个模态的稳健机制是重要的，因为它可以帮助克服任何单个模态中的错误或故障。
附图说明
[0003]结合到本说明书并构成本说明书的一部分的附图图示本公开的各个方面，并且与说明书一起，进一步用于解释各个方面的原理，并使相关领域的技术人员能够制造和使用各个方面。
[0004]图1图示出根据本公开的各方面的用于实现更安全的驾驶控制和路径规划的示例架构。
[0005]图2图示出根据本公开的各个方面应用于活动识别的示例贝叶斯多模态融合框架示例。
[0006]图3图示出根据本公开的各个方...
【技术保护点】
【技术特征摘要】
1.一种电子控制单元ECU，所述电子控制单元ECU包括：多个神经网络，所述多个神经网络中的每一个神经网络具有耦合至相应的自主交通工具AV传感器的输入，所述自主交通工具AV传感器被配置成用于输出表示根据AV应用环境模型数据结构使用的一组不同类别的分布数据；多个不确定性估计单元，所述多个不确定性估计单元中的每一个不确定性估计单元被配置成用于使用从所述多个神经网络中的分别耦合的神经网络输出的所述分布数据来计算不确定性估计值，所述不确定性估计值是相对于由耦合至所述多个神经网络中的所述分别耦合的神经网络的所述AV传感器提供的数据而言的；以及控制单元，所述控制单元被配置成用于根据针对所述多个神经网络中的每一个神经网络计算出的相应的不确定性估计值，对所述多个神经网络中的每一个神经网络输出的所述分布数据进行门控，并用于使用经门控的分布数据来生成环境模型数据结构。2.如权利要求1所述的ECU，其特征在于，所述多个神经网络中的每一个神经网络是贝叶斯深度神经网络(B
‑
DNN)。3.如权利要求1所述的ECU，其特征在于，所述多个神经网络中的每一个神经网络是非贝叶斯深度神经网络(DNN)。4.如权利要求1所述的ECU，其特征在于，所述多个不确定性估计单元中的每一个不确定性估计单元被配置成用于：使用预测分布来计算相应的不确定性估计值，所述预测分布是通过对来自所述多个神经网络中的每个分别耦合的神经网络的经学习的后验分布的权重进行采样而从通过所述多个神经网络中的分别耦合的神经网络的多次蒙特卡洛前向传递获得的。5.如权利要求1所述的ECU，其特征在于，所述多个不确定性估计单元中的每一个不确定性估计单元被配置成用于：使用从所述多个神经网络中的每个分别耦合的神经网络输出的所述分布数据来计算偶然不确定性值和认知不确定性值。6.如权利要求5所述的ECU，其特征在于，所述控制单元被配置成用于：随时间监测所述不确定性估计值，并且当与AV传感器相关联的相应的偶然不确定性值超过阈值偶然不确定性值时、将所述AV传感器标记为是有故障的。7.如权利要求5所述的ECU，其特征在于，所述控制单元被配置成用于：随时间监测所述不确定性估计值，并且当与所述多个神经网络中的一个或多个神经网络相关联的认知不确定性值超过阈值认知不确定性值时、发起所述多个神经网络的重新训练序列。8.一种自主车辆AV系统，所述自主车辆AV系统包括：存储器，具有存储于其上的指令；以及一个或多个处理器，所述一个或多个处理器被配置成用于执行所述存储器上存储的所述指令以：经由分别耦合的自主交通工具AV传感器中的每一个传感器接收传感器数据，并输出分布数据的集合，所述分布数据的集合中的每一个分布数据表示根据AV应用环境模型数据结构使用的一组不同类别；计算所述分布数据的集合中的每一个分布数据的不确定性估计值；根据分别计算出的不确定性估计值对所述分布数据的集合中的每一个分布数据进行门控；并且
使用经门控的分布数据来生成环境模型数据结构。9.如权利要求8所述的AV系统，其特征在于，所述一个或多个处理器被配置成用于根据贝叶斯深度神经网络(B
‑
DNN)架构输出所述分布数据的集合。10.如权利要求8所述的AV系统，其特征在于，所述一个或多个处理器被配置成用于根据非贝叶斯深度神经网络(DNN)架构输出所述分布数据的集合。11.如权利要求8所述的AV...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。