一种基于语义驱动的跨模态障碍检测方法技术

本发明专利技术涉及障碍检测技术领域，是一种基于语义驱动的跨模态障碍检测方法，首先提出了一个语义驱动的传输框架，框架提取了与任务相关的语义，并通过信源‑信道联合编码提高对信道噪声的稳定性；而后设计了一种轻量级的跨模态语义融合方法，在保持模态内语义完整性的前提下，实现多模态语义互补信息的学习；最后，构建了一个包含典型障碍物如突发的行人、不规则的障碍物的数据集来评估所提方法的性能。本发明专利技术解决了传统方案存在的传输延迟大和检测精度低的问题；首先仅传输与任务相关的语义，有效地减少传输的数据量，降低传输延迟，此外利用跨模态的语义学习，完成对多模态信号的语义关系挖掘，使多模态信号能够实现语义互补，从而提高检测精度。

【技术实现步骤摘要】

本专利技术涉及障碍检测，具体地说，是一种基于语义驱动的跨模态障碍检测方法。

技术介绍

1、随着计算机技术的不断创新和发展，障碍物检测技术在各个领域中有着广泛的应用。例如，在自动驾驶汽车领域，障碍物检测技术被用于实时识别和跟踪道路上的其他车辆、行人、交通标志和道路条件等，以确保行驶的安全性。在制造业和工业自动化领域，机器人和自动导向车(automated guided vehicles，agv)使用障碍物检测技术来协调和控制设备，以避免碰撞，提高生产效率。此外，在无人机、农业机械和医疗机器人等领域中也存在障碍物检测技术的应用。

2、以工业物联网中的自动导向车为例，其被部署到智能工厂和物流中心等工作场所，以促进智能的材料搬运操作。作为一种新型的智能车辆，agv配备了各种类型的传感器。这些传感器使它们能够根据预定的路线和指令智能地运输物料，这样既提高了操作效率，同时也降低了人工成本。然而，由于真实环境的复杂性和不确定性，在agv的预定路线中可能会存在许多障碍，比如不规则摆放的盒子和快速移动的行人，这些障碍物的存在会导致运输效率变低。因此，需要一种快速本文档来自技高网...

【技术保护点】

1.一种基于语义驱动的跨模态障碍检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于语义驱动的跨模态障碍检测方法，其特征在于，所述步骤1包括以下流程：

3.根据权利要求2所述的基于语义驱动的跨模态障碍检测方法，其特征在于，所述流程1-1中，对于由深度图像和红外图像构成的大规模数据集其中M为成对的深度图和红外图的数量，sj为第j对深度图和红外图，将第j个深度图和第j个红外图分别传递给深度图语义提取网络和红外图语义提取网络，分别提取相应的深度图和红外图的语义信息；所述流程1-2中，语义编码和融合部分的参数量分别为0.312Mb和0.219Mb。

<...

【技术特征摘要】

1.一种基于语义驱动的跨模态障碍检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于语义驱动的跨模态障碍检测方法，其特征在于，所述步骤1包括以下流程：

3.根据权利要求2所述的基于语义驱动的跨模态障碍检测方法，其特征在于，所述流程1-1中，对于由深度图像和红外图像构成的大规模数据集其中m为成对的深度图和红外图的数量，sj为第j对深度图和红外图，将第j个深度图和第j个红外图分别传递给深度图语义提取网络和红外图语义提取网络，分别提取相应的深度图和红外图的语义信息；所述流程1-2中，语义编码和融合部分的参数量分...

【专利技术属性】
技术研发人员：高赟，王彤，刘恒发，周亮，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：