【技术实现步骤摘要】
本专利技术涉及无人驾驶汽车，尤其是涉及一种基于多模态知识图谱的自动避障决策方法及系统。
技术介绍
1、无人驾驶汽车技术的开发和应用为现代交通带来了新的解决方案，然而，如何确保无人驾驶汽车在行驶过程中的安全性和可靠性，尤其是面对复杂多变的交通环境，仍是一个待解决的难题。无人驾驶汽车的自动避障技术是指让汽车能够在行驶过程中，根据传感器获取的环境信息，及时地识别、预测和规避可能妨碍其通行的静态或动态障碍物，从而安全地到达目的地。无人驾驶汽车的自动避障技术主要包括三个过程：运动障碍物检测、运动障碍物碰撞轨迹预测和运动障碍物避障。其中，运动障碍物检测是指对运动过程中环境中的运动障碍物进行检测，主要由车载环境感知系统完成。常用的传感器有激光雷达、毫米波雷达、立体视觉、红外传感器、超声波传感器等。不同的传感器有各自的优缺点，一般需要综合使用或与其他传感器配合使用，以提高检测的准确性和鲁棒性。运动障碍物碰撞轨迹预测是指对运动过程中可能遇到的障碍物进行可能性评级和预测，判断与无人驾驶车辆的碰撞关系，常用的方法有基于概率模型、基于数据驱动、基于深度学习等。这一步需要考虑多种因素，如障碍物的类型、速度、方向、加速度等，以及车辆自身的状态和周围环境的变化等。运动障碍物避障是指通过智能决策和路径规划，使无人驾驶车辆安全避障，由车辆路径决策系统执行，常用的方法有势场法、模糊逻辑法、神经网络法、占据栅格法、空间搜索法等。这一步需要在满足安全性、可行性和最优性等约束条件下，生成一条从起始状态到目标状态的无碰撞路径。
2、目前，无人驾驶汽车的自动避障
3、自动避障技术的优劣直接影响到了无人驾驶汽车的安全性能，因此，开发一种快速、准确、高效的自动避障决策方法具有重要意义。现有的自动避障技术主要依赖于传感器的数据，如雷达、摄像头和激光传感器等。这些传感器可以提供实时的道路信息，但同时也存在信息获取不完全、误判的可能性。此外，传统的避障决策方法主要依赖于预设的规则或算法，无法根据实际情况做出自适应的决策。而在多模态知识图谱在无人驾驶汽车的自动避障技术应用上，也还存在以下问题：(1)如何从多种数据源中提取、整合和表示多模态知识，如何保证多模态知识的质量和一致性，如何有效地存储和管理多模态知识图谱等。(2)如何利用多模态知识图谱进行多模态语义理解、推理和查询，如何评估多模态知识图谱的效果和价值，如何解决多模态知识图谱的安全和隐私问题等。(3)如何将多模态知识图谱与激光雷达、视觉、imu、gps等传感器数据进行有效的融合，如何利用多模态知识图谱提供丰富的语义信息、多源数据融合和智能决策支持，如何利用深度学习等方法实现端到端的自动避障决策等。因此，亟需提出一种新的基于多模态知识图谱的自动避障决策方法，适用于无人驾驶汽车，有效解决现有技术传感器检测不准确、数据分析有误差、决策避障不高效的问题。
技术实现思路
1、有鉴于此，有必要针对上述的问题，提供一种基于多模态知识图谱的自动避障决策方法及系统，利用多模态知识图谱对车辆的传感器数据进行深度分析，结合车辆的实时状态信息，实现高效、准确的自动避障决策。
2、为实现上述目的，本专利技术是根据以下技术方案实现的：
3、一种基于多模态知识图谱的自动避障决策方法，包括以下步骤：
4、步骤s1：根据无人驾驶汽车、交通信息、障碍物三类本体的实体、实体属性及实体之间的关系，构建自动避障交通环境多模态知识图谱；
5、步骤s2：根据不同场景和需求，获取障碍物状态、无人驾驶汽车状态以及交通规则三方面的语义信息，经过信息处理获得语义信息特征，应用神经网络将上述语义信息特征分别融合成特征向量；
6、步骤s3：构建特征向量与避障决策之间的关联，以不同场景下的特征向量为输入、避障决策建议为输出，训练避障决策神经网络模型，形成决策系统。
7、进一步地，步骤s1中，所述无人驾驶汽车本体以自身为实体；以描述该实体运动状态的物理参数作为实体属性，包括但不限于位置、速度、方向、加速度；实体之间的关系包括但不限于相对位置、相对速度、相对方向、相对加速度。
8、进一步地，步骤s1中，所述交通信息本体的实体包括但不限于道路、交通标志、交通信号灯以及其他实体；道路实体的属性包括但不限于类型、尺寸、车道数目、路面材质；交通标志实体的属性包括但不限于类型、位置、大小、含义；交通信号灯实体的属性包括但不限于类型、颜色、数值、方向。
9、进一步地，步骤s1中，所述障碍物本体包括静态实体和动态实体；静态实体包括但不限于路障、石头、树枝以及其他静止的物体，其属性包括但不限于种类、尺寸、位置、方向、质量；动态实体包括但不限于行人、动物、车辆以及其它运动的物体，其属性包括但不限于种类、尺寸、位置、速度、方向、质量、加速度。
10、进一步地，在步骤s2中，所述获取语义信息的具体步骤包括：对于监测到的障碍物，根据其类型为静态或者动态，在知识图谱中提取相关属性特征，作为障碍物状态的语义信息；通过传感器收集数据，得到无人驾驶汽车状态的语义信息，包括但不限于位置、速度、方向、加速度；识别障碍物出现路段的交通规则，形成交通规则语义信息，包括但不限于交通标志、交通信号灯、道路情况。
11、进一步地，在步骤s2中，所述语义信息包括但不限于文本数据、传感器信号数据、视频图像数据。
12、进一步地，在步骤s2中，所述信息处理的具体步骤包括：对文本数据、传感器信号数据进行编码，对图像数据进行特征识别与信息提取，得到障碍物状态、无人驾驶汽车状态以及交通规则三方面的语义信息特征。
13、进一步地，在步骤s2中，所述融合成特征向量的具体步骤包括：
14、步骤s21：对文本数据，通过自然语言处理技术进行实体提取以及关系提取，得到特定对象的实体、相互间的语义关系、实体的属性；
15、步骤s22：将传感器信号数据进行编码/解码处理，得到对应特定实体的数值，并作为该实体属性的属性值；
16、步骤s23：针对视频图像数据，通过图像处理技术，抽取视频/图像中的实体，以及相应的语义关系；
17、步骤s24：将步骤s21至步骤s23获取的实体、关系以及属性值，利用神经网络融合成特征向量，得到无人驾驶汽车特征向量、障碍物特征向量、交通环境特征向量。
18、进一步地，步骤s3中，所述不同场景下的特征向量包括但不限于无人驾驶汽车特征向量、障碍物特征向量、交通环境特征向量；避障决策建议包括但不限于转动角度、制动力度。
19、此外，本专利技术还提供一种基于多模态知识图谱的自动避障决策系统，用于执行所述基于多模态知识图谱的自动避障决策方法。
20、本专利技术对本文档来自技高网...
【技术保护点】
1.一种基于多模态知识图谱的自动避障决策方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多模态知识图谱的自动避障决策方法，其特征在于，步骤S1中，所述无人驾驶汽车本体以自身为实体；以描述该实体运动状态的物理参数作为实体属性，包括但不限于位置、速度、方向、加速度；实体之间的关系包括但不限于相对位置、相对速度、相对方向、相对加速度。
3.根据权利要求1所述的基于多模态知识图谱的自动避障决策方法，其特征在于，步骤S1中，所述交通信息本体的实体包括但不限于道路、交通标志、交通信号灯以及其他实体；道路实体的属性包括但不限于类型、尺寸、车道数目、路面材质；交通标志实体的属性包括但不限于类型、位置、大小、含义；交通信号灯实体的属性包括但不限于类型、颜色、数值、方向。
4.根据权利要求1所述的基于多模态知识图谱的自动避障决策方法，其特征在于，步骤S1中，所述障碍物本体包括静态实体和动态实体；静态实体包括但不限于路障、石头、树枝以及其他静止的物体，其属性包括但不限于种类、尺寸、位置、方向、质量；动态实体包括但不限于行人、动物、车辆以及其它运动的物体
5.根据权利要求1所述的基于多模态知识图谱的自动避障决策方法，其特征在于，在步骤S2中，所述获取语义信息的具体步骤包括：对于监测到的障碍物，根据其类型为静态或者动态，在知识图谱中提取相关属性特征，作为障碍物状态的语义信息；通过传感器收集数据，得到无人驾驶汽车状态的语义信息，包括但不限于位置、速度、方向、加速度；识别障碍物出现路段的交通规则，形成交通规则语义信息，包括但不限于交通标志、交通信号灯、道路情况。
6.根据权利要求1所述的基于多模态知识图谱的自动避障决策方法，其特征在于，在步骤S2中，所述语义信息包括但不限于文本数据、传感器信号数据、视频图像数据。
7.根据权利要求6所述的基于多模态知识图谱的自动避障决策方法，其特征在于，在步骤S2中，所述信息处理的具体步骤包括：对文本数据、传感器信号数据进行编码，对图像数据进行特征识别与信息提取，得到障碍物状态、无人驾驶汽车状态以及交通规则三方面的语义信息特征。
8.根据权利要求6所述的基于多模态知识图谱的自动避障决策方法，其特征在于，在步骤S2中，所述融合成特征向量的具体步骤包括：
9.根据权利要求1所述的基于多模态知识图谱的自动避障决策方法，其特征在于，步骤S3中，所述不同场景下的特征向量包括但不限于无人驾驶汽车特征向量、障碍物特征向量、交通环境特征向量；避障决策建议包括但不限于转动角度、制动力度。
10.一种基于多模态知识图谱的自动避障决策系统，其特征在于，用于执行权利要求1至9的任一项所述的基于多模态知识图谱的自动避障决策方法。
...【技术特征摘要】
1.一种基于多模态知识图谱的自动避障决策方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多模态知识图谱的自动避障决策方法，其特征在于，步骤s1中，所述无人驾驶汽车本体以自身为实体；以描述该实体运动状态的物理参数作为实体属性，包括但不限于位置、速度、方向、加速度；实体之间的关系包括但不限于相对位置、相对速度、相对方向、相对加速度。
3.根据权利要求1所述的基于多模态知识图谱的自动避障决策方法，其特征在于，步骤s1中，所述交通信息本体的实体包括但不限于道路、交通标志、交通信号灯以及其他实体；道路实体的属性包括但不限于类型、尺寸、车道数目、路面材质；交通标志实体的属性包括但不限于类型、位置、大小、含义；交通信号灯实体的属性包括但不限于类型、颜色、数值、方向。
4.根据权利要求1所述的基于多模态知识图谱的自动避障决策方法，其特征在于，步骤s1中，所述障碍物本体包括静态实体和动态实体；静态实体包括但不限于路障、石头、树枝以及其他静止的物体，其属性包括但不限于种类、尺寸、位置、方向、质量；动态实体包括但不限于行人、动物、车辆以及其它运动的物体，其属性包括但不限于种类、尺寸、位置、速度、方向、质量、加速度。
5.根据权利要求1所述的基于多模态知识图谱的自动避障决策方法，其特征在于，在步骤s2中，所述获取语义信息的具体步骤包括：对于监测到的障碍物，根据...
【专利技术属性】
技术研发人员：秦昊，吴丹雯，张昱，
申请(专利权)人：广东省科学院智能制造研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。