一种兼顾自定位和目标导向的多模态感知导盲系统技术方案

一种兼顾自定位和目标导向的多模态感知导盲系统，它属于感知导盲技术领域。本发明专利技术解决了现有不依赖先验地图的导盲设备的适应性差的问题。本发明专利技术的系统规避了不依赖先验地图的导盲设备在面对特殊工况下失效的风险，通过用户与系统的交互能够为盲人提供自然的环境描述与导航反馈，实现了让盲人熟悉一个陌生房间并轻松完成室内导航任务的目标。本发明专利技术的策略从用户的实际需求出发，帮助用户快速熟悉陌生环境，帮助盲人完成室内导航任务，当获取的图像中不包含目标时仍然可以输出导航指令，保证导航的连续性，解决了无先验地图的导盲设备在使用过程中无法兼顾自定位和目标导向的问题，提高了导盲设备的适应性。本发明专利技术方法可以应用于感知导盲技术领域。

【技术实现步骤摘要】

本专利技术属于感知导盲，具体涉及一种兼顾自定位和目标导向的多模态感知导盲系统。

技术介绍

1、面向盲人环境感知的辅助技术研究中，主要涵盖两个关键环节。其一为环境信息的获取，随着当下机器视觉技术的蓬勃发展，为这一环节提供了多样化的解决方案，从目标检测到场景解析，各类先进的算法不断涌现，实现了对复杂环境的精准感知。其二则是将获取的信息有效传输给用户，目前存在着多种模态策略可供选择，涵盖语音、音频、振动以及电刺激等不同形式。其中，语音模态因其天然依附于文字，这使得信息的表达具备更高的密度与准确性。加之近年来视觉语言大模型取得了长足发展。虽然定制个性化模型需要大量的训练(daniel fried,ronghang hu,volkan cirik,anna rohrbach,jacob andreas,louis-philippe morency,taylor berg-kirkpatrick,kate saenko,dan klein,andtrevor darrell.(2018)speaker-follower models forvision-and-lan本文档来自技高网...

【技术保护点】

1.一种兼顾自定位和目标导向的多模态感知导盲系统，其特征在于，所述系统包括多模态交互模块、空间映射模块、规划引导模块和轨迹跟踪模块，其中：

2.根据权利要求1所述的一种兼顾自定位和目标导向的多模态感知导盲系统，其特征在于，所述多模态交互模块的硬件部分包括集成了麦克风的耳机以及相机。

3.根据权利要求2所述的一种兼顾自定位和目标导向的多模态感知导盲系统，其特征在于，所述空间映射模块的软件部分包括大语言模型和Yolact深度学习模型；

4.根据权利要求3所述的一种兼顾自定位和目标导向的多模态感知导盲系统，其特征在于，所述规划引导模块的工作过程为：

<...

【技术特征摘要】

1.一种兼顾自定位和目标导向的多模态感知导盲系统，其特征在于，所述系统包括多模态交互模块、空间映射模块、规划引导模块和轨迹跟踪模块，其中：

2.根据权利要求1所述的一种兼顾自定位和目标导向的多模态感知导盲系统，其特征在于，所述多模态交互模块的硬件部分包括集成了麦克风的耳机以及相机。

3.根据权利要求2所述的一种兼顾自定位和目标导向的多模态感知导盲系统，其特征在于，所述空间映射模块的软件部分包括大语言模型和yolact深度学习模型；

4.根据权利要求3所述的一种兼顾自定位和目标导向的多模态感知导盲系统，其特征在于，所述规划引导模块的工作过...

【专利技术属性】
技术研发人员：姜力，李宇慧，李正辰，程明，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：