【技术实现步骤摘要】
一种基于辅助信息的盲人导航方法及装置
[0001]本专利技术涉及人工智能
，具体涉及一种基于辅助信息的盲人导航方法及装置。
技术介绍
[0002]现有的盲人导航技术主要有两种：一种是依靠全局信息(如地图、俯视图等)实现整体路径规划，利用定位信息实现导航；一种是采用室内定位技术，通过预先布置在室内的多个摄像头等传感器计算用户所在的准确坐标，进一步进行路径规划。第一种方案存在以下问题：当用户处于陌生环境时，一方面无法获得场景的全局信息，另一方面无法在室内获得准确的定位信息，导致此类方法的使用受到很大限制。第二种方案也有其不足：室内定位技术需要摄像头等传感器辅助，当处于陌生场景时很难满足这些硬件条件，从而将大大降低可行性。
技术实现思路
[0003]为了解决现有技术中存在的上述问题，本专利技术提供一种基于辅助信息的盲人导航方法及装置。
[0004]为了实现上述目的，本专利技术采用以下技术方案。
[0005]第一方面，本专利技术提供一种基于辅助信息的盲人导航方法，包括：
[0006]获取...
【技术保护点】
【技术特征摘要】
1.一种基于辅助信息的盲人导航方法，其特征在于，包括以下步骤：获取360度范围内N个不同方向的视频图像i
t
，t＝1,2,
…
,N；利用第一卷积神经网络对所述视频图像进行特征提取，并将提取的特征输入到第一LSTM进行融合，得到图像融合特征o
t
＝LSTM(Conv(i
t
))，Conv表示卷积运算；利用第二卷积神经网络对o
t
进行分类，得到L个可能预测方向，每个可能预测方向与一个c
l
的方向相同，l＝1,2,
…
,L，c
l
为分别位于L个相邻扇区内使其扇区内softmax(Conv(o
t
))最大且最大值大于设定阈值的o
t
，softmax为激励函数；对包含辅助导航信息的文本进行特征提取、融合，得到文本融合特征，利用交叉注意力机制对文本融合特征和图像融合特征进行交叉融合，得到跨模态融合特征向量f；将f与{c1,c2,
…
,c
L
}关联，选出与辅助导航信息最相符的c
l
，1≤l≤L，第l个可能预测方向就是最终的导航预测方向。2.根据权利要求1所述的基于辅助信息的盲人导航方法，其特征在于，按以下方法得到跨模态融合特征向量f：将包含辅助导航信息的文本输入到Bert或Word2Vec模型中，得到文本嵌入特征E(w
i
)，E表示嵌入模型，w
i
为第i个单词或汉字，i＝1,2,
…
,M，M为文本中单词或汉字的数量；将E(w
i
)输入双向LSTM，得到上下文相关的文本融合特征表示f
iT
＝BiLSTM(E(w
i
))，BiLSTM表示进行双向LSTM运算；利用第一注意力模块进行文本跨模态融合，通过图像特征筛选重要的文本特征筛选重要的文本特征式中，Att表示注意力运算，当输入长度为n的特征序列{f1,f2,
…
,f
n
}和特征向量q时，其输出为：α
i
＝softmax(f
i
W
att
q)式中，W
att
为训练参数；按以下方法得到：利用第二注意力模块进行图像跨模态融合，通过文本特征筛选重要的图像特征f
tV
：将f
tV
输入到第二LSTM得到输入到第二LSTM得到将和融合后得到：3.根据权利要求2所述的基于辅助信息的盲人导航方法，其特征在于，确定最终导航预
测方向的方法具体包括：将f和{c1,c2,
…
,c
L
}输入第三注意力模块，得到注意力分布为：α
i
＝softmax(c
i
W
att
f)，i＝1,2,
…
,L如果c
i
＝c
l
时α
i
取最大值，则第l个可能预测方向为最终的导航预测方向。4.根据权利要求1所述的基于辅助信息的盲人导航方法，其特征在于，通过语音模块获取包含辅助导航信息的文本。5.根据权利要求1所述的基于辅助信息的盲人导航方法，其特征在于，N＝36，L＝6。6.一种基于辅助信息的盲人导航装置，其特征在于，包括：全景图像获取模块，用于获取360度范围内N个不同...
【专利技术属性】
技术研发人员：史业民，俞益洲，李一鸣，乔昕，
申请(专利权)人：杭州深睿博联科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。