基于感知的盲人导航方法和装置制造方法及图纸

本发明专利技术公开一种基于感知的盲人导航方法和装置，其中方法包括：根据用户初始位置、目的地位置和导航地图数据得到盲人导航路径信息；根据用户的当前所处位置、朝向及所述盲人导航路径信息，语音引导用户按照所述行走路线前行，并实时采集所述行走路线导航路径上的环境图像和深度信息；基于所述环境图像中识别出的物件信息、所述深度信息和所述行走路线融合得到当前环境场景的映射图像，所述映射图像包含各物件的形状、大小和位置信息；将所述映射图像各物件的形状、大小和位置信息转换为电信号传送至贴设在用户皮肤上的电极片上，以使用户通过触觉感知到当前环境中各物件的形状、大小和位置信息，所述电极片上设置有n行m列电极点。点。点。

【技术实现步骤摘要】
基于感知的盲人导航方法和装置


[0001]本专利技术涉及盲人导航
，具体而言，涉及一种基于感知的盲人导航方法和装置。

技术介绍

[0002]生活中，盲人在出行方面仍存在行走不便的问题。现有的辅助盲人单独出行的方式，虽然可以通过环境图像采集的方式识别出周围的环境信息，但所识别出的环境信息还是通过语音播报的方式提示用户，但由于盲人对于语音提示的环境信息缺乏直观的感知，无法对周围环境形成足以安心行走的认知，存在容易导致错走路线或发生磕碰的问题。

技术实现思路

[0003]本专利技术提供一种基于感知的盲人导航方法和装置，用以克服现有技术中存在的至少一个技术问题。
[0004]根据本专利技术实施例的第一方面，提供一种基于感知的盲人导航方法，包括：
[0005]根据用户初始位置、目的地位置和导航地图数据得到盲人导航路径信息，所述盲人导航路径信息包括行走路线、用于提醒盲人行走需要注意的路况信息和中途转弯信息；
[0006]根据用户的当前所处位置、朝向及所述盲人导航路径信息，语音引导用户按照所述行走路线前行，并实时采集所述行走路线导航路径上的环境图像和深度信息；
[0007]基于所述环境图像中识别出的物件信息、所述深度信息和所述行走路线融合得到当前环境场景的映射图像，所述映射图像包含各物件的形状、大小和位置信息；
[0008]将所述映射图像各物件的形状、大小和位置信息转换为电信号传送至贴设在用户皮肤上的电极片上，以使用户通过触觉感知到当前环境中各物件的形状、大小和位置信息，所述电极片上设置有n行m列电极点。
[0009]可选的，所述物件包括可作为地点和方向参考的车站、广场、突出建筑物、商场、医院和学校中的至少一种。
[0010]可选的，所述映射图像的构建及更新方式如下：
[0011]对所采集的周围环境图像进行预处理后识别得到环境中的物件信息，根据预先设定的比例确定物件的形状、位置和大小；
[0012]连续采集所述行走路线上的环境图像，对当前环境图像与前一帧环境图像的相似程度进行比较，若连续的两帧图像的相似程度不低于设定阈值，则无需当前环境图像进行物件识别，若连续的两帧图像的相似程度低于所述设定阈值，则对当前环境图像进行物件识别，根据识别出的物件信息和当前所处的行走路线上的位置得到更新的映射图像。
[0013]可选的，所述相似程度通过以下方式计算：
[0014]通过滑动窗口将每帧图像按照预设的分区数进行分区，对于每帧图像的任一分区，计算其与另一帧图象对应分区的结构相似度，将两帧图像所有分区的结构相似度的平均值作为该两帧图像的相似程度。
[0015]可选的，在提示用户转向后，根据方向传感器实时检测用户的旋转角度，当用户旋转至提示的角度后，语音提示用户完成转向并前行。
[0016]可选的，所述电极片为柔性电极片。
[0017]根据本专利技术实施例的第二方面，提供一种基于感知的盲人导航装置，包括：
[0018]路径规划模块，被配置为根据用户初始位置、目的地位置和导航地图数据得到盲人导航路径信息，所述盲人导航路径信息包括行走路线、用于提醒盲人行走需要注意的路况信息和中途转弯信息；
[0019]引导模块，被配置为根据用户的当前所处位置、朝向及所述盲人导航路径信息，语音引导用户按照所述行走路线前行，并实时采集所述行走路线导航路径上的环境图像和深度信息；
[0020]环境映射模块，被配置为基于所述环境图像中识别出的物件信息、所述深度信息和所述行走路线融合得到当前环境场景的映射图像，所述映射图像包含各物件的形状、大小和位置信息；
[0021]用户感知模块，被配置为将所述映射图像各物件的形状、大小和位置信息转换为电信号传送至贴设在用户皮肤上的电极片上，以使用户通过触觉感知到当前环境中各物件的形状、大小和位置信息，所述电极片上设置有n行m列电极点。
[0022]可选的，所述映射图像的构建及更新方式如下：
[0023]对所采集的周围环境图像进行预处理后识别得到环境中的物件信息，根据预先设定的比例确定物件的形状、位置和大小；
[0024]连续采集所述行走路线上的环境图像，对当前环境图像与前一帧环境图像的相似程度进行比较，若连续的两帧图像的相似程度不低于设定阈值，则无需当前环境图像进行物件识别，若连续的两帧图像的相似程度低于所述设定阈值，则对当前环境图像进行物件识别，根据识别出的物件信息和当前所处的行走路线上的位置得到更新的映射图像。
[0025]可选的，所述相似程度通过以下方式计算：
[0026]通过滑动窗口将每帧图像按照预设的分区数进行分区，对于每帧图像的任一分区，计算其与另一帧图象对应分区的结构相似度，将两帧图像所有分区的结构相似度的平均值作为该两帧图像的相似程度。
[0027]可选的，在提示用户转向后，根据方向传感器实时检测用户的旋转角度，当用户旋转至提示的角度后，语音提示用户完成转向并前行。
[0028]本专利技术在根据采集的环境图像识别出需要盲人注意的物件信息后，根据物件的形状、大小和位置生成预设比例的映射图像，进而将映射图像中各物件的形状、大小和位置信息以电信号的形式发送到贴设在用户皮肤上的电极片上，映射图像中各物件的形状、大小和位置信息以电极信号的形式作用在用户的皮肤上，用户可以直观地感知到当前行进路线上环境中各物件的形状、大小和位置信息，从而对当前行进路线的环境形成充分的认知，进而可以根据语音提示更准确地按照规划路线前进，避免因为仅有语音提示无法对当前环境形成直观认知而导致偏离规划路线或出现磕碰的问题。
[0029]本专利技术实施例的创新点包括：
[0030]1、在根据采集的环境图像识别出需要盲人注意的物件信息后，根据物件的形状、大小和位置生成预设比例的映射图像，进而将映射图像中各物件的形状、大小和位置信息
以电信号的形式发送到贴设在用户皮肤上的电极片上，映射图像中各物件的形状、大小和位置信息以电极信号的形式作用在用户的皮肤上，用户可以直观地感知到当前行进路线上环境中各物件的形状、大小和位置信息，从而对当前行进路线的环境形成充分的认知，进而可以根据语音提示更准确地按照规划路线前进，避免因为仅有语音提示无法对当前环境形成直观认知而导致偏离规划路线或出现磕碰的问题，是本专利技术实施例的创新点之一。
[0031]2、在提示用户行进中转向时，虽然语音会提示用户转向的具体角度，但由于盲人看不到真实的环境，无法判断自己转向的角度具体是多少；而本专利技术实施例通过用户携带的方向传感器会在用户的转向角度达到语音提示的转向角度后，自动振动提示用户转向已达到所需要的角度，从而准确地实现行进转向，避免出现转向角度不准确而导致的偏离路线甚至出现磕碰的问题；这是本专利技术实施例的创新点之一。
附图说明
[0032]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于感知的盲人导航方法，其特征在于，包括：根据用户初始位置、目的地位置和导航地图数据得到盲人导航路径信息，所述盲人导航路径信息包括行走路线、用于提醒盲人行走需要注意的路况信息和中途转弯信息；根据用户的当前所处位置、朝向及所述盲人导航路径信息，语音引导用户按照所述行走路线前行，并实时采集所述行走路线导航路径上的环境图像和深度信息；基于所述环境图像中识别出的物件信息、所述深度信息和所述行走路线融合得到当前环境场景的映射图像，所述映射图像包含各物件的形状、大小和位置信息；将所述映射图像各物件的形状、大小和位置信息转换为电信号传送至贴设在用户皮肤上的电极片上，以使用户通过触觉感知到当前环境中各物件的形状、大小和位置信息，所述电极片上设置有n行m列电极点，n、m均为正整数。2.根据权利要求1所述的盲人导航方法，其特征在于，所述物件包括可作为地点和方向参考的车站、广场、突出建筑物、商场、医院和学校中的至少一种。3.根据权利要求1所述的盲人导航方法，其特征在于，所述映射图像的构建及更新方式如下：对所采集的周围环境图像进行预处理后识别得到环境中的物件信息，根据预先设定的比例确定物件的形状、位置和大小；连续采集所述行走路线上的环境图像，对当前环境图像与前一帧环境图像的相似程度进行比较，若连续的两帧图像的相似程度不低于设定阈值，则无需当前环境图像进行物件识别，若连续的两帧图像的相似程度低于所述设定阈值，则对当前环境图像进行物件识别，根据识别出的物件信息和当前所处的行走路线上的位置得到更新的映射图像。4.根据权利要求3所述的盲人导航方法，其特征在于，所述相似程度通过以下方式计算：通过滑动窗口将每帧图像按照预设的分区数进行分区，对于每帧图像的任一分区，计算其与另一帧图象对应分区的结构相似度，将两帧图像所有分区的结构相似度的平均值作为该两帧图像的相似程度。5.根据权利要求1所述的导航方法，其特征在于，在提示用户转向后，根据方向传感器实时检测用户的旋转角度，当用户旋转至提示的角度后，语音提示用户完成转向并前行。6.根据权利要...

【专利技术属性】
技术研发人员：郭立文，苏振宇，任思捷，
申请(专利权)人：北京瞳新亮科技有限公司，
类型：发明
国别省市：