一种穿戴式智能感知导盲系统技术方案

本发明专利技术公开一种穿戴式智能感知导盲系统,包括有MCU主控单元、双目摄像头、语音播报模块、GPS定位模块、本地储存器、4G/5G通信接口以及天线，所述双目摄像头通过USB接口与MCU主控单元相连接，所述GPS定位模块通过UART接口与MCU主控单元相连接，所述本地储存器通过总线接口与MCU主控单元相连接，所述4G/5G通信接口通过DTU接口与MCU主控单元相连接，在所述4G/5G通信接口上连接有天线，语音播报模块通过UART接口与MCU主控单元相连接；由双目摄像头来采集环境信息，MCU主控单元运用CNN深度学习神经网络模型，来检测视障人士行走通道上的各类障碍物，确定障碍物的距离和方位，合理规划行走路线，同时在交通路口识别斑马线及红绿灯，通过语音提示视障人士的行走。

【技术实现步骤摘要】
一种穿戴式智能感知导盲系统
本专利技术涉及导盲领域，尤其涉及一种穿戴式智能感知导盲系统。
技术介绍
中国是世界盲人最多的国家,约有1200万,占全世界盲人口的18％，作为社会群体中的特殊人群，他们终生生活在无边的黑暗中，因此常常会遇到各种难题，目前市场上的一些导盲产品大多结构简单而功能单一(只能简单提示前方有障碍物)，虽然有些产品使用方便，但辅助效果并不明显，而且，视障朋友在使用时会碰到诸多问题，比如路况不好，坑洼不平，前方有悬挂的障碍物等等，普通的导盲产品无法准确的探明。现有导盲产品的障碍物探测功能，仅仅局限于对障碍物的距离进行探测，不能对障碍物所在方位进行精确定位，并且只能对单一障碍物进行探测，如在多运动障碍物的探测中，仅仅能够探测到离使用者距离最近的障碍物，因此使得产品的导盲功能实用性大幅度降低。关于智能导盲设备如导盲眼镜，在国际和国内都有团队和公司进行过研究，但由于性能以及使用体验不理想等原因始终停留在性能检测与小批量试产阶段，至今并未形成规模化市场。尤其是在国内，对视障人士辅助导盲设备的研发更是处于起步阶段，距大规模产品化、商业化还有很长的一段距离，而且就目前而言，我国针对导盲设备的市场空间还远没有达到发展普及阶段，因此，解决这一类的问题显得尤为重要。
技术实现思路
针对上述问题，本专利技术提供了一种穿戴式智能感知导盲系统，运用机器视觉和人工智能技术对环境进行3D建模，对环境中的静态和动态障碍物进行检测和识别，获取障碍物所在区域，并计算出相对视障人士的距离和方位，采用九方格地图进行有效行走路径规划，通过语音播报前方路况信息，提示视障人士行走与避障。本专利技术能在动态环境下，感知环境中障碍物的空间位置，规划出供视障人士行走的路线，为视障人士的出行提供方便。为了实现上述技术方案，本专利技术提供了一种穿戴式智能感知导盲系统,包括有MCU主控单元、双目摄像头、语音播报模块、GPS定位模块、本地储存器、4G/5G通信接口以及天线，所述双目摄像头通过USB接口与MCU主控单元相连接，所述GPS定位模块通过UART接口与MCU主控单元相连接，所述本地储存器通过总线接口与MCU主控单元相连接，所述4G/5G通信接口通过DTU接口与MCU主控单元相连接，在所述4G/5G通信接口上连接有天线，语音播报模块通过UART接口与MCU主控单元相连接；由双目摄像头来采集环境信息，MCU主控单元运用CNN深度学习神经网络模型，来检测视障人士行走通道上的各类障碍物，确定障碍物的距离和方位，合理规划行走路线，同时在交通路口识别斑马线及红绿灯，通过语音提示视障人士的行走。进一步改进在于，所述MCU主控单元为XavierNX主控板，在所述XavierNX主控板中部署深度学习障碍物检测与识别算法和双目测距算法以及视障人士行走通道识别以及导航与避障算法。进一步改进在于，所述MCU主控单元通过V4L2来实现双目摄像头的拍摄，首先使用V4L2获取双目摄像头参数，检测双目摄像头支持的格式，使用VIDIOC_S_FMT设置驱动的频捕获模式并计算其大小；然后申请帧缓冲数量为1，在内存中建立对应空间，通过mmap建立映射关系，将申请到的缓冲送入队列并开始捕捉图像。进一步改进在于，由于拍摄的图像格式为YUYV，该格式较大且不便于传输及查看，因此对其进行格式转换，首先将YUYV转换为RGB格式，再使用JPEG压缩为jpg格式，最后保存图像，解除内存映射空间。进一步改进在于，所述双目测距算法根据视差原理模拟人类的双眼，通过左右视图获取目标的三维信息，具体步骤如下：步骤一：使用未标定的双目摄像头拍摄20对左右视图数据，以完成相机的标定和立体校正；步骤二：校正信息保存为OpenCV的yml文件；步骤三：标定完成后，直接拍摄左右视图并使用BM算法测距，每次测距时，模块初始化，读取包含校正信息的yml文件，进行立体匹配获取深度图；步骤四：待障碍物检测识别算法计算后，将检测框坐标与深度图匹配，选取检测框中心点位置输出距离信息；步骤五：将深度图平均分为三个像素区域，分别为左前方、前方、右前方，并根据检测框中心点所在像素位置确定方位，输出目标的方位信息。进一步改进在于，所述深度学习障碍物检测与识别算法以Darknet-YOLOv3为框架，并基于GoogleNet的卷积神经网络，采用Darknet-53作为特征提取主干网络。进一步改进在于，视障人士行走通道识别以及导航与避障算法的实现步骤为：步骤一：运用机器视觉和人工智能技术对环境进行3D建模，所述3D建模的模型地图为包括有九个有效区域的九方格地图，将九方格地图中的底部中间位置处的有效区域方格作为用户落脚点的起始方格，每一个有效区域的方格的边长设置为0.5m，视障人士下一步的行走路径以起始方格为基准，以左方、右方、左前方、正前方或右前方的方格为即将行走的规划路线，路径规划的结果根据当前前方有效区域内的障碍物分布来确定；步骤二：找出有效区域内距离视障人士最近的一个和多个目标，将其映射到九方格所在区域内；步骤三：标出每个目标在九方格地图上的位置和覆盖区域，目标的位置以检测到的目标框为基准，目标的覆盖区域就是检测框检测到的区域；步骤四：方格有效性检测，方格有效性由覆盖每个方格的目标的区域和大小确定，具体针对每个格子所在位置的不同有不同的计算方法；步骤五：规划有效行走路径，对于标记为无效的方格均为不可通行区域，路径规划时均认为是非通行区；有效路径的规划是以起始方格S32为出发点，沿左方、右方、左前方、正前方和右前方5个方向查找是否存在可通行区域，可通行区域必须是有效方格所在区域，如果找到可以通行的区域，就将其标识为可通行路径，如果存在多条可通行路径就依次按正前方、左前方、右前方、左方、右方的优先级顺序选择最优路线。进一步改进在于：播报提醒采用语音+报警音的方式，系统每隔大约3秒播报一次障碍物信息和行走方向提示，障碍物一旦进入有效区域内(前方大约1.5m*1.5m区域)，系统即刻启动“嘟嘟”报警音。本系统采用三种不同频率的音频声表示距离：距离在1m～1.5m范围用低频报警音，距离在0.5m～1.0m范围用中频报警音，距离在0.5m范围则用高频报警音，这样视障人士就能根据系统的提示一步一步往前行走。进一步改进在于：播报的行走方向包括以下5种：(1)向左方行走(2)向右方行走(3)向左前方行走(4)向正前方行走(5)向右前方行走进一步改进在于：播报的障碍物位置信息有以下3种：(1)左前方有障碍物(2)正前方有障碍物(3)右前方有障碍物本专利技术能检测识别人行道上各类常见的障碍物，包括：路锥、石球、隔离柱、禁止横杆、栏杆、消防栓、植物、人、坑、水坑等，能对交通路口的各种标识和目标进行识别，包括：斑马线、信号灯、自行车、摩托车、车辆、人等，还可以判断上楼梯、下楼梯、各种台阶，以及一些其它未知类别的障碍物目标。本专利技术的有益效果是1、本文档来自技高网...

【技术保护点】
1.一种穿戴式智能感知导盲系统,其特征在于：包括有MCU主控单元、双目摄像头、语音播报模块、GPS定位模块、本地储存器、4G/5G通信接口以及天线，所述双目摄像头通过USB接口与MCU主控单元相连接，所述GPS定位模块通过UART接口与MCU主控单元相连接，所述本地储存器通过总线接口与MCU主控单元相连接，所述4G/5G通信接口通过DTU接口与MCU主控单元相连接，在所述4G/5G通信接口上连接有天线，语音播报模块通过UART接口与MCU主控单元相连接；由双目摄像头来采集环境信息，MCU主控单元运用CNN深度学习神经网络模型，来检测视障人士行走通道上的各类障碍物，确定障碍物的距离和方位，合理规划行走路线，同时在交通路口识别斑马线及红绿灯，通过语音提示视障人士的行走。/n

【技术特征摘要】
1.一种穿戴式智能感知导盲系统,其特征在于：包括有MCU主控单元、双目摄像头、语音播报模块、GPS定位模块、本地储存器、4G/5G通信接口以及天线，所述双目摄像头通过USB接口与MCU主控单元相连接，所述GPS定位模块通过UART接口与MCU主控单元相连接，所述本地储存器通过总线接口与MCU主控单元相连接，所述4G/5G通信接口通过DTU接口与MCU主控单元相连接，在所述4G/5G通信接口上连接有天线，语音播报模块通过UART接口与MCU主控单元相连接；由双目摄像头来采集环境信息，MCU主控单元运用CNN深度学习神经网络模型，来检测视障人士行走通道上的各类障碍物，确定障碍物的距离和方位，合理规划行走路线，同时在交通路口识别斑马线及红绿灯，通过语音提示视障人士的行走。


2.根据权利要求1所述的穿戴式智能感知导盲系统，其特征在于，所述MCU主控单元为XavierNX主控板，在所述XavierNX主控板中部署深度学习障碍物检测与识别算法和双目测距算法以及视障人士行走通道识别以及导航与避障算法。


3.根据权利要求1所述的穿戴式智能感知导盲系统，其特征在于，所述MCU主控单元通过V4L2来实现双目摄像头的拍摄，首先使用V4L2获取双目摄像头参数，检测双目摄像头支持的格式，使用VIDIOC_S_FMT设置驱动的频捕获模式并计算其大小；然后申请帧缓冲数量为1，在内存中建立对应空间，通过mmap建立映射关系，将申请到的缓冲送入队列并开始捕捉图像。


4.根据权利要求3所述的穿戴式智能感知导盲系统，其特征在于，由于拍摄的图像格式为YUYV，该格式较大且不便于传输及查看，因此对其进行格式转换，首先将YUYV转换为RGB格式，再使用JPEG压缩为jpg格式，最后保存图像，解除内存映射空间。


5.根据权利要求2所述的穿戴式智能感知导盲系统，其特征在于，所述双目测距算法根据视差原理模拟人类的双眼，通过左右视图获取目标的三维信息，具体步骤如下：
步骤一：使用未标定的双目摄像头拍摄20对左右视图数据，以完成相机的标定和立体校正；
步骤二：校正信息保存为OpenCV的yml文件；<...

【专利技术属性】
技术研发人员：刘宇红，李伟斌，付建伟，张荣芬，胡国军，
申请(专利权)人：杭州易享优智能科技有限公司，
类型：发明
国别省市：浙江;33