智能导盲系统技术方案

本发明专利技术公开了智能导盲系统，涉及导盲设备技术领域，基于计算机视觉为盲人提供基本的避障功能，通过目标检测和测距算法识别出障碍物体及物体离盲人的距离后，通过语音播报对其进行提示。同时，智能导盲软件可根据使用者的语音指令开启导航。残障人士外出行走的数据经云服务器转化后，反馈至手机微信小程序和智能导盲监测系统页面，供其家属或残障中心管理人员远程查看。本发明专利技术的系统集可手持的导盲仪、微信小程序、智能导盲监测系统、后台数据分析为一体，具有人性化、实用化和智能化的特点。实用化和智能化的特点。实用化和智能化的特点。

【技术实现步骤摘要】
智能导盲系统


[0001]本专利技术涉及导盲设备
，特别是涉及智能导盲系统。

技术介绍

[0002]我国有着世界上人口数量最多的视力残障人士群体，2018年视障人数多达1700多万人。但是市场上视力残障人士产业还未得到足够发展，线下服务视力残障人士的智能设备不足。
[0003]目前，市场上已经存在导盲杖、导盲鞋、导盲眼镜、导盲机器人、导盲机器狗等产品，但它们存在着携带不便、过于沉重、造价昂贵和使用复杂等缺点。同时这些产品往往成本过高，使用复杂，受众小，无法投入量产。

技术实现思路

[0004]本专利技术实施例提供了智能导盲系统，可以解决现有技术中的问题。
[0005]本专利技术提供了智能导盲系统，包括导盲仪和守护子系统，所述守护子系统包括盲人客户端，所述盲人客户端安装在盲人使用的智能设备上；
[0006]所述导盲仪包括外壳、双目摄像头和数据处理单元，所述双目摄像头安装在外壳一端的端面上，所述数据处理单元位于外壳内部并与双目摄像头电连接；
[0007]所述数据处理单元接收盲人说出的目的地语音，并将目的地语音发送给盲人客户端，所述盲人客户端将语音转换为文字后获得目的地；接着所述盲人客户端进行当前位置到目的地的路线规划，得到出行路线，所述盲人客户端通过语音的形式向盲人播报路径信息；
[0008]在盲人行走时，所述双目摄像头采集视频流，所述数据处理单元获取视频流中的图像数据，根据图像数据实时识别前方物体的类型，在获取物体类型的同时所述数据处理单元还确定盲人和前方物体之间的距离；得到当前距离后，所述数据处理单元将当前距离和设定的距离阈值进行比较，如果当前距离小于或等于距离阈值，则表示当前距离危险，此时所述数据处理单元将识别得到的物体类型和距离传送到盲人客户端，所述盲人客户端通过语音的形式告知盲人注意避障。
[0009]优选地，所述守护子系统还包括云服务器和家属客户端，所述家属客户端安装在家属使用的智能设备上；
[0010]所述盲人客户端将盲人出行的相关数据上传至云服务器，当所述家属客户端和盲人客户端绑定后，家属通过所述家属客户端查看盲人的出行数据。
[0011]优选地，所述云服务器对盲人出行的过程进行实时监控，当发现盲人的状态出现异常，所述云服务器向与该盲人客户端绑定的家属客户端发送提醒信息，提醒家属及时查看盲人是否存在异常情况。
[0012]优选地，所述云服务器将上传的数据存储在MySql数据库中。
[0013]优选地，所述盲人客户端和家属客户端均为微信小程序。
[0014]优选地，所述盲人客户端在进行语音合成时，所述导盲仪将物体类型和当前距离数据发送给盲人客户端，所述盲人客户端向云服务器发送请求，所述云服务器向华为云服务器发出文字转语音的请求，所述华为云服务器处理后将合成的语音传递至盲人客户端，所述盲人客户端通过语音播报来提示盲人避开障碍；
[0015]所述盲人客户端在进行语音识别时，所述盲人客户端识别到盲人语音后向云服务器发送请求，所述云服务器向华为云服务器发出语音转文字的请求，所述华为云服务器处理后将转换的文字返回给盲人客户端，所述盲人客户端接收到以后，按照文字中描述的目的地开始为盲人规划路线并导航。
[0016]优选地，所述盲人客户端将物体类型和当前距离数据以语音的形式发送到盲人佩戴的蓝牙耳机中。
[0017]优选地，所述外壳为手电筒外形。
[0018]优选地，所述导盲仪采用蓝牙技术与盲人客户端进行数据传输。
[0019]优选地，所述数据处理单元采用Yolov3物体识别算法实时识别前方物体的类型。
[0020]本专利技术提供的系统，基于计算机视觉为盲人提供基本的避障功能，通过目标检测和测距算法算法识别出障碍物体及物体离盲人的距离后，通过语音播报对其进行提示。同时，智能导盲软件可根据使用者的语音指令开启导航。残障人士外出行走的数据经云服务器转化后，反馈至手机微信小程序和智能导盲监测系统页面，供其家属或残障中心管理人员远程查看。本专利技术的系统集可手持的导盲仪、微信小程序、智能导盲监测系统、后台数据分析为一体，具有人性化、实用化和智能化的特点。
附图说明
[0021]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1为本专利技术中智能导盲系统的工作流程示意图；
[0023]图2为导盲仪的外部结构示意图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]参照图1和图2，本专利技术提供了智能导盲系统，该系统包括导盲仪和守护子系统，所述守护子系统包括盲人客户端、家属客户端和云服务器，所述盲人客户端和家属客户端分别安装在盲人和家属使用的智能设备上，所述盲人客户端与导盲仪和云服务器均通信连接，所述家属客户端与云服务器通信连接。
[0026]在本实施例中，所述盲人客户端和家属客户端均为微信小程序。
[0027]所述导盲仪包括外壳100、双目摄像头110和数据处理单元。所述外壳100为类似手
电筒的形状，所述双目摄像头110安装在外壳100一端的端面上。所述数据处理单元位于外壳100内部并与双目摄像头110电连接，用以处理双目摄像头110采集的图像数据。
[0028]在本实施例中，所述数据处理单元为英伟达Jetson开发板，该开发板具有强大的计算能力，能够满足导盲需求。
[0029]当盲人需要导航至目的地时，按下外壳100上的触发按钮并说出目的地，所述外壳上的麦克风接收语音并将其发送给数据处理单元，所述数据处理单元将语音数据发送给盲人客户端，所述盲人客户端将语音转换为文字后获得目的地接着所述盲人客户端采用GPS定位技术进行当前位置到目的地的路线规划，得到出行路线，所述盲人客户端通过语音的形式向盲人播报路径信息。
[0030]在盲人按照路径信息行走时，所述双目摄像头110模拟人眼采集视频流，所述数据处理单元获取视频流中的图像数据，并采用Yolov3物体识别算法实时识别前方物体的类型，在获取物体类型的同时所述数据处理单元还采用双目测距算法确定盲人和前方物体之间的距离。得到当前距离后，所述数据处理单元将当前距离和设定的距离阈值进行比较，如果当前距离大于距离阈值，则表示当前距离安全，所述数据处理单元继续从视频流中获取图像数据并进行距离测量和判断工作。如果当前距离小于或等于距离阈值，则表示当前距离危险，此时所述数据处理单元将识别得到的物体类型和距离传送到盲人客户端，所述盲人客户端本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.智能导盲系统，其特征在于，包括导盲仪和守护子系统，所述守护子系统包括盲人客户端，所述盲人客户端安装在盲人使用的智能设备上；所述导盲仪包括外壳、双目摄像头和数据处理单元，所述双目摄像头安装在外壳一端的端面上，所述数据处理单元位于外壳内部并与双目摄像头电连接；所述数据处理单元接收盲人说出的目的地语音，并将目的地语音发送给盲人客户端，所述盲人客户端将语音转换为文字后获得目的地；接着所述盲人客户端进行当前位置到目的地的路线规划，得到出行路线，所述盲人客户端通过语音的形式向盲人播报路径信息；在盲人行走时，所述双目摄像头采集视频流，所述数据处理单元获取视频流中的图像数据，根据图像数据实时识别前方物体的类型，在获取物体类型的同时所述数据处理单元还确定盲人和前方物体之间的距离；得到当前距离后，所述数据处理单元将当前距离和设定的距离阈值进行比较，如果当前距离小于或等于距离阈值，则表示当前距离危险，此时所述数据处理单元将识别得到的物体类型和距离传送到盲人客户端，所述盲人客户端通过语音的形式告知盲人注意避障。2.如权利要求1所述的智能导盲系统，其特征在于，所述守护子系统还包括云服务器和家属客户端，所述家属客户端安装在家属使用的智能设备上；所述盲人客户端将盲人出行的相关数据上传至云服务器，当所述家属客户端和盲人客户端绑定后，家属通过所述家属客户端查看盲人的出行数据。3.如权利要求2所述的智能导盲系统，其特征在于，所述云服务器对盲人出行的过程进行实时监控，当发现盲人的状态出现异常，所述...

【专利技术属性】
技术研发人员：李翠霞，葛亚茹，王莉莉，张孟垚，焦海洋，王昊，卢浩宇，尚智泉，高文龙，
申请(专利权)人：郑州大学，
类型：发明
国别省市：