基于移动可穿戴计算的智慧盲杖制造技术

基于移动可穿戴计算的智慧盲杖属于电子信息领域，是一种基于可穿戴计算技术的盲人辅助装置。装置自身具有照明、发声发光呼救功能并可通过按钮控制已连接的移动智能设备上功能的启用或关闭。移动智能设备上的功能有：使用阈值分割、RANSAC和区域生长算法实现障碍物检测功能；语音播报当前时间、位置信息功能；红绿灯检测功能。本发明专利技术采用新型的结构设计，具有单指操作的特性；自动连接移动智能设备，并与其高效通信；配套的APP上具有语音信息播报、障碍物检测、红绿灯检测功能；采用振动的方式向盲人迅速反馈，增强其的使用体验。增强其的使用体验。增强其的使用体验。

【技术实现步骤摘要】
基于移动可穿戴计算的智慧盲杖


[0001]本专利技术属于电子信息领域，是一种基于移动互联网和可穿戴计算技术的辅助装置，主要借助智慧盲杖与移动智能手持设备的交互，为视障人士室外行走提供基于语音或触觉的反馈，以辅助盲人避障。

技术介绍

[0002]在我国，视力障碍人士逾1730万，居世界第一。盲杖作为视障人士出行必需品，能够通过触碰地表来感知前方是否有障碍物。目前市场上的智能盲杖种类繁多，价格低廉的产品仅有语音求助功能，然而集成红外线或超声波进行障碍物探测的盲杖价格又十分高昂。所以造成了价格低的智能盲杖功能过于单一，高价智能盲杖又面临着功耗高、体积大等问题。
[0003]可穿戴计算以自然的穿戴形式为用户提供计算能力，让人们更加关注于产品功能而忽略计算设备的外观形态。移动计算使得计算机或其他信息智能终端设备在无线网络环境下实现数据及计算资源的共享，其随着移动通信、互联网、分布式计算等技术的发展日益融入到大家的工作生活中。短距离无线通信技术是将二者有机融合的桥梁，目前最常用的短距离无线通信技术有wifi、蓝牙、Zigbee。其中，蓝牙可以让移动设备在短距离内建立连接，实现数据传输和交换。与wifi和zigbee相比，蓝牙具备低功耗、低辐射、低成本、低延时等特点。因此，本专利技术采用蓝牙实现盲杖与移动智能设备间的通讯。

技术实现思路

[0004]为实现移动智能设备与盲杖通讯，并通过移动智能设备和盲杖辅助视障人士出行的目标，本专利技术借助可穿戴计算、移动计算和蓝牙技术的优势，提出的基于移动可穿戴计算的智慧盲杖包括：盲杖的杆体和杖柄。其中所述杖柄中设置有电源、主控模块；所述杖柄前侧设置有照明灯；所述杖柄内侧(即使用中大拇指所处位置)设置有按钮盘，所述按钮盘包括一个开关按钮以及五个功能按钮。所述主控模块集成了CC2640低功耗蓝牙微处理器、振动马达、蜂鸣器以及所述照明灯、按钮盘控制链路与接口连接。
[0005]本专利技术的特征如下：
[0006]①
单指操作
[0007]本专利技术设计了一种圆盘式按钮组，按钮之间保留一定距离以防误触。按钮盘安装在盲杖杖柄的内侧，视障人士仅通过大拇指即可完成所有操作。按钮上带有盲文，代表不同功能。视障人士轻触某按钮后，盲杖会立即执行该功能。
[0008]②
按钮功能
[0009]开关按钮：
[0010]圆盘中心的按钮为开关，处于关机状态时，长按3s后自动开机并迅速以振动方式向盲人反馈，同时尝试与移动智能设备连接，连接成功后由设备向用户语音反馈或由盲杖杖柄振动反馈提示“连接成功”。处于开机状态时，长按3s开关按钮后自动关机，并由盲杖振
动反馈。
[0011]如遇配对不成功或用户无需连接设备等情况，蓝牙模块在3分钟后会进入休眠状态以节省能源。在休眠状态中轻触开关按钮，蓝牙模块重新尝试与设备连接并重新开始计时。
[0012]照明灯按钮：在光线较暗的情况下，照明灯辅助视力障碍人士夜间出行。
[0013]发声、发光呼救按钮：如遇险情，视障人士可按下呼救按钮，启动蜂鸣器发声呼救，同时照明灯不断开关形成曳光向救援人员告知其所处位置。
[0014]信息播报按钮：轻触该按钮，本专利技术由蓝牙向已连接的移动智能设备发送请求，设备接收后通过其扩音器向视障人士语音播报当前位置、朝向、时间。
[0015]障碍物检测开关：轻触该按钮，本专利技术向移动智能设备发送请求，打开或关闭移动智能设备的障碍物检测功能。
[0016]红绿灯检测开关：轻触该按钮，本专利技术向移动智能设备发送请求，打开或关闭移动智能设备的红绿灯检测功能。
[0017]③
振动/语音反馈模式根据用户需求切换
[0018]反馈是人机交互的关键要素。本专利技术在设计过程中考虑到视障人士在户外行走时，双耳需密切关注周围环境中的声音，进而判断车辆的行驶方向、红绿灯起止时间等等，为了减少来自语音反馈给盲人判断环境状态带来的干扰，本专利技术采用默认振动反馈。振动反馈的优势在于简单迅速，轻触按钮后通过预设的几种振动模式向视障人士反馈必要信息。
[0019]本专利技术采用如下模式：
[0020]1)开机：1次连续长振动，持续时间0.8s
[0021]2)任意功能操作成功：3次短振动，每次振动持续时间0.2s，间隔0.1s。
[0022]3)任意功能操作失败：5次快速短促振动，每次振动持续0.1s，间隔0.1s。
[0023]4)障碍物警示：根据移动智能设备回传的前方障碍物距离数值，进行不同频率的振动。距离越小，振动频率越快。振动持续至前方无障碍物时停止。
[0024]5)关机：2次中等时间振动，每次振动持续时间0.4s，间隔0.1s。
[0025]在移动设备app中，视障人士可根据需要选择使用语音反馈或振动反馈。
[0026]④
基于移动智能设备的盲人位置、朝向和时间信息语音播报
[0027]系统利用移动智能设备内置的GPS/北斗、指南针、时钟、蓝牙等元器件和功能模块，开发运行于移动智能设备的程序，通过接收智慧盲杖上“信息播报功能”的请求，为视障人士提供语音播报视障人士当前所处位置、朝向和时间，辅助视障人士出行。
[0028]⑤
基于移动智能设备的障碍物检测报警
[0029]系统利用移动智能设备内置的摄像头、气压计等元器件和功能模块，开发基于阈值和区域成长的障碍物监测程序。当用户打开智慧盲杖上“障碍物检测开关”，移动智能设备运行该程序并进行基于视觉的障碍物检测，当检测到障碍物时为视障人士提供语音或振动告警。
[0030]⑥
基于移动智能设备的红绿灯监测
[0031]系统利用移动智能设备内置的摄像头开发基于Yolo v4的红绿灯检测识别程序。当用户打开智慧盲杖上“红绿灯检测开关”，移动智能设备上的红绿灯检测程序将进行红绿
灯的检测识别，并将检测结果通过语音告知视障人士。
[0032]与现有技术相比，本专利技术的有益效果是：采用新型的结构设计，使得本专利技术能够单指操作；自动连接移动智能设备，并与其高效通信；同时，将语音信息播报、障碍物检测、红绿灯检测等功能转移至移动智能设备上，既降低了盲杖的功耗，又能帮助盲人在行进中最大化、无障碍地利用盲杖和移动智能设备；采用振动的方式向盲人迅速反馈，增强盲人的使用体验。
附图说明
[0033]图1本专利技术所处网络环境
[0034]图2本专利技术的系统结构示意图
[0035]图3本专利技术杖柄部分的内部结构示意图
[0036]图4本专利技术开机及连接设备流程图
[0037]图5本专利技术功能执行流程图
[0038]图6本专利技术与移动智能设备交互流程图
[0039]图7障碍物检测功能执行流程
[0040]图8相机坐标系与世界坐标系示意图
[0041]图9摄像机高度示意图
[0042]图10区域划分和地面检测结果
具体实施方式
[0043]图1为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于移动可穿戴计算的智慧盲杖，其特征在于：盲杖的杆体和杖柄；其中所述杖柄中设置有电源、主控模块；所述杖柄前侧设置有照明灯；所述杖柄内侧设置有按钮盘，所述按钮盘包括一个开关按钮以及五个功能按钮；所述主控模块集成了CC2640低功耗蓝牙微处理器、振动马达、蜂鸣器、照明灯及按钮盘控制链路。2.应用如权利要求1所述的基于移动可穿戴计算的智慧盲杖的方法，其特征在于：
①
单指操作按钮盘安装在盲杖杖柄的内侧，视障人士仅通过大拇指即可完成所有操作；按钮上带有盲文，代表不同功能；视障人士轻触某按钮后，盲杖会立即执行该功能；
②
按钮功能开关按钮：圆盘中心的按钮为开关，处于关机状态时，长按3s后自动开机并迅速以振动方式向盲人反馈，同时尝试与移动智能设备连接，连接成功后由设备向用户语音反馈或由盲杖杖柄振动反馈提示“连接成功”；处于开机状态时，长按3s开关按钮后自动关机，并由盲杖振动反馈；如遇配对不成功或用户无需连接设备，蓝牙模块在3分钟后会进入休眠状态以节省能源；在休眠状态中轻触开关按钮，蓝牙模块重新尝试与设备连接并重新开始计时；照明灯按钮：在光线较暗的情况下，照明灯辅助视力障碍人士夜间出行；发声、发光呼救按钮：如遇险情，视障人士可按下呼救按钮，启动蜂鸣器发声呼救，同时照明灯不断开关形成曳光向救援人员告知其所处位置；信息播报按钮：轻触该按钮，由蓝牙向已连接的移动智能设备发送请求，设备接收后通过其扩音器向视障人士语音播报当前位置、朝向、时间；障碍物检测开关：轻触该按钮，向移动智能设备发送请求，打开或关闭移动智能设备的障碍物检测功能；红绿灯检测开关：轻触该按钮，移动智能设备发送请求，打开或关闭移动智能设备的红绿灯检测功能；
③
振动/语音反馈模式根据用户需求切换默认振动反馈；振动反馈的优势在于简单迅速，轻触按钮后通过预设的几种振动模式向视障人士反馈必要信息；
④
基于移动智能设备的盲人位置、朝向和时间信息语音播报系统利用移动智能设备内置的GPS/北斗、指南针、时钟、蓝牙等元器件和功能模块，开发运行于移动智能设备的程序，通过接收智慧盲杖上“信息播报功能”的请求，为视障人士提供语音播报视障人士当前所处位置、朝向和时间，辅助视障人士出行；
⑤
基于移动智能设备的障碍物检测报警系统利用移动智能设备内置的摄像头、气压计等元器件和功能模块，开发基于阈值和区域成长的障碍物监测程序；当用户打开智慧盲杖上“障碍物检测开关”，移动智能设备运行该程序并进行基于视觉的障碍物检测，当检测到障碍物时为视障人士提供语音或振动告警；
⑥
基于移动智能设备的红绿灯监测系统利用移动智能设备内置的摄像头开发基于Yolo v4的红绿灯检测识别程序；当用
户打开智慧盲杖上“红绿灯检测开关”，移动智能设备上的红绿灯检测程序将进行红绿灯的检测识别，并将检测结果通过语音告知视障人士。3.应用如权利要求1所述的基于移动可穿戴计算的智慧盲杖的方法，其特征在于，反馈具体采用如下模式：1)开机：1次连续长振动，持续时间0.8s2)任意功能操作成功：3次短振动，每次振动持续时间0.2s，间隔0.1s；3)任意功能操作失败：5次快速短促振动，每次振动持续0.1s，间隔0.1s；4)障碍物警示：根据移动智能设备回传的前方障碍物距离数值，进行不同频率的振动；距离越小，振动频率越快；振动持续至前方无障碍物时停止；5)关机：2次中等时间振动，每次振动持续时间0.4s，间隔0.1s。4.应用如权利要求1所述的基于移动可穿戴计算的智慧盲杖的方法，其特征在于，开机状态时，轻触开关，系统产生配对中断请求，CC2640低功耗蓝牙微处理器尝试与周围的移动智能设备配对；长按3s开关，系统产生关机中断请求，CC2640低功耗蓝牙微处理器进入关闭状态；轻触功能按钮，系统产生对应功能的中断请求，CC2640低功耗蓝牙微处理器接收请求后进行该功能的处理；CC2640低功耗蓝牙微处理器直接控制振动马达；照明灯；时钟和蜂鸣器10；时钟到达3分钟后产生休眠中断请求，CC2640低功耗蓝牙微处理器6接收休眠中断后将时钟归0，并进入休眠状态；电源模块由充电控制器和电池14构成；当盲杖处于关机状态时，长按3s开关按钮开机，振动马达5通过0.8s的长振动提示已开机，并启动时钟；随后唤醒CC2640低功耗蓝牙微处理器，自动进入配对模式，尝试与周围的移动智能设备配对；连接成功后通过移动智能设备语音提示“连接成功”，时钟归0；若连接不成功，且未接收到休眠中断，CC2640低功耗蓝牙微处理器继续尝试配对；时钟到达3分钟后发送休眠中断请求并归0，CC2640低功耗蓝牙微处理器进入休眠状态，振动马达以5次快速短促振动，每次振动持续0.1s，间隔0.1s的方式提示配对失败；处于休眠模式时，轻触开关按钮，手动向CC2640低功耗蓝牙微处理器发送信号，再次尝试配对；开机状态下，长按3s开关机按钮，振动马达通过连续两次0.4s，间隔0.1s的振动提示已关机；盲杖开机后，轻触照明灯开关，产生照明灯中断请求，CC2640低功耗蓝牙微处理器接收请求后开启照明灯，再次轻触照明灯按钮关闭照明灯；轻触呼救功能按钮，产生呼救中断请求，CC2640低功耗蓝牙微处理器接收请求后开启蜂鸣器，并不断开关照明灯，再次轻触呼救功能按钮关闭蜂鸣器和照明灯；连接移动智能设备后，轻触语音播报当前位置、朝向、时间按钮、障碍物检测开关、红绿灯检测开关，分别产生语音播报中断、障碍物检测中断、红绿灯检测中断，CC2640低功耗蓝牙微处理器向移动智能设备发送相应功能指令，设备接收并解析指令，执行对应功能并回传操作结果；盲杖接收操作结果后振动马达通过3次短振动，每次振动持续时间0.2s，间隔0.1s提示操作成功，通过5次振动，每次振动持续0.1s，间隔0.1s提示操作失败；盲杖开机并与移动智能设备连接成功后，轻触信息播报按钮，CC2640低功耗蓝牙微处理器向设备发送指令F
‑
INFO，设备接收并解析指令后读取当前设备的位置、朝向、时间信息，并通过扩音器播报；轻触障碍物检测开关，CC2640低功耗蓝牙微处理器向设备发送指令F
‑
OBSTICLE，设备接收并解析指令后打开或关闭障碍物检测功能，并向盲杖回传操作结果，盲杖振动反馈操作结果；轻触红绿灯检测开关，CC2640低功耗蓝牙微处理器向设备发送指
令F
‑
TRAFFICLIGHT，设备接收并解析指令后打开或关闭红绿灯检测功能；并向盲杖回传操作结果，盲杖振动反馈操作结果；其中，操作结果代码R
‑
SUCC表示操作成功；R
‑
FAIL表示操作失败。5.应用如权利要求1所述的基于移动可穿戴计算的智慧盲杖的方法，其特征在于，障碍物检测功能执行流程：盲杖开机并与移动智能设备连接成功后，进入休眠状态；当设备检测到前方出现障碍物时，向盲杖发送障碍物信息代码，盲杖接收到信息后被唤醒，随即解析前方障碍物信息；其中，障碍物信息代码规则如下：OBS
‑
NONE，表示前方无障碍物；OBS
‑
2，表示前方2米有障碍物；OBS
‑
1，表示前方1米有障碍物；若信息代码表示前方有障碍物，盲杖则根据障碍物的距离信息选择不同的振动频率向用户持续振动反馈；振动频率选取：前方2米出现障碍物，盲杖振动频率为5Hz；前方1米出现障碍物，盲杖振动频率为10Hz；若接收的障碍物信息表示前方无障碍物，盲杖停止振动，进入休眠状态。6.应用如权利要求1所述的基于移动可穿戴计算的智慧盲杖的方法，其特征在于，障碍物检测算法包括：是阈值分割、坐标系转换、基于RANSAC的地面检测和基于地面区域生长的障碍物检测；障碍物检测算法运行流程如下：障碍物检测功能开启后，移动端app访问当前设备的摄像机，实时获取并处理前方场景的深度图数据；首先运行阈值分割算法，由于深度图反映的是摄像头到物体的距离信息，因此参考公式(1)，将图像深度阈值σ设置为2000，单位mm，滤除有效感知距离之外的深度图数据，即忽略距离过远的物体，只处理在阈值σ范围内的数据；公式(1)中i、j表示像素点在深度图中的行、列下标，a表示该像素点的深度值；第二，融合加速度计以及陀螺仪数据，将深度图数据生成为相机坐标系O
c
‑
X
c
Y
c
Z
c
下的点云数据，再将其转换成世界坐标系O
w
‑
X
w
Y
w
Z
w
下的点云数据，以矫正方向；坐标系转换方式如下所述；首先利用当前设备的加速度传感器数据以及陀螺仪数据计算姿态角度；姿态解算选用的旋转顺序为ZYX，摄像头坐标系初始时刻与世界坐标系重合，然后依次绕自己的Z、Y、X轴进行旋转，绕着Z轴旋转角度γ、绕着Y轴旋转角度β、绕着X轴旋转角度α；当加速度计水平放置，即Z轴竖直向上时，Z轴可以读到1g的数值，g为重力加速度；X轴和Y轴两个方向读到0；当加速度计旋转一定的姿态时，重力加速度会在加速度的3个轴上产生相应的分量；将加速度计读到的3个值记作[a
x
,a

【专利技术属性】
技术研发人员：何坚，苏予涵，刘新远，张丞，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：