一种智能盲人辅助眼镜制造技术

本发明专利技术公开了一种新型智能盲人辅助眼镜，该眼镜利用红外投射器投射不可见的近红外静态散斑，利用两个红外相机和一个彩色相机采集图像，利用姿态角传感器获取相机的姿态角信息，对图像中的深度信息和颜色信息、姿态角信息进行处理，检测出图像中的地面和障碍物，最后将检测结果转化为非语义的声音编码，通过骨传导耳机传递给盲人进行辅助，可以很好地满足盲人辅助的要求。

Intelligent blind auxiliary glasses

The invention discloses a novel intelligent blind auxiliary glasses, infrared projection is not visible near infrared static speckle projection using the glasses, using two infrared camera and a color camera, the camera using the attitude angle sensor attitude information processing depth information and color information of the image, the attitude information, detect ground and obstacles in the image, finally the results are transformed into non semantic encoding voice, transmitted to the blind through bone conduction headset for auxiliary, can well meet the needs of the blind auxiliary.

【技术实现步骤摘要】

本专利技术属于盲人辅助技术、双目视觉技术、三维环境感知技术、声音编码
本专利技术涉及一种利用红外投射器投射不可见的近红外静态散斑，利用两个红外相机和一个彩色相机采集图像，利用姿态角传感器获取相机的姿态角信息，对图像中的深度信息和颜色信息、姿态角信息进行处理，检测出图像中的地面和障碍物，最后将检测结果转化为非语义的声音编码，通过骨传导耳机传递给盲人进行辅助的眼镜。
技术介绍
根据世界健康组织统计，全世界有四千万盲人。盲人损失了正常的视觉，对颜色、形状、距离、运动的理解都很困难，他们的生活在起居、出行等方面都受到了巨大的影响。传统的盲人辅助工具比如盲人手杖，盲人需要反复移动手杖，才能获知面前的情况，既费时也费力。盲人手杖的探测距离有限，只能检测脚边的障碍物，也无法反映远处和空中的状况。导盲犬可以为盲人提供帮助，但是导盲犬的训练和养护费用是高昂的，普通家庭难以承担。有些场合，导盲犬不能陪同盲人进入，比如公交车和火车站，因此导盲犬的辅助是有局限性的。仿生眼可以帮助盲人恢复部分视觉，但仿生眼的植入需要进行手术，费用高昂。仿生眼只适用于视网膜色素变性或老年性黄斑变性导致失明的盲人。视觉神经损坏的盲人无法通过植入仿生眼恢复部分视觉。电子式的视障辅助工具主要使用超声波技术、激光测距技术、双目视觉技术、激光散斑编码技术、激光雷达技术、毫米波雷达技术、热成像技术、全球定位系统(GPS)。基于超声波技术和激光测距技术的测距范围有限，只能实现单点测距，获取的信息量太少，且耗电多，设备笨重，只能实现报警功能，容易受环境干扰。基于双目视觉技术的辅助依赖于环境中特征点和纹理的丰富程度，对于一些纹理单一的场景失效，如室内的白墙，光滑地面等。双目视觉技术会受镜面反射等特殊情形的欺骗，从而造成漏判或者误判。基于激光散斑编码技术的辅助在室外失效，因为主动投射的结构光被阳光淹没，从而无法识别编码的散斑。激光散斑编码技术由于受到功率限制，存在最远距离，超过最远距离的物体无法对其测距。基于激光雷达技术的辅助成本高，通常采样率低，对灰尘、雾霾、雨水敏感，而且无法获取颜色和纹理信息。基于毫米波雷达的辅助分辨率低，信号处理过程难。基于热成像技术的辅助分辨率低，标定过程复杂，且只能检测人和动物等发热物体。基于GPS的辅助精度低，会有信号损失，不能在室内使用，而且无法获取局部动态的障碍物信息。传统盲人辅助的交互方法主要有语音提示、触觉震动的方法。语义提示通常播报障碍物的距离和方向，需要一定的时间播放，造成延迟和事故风险，而且可传递的信息量小。触觉震动通过以震动腰带或者震动背心为硬件，以震动来提示障碍物的方位，震动装置可以解决延迟的问题，但给盲人带来负担，不同人的 穿戴感受不同。
技术实现思路
本专利技术的目的是针对现有技术的不足，提供一种智能盲人辅助眼镜。本专利技术是目的是通过以下技术方案实现的：一种智能盲人辅助眼镜，所述眼镜包含眼镜本体、一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个串口转USB模块，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块。三个相机的姿态角一致，且通过姿态角传感器实时地获取。姿态角传感器与串口转USB模块相连，红外投射器、两个红外相机、彩色相机、串口转USB模块分别通过USB集线器与小型处理器相连，电池模块与小型处理器相连。所述一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个串口转USB模块，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块均固定在镜架上，且两个相同的红外相机固定在连个镜片的正上方，彩色相机和红外投射器位于两个红外相机之间。两个红外相机、一个彩色相机的光轴彼此平行，朝向前。两个骨传导震动模块位于两个镜脚中间偏后处，贴合盲人耳朵前方的颅骨处。姿态角传感器和串口转USB模块位于右镜脚，骨传导耳机模块、USB集线器和电池模块位于左镜脚。小型处理器控制红外投射器向前方三维场景投射不可见的静态近红外散斑，两个红外相机实时地采集经投射后的三维场景的红外图像。彩色相机实时地采集三维场景的彩色图像。姿态角传感器实时采集三个相机的姿态角，串口转USB模块将姿态角传感器输出的串口数据(姿态角)转为USB数据。USB集线器将相机获取的图像和姿态角传感器获取的数据，传给小型处理器。小型处理器对获取的两幅红外图像、一幅彩色图像、姿态角数据进行处理，检测出场景中的地面和障碍物信息，并将检测结果转为非语义的声音编码信号，并传给骨传导耳机模块。骨传导耳机模块将非语义的声音编码信号转为骨传导震动信号，传给两个骨传导震动模块。两个骨传导震动模块，传递骨传导震动信号给盲人用户进一步地，所述眼镜通过以下方法对盲人进行智能辅助：(1)对两个红外相机进行一次双目相机标定，获取两个红外相机的焦距fIR，左红外相机的主点位置(cIR-x,cIR-y)，两个红外相机的基线距离BIR-IR。(2)对彩色相机进行一次相机标定，获取彩色相机的焦距fcolor，主点位置(cCOLOR-x,cCOLOR-y)。(3)对彩色相机和左侧的红外相机进行一次双目相机标定，获取左红外相机与彩色相机的基线距离BIR-COLOR。(4)红外投射器实时地投射不可见的静态近红外散斑到三维场景中。(5)两个红外相机采集三维场景的两张红外图像IRleft和IRright。(6)彩色相机采集三维场景的彩色图像Color。(7)姿态角传感器采集三个相机的X，Y，Z三轴方向的转角AngleX，AngleY，AngleZ。(8)串口转USB模块将姿态角传感器获取的串口数据转为USB数据。(9)USB集线器将两张红外图像IRleft和IRright，彩色图像Color，X，Y，Z三轴方向的转角AngleX，AngleY，AngleZ传给小型处理器。(10)小型处理器对两张红外图像IRleft和IRright提取Sobel边缘，获取两张Sobel边缘图像Sobelleft和Sobelright。(11)以左Sobel边缘图像Sobelleft为基准，对两张Sobel边缘图像Sobelleft和Sobelright进行基于图像块的图像匹配，获取一系列匹配好的有效点E＝{e1,e2,e3,...,eM本文档来自技高网...

【技术保护点】
一种智能盲人辅助眼镜，所述眼镜包含眼镜本体、一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个串口转USB模块，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块。三个相机的姿态角一致，且通过姿态角传感器实时地获取。姿态角传感器与串口转USB模块相连，红外投射器、两个红外相机、彩色相机、串口转USB模块分别通过USB集线器与小型处理器相连，电池模块与小型处理器相连。所述一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个串口转USB模块，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块均固定在镜架上，且两个相同的红外相机固定在连个镜片的正上方，彩色相机和红外投射器位于两个红外相机之间。两个红外相机、一个彩色相机的光轴彼此平行，朝向前。两个骨传导震动模块位于两个镜脚中间偏后处，贴合盲人耳朵前方的颅骨处。姿态角传感器和串口转USB模块位于右镜脚，骨传导耳机模块、USB集线器和电池模块位于左镜脚。小型处理器控制红外投射器向前方三维场景投射不可见的静态近红外散斑，两个红外相机实时地采集经投射后的三维场景的红外图像。彩色相机实时地采集三维场景的彩色图像。姿态角传感器实时采集三个相机的姿态角，串口转USB模块将姿态角传感器输出的串口数据(姿态角)转为USB数据。USB集线器将相机获取的图像和姿态角传感器获取的数据，传给小型处理器。小型处理器对获取的两幅红外图像、一幅彩色图像、姿态角数据进行处理，检测出场景中的地面和障碍物信息，并将检测结果转为非语义的声音编码信号，并传给骨传导耳机模块。骨传导耳机模块将非语义的声音编码信号转为骨传导震动信号，传给两个骨传导震动模块。两个骨传导震动模块，传递骨传导震动信号给盲人用户。...

【技术特征摘要】
1.一种智能盲人辅助眼镜，所述眼镜包含眼镜本体、一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个串口转USB模块，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块。三个相机的姿态角一致，且通过姿态角传感器实时地获取。姿态角传感器与串口转USB模块相连，红外投射器、两个红外相机、彩色相机、串口转USB模块分别通过USB集线器与小型处理器相连，电池模块与小型处理器相连。所述一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个串口转USB模块，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块均固定在镜架上，且两个相同的红外相机固定在连个镜片的正上方，彩色相机和红外投射器位于两个红外相机之间。两个红外相机、一个彩色相机的光轴彼此平行，朝向前。两个骨传导震动模块位于两个镜脚中间偏后处，贴合盲人耳朵前方的颅骨处。姿态角传感器和串口转USB模块位于右镜脚，骨传导耳机模块、USB集线器和电池模块位于左镜脚。小型处理器控制红外投射器向前方三维场景投射不可见的静态近红外散斑，两个红外相机实时地采集经投射后的三维场景的红外图像。彩色相机实时地采集三维场景的彩色图像。姿态角传感器实时采集三个相机的姿态角，串口转USB模块将姿态角传感器输出的串口数据(姿态角)转为USB数据。USB集线器将相机获取的图像和姿态角传感器获取的数据，传给小型处理器。小型处理器对获取的两幅红外图像、一幅彩色图像、姿态角数据进行处理，检测出场景中的地面和障碍物信息，并将检测结果转为非语义的声音编码信号，并传给骨传导耳机模块。骨传导耳机模块将非语...

【专利技术属性】
技术研发人员：杨恺伦，汪凯巍，于红雷，胡伟健，
申请(专利权)人：杭州视氪科技有限公司，
类型：发明
国别省市：浙江;33