一种适用于视觉障碍人士的智能眼镜系统技术方案

本发明专利技术公开一种适用于视觉障碍人士的智能眼镜系统，包括设置在眼镜内部的中央处理单元，以及与中央处理单元连接的三射摄像头、激光雷达、语音播报装置；所述三射摄像头包括主摄像头、红外成像摄像头、景深灰度摄像头，所述中央处理单元通过景深灰度摄像头、红外成像摄像头，主摄像头采集数据结合进行三维立体建模；使用主摄像头和红外成像摄像头进行三维几何信息判断，并使用激光雷达测距，获得深度距离；所述中央处理单元将上述信息转化为语音，通过语音播报装置提示视觉障碍人士。本发明专利技术帮助视觉障碍人士解决生活中的问题，如文字阅读播报、前方物体位置播报、外出导航语音指引、避障提示等，以震动、语音的提示方式提醒视力障碍人士。

【技术实现步骤摘要】
一种适用于视觉障碍人士的智能眼镜系统
本专利技术属于智能辅助设备领域，尤其是涉及一种适用于视觉障碍人士的智能眼镜系统。
技术介绍
目前市场上可以为视觉障碍人士使用的智能设备仅有少量的智能手环和手表，盲杖等。此类产品大多是应用于普通人群的智能可穿戴产品，很少照顾到视觉障碍人士的深层关切和需求。对于视觉障碍人士最贴合的智能设备当属智能眼镜，但需要解决文字，图像，及物体信息的智能识别问题以及转化为对视觉障碍人士的提示问题。
技术实现思路
有鉴于此，本专利技术提出一种适用于视觉障碍人士的智能眼镜系统，实现了诸多视觉转化为语音的功能，解决了视觉障碍人士生活环境系统的不适问题。为达到上述目的，本专利技术的技术方案是这样实现的：一种适用于视觉障碍人士的智能眼镜系统，包括设置在眼镜内部的中央处理单元，以及与中央处理单元连接的三射摄像头、激光雷达、语音播报装置；所述三射摄像头包括主摄像头、红外成像摄像头、景深灰度摄像头，所述中央处理单元通过景深灰度摄像头、红外成像摄像头，主摄像头采集数据结合进行三维立体建模；所述中央处理单元使用主摄像头和红外成像摄像头进行三维几何信息判断，并使用激光雷达测距，获得深度距离；所述中央处理单元将上述信息转化为语音，通过语音播报装置提示视觉障碍人士。进一步的，所述三维立体建模包括用景深灰度摄像头进行立体成像，建立立体模型数据；使用红外成像摄像头对立体物体进行层次填充，并还原物体的立体外形；使用主摄像头对物体外形细节辨识目标；将以上数据通过后台运算计算出物体的实际状态，进行建模。进一步的，所述使用主摄像头和红外成像摄像头进行三维几何信息判断包括：将主摄像头和红外成像摄像头作为双目相机；对双目相机进行标定，得到两个相机的内外参数、单应矩阵；根据标定结果对原始图像校正，校正后的两张图像位于同一平面且互相平行；对校正后的两张图像进行像素点匹配；根据匹配结果计算每个像素的深度，从而获得深度图。更进一步的，所述眼镜还设有红外测距摄像头，所述红外测距摄像头连接所述中央处理单元，所述中央处理单元使用红外测距摄像头和激光雷达交叉处理的方式来判断物体距离和动静状态；以及红外测距摄像头处理活体温度的初步判断并辅助测量距离，即依靠红外热源的温度辅助测量物体到摄像头的距离，然后使用激光雷达用来快速判断活动移动的二次判定与区分，从而判定物理种类和距离。进一步的，所述眼镜还设有内置北斗/GPS定位装置，所述北斗/GPS定位装置连接所述中央处理单元，用于为视觉障碍人士进行语音导航，并使其家人或者残疾人中心通过APP随时获知视觉障碍人士的位置。进一步的，所述眼镜还设有网络模块，所述网络模块为5G、蓝牙、WiFi的一种或多种，所述网络模块连接所述中央处理单元，用于室内定位，以及与智能移动终端、物联网云平台进行通信。进一步的，所述眼镜还设有脑机接口，所述脑机接口包括骨传导马达和/或神经传输电极，所述脑机接口连接所述中央处理单元，进行脑机通信，所述骨传导马达还作为震动器，用于在嘈杂的环境中为视觉障碍人士进行。进一步的，所述眼镜还设有耳麦，所述耳麦连接所述中央处理单元，用于通过语音控制其它设备。进一步的，所述眼镜还设有按键，所述按键连接所述中央处理单元，用于一键SOS呼叫。进一步的，所述眼镜还设置电池，所述电池连接所述中央处理单元，用于供电；所述电池还设有充电接口。相对于现有技术，本专利技术具有以下优势：(1)本专利技术适用于视力残疾的盲人人群、老年视觉障碍人群和因其它原因造成的视觉障碍人群。可以帮助视觉障碍人士解决生活中的问题，如文字阅读播报，前方物体位置播报，外出导航语音指引，途径店铺商户介绍，避障提示，AI人脸识别，以震动、语音的提示方式提醒视力障碍人士；(2)本专利技术采用三射摄像头装置，通过双摄像头及红外摄像头的组合，具有景深成像能力进行环境3D建模处理，通过双目摄像头进行三维几何信息判断，通过红外测距摄像头和激光雷达判定物理种类和距离，为后期的AI智能语音播报提供准确的数据基础；(3)本专利技术采用眼镜佩戴的形式，内部电池可以为产品提供充足的电能，外部可以连接可穿戴充电宝为其供电续航，适合居家和外出携带；(4)本专利技术通过蓝牙与手机和其他智能设备联网，可以通过语音控制其它设备、连接手机语音控制拨打电话，采取室内和室外交替工作方式，解决居家和外出定位的双重需求，家庭中使用室内定位，具有低功耗、稳定、独立私密的特点；外出时切换到室外(北斗、GPS定位服务)，APP和平台可以随时监控佩戴者的位置信息，并响应佩戴者的SOS紧急呼叫需求。方便家人和外出者的联系及家庭事件的远程处理。附图说明图1是本专利技术实施例的眼镜结构示意图；图2是本专利技术实施例的原理图。其中：1、眼镜架；2、镜片；3、前框架；4、主摄像头；5、红外成像摄像头；6、景深灰度摄像头；7、激光雷达；8、红外测距摄像头；9、左镜脚内壳；10、左镜脚外壳；11、右镜脚内壳；12、右镜脚外壳；13、主PCB；14、辅助PCB；15、5G/WIFI/蓝牙天线；16、北斗/GPS天线；17、神经传输电极；18、骨传导马达；19、数据接口；20、电池；21、按键；22、耳麦；23、扩展电源；24、扩展主机。具体实施方式需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。下面结合附图和具体实施例对本专利技术做进一步说明。如图1所示，本专利技术采用眼镜的形式，在眼镜原有的眼镜架1和镜片2前面设置前框架3，左镜脚和右镜脚做成壳体形式，左镜脚由左镜脚内壳9和左镜脚外壳10组成，右镜脚由右镜脚内壳11和右镜脚外壳12组成，前框架3与左镜脚和右镜脚有线路连接通道。在前框架3上中心位置设置了主摄像头4，主摄像头4一侧设置了红外成像摄像头5和景深灰度摄像头6，另一侧设置了红外测距摄像头8和激光雷达7。所述左镜脚内壳9和左镜脚外壳10组成的左镜脚壳体中设有主PCB13，主PCB13上设有中央处理单元，所述主摄像头4、红外成像摄像头5、景深灰度摄像头6、红外测距摄像头8、激光雷达7连接所述中央处理单元；所述左镜脚壳体中还设有北斗/GPS天线16，壳体上设有数据接口19、神经传输电极17；所述北斗/GPS天线16、数据接口19、神经传输电极17连接所述中央处理单元。所述右镜脚内壳11和右镜脚外壳12组成的右镜脚壳体中设有辅助PCB14，还设有5G/WIFI/蓝牙天线15、电池20；壳体上设有神经传输电极17、骨传导马达18、按键21、耳麦22；所述5G/WIFI/蓝牙天线15、电池20、神经传输电极17、骨传导马达18、按键21、耳麦22都通过辅助PCB14连接所述中央处理单元。所述电池20设有充电接口，用于连接扩展电源23(如充电宝等)。本专利技术还可以通过5G/WIFI/蓝牙天线15连接扩展主机，扩展主机可以为挂在腰间的穿戴设备。如图2所示为本专利技术的原理框图，本专利技术所述中央处理单元通过景深灰度本文档来自技高网...

【技术保护点】
1.一种适用于视觉障碍人士的智能眼镜系统，其特征在于，包括设置在眼镜内部的中央处理单元，以及与中央处理单元连接的三射摄像头、激光雷达、语音播报装置；所述三射摄像头包括主摄像头、红外成像摄像头、景深灰度摄像头，所述中央处理单元通过景深灰度摄像头、红外成像摄像头，主摄像头采集数据结合进行三维立体建模；所述中央处理单元使用主摄像头和红外成像摄像头进行三维几何信息判断，并使用激光雷达测距，获得深度距离；所述中央处理单元将上述信息转化为语音，通过语音播报装置提示视觉障碍人士。/n

【技术特征摘要】
1.一种适用于视觉障碍人士的智能眼镜系统，其特征在于，包括设置在眼镜内部的中央处理单元，以及与中央处理单元连接的三射摄像头、激光雷达、语音播报装置；所述三射摄像头包括主摄像头、红外成像摄像头、景深灰度摄像头，所述中央处理单元通过景深灰度摄像头、红外成像摄像头，主摄像头采集数据结合进行三维立体建模；所述中央处理单元使用主摄像头和红外成像摄像头进行三维几何信息判断，并使用激光雷达测距，获得深度距离；所述中央处理单元将上述信息转化为语音，通过语音播报装置提示视觉障碍人士。


2.根据权利要求1所述的一种适用于视觉障碍人士的智能眼镜系统，其特征在于，所述三维立体建模包括用景深灰度摄像头进行立体成像，建立立体模型数据；使用红外成像摄像头对立体物体进行层次填充，并还原物体的立体外形；使用主摄像头对物体外形细节辨识目标；将以上数据通过后台运算计算出物体的实际状态，进行建模。


3.根据权利要求1所述的一种适用于视觉障碍人士的智能眼镜系统，其特征在于，所述使用主摄像头和红外成像摄像头进行三维几何信息判断包括：将主摄像头和红外成像摄像头作为双目相机；对双目相机进行标定，得到两个相机的内外参数、单应矩阵；根据标定结果对原始图像校正，校正后的两张图像位于同一平面且互相平行；对校正后的两张图像进行像素点匹配；根据匹配结果计算每个像素的深度，从而获得深度图。


4.根据权利要求1或3所述的一种适用于视觉障碍人士的智能眼镜系统，其特征在于，所述眼镜还设有红外测距摄像头，所述红外测距摄像头连接所述中央处理单元，所述中央处理单元使用红外测距摄像头和激光雷达交叉处理的方式来判断物体距离和动静状态；以及红外测距摄像头处理活体温度的初步判断...

【专利技术属性】
技术研发人员：杨乾，黎少旭，邵洋，宋云龙，
申请(专利权)人：星微科技天津有限公司，
类型：发明
国别省市：天津;12