视觉辅助眼镜及其图像识别方法技术

本发明专利技术首先公开了一种视觉辅助眼镜，包括眼镜架，所述眼镜架上安装设有用于对佩戴者所指位置进行拍照的摄像头、用于对所述摄像头拍摄的图像进行图像处理的图像处理器和用于将图像处理结果反馈给佩戴者的人机交互设备；所述摄像头和人机交互设备均与所述图像处理器电连接，且所述人机交互设备包括佩戴在佩戴者耳部的耳机或骨传导耳机。本发明专利技术还公开了一种视觉辅助眼镜的图像识别方法。本发明专利技术的视觉辅助眼镜及其图像识别方法，能够实时采集佩戴者手指所指位置处的现实场景，并通过图像处理将现实场景内的信息通过语音等方式反馈给佩戴者，达到辅助视觉的目的，适用于视力衰弱，减退；色盲，色弱，远近视，老花等视力受损者而非全盲者。

【技术实现步骤摘要】

本专利技术属于可使眼科病人用别种感觉代替直接视觉的仪器或方法
，具体的为一种视觉辅助眼镜及其图像识别方法。
技术介绍
系视觉障碍指由于先天或后天原因，导致视觉器官(眼球视觉神经、大脑视觉中心)的构造或机能发生部分或全部障碍，经治疗仍对外界事物无法(或甚难)作视觉辨识。依据相关规定，视觉未达0.3，或视野在20°以内者即为视觉障碍。根据障碍程度不同，视觉障碍可以分为两类:两眼视力测定值在0.03以上未达0.3或其视野在20°以内为弱视；两眼视力测定值未达0.03为全盲。弱视人群通常可以利用视觉进行日常生活，但是在视物方面有一定障碍，一般需要借助光学辅助设备或特殊放大设备来观察事物。但是弱视本身也有极大不同：既有缺乏立体感的，对光线敏感的，无法辨识色彩的，也有视野过于狭窄的。视觉性辅具是指可以通过视觉途径帮助视障者提高视觉能力的设备或装置，又分为光学、非光学、电子助视器三类。光学助视器比较常见，有手持、立式放大镜，眼镜式、单筒、双筒望远镜等。光学助视器具有容易使用、携带方便、价格低等特点，也是低视力患者使用的主要助视器具；但它也存在一些使用上的局限性，如放大倍数低，阅读范围小，长期使用会引起姿势不良，会受到光源的影响等。非光学助视器，指通过改善周围的环境来提高视觉效果。如：放大的印刷品以改变阅读物的大小，高强度的照射器以增加对比度，高对比度的物件以利于局部物品的区分等。电子助视器是一种电子视讯装置，能将阅读的文件、图片、观察的物品等通过摄影镜头，将影像传送到屏幕上供使用者浏览。综上可知，现有的电子助视器一般采用放大影像的方式来使视觉障碍者看清外界事物，虽然在一定程度上能够满足使用要求，但是这样的电子助视器一方面存在结构复杂(需要内置或外置显示屏)的缺点，另一方面，对于一些视
觉障碍者而言，放大的影像仍不足以使其看清外界事物。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种视觉辅助眼镜及其图像识别方法，能够实时采集佩戴者手指所指位置处的现实场景，并通过图像处理将现实场景内的信息通过语音等方式反馈给佩戴者，达到辅助视觉的目的。为达到上述目的，本专利技术提供如下技术方案：本专利技术首先提出了一种视觉辅助眼镜，包括眼镜架，所述眼镜架上安装设有用于对佩戴者所指位置进行拍照的摄像头、用于对所述摄像头拍摄的图像进行图像处理的图像处理器和用于将图像处理结果反馈给佩戴者的人机交互设备；所述摄像头和人机交互设备均与所述图像处理器电连接，且所述人机交互设备包括佩戴在佩戴者耳部的耳机或骨传导耳机。进一步，所述人机交互设备还包括设置在所述眼镜架上的微振动器。本专利技术还提出了一种如上所述视觉辅助眼镜的图像识别方法，包括佩戴者手指识别方法和佩戴者手指所指区域图像识别方法；所述佩戴者手指识别方法包括如下步骤：1)佩戴者的其中一根手指伸出并指向需要识别的区域位置处，所述摄像头对佩戴者手部及其所指区域进行摄像，并将拍摄的图像传输至所述图像处理器；2)所述图像处理器识别出佩戴者整个手部的手势图像轮廓；3)在所述手势图像轮廓上取若干点并垂直做射线，每一个点上的射线为两条，且位于所述手势图像轮廓内的一条射线与所述手势图像轮廓相交形成一段线段；采集线段的长度数据，且当线段的长度增长或缩短的速率大于设定的阀值时，所述图像处理器则将该手势图像轮廓区域认定为佩戴者手指所在位置区域；4)按照预设要求放大或缩小所述佩戴者手指所在位置区域，并将其与预存在所述图像处理器内的佩戴者手指图像轮廓模型进行对比；5)若对比识别成功，则对比失败次数清零，并找出所述手势图像轮廓中的
指尖所在位置，并将对比成功的信息通过人机交互设备反馈给佩戴者；若对比失败，则对比失败次数加1，若对比失败次数小于设定次数，则重复步骤3)和步骤4)，若对比失败次数等于设定次数，将对比失败的信息通过人机交互设备反馈给佩戴者，并根据佩戴者指令结束图像识别或重复步骤1)至步骤4)；所述佩戴者手指所指区域图像识别方法识别所述手指指尖所指位置区域的图像信息，并将该图像信息通过所述人机交互设备反馈至佩戴者。进一步，所述步骤2)中，采用基于深度的识别算法或基于灰度的识别算法识别出佩戴者整个手部的手势图像轮廓。本专利技术的有益效果在于：本专利技术的视觉辅助眼镜，通过摄像头对佩戴者手部及周边区域进行摄像，而后通过佩戴者手指识别方法识别佩戴者伸出手指的指尖位置，利用现有的图像识别技术对指尖所指区域的图像进行处理分析，并将分析处理后的结果通过耳机或骨传导耳机反馈给佩戴者，使佩戴者能够正确识别器指尖所指物品，避免了如现有的电子助视器仍采用图像反馈而导致使用者看不清的缺陷，即本专利技术的视觉辅助眼镜能够实时采集佩戴者手指所指位置处的现实场景，并通过图像处理将现实场景内的信息通过语音等方式反馈给佩戴者，达到辅助视觉的目的，适用于视力衰弱，减退；色盲，色弱，远近视，老花等视力受损者而非全盲者。附图说明为了使本专利技术的目的、技术方案和有益效果更加清楚，本专利技术提供如下附图进行说明：图1为本专利技术视觉辅助眼镜实施例的结构示意图；图2为手势图像轮廓的结构示意图；图3为在手势图像轮廓上取点并做射线的结构示意图(仅标注了位于手势图像轮廓内的射线)；图4为射线与手势图像轮廓相交形成线段时的结构示意图；图5为手指所在区域的线段长度变化的结构示意图；图6为将佩戴者手指所在位置区域与预存的佩戴者手指图像轮廓模型进行对比的原理图；图7为采用本实施例的视觉辅助眼镜识别红绿灯或站牌信息时的使用状态参考图；图8为采用本实施例的视觉辅助眼镜识别汽车时的使用状态参考图；图9为采用本实施例的视觉辅助眼镜识别书本或报纸上的文字时的使用状态参考图；具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术人员可以更好的理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定。如图1所示，为本专利技术视觉辅助眼镜实施例的结构示意图。本实施例的视觉辅助眼镜，包括眼镜架1，眼镜架1上安装设有用于对佩戴者所指位置进行拍照的摄像头2、用于对摄像头2拍摄的图像进行图像处理的图像处理器3和用于将图像处理结果反馈给佩戴者的人机交互设备4。摄像头2和人机交互设备4均与图像处理器3电连接，且人机交互设备4包括佩戴在佩戴者耳部的耳机或骨传导耳机，当佩戴者听力正常时，则采用耳机即可满足使用要求；若佩戴者有听力障碍时，则需佩戴骨传导耳机。进一步，人机交互设备4还包括设置在眼镜架上的微振动器，可通过微振动器的不同震动模式来将手指识别成功或失败的信息反馈给佩戴者。下面对采用本实施例的视觉辅助眼镜进行图像识别的方法进行详细说明。本实施例视觉辅助眼镜的图像识别方法，包括佩戴者手指识别方法和佩戴者手指所指区域图像识别方法；其中，佩戴者手指识别方法包括如下步骤：1)佩戴者的其中一根手指伸出并指向需要识别的区域位置处，摄像头2对佩戴者手部及其所指区域进行摄像，并将拍摄的图像传输至图像处理器3；2)图像处理器3识别出佩戴者整个手部的手势图像轮廓，如图2所示，现
有的可识别佩戴者整个手部的手势图像轮廓的方法有多种，如可采用基于深度的识别算法或基于灰度的识别算法识别出佩戴者整个手部的手势图像轮廓，本实施例采用基于深度的识别算法识别出佩戴者整个手部的手势图像轮廓；3)在手势图像本文档来自技高网...

【技术保护点】
一种视觉辅助眼镜，包括眼镜架，其特征在于：所述眼镜架上安装设有用于对佩戴者所指位置进行拍照的摄像头、用于对所述摄像头拍摄的图像进行图像处理的图像处理器和用于将图像处理结果反馈给佩戴者的人机交互设备；所述摄像头和人机交互设备均与所述图像处理器电连接，且所述人机交互设备包括佩戴在佩戴者耳部的耳机或骨传导耳机。

【技术特征摘要】
1.一种视觉辅助眼镜，包括眼镜架，其特征在于：所述眼镜架上安装设有用于对佩戴者所指位置进行拍照的摄像头、用于对所述摄像头拍摄的图像进行图像处理的图像处理器和用于将图像处理结果反馈给佩戴者的人机交互设备；所述摄像头和人机交互设备均与所述图像处理器电连接，且所述人机交互设备包括佩戴在佩戴者耳部的耳机或骨传导耳机。2.根据权利要求1所述的视觉辅助眼镜，其特征在于：所述人机交互设备还包括设置在所述眼镜架上的微振动器。3.一种如权利要求1或2所述的视觉辅助眼镜的图像识别方法，其特征在于：包括佩戴者手指识别方法和佩戴者手指所指区域图像识别方法；所述佩戴者手指识别方法包括如下步骤：1)佩戴者的其中一根手指伸出并指向需要识别的区域位置处，所述摄像头对佩戴者手部及其所指区域进行摄像，并将拍摄的图像传输至所述图像处理器；2)所述图像处理器识别出佩戴者整个手部的手势图像轮廓；3)在所述手势图像轮廓上取若干点并垂直做射线，每一个点上的射线为两条，且位于所述手势图像轮廓内的一条射线与所述手势图像轮廓相...

【专利技术属性】
技术研发人员：黄其祥，
申请(专利权)人：温州职业技术学院，
类型：发明
国别省市：浙江;33