用于向盲人提供视觉信息的物体检测、分析及提示系统技术方案

本公开提供一种用于向盲人提供视觉信息的物体检测、分析及提示系统。更具体的，提供一种包含地标检测系统的可穿戴的头戴装置。一种采集、分析和反馈的便携式闭环系统，其使用包含小的不引人注目的相机和与无线网络和/或远程平台无线通信的控制计算机的头戴装置。头戴装置还可包含用户控件、音频反馈部件、电池、互连电路、线缆和用于口内装置的连接。头戴装置的相机部件在待分析的活动(如，步行或查看房间)期间采集图像，且将数据(例如，视觉数据)发送至控制器。控制器将数据传送至包括对在数据中表示的图像信息进行即时分析的软件的远程平台上的数据库，然后将即时反馈提供至头戴装置。控制器可独立地处理数据。

Object detection, analysis, and prompt system for providing visual information to blind people

The present disclosure provides an object detection, analysis, and prompt system for providing visual information to a blind person. More specifically, a wearable head device including a landmark detection system is provided. A portable closed loop system for acquisition, analysis, and feedback using head mounted devices comprising a small unobtrusive camera and a control computer for wireless communication with wireless networks and / or remote platforms. The head mounted device may also include a user control, an audio feedback unit, a battery, an interconnecting circuit, a cable, and a connection for an intraoral device. The camera unit of the head mounted device collects an image during an activity to be analyzed, such as walking or viewing a room, and transmits data (e.g., visual data) to a controller. The controller transmits data to a database on a remote platform including software for immediate analysis of image information represented in the data, and then provides immediate feedback to the head mounted device. The controller can process data independently.

【技术实现步骤摘要】
用于向盲人提供视觉信息的物体检测、分析及提示系统本技术是利用国防部(DoD)的国防医疗研究和开发项目(DMRDP)的DM090217和DM130076下的政府资助完成的。政府对本技术有一定权利。
本技术大体上涉及用于向有视力障碍的人或盲人提供视觉信息的方法及设备。更具体而言，本技术涉及被设计成向完全失明的人提供检测和识别地标以及在其周围环境内导航的能力的方法及设备。该设备包括采集、分析和反馈的便携式闭环系统，其使用包含不引人注目的相机和与无线网络和/或远程平台无线通信的控制计算机的头戴装置。头戴装置的相机部件在待分析的活动(如，步行或查看房间)期间采集图像，并且将数据(例如，视觉数据)发送至控制器。控制器将数据传送至包括对在数据中呈现的图像信息进行分析的软件的远程平台上的数据库，然后将反馈提供至头戴装置。控制器可以独立地处理数据。头戴装置以触觉手段(例如，经由附接的口内装置的用户的舌头的电触觉刺激)和/或听觉手段(例如，经由扬声器)的形式将反馈提供至用户。
技术介绍
美国盲人基金会(AFB)估计美国目前有大约130万的认定的盲人。这一数字是估计有大约4千万的全世界的认定的盲人总人口的很小部分。全世界近一半的认定的盲人群体生活在中国。失明患者传统上依靠手杖引导他们(例如，在街道或走廊上步行时，或在房间或商店中行动时)。然而，常规的行动手杖仅提供关于用户的周围环境(通常关于可由手杖物理触碰的物体)的很有限的信息。已经开发出了其它装置来向盲人或有视力障碍的人提供关于超过常规手杖的物理达到范围的他或她的周围环境的信息。例如，发声手杖通过声音反馈(回波定位)来提供信息。当使用发声手杖时，其发出音频信号，该信号从用户的周围环境内的物体反射或发出回声。用户转译回波来辨认环境的布局。其它装置发出光信号，光信号从使用者周围的物体反射。反射然后被转换成听觉信号，例如，咔擦声或可变音调的嘟嘟声，以将关于周围物体的信息传递回用户。美国专利申请序列第10/519,483号(公开号US2006/0098089A1)公开了一种包括用于检测和识别物体的电光装置的设备。控制单元用于接收和处理来自设备的信息。声音表示单元然后用于接收来自控制单元的指令，以用于向用户在听觉上描述物体的目的。美国专利申请序列第12/354,266号(公开号US2010/0177179)公开了一种包括与美国专利申请序列第10/519,483号中的那些部件类似的部件，但还包括耦合到用户可以在其上查看其周围环境的设备上的监视器。美国专利申请序列第11/925,393号(公开号US2009/0312817)公开了一种视觉辅助和/或增强装置，其使用电触觉刺激来在用户的舌头上提供视觉想象。然而，这样的装置具有显著的局限性，原因在于，它们几乎不向深度失明的用户提供关于用户的远侧环境的信息。例如，依靠监视器来向盲人提供关于周围环境的信息的装置并未向人提供可使用的信息。另外，单独使用音频信号来将关于周围环境的信息传送给用户不适于嘈杂环境，例如，交通繁忙的街道，或不适于不能听到音频信号的聋盲人。此外，对于深度失明的用户，这些和其它现有的装置不能为盲人识别超出可以由手杖扫过和利用手杖触碰的距离的个人环境中的地标(例如，标志或导航提示)。
技术实现思路
本技术通过提供一种设备和方法来解决现有技术的方式中的问题，该设备和方法向盲人用户提供了扫描她或他的近处和远处的环境来检测和识别地标(例如，标志或其它导航指示)的能力，以及经由对用户的舌头的电触觉刺激来查看环境的能力。因此，在一个实施例中，本技术大体上涉及用于向视力障碍的人或盲人提供视觉信息的设备和方法。更具体而言，本技术涉及被设计成向完全失明的人提供检测和识别地标且在其周围环境内导航的能力的设备和方法。该设备包括采集、分析和反馈的便携式闭环系统，其使用包含不引人注目的相机和与无线网络和/或远程平台无线通信的控制计算机的头戴装置。头戴装置的相机部件在待分析的活动(如，步行或查看房间)期间采集图像，且将数据(例如，视觉数据)发送至控制器。控制器将数据传送至包括对在数据中表示的图像信息进行分析(例如，即时分析)的软件的远程平台上的数据库，然后将反馈(例如，即时反馈)提供至头戴装置。头戴装置控制器可以独立地处理数据。头戴装置以触觉手段(例如，经由附接的口内装置对用户的舌头的电触觉刺激)和/或听觉手段(例如，经由扬声器)的形式将反馈提供至用户。因此，在一个实施例中，本技术的目的在于提供方法和设备来向盲人提供检测和识别其周围环境中的地标的能力。另一个目的在于在设备中提供提高的多功能性、效率、适应性和/或经济性，该设备包括采集、分析和反馈的便携式闭环系统，其使用包含不引人注目的相机和与无线网络和/或远程平台无线通信的控制计算机以用于地标检测和识别的头戴装置。本技术的另一个目的在于提供由盲人穿戴的用于检测和识别相机视场内的物体的算法的方法及设备。另一个目的在于提供用于在远离头戴装置控制器的平台上的数据库内对传送的数据/信息进行分析的算法的方法及设备。在另一个实施例中，算法根据生成与被分析的传送的数据/信息有关的反馈信息，其中该反馈信息被传送(例如，通过无线网络)至头戴装置来传递至盲人。本技术不受将反馈信息传递至盲人的手段限制。示例性手段包括经由触觉(例如，人的舌头的电触觉刺激)以及听觉(例如，经由扬声器、耳机或骨传导)手段将反馈信息(例如，包含视觉信息)传递给盲人。在一个实施例中，本技术提供了用于检测、识别和突出盲人用户的环境内的地标的方法及设备(例如，作为将用户引导至地标(例如，标志(例如，出口标志、厕所标志、人行横道标志或常用于环境中导航的其它标志))的手段)。本技术不限于突出地标的任何特定手段。若干非限制性示例包括利用电触觉刺激在用户的舌头上突出地标的算法的方法及设备，以及在用户使用相机扫描环境时向用户听觉地突出地标的算法的方法及设备，以利用电刺激在用户的舌头上提供视觉信息。在一个实施例中，本技术提供了有助于盲人检测、识别地标和/或朝地标移动(例如，在绕过、越过和/或穿过人的环境内的障碍物或建筑物时)的设备及方法。在一个实施例中，该设备包括头戴装置，该头戴装置包括包含不引人注目的相机和与无线网络和/或远程平台通信的控制计算机、用户控件、音频反馈部件、电池、互连电路、线缆、和用于口内装置的连接。在一个实施例中，头戴装置的相机部件在待分析的用户活动(如，步行或查看房间)期间采集环境的视觉信息，且将视觉信息发送至控制器，由此控制器将视觉信息数据(例如，由相机采集的全部视觉信息中的所有或部分)传送至远程平台上的数据库，该远程平台包括对在视觉信息数据中表示的的图像信息进行分析的软件，然后将关于视觉信息数据的反馈提供至头戴装置，头戴装置继而又将反馈提供至盲人用户(例如，经由触觉(例如，对人的舌头的电触觉刺激)和/或听觉(例如，经由扬声器、耳机或骨传导)手段)。本技术的另一个目的在于提供用于从相机采集的视觉信息中检测和移除阴影的方法及设备。在一个实施例中，从相机采集的视觉信息(例如，数字图像流)检测和移除阴影包括由头戴装置控制器和/或远程平台(例如，使用处理器、算法、和/或其它计算机部件本文档来自技高网...

【技术保护点】
一种包含地标检测系统的可穿戴的头戴装置，其特征在于，包括：图像采集部件，采集由所述图像采集部件查看的视觉信息；反馈部件，所述反馈部件提供与由所述图像采集部件查看的所述视觉信息有关的触觉和/或音频反馈；以及电连接到所述图像采集部件及所述反馈部件的控制器。

【技术特征摘要】
2016.03.07 US 62/304,785;2016.05.18 US 62/338,2711.一种包含地标检测系统的可穿戴的头戴装置，其特征在于，包括：图像采集部件，采集由所述图像采集部件查看的视觉信息；反馈部件，所述反馈部件提供与由所述图像采集部件查看的所述视觉信息有关的触觉和/或音频反馈；以及电连接到所述图像采集部件及所述反馈部件的控制器。2.根据权利要求1所述的可穿戴的头戴装置，其特征在于，所述控制器接收由所述图像采集部件查看的所述视觉信息。3.根据权利要求1或2所述的可穿戴的头戴装置，其特征在于，所述视觉信息为数字图像流。4.根据权利要求1或2所述的可穿戴的头戴装置，其特征在于，所述控制器还经由有线和/或无线的电连接来连接到远程计算机。5.根据权利要求1或2所述的可穿戴的头戴装置，其特征在于，所述控制器包括处理器，所述处理器处理由所述图像采集部件查看的所述视觉信息，以便检测和/或识别地标，和/或将由所述...

【专利技术属性】
技术研发人员：理查德·霍格尔，罗伯特·贝克曼，
申请(专利权)人：维看公司，
类型：新型
国别省市：美国,US