允许盲人或视障人士通过声音或触觉了解周围环境的便携式系统技术方案

本发明专利技术涉及一种允许盲人或视障人士通过声音或触觉了解周围环境的便携式系统，包括：两个摄像头(3i、3d)，其彼此分开并且配置成同时捕捉环境图像；用于产生声音和/或触觉输出信号的产生装置(4i、4d)。有利地，还包括处理装置(2)，其连接至所述摄像头(3i、3d)且连接至用于产生声音和/或触觉信号的产生装置(4i、4d)。该处理装置配置成将实时捕捉的图像合成且处理与至少一个垂直带相关联的信息，垂直带具有与合成图像中的要素的深度相关的信息，处理装置(2)还配置成：将垂直带分成一个或多个区域；在每个区域中根据区域的深度和区域的高度限定声音或触觉信号；以及基于垂直带的每个区域中的声音或触觉信号限定声音或触觉输出信号。

A portable system that allows blind or visually impaired people to understand the surroundings through sound or touch.

The present invention relates to allow the blind or visually impaired by a portable system, voice or touch an understanding of the environment includes two cameras (3I, 3D), which are separated from each other and configured to capture images at the same time to produce a sound environment; and / or tactile output signal generating device (4I, 4D). Advantageously, the processing device (2) is also connected to the camera (3I, 3D) and connected to the generating device (4I, 4D) for generating the voice and / or tactile signals. The processing device is configured to capture real-time image synthesis and processing and at least one vertical belt associated with vertical information, with information and elements in the image synthesis depth, processing device (2) is also configured to: the vertical belt is divided into one or more regions; in each region according to the the depth and height of region defining a voice or touch signal; and based on sound or tactile signals in each region in the vertical band limited voice or touch the output signal.

【技术实现步骤摘要】
【国外来华专利技术】允许盲人或视障人士通过声音或触觉了解周围环境的便携式系统
本专利技术涉及一种针对受任何限制或残疾困扰的人士的辅助装置。特别地，本专利技术涉及一种主要用于盲人或视障人士的辅助系统。
技术介绍
患有视觉障碍的人士通常依靠诸如手杖和导盲犬之类的基本辅助手段来四处行走或识别其所处环境。尽管已经研发出了使用更高科技水平的系统，但这些系统通常是侵入性的并且难以操作。此外，这些系统通常因其用途而过于昂贵，不能成为超出专用意义上的一般物品。这些系统现在通常测量到一个点的距离，例如通过使用激光器测量到一个点的距离，从而在有物体挡路时提供声音通知。这样的系统既不能提供这种场景的容量分析，也不能针对与位置、尺寸或几何形状(弯曲、边缘、相对于水平线的位置)相关的细微变化做出响应。另外，通过测量到多个点的距离进行的场景分析需要高的计算能力，而这通常难以实施于实时使用和/或用于便携式装置中。在这种情况下，现有技术中还已知分析环境图像的装置，所述装置配置成解释所述图像并且将其映射为针对装置使用者的声音，使得能够获得作为所述图像一部分的物体的距离的基于声音的表示，因而集成了三维投影从而有助于在使用者路上可能有障碍物时进行指向并通知。然而，就计算需求而言，所述装置还是低效的，所述装置实际上表现为低响应速率，并且计算缺陷形成了对使用者来说不精确和不胜任的使用体验。基于完全映射出图像的这类装置的示例为专利文献ES2133078A1和US2009/122161A1。作为这些装置的替代方案，专利文献ES2517765A1提出了这样一种装置，该装置配置成提供声音库并且将获得的图像的每个点与所述声音库的至少一个声音相关联，从而形成编码声音的映射并且表示出捕捉到的三维空间中的平面。提及的装置还适于顺序地再现限定在映射中的每个点的声音，所述声音与用水平线表示的空间相关联，以能够更容易地补偿来源于使用者不当放置装置的误差，例如在基于眼镜的实施方式中，不佳的水平度会导致到使用者的距离的计算有缺陷。尽管提及的替代方案允许纠正由本领域的早期装置引起的一些缺陷，然而替代方案仍具有来源于需要的计算资源的重要限制，因为尽管配置成表示由图像获得的水平声音形式，其深度的处理仍通过以与上述系统方式类似的方式整体分析所述图像完成。因此，所有已知装置需要大量的计算资源，这极大限制了这些装置的输出和能力。另外，这些装置通常需要使用倾斜仪/重力仪，这使得装置变得更复杂，而不能完全解决深度计算精度的问题。因此，存在对帮助视障人士的高效系统的需求，所述系统能够通过容易理解的声音或触觉信号提供对环境的易理解的描述，并且同时展现出更低的计算消耗量和计算资源消耗量。
技术实现思路
本专利技术主要应用于患有视力问题的人士。然而，本专利技术可以应用于视觉无法使用或需要替代的导引系统的其他类型的场景和情况下。通过解释存在于使用人周围的物体和障碍物——解释内容通过信号、优选为声音或触觉信号传输(例如，通过触感传输振动)来描述环境，对人的帮助变得更容易。所述信号是基于立体图像处理成获得各区域的表示而产生的：最强的色彩强度对应于最远的区域而具有较低色彩强度的其他区域与邻近区域相关联。因此，本专利技术的一个目的涉及一种允许盲人通过声音或触觉了解周围环境的便携式系统，其包括：-两个摄像头，这两个摄像头彼此分开，用于同时捕捉环境图像；-处理装置，该处理装置将实时图像合成并且确立具有与合成图像中的要素的深度有关的信息的至少一个垂直带，其中，所述处理装置还将垂直带分为多个区域：在每个区域中根据图像的深度和高度限定声音或触觉信号；基于垂直带的每个区域中的声音或触觉信号限定声音或触觉输出信号；-用于再现声音或触觉输出信号的再现装置。在本专利技术的优选实施方式中，垂直带位于合成图像的中心部分并且使用者在移动时扫描环境。本专利技术的这种操作模式在下文中将被称为“扫描模式”。对通过摄像头获得的图像的仅一个垂直带的处理，一方面允许将深度的分析限制于关注区域，这对使用者来说是最佳的(因为关注区域对应于聚焦点的中心点)，从而避免周围区域提供不想关注的信息。通过这种优化，系统的计算需求会大幅减少，而不会负面影响获取到的信息。这是由于下述事实：垂直线将与深度相关的信息压缩成水平，因为这是与使用者定位障碍物最相关的。因而，对应于周侧视野的信息通过使用者在运动期间将头部朝向两侧自然运动而产生，而这使分析的垂直线移位并且允许在不需要连续处理由摄像头获得的完整图像的情况下获得其余信息。对应所有水平的深度，轻度的水平头部运动允许自然覆盖使用者前部区域(通过垂直线分析的形式覆盖)。通过这种技术优化，与现有技术的替代技术方案相比，预计节省了约90％的计算需求。另外，处理垂直线与处理摄像头捕捉的整个图像相比防止了存在因附近的外围物体——现在更靠近使用者但并不直接阻挡使用者的道路——产生的声音污染。从这个意义上说，该系统的使用与盲人通过手杖操作扫描或探测的模式共存有许多相似之处，从而允许人们更快地学习如何操作该系统。在本专利技术的另一优选实施方式中，在合成图像中的中心垂直带的每一侧上建立了多个侧垂直带，并且左侧或右侧声音或触觉信号分别由每个左侧带和每个右侧带的区域限定；使用者能够不需要移动而进行环境扫描。本专利技术的这种操作模式在下文中将被称为“完全场景模式”。在所述模式中，处理单元适于提供多个侧垂直带的同时分析，使得摄像头得到的整个图像的分割区域被水平地处理。与扫描模式相比，完全场景模式需要更高的计算需求，但该模式提供了关于系统使用者的周围两侧区域的更多信息。然而，多个垂直线减小了处理空间使得如同扫描模式一样，与现有技术已知解决方案相比，在处理时间和资源消耗上有了相当大的改进。在本专利技术的另一优选实施方式中，处理装置的操作模式可以由使用者启用和停用，使得多个侧垂直带的同时分析可以与单个垂直带的分析相交替。因此，根据使用者的位置，所述使用者可以使用扫描操作模式(即，通过处理中心垂直线的深度)和完全场景模式(通过多个垂直带)，扫描操作模式将在大多数日常使用情景下是有效的，完全场景模式必要地提供关于周围侧向区域的附加信息。在本专利技术的优选实施方式中，再现装置将左侧声音或触觉信号和右侧声音或触觉信号合成以立体感觉的形式再现。在本专利技术的优选实施方式中，处理装置根据垂直带中的区域的高度限定声音或触觉信号的声音或触觉强度。在本专利技术的优选实施方式中，处理装置根据区域的深度限定声音或触觉信号的频率。在本专利技术的优选实施方式中，区域的深度根据环境图像的深度图上的灰度级别确定。在本专利技术的优选实施方式中，区域包括至少一个像素。在本专利技术的优选实施方式中，系统包括使用者携带的支承结构件，再现装置和两个摄像头可以定位在该支承结构件上。在本专利技术的基于触觉信号的优选实施方式中，所述信号基于电活性聚合物(EAP)或由其形状响应于电压而改变的弹性体制成的膜而产生。替代性地，信号可以通过小型振动发生电机的方式机械地产生。在本专利技术的基于声音信号的优选实施方式中，所述声音信号的频率由100Hz到18000Hz之间的范围选出。在本专利技术的优选实施方式中，再现装置是耳蜗耳机。有利地，不使用耳朵并且信号通过骨头接收。这意味着使用者可以同时说话而不会与产生的声音信号发生干扰，或者反之亦然。在本专利技术的优选实施方式中，支承结构件由至本文档来自技高网...

【技术保护点】
一种允许盲人或视障人士通过声音或触觉了解周围环境的便携式系统，包括‑两个摄像头(3i、3d)，所述两个摄像头彼此分开并且配置成同时捕捉环境图像；‑用于产生声音和/或触觉输出信号的产生装置(4i、4d)；其特征在于，包括：‑处理装置(2)，所述处理装置(2)连接至所述摄像头(3i、3d)并且连接至用于产生声音和/或触觉信号的所述产生装置(4i、4d)，所述处理装置(2)配置成将实时捕捉的图像合成并且处理与至少一个垂直带相关联的信息，所述垂直带具有与合成图像中的要素的深度相关的信息，所述处理装置(2)还配置成：将所述垂直带分成一个或多个区域；在每个区域中根据区域的深度和区域的高度限定声音或触觉信号；以及基于所述垂直带的每个区域中的所述声音或触觉信号限定声音或触觉输出信号。

【技术特征摘要】
【国外来华专利技术】2015.06.12 ES P2015308251.一种允许盲人或视障人士通过声音或触觉了解周围环境的便携式系统，包括-两个摄像头(3i、3d)，所述两个摄像头彼此分开并且配置成同时捕捉环境图像；-用于产生声音和/或触觉输出信号的产生装置(4i、4d)；其特征在于，包括：-处理装置(2)，所述处理装置(2)连接至所述摄像头(3i、3d)并且连接至用于产生声音和/或触觉信号的所述产生装置(4i、4d)，所述处理装置(2)配置成将实时捕捉的图像合成并且处理与至少一个垂直带相关联的信息，所述垂直带具有与合成图像中的要素的深度相关的信息，所述处理装置(2)还配置成：将所述垂直带分成一个或多个区域；在每个区域中根据区域的深度和区域的高度限定声音或触觉信号；以及基于所述垂直带的每个区域中的所述声音或触觉信号限定声音或触觉输出信号。2.根据前一权利要求所述的系统，其中，所述垂直带为所述合成图像的中心带。3.根据前一权利要求所述的系统，其中，所述处理装置(2)配置成处理在所述合成图像中中心带每侧上的多个侧垂直带，并且其特征在于，左侧信号和右侧信号分别由每个左侧带和每个右侧带的区域限定。4.根据前一权利要求所述的系统，其中，所述处理装置(2)适于提供所述多个侧垂直带的同时分析，使得分割区域能够在由所述摄像头(3i、3d)捕获的整个图像上水平地处理。5.根据前一权利要求所述的系统，其中，所述处理装置(2)的操作模式能够由使用者配置，使得使用者能够启用和停用同时分析所述多个侧垂直带的模式...

【专利技术属性】
技术研发人员：A·克萨达·埃尔瓦斯，
申请(专利权)人：智能眼睛有限公司，
类型：发明
国别省市：西班牙,ES