用于低视力用户的混合式透视增强现实系统和方法技术方案

提供了一种增强现实视力辅助系统、软件和方法，其融接通过利用混合式透视遮蔽启用硬件以及通过图像操纵、再处理、融接的软件来增强视力以模拟自然视力，用于呈现并显示给眼睛，从而实现先前所丢失的或影响的一系列任务。

【技术实现步骤摘要】
【国外来华专利技术】用于低视力用户的混合式透视增强现实系统和方法相关申请的交叉引用本专利申请要求于2018年5月29日提交的题为“用于低视力用户的混合式透视增强现实”的美国临时专利申请号62/677,463的优先权，并且其全部内容通过引用并入本文。该申请与于17年7月9日提交的美国序列号62/530,286、于17年7月10日提交的美国序列号62/530,792、于17年10月31日提交的62/579,657、于17年10月31日提交的美国序列号62/579,798、于17年11月17日提交的PCT专利申请号PCT/US17/62421、于17年11月17日提交的美国序列号15/817,117、于18年3月6日提交的美国序列号62/639,347、于18年3月12日提交的美国序列号15/918,884、于18年9月24日提交的美国序列号62/735,643、以及于18年10月31日提交的美国序列号16,177,333有关，其全部内容通过引用并入本文。
本说明书中提及的所有出版物和专利申请都通过引用整体并入本文，其程度与特别单独指示每个单独出版物或专利申请被通过引用并入的程度相同。
技术介绍
头戴式助视器已经使用了数百年，并且像过去一样，为通常基于光学器件的解决方案，诸如眼镜。具有可编程头戴式电子助视器的概念化和早期实验始于1980年代后期NASA资助的研究。所描述的基本功能性包括重映射像素，以便操纵呈现给佩戴者眼睛的图像。所描述的重映射主要是经修正的区域的形状、大小和位置不同的图像的放大形式和扭曲形式。尽管早期实验证明对几种基于视网膜的疾病值得关注，但是由于多种原因，所以最终该研究在当时被证明是不切实际的。随着虚拟现实(VR)头戴式耳机和增强现实(AR)眼镜成为主流，可穿戴式头戴式设备的当前硬件实现方式已变得越来越普遍。这些平台被设计为并且旨在用于许多应用，诸如游戏、网真(telepresence)和广泛多种企业应用。这一使能技术还为低视力用户提供了更先进的图像处理的潜在丰富基础。然而，这些方法对于低视力用户而言都不理想，并且需要进一步完善新颖的软件和算法来无缝协同工作，以使头戴式可穿戴设备对低视力用户切实可行并有用。
技术实现思路
本文中所描述的本专利技术总体上涉及用于一类可穿戴式电子增强现实(AR)眼镜的改进硬件以及集成软件和算法，其中对于患有各种视力障碍(例如，年龄相关黄斑变性(AMD)以及其他视场缺陷)具有附加特定益处。提出的针对预先存在的AR眼镜设计的调整解决了先前通过蛮力方法解决的问题，该蛮力方法最终降低了眼镜的可用性和多功能性。通过承认并理解基础现象，经更新的方法建立了一种新的AR范式，其在没有牺牲标准设计的关键优点的情况下，进一步增强低视力用户的体验。在某些应用中，正常视力的用户也会从这些改变中受益。目前，增强现实(AR)眼镜的实现方式清晰地分成两个互不相干的类别：视频透视(VST)和光学透视(OST)。VSTAR的装置与虚拟现实(VR)装备非常类似，其中佩戴者的眼睛被完全包围，因此只能看见嵌入式显示器上直接示出的内容。VR系统维持全合成三维环境，必须不断对该全合成三维环境进行更新并且以巨大的计算成本进行渲染。VSTAR眼镜还可以完全包围眼睛，但可以基于来自沿着用户的视线定向的一个适当安装的相机(或多个相机)的实时视频馈送来呈现图像；因此，数据域和问题域基本上是二维的。与VR类似，VSTAR提供对视力刺激的最终外观的绝对控制，并且有助于将捕获的视频与任何合成增强进行配准和同步。还可以以低成本实现接近自然人极限的非常宽广的视场(FOV)。然而，VST装备往往很笨重，并且会引起与图像捕获相关联的附加延迟。更进一步地，用户完全沉浸也会导致周边视力丧失，从而导致需要周边视力的活动性的丧失；它通常还和由与现实脱节引起的副作用(诸如头晕和恶心)相关联。如果视场不足以覆盖用户的整个感兴趣区域，则VR域中的VST也可能存在界限分明的缺点。另一方面，OSTAR眼镜具有直接光路，其允许来自场景的光在视网膜上形成自然图像。这种自然图像本质上与在没有AR眼镜的情况下可能形成的自然图像相同，其中由于光学部件的衰减而可能造成某些亮度损失。相机用于捕获场景以供自动分析，但是其图像无需示出给用户。取而代之的是，来自内部显示器的计算的注释或绘图通过若干种建立的光学组合方法中的任一光学组合方法(例如，将激光直接投影到视网膜上、电子隐形眼镜、鸟浴式光学器件、或半镀银反射镜以供光学组合)叠加到自然视网膜图像上。在传统OSTAR应用中，大多数显示器通常保持空白(即，黑色)，以避免最终的视网膜图像贡献光子；显示的增强产生的光线足以在自然图像背景下可见。可以在其上投影注释的水平视场往往局限于中心25度到中心50度，但是实际事件与其感知之间没有延迟。更进一步地，由于对图像传感器的采样、捕获或处理，所以场景图像没有伪像。然而，同步增强变得更具挑战性，可能需要用户相关校准以确保它们正确配准。最后，OST具有VST所缺乏的固有安全程度：如果OST硬件出现故障，则用户仍然可以看见环境。然而，由于难以对由AR叠置产生的双重图像进行解析，所以直接OST通常会令低视力用户感到困惑。低视力患者的视力辅助眼部佩戴物(eyewear)的主要任务与AR(无论是VST还是OST)的最常用模型不匹配，该最常用模型牵涉到在背景图像上叠加忠实于肉眼可以看到的客观现实的注释或绘图。取而代之的是，辅助设备必须显著改变环境的显示方式，以便补偿用户视力的缺陷。处理可能包括诸如对比度增强和颜色映射之类的效果，但一直并入增加放大率以抵消视敏度不足。用于低视力的现有设备以放大率为中心，因此在具有VST硬件的VST机制中运行。一些使用基于OST的AR平台，但安装了不透明镜头盖，该不透明镜头盖完全阻挡所有环境光进入视网膜——由于相机经由内部显示器供应唯一可见图像，所以它们成为专有的VST系统。本文中所描述的专利技术改为采用独特的组合VST/OST方法(混合式透视或HST)来产生最终视网膜图像。这样做准许有效利用每种技术的最佳特点，同时避免或改善不良方面。具体如下：尽管基于OST的图像的有源显示区域狭窄，但是仍可以为用户维持与VST相关联的宽视场。对于内部显示器所覆盖的最高敏度中心区域，实现了对最终视网膜图像细节的绝对控制(如同在VST中一样)。可以通过执行非线性变换和图像重映射的软件来实现增强图像和现实世界的附加融接，以避免在经处理的图像与未经修正的现实之间进行刺眼而突然的过渡。无论内部显示器的内容如何以及该显示器是否正常工作，自动防故障视力路径都会始终存在(如同在OST中一样)。低视力用户对自然图像与OST叠置之间的焦点模糊度进行解析的难题得以解决并补救。提供了一种混合式透视增强现实设备，其包括框架，该框架被配置为佩戴在用户的头部上；相机，其设置在框架上并且被配置为生成未经处理的实时视频图像；第一显示器，其设置在框架内并且包括第一屏障，该第一屏障被配置为基本上防止与用户的视场的中心部分相对应的外部光进入用户的第一只本文档来自技高网...

【技术保护点】
1.一种混合式透视增强现实设备，包括：/n框架，被配置为佩戴在用户的头部上；/n相机，设置在所述框架上并且被配置为生成未经处理的实时视频图像；/n第一显示器，设置在所述框架内并且包括第一屏障，所述第一屏障被配置为基本上防止与所述用户的视场的中心部分相对应的外部光进入用户的第一只眼睛，同时允许与所述用户的视场的周边部分相对应的外部光进入所述用户的所述第一只眼睛；/n处理器，设置在所述框架上或所述框架中并且被配置为对来自所述相机的所述实时视频图像进行处理以产生视频流，所述视频流当显示在所述第一显示器上时替换所述用户的视场的所述中心部分，同时与所述用户的视场的所述周边部分融接。/n

【技术特征摘要】
【国外来华专利技术】20180529 US 62/677,4631.一种混合式透视增强现实设备，包括：
框架，被配置为佩戴在用户的头部上；
相机，设置在所述框架上并且被配置为生成未经处理的实时视频图像；
第一显示器，设置在所述框架内并且包括第一屏障，所述第一屏障被配置为基本上防止与所述用户的视场的中心部分相对应的外部光进入用户的第一只眼睛，同时允许与所述用户的视场的周边部分相对应的外部光进入所述用户的所述第一只眼睛；
处理器，设置在所述框架上或所述框架中并且被配置为对来自所述相机的所述实时视频图像进行处理以产生视频流，所述视频流当显示在所述第一显示器上时替换所述用户的视场的所述中心部分，同时与所述用户的视场的所述周边部分融接。


2.根据权利要求1所述的设备，还包括第二显示器，所述第二显示器设置在所述框架内并且包括第二屏障，所述第二屏障被配置为基本上防止与所述用户的视场的所述中心部分相对应的外部光进入所述用户的第二只眼睛，同时允许与所述用户的视场的所述周边部分相对应的外部光进入所述用户的所述第二只眼睛。


3.根据权利要求2所述的设备，其中所述处理器还被配置为将所述视频流显示在所述第二显示器上。


4.根据权利要求1所述的设备，其中所述处理器被配置为对所述未经处理的实时视频图像进行处理以产生所述视频流，与所述未经处理的实时视频图像相比，所述视频流被增强。


5.根据权利要求1所述的设备，其中与所述未经处理的实时视频图像相比较，所述增强的视频流至少部分被放大。


6.根据权利要求5所述的设备，其中所述视频流在所述视频流的中心部分中被放大。


7.根据权利要求6所述的设备，其中所述视频流的在所述中心部分之外的部分被放大得比所述中心部分少，但是被放大得比所述未经处理的实时视频图像多。


8.根据权利要求4所述的设备，其中所述处理器被配置为对所述未经处理的实时视频图像进行处理，以将所述视频流的顶部边缘、底部边缘、左侧边缘和右侧边缘与所述用户的视场的所述周边部分融接。


9.根据权利要求1所述的设备，其中所述处理器被配置为对所述未经处理的实时视频图像进行处理，以仅将所述视频流的左侧边缘和右侧边缘与所述用户视场的所述周边部分融接。


10.根据权利要求1所述的设备，其中所述处理器被配置为使用图像坐标重映射对所述未经处理的实时视频进行处理，以将所述视频流与所述用户视场的所述周边部分融接。


11.根据权利要求10所述的设备，其中所述图像坐标重映射包括径向映射。


12.根据权利要求4所述的设备，还包括输入设备，所述输入设备被配置为接收来自所述用户的输入，所述输入关于要应用于所述未经处理的实时视频图像的增强的类型和/或数量。


13.根据权利要求12所述的设备，其中所述输入设备包括物理机械装置。


14.根据权利要求12所述的设备，其中所述输入设备包括麦克风，所述麦克风设置在所述壳体上或所述壳体中，所述麦克风被配置为接收来自所述用户的话音命令。


15.一种为低视力用户提供增强的视力的方法，包括：
使用头戴式相机生成未经处理的实时视频图像；
防止与所述用户的视场的中心部分相对应的光进入所述用户的第一只眼睛；
对所述未经处理的实时视频图像进行处理以产生视频流，所述视频流与所述用户的视场的所述中心部分相对应并且与所述用户视场的周边部分融接；
将所述视频流显示在位于所述用户的视场的所述中心部分内的显示器上，所述显示器基本上防止了与所述用户的视场的所述中心部分相对应的外部光进入所述用户的所述第一只眼睛，同时允许与所述用户的视场的所述周边部分相对应的外部光进入所述用户的所述第一只眼睛。


16.根据权利要求15所述的方法，还包括：将所述视频流显示在位于所述用户的视场的所述中心部分内的第二显示器上。


17....

【专利技术属性】
技术研发人员：D·瓦托拉，J·E·科米尔，
申请(专利权)人：爱达扩视眼镜公司，
类型：发明
国别省市：美国;US