显示系统中前庭眼球反射校正的设计和方法技术方案

公开了显示系统中前庭眼球反射校正的设计和方法。一种用于在头戴式显示(HMD)设备上显示图像的方法，该头戴式显示(HMD)设备对用户的前庭眼球反射(VOR)响应进行补偿。所显示的HMD图像被针对所预测的眼睛位置进行补偿，以使得在由头部运动引起的瞬时眼睛移动期间所显示的图像居中停留在眼睛的凹处上，造成更好的显示可读性、识别力和认知处理。

【技术实现步骤摘要】
显示系统中前庭眼球反射校正的设计和方法
在此描述的示例性实施例一般涉及飞行器或移动运载工具操作，并且更特别地涉及以对前庭眼球反射(VOR)响应进行校正的方式显示对象的图像。
技术介绍
对于飞行员而言有益的是通过在查看驾驶员座舱窗口外部的同时仍然监测飞行器操作状态来知晓周围环境。更一般地，在任何类型的运载工具操作中，对于操作者而言有益的是具有增强的处境认知。返回到飞行器操作的示例，传统地，飞行员已经依赖于固定在相对于飞行员的座位的位置和朝向的驾驶员座舱显示屏幕。即使在允许飞行员向上看同时仍然从航空电子设备显示单元接收电子信息的最新的平视显示(HUD)航空电子设备的情况下，当飞行员把他的/她的头部从航空电子设备显示单元的位置转开时，飞行信息也并未被针对他们的注意而提供。更一般地，在其中操作者注意需要集中在显示单元上的任何运载工具操作中，即使是头部从该显示器远离的瞬间移动都可能造成错过的信息。随着运载工具的操作变得更复杂，诸如前述的飞机的示例，可取的是运载工具操作者(例如飞行机组人员)是专注的并且以及时的并且便携的方式接收信息以确保适当的操作。一种用于提供便携的信息的装置是头戴式显示(HMD)系统。头戴式显示系统是一种头部穿着的显示系统的类型，其使用脸盔(visor)、头盔(helmet)、护目镜(goggle)或其它的头部穿着安装以将显示器放置在一只或两只眼睛前面。典型地，头戴式显示器包括在其上呈现显示符号的半透明光学组合元件。符号的源可以是液晶显示器(LCD)、硅上液晶(LCoS)显示器，或者有机发光二极管(OLED)显示器。组合元件允许呈现在HMD显示器上的信息重叠在可见场景上并且随着运载工具操作者使他的/她的头部四处移动而改变。因为该HMD系统是头部穿着的，因此存在被可取地处置的一些不同的人体和视觉系统耦合特性。那些中的一个是人类前庭眼球反射(VOR)。正常的VOR响应是一种补偿性的眼睛移动，其在人类神经系统检测到头部在空间中的运动时与头部移动逆向移动(counter)。例如，在水平平面上将头部旋转到右边将引发眼睛相对于头部坐标框架向左边旋转，以稳定注视的视觉轴并在头部运动期间将图像保持为固定在视网膜上。此外，由于VOR所致的该眼睛运动由于来自神经传感器的动态效应和动眼核响应的原因而并不是头部运动的精确反转。在利用合成视觉图像处理的HMD设备的当前实践中，通常在没有眼睛VOR效应的动态补偿的情况下针对所感测的头部运动对图像进行补偿。也就是，偏移所显示的图像，以在头部移动时反映眼睛注视正在改变方向，并且在HMD设计的当前实践中通常假设眼睛注视被对准为与头部面向的方向相同。实际上，由于非主动的前庭眼球反射所致的眼睛运动并不与头部运动对准，其也不与头部运动的纯粹反转对准。在不动态地补偿眼睛VOR效应的情况下，所得到的图像在振动环境(诸如在不平坦地形上的运载工具的操作，或者在湍流环境中的飞行器的操作)中对于人类操作者来说可能是不可读的。因此，可能想要的是合并眼睛VOR补偿以增强在HMD设备上的图像稳定和跟踪设计的性能，尤其是在高振动环境中使用时。更进一步地，根据结合随附附图和前面的
和
技术介绍
所做的随后的详细描述和所附权利要求，示例性实施例的其它的想要的特征和特性将变得显而易见。因此，将领会的是，即使本公开中的利用VOR补偿的示例性应用涉及头戴式显示系统，本公开也能够通过在图像处理中合并VOR补偿以增强显示信息的认知从而应用于在高振动或改变的环境中使用的任何图像显示系统。
技术实现思路
一种用于在头戴式显示(HMD)设备上显示图像的方法，该头戴式显示(HMD)设备针对用户的前庭眼球反射(VOR)响应进行补偿，该方法包括如下的步骤：生成第一图像并且在HMD显示设备上显示该第一图像；感测HMD显示设备的角向运动；以及基于所感测的HMD显示设备的角向运动，估计用户的眼睛的角向运动。估计步骤包括：使用眼睛角向VOR运动预测数学模型，生成由于VOR效应所致的预测的眼睛位置，以及使用眼睛角向位置跟踪数学模型，在头部运动已经平息(subside)之后校正所预测的眼睛位置。进一步地，该方法包括：基于第一图像并基于被校正的所预测的眼睛位置生成作为连续的图像流的一部分的后续的第二图像，以及在HMD显示设备上显示第二图像。提供该简要概括来以简化的形式介绍下面在详细描述中被进一步描述的概念的选择。该概括并非意图标识要求保护的主题事项的关键特征或比不可少的特征，其也不意图被用作为帮助确定要求保护的主题事项的范围。附图说明在下文中将结合以下的绘制的各图来描述本公开，在各图中同样的数字表明同样的元件，并且图1是飞行显示系统的功能框图；图2是HMD系统的示例性实施例；图3是图2的HMD系统的功能框图；图4提供参照坐标系统；图5图解沿一个轴的示例性眼睛角向VOR运动预测模型；图6图解沿一个轴的示例性眼睛角向位置跟踪模型；和图7图解沿三个轴的图5和图6的模型的两者的集成方法。具体实施方式下面的详细描述本质上仅仅是说明性的，并且不意图限制主题事项或申请的实施例以及这样的实施例的用途。在此被描述为示例性的任何实现未必要被解释为较之其它实现是优选的或有利的。更进一步地，不存在要由在前面的
、
技术介绍
、
技术实现思路
或以下的详细描述中提出的任何明确的或暗示的理论来约束的意图。介绍本公开宽泛地提供了对于针对在头戴式显示设备中使用的合成视觉或其它图像呈现补偿VOR效应的解决方案。更宽泛地，如上面最初表明的那样，本公开不限于使用在HMD设备中，而是相反地将通过在图像处理中合并VOR补偿以增强显示信息的认知来在使用于高振动或改变的环境中的任何图像显示系统中找到应用。更具体地，本公开提供用以预测由于角向VOR效应所致的眼睛旋转运动的算法并且使得眼睛运动能够在头部运动已经停止之后跟踪显示在HMD设备上的静止图像。除了其它方面之外，本公开的架构还包括：1)眼睛角向VOR(aVOR)运动预测数学模型，和2)(在头部坐标框架中定义的)眼睛角向位置跟踪数学模型，以在VOR已经发生并且头部运动已经平息之后将眼睛位置与反向(即，从面向于头部位置的视角)的头部位置对准。在以下的几个段落中提供元件1)和2)中的每个的简要概述，跟在此后的是HMD系统的描述以及如在各图中阐述的随同于该描述的元件1)和2)的实现。首先，关于元件1)，眼睛角向VOR运动预测模型，利用可调谐时间延迟和可调谐正向增益来发展动态伪反转传递函数以表示人眼眼球运动机制和在头部运动期间的逆向移动反射。具有眼睛角向位置反馈环路的反馈控制器被设计成减轻眼睛位置从头部位置的漂移。该模型将三个角向速率和头部运动的位置利用于三轴角向眼睛VOR运动。该模型的输出是由VOR引发的在头部坐标中定义的所预测的眼睛角向位置。然后，由于VOR所致的δ(delta)眼睛(角向)位置被生成为在由于VOR所致的所预测的眼睛角向位置和反向头部位置之间的差值。第二，关于元件2)，眼睛角向位置跟踪模型使得能够在VOR效应减弱之后进行头部位置的眼睛跟踪。设计的是在检测到相对静止的头部运动之后将δ眼睛位置减小至零。因此，在头部的运动停止之后，最终的眼睛位置与头部位置对准。等同地，该跟踪特征使得眼睛运动能够随着所显示的图像被与反向头部位本文档来自技高网...

【技术保护点】
一种用于在头戴式显示(HMD)设备上显示图像的方法，该头戴式显示(HMD)设备对用户的前庭眼球反射(VOR)响应进行补偿，所述方法包括如下步骤：生成第一图像并在HMD显示设备上显示该第一图像；感测HMD显示设备的角向运动；基于所感测的HMD显示设备的角向运动，估计用户的眼睛的角向运动，其中该估计步骤包括：使用眼睛角向VOR运动预测数学模型，生成由于VOR效应所致的预测的眼睛位置；和基于第一图像并基于所预测的眼睛位置，生成作为连续的图像流的一部分的后续的第二图像，并且在HMD显示设备上显示第二图像。

【技术特征摘要】
2015.10.28 US 14/9250121.一种用于在头戴式显示(HMD)设备上显示图像的方法，该头戴式显示(HMD)设备对用户的前庭眼球反射(VOR)响应进行补偿，所述方法包括如下步骤：生成第一图像并在HMD显示设备上显示该第一图像；感测HMD显示设备的角向运动；基于所感测的HMD显示设备的角向运动，估计用户的眼睛的角向运动，其中该估计步骤包括：使用眼睛角向VOR运动预测数学模型，生成由于VOR效应所致的预测的眼睛位置；和基于第一图像并基于所预测的眼睛位置，生成作为连续的图像流的一部分的后续的第二图像，并且在HMD显示设备上显示第二图像。2.权利要求1的所述方法...

【专利技术属性】
技术研发人员：X·L·李，K·莱丰，J·C·费，J·鲍尔，W·R·汉考克，
申请(专利权)人：霍尼韦尔国际公司，
类型：发明
国别省市：美国,US