具有相干上下文的分段渐进和连续校准制造技术

利用具有上下文相干性的分段渐进连续校准方法来改进虚拟内容的显示。当渲染一组帧来描绘虚拟图像时，VAR系统可以识别虚拟内容在帧中的位置。该系统可以在虚拟内容的位置处卷积测试图案以生成校准帧。该校准帧以用户感觉不到的方式被插入在该组帧内。不到的方式被插入在该组帧内。不到的方式被插入在该组帧内。

【技术实现步骤摘要】
【国外来华专利技术】具有相干上下文的分段渐进和连续校准
[0001]相关申请的交叉引用
[0002]本申请要求于2020年5月20日提交的美国临时专利申请号63/027,677的权益，其整体通过引用并入本文。


[0003]本说明书大体涉及图像处理和显示校准。

技术介绍

[0004]显示设备可以将图像投射到显示界面(interface)上。然而，如果存在关于显示器或显示界面的问题，则图像可能不按照期望出现。例如，如果显示界面变形或未对准，则图像可能不按照期望出现。

技术实现思路

[0005]本说明书中所描述的主题的创新方面涉及虚拟或增强现实(VAR)系统中所使用的显示设备的校准。特别地，VAR系统可用于显示虚拟内容以增强物理现实视图。当VAR系统的一个或多个显示器相关的组件变形或未按照期望操作时，可能需要校准以确保虚拟内容被正确地显示。
[0006]根据所描述的实施方式，利用具有上下文(contextual)相干性(coherence)的分段渐进连续校准方法来改进虚拟内容的显示。渲染一组帧来描绘虚拟图像。该VAR系统可以识别虚拟内容在该组帧中的位置。该系统可以在虚拟内容的位置处卷积测试图案以生成校准帧。该校准帧以用户感觉不到的方式被插入在该组帧内，因为校准帧的曝光用于这样的短时间。
[0007]所描述的校准技术是有利的，因为它仅在向用户显示虚拟内容的时间和地点来校准显示器。如果虚拟内容具有很强的上下文相干性和空间分布，则该校准方法表现非常好。其他益处包括低计算负担、对眼睛跟踪的低依赖性、和低退化风险。这样的益处允许校准技术在高频显示器中表现良好。
[0008]该方面的其他实施方式包括在各自被配置为执行方法的操作的对应系统、装置、和计算机存储设备上记录的计算机程序。
[0009]本说明书中描述的主题的一种或多种实施方式的细节在附图和以下描述中阐述。主题的其他特征、方面和优点将从描述、附图和权利要求变得显而易见。
附图说明
[0010]图1描绘了虚拟或增强现实(VAR)系统的示例实施方式。
[0011]图2A描绘了对准的左目镜和右目镜的平面图。
[0012]图2B描绘了未对准的左目镜和右目镜的平面图。
[0013]图3A描绘了具有对准的左目镜和右目镜的框架结构的俯视图。
[0014]图3B描绘了具有未对准的左目镜和右目镜的框架结构的俯视图。
[0015]图4描绘了包括示例校准帧的一系列帧。
[0016]图5描绘了校准帧的图示。
[0017]图6描绘了包括具有测试图案和虚拟内容的校准帧的一系列帧。
[0018]图7描绘了用于实现显示校准的方法的流程图。
[0019]各附图中的相同参考数字和标记指代相同元件。
具体实施方式
[0020]图1描绘了利用VAR系统100的用户500的示例实施方式。VAR系统100包括框架结构102、显示子系统104、扬声器106、目镜110、用户取向模块112、计算机处理单元(CPU)114、图形处理单元(GPU)116、帧缓冲器118、三维(3D)数据库120、和光感测组件122。VAR系统100可以作为增强现实系统来操作，该增强现实系统可以在用户50的视场中提供与物理对象混合的虚拟对象的图像。
[0021]如图1所示，框架结构102可以被穿戴在用户50的头部上。框架结构102可以被集成、连接到、或耦接到扬声器106和显示子系统104。显示子系统104可包括左目镜110L、右目镜110R、左投射系统108L、和右投射系统108R。
[0022]扬声器106可包括单个扬声器或一对扬声器。例如，一个扬声器可以被配置为在一只耳朵中输出音频数据，并且第二扬声器可以被配置为在用户50的第二只耳朵中输出音频数据。扬声器106可以邻近用户50的耳道定位。通常，可以使用各种类型的扬声器，例如，具有扬声器的头戴式装置、耳机、扬声器106可以无线地或通过有线连接被连接到VAR系统100的其他组件。例如，在一些实施方式中，扬声器106可以通过短距离通信协议(诸如蓝牙)被连接到VAR系统100的其他组件。
[0023]显示子系统104可以位于用户50的鼻子上方和眼睛52前面，类似于眼镜的镜片的位置。显示子系统104可以被配置为向用户50的眼睛52呈现基于照片的辐射图案，该辐射图案可以舒适地感知为物理现实的增强，具有高质量的二维(2D)或三维(3D)图像内容。显示子系统104可以以各种频率输出从帧缓冲器118获得的帧序列。在一些情况下，显示子系统104可以以高频率输出帧以提供对单个相干场景的感知。
[0024]目镜110包括部分透明的左目镜110L和部分透明的右目镜110R。当图像被投射到左和右目镜110L和110R上时，它们有效地作为显示屏或显示界面操作。在一些实施方式中，左和右目镜(或显示屏)110L、110R显示器可以是“光学透视”显示器，通过该显示器，用户可以经由透明(或半透明)元件直接查看来自真实对象的光。透明元件可以将来自投射子系统108L、108R的光叠加在用户的真实世界视图上。
[0025]在一些实施方式中，目镜110L和110R可以采取波导装置的形式，该波导装置包括平面光波导和与平面光波导相关联的一个或多个衍射光学元件(DOE)。波导装置可包括多个平面光波导和分别与平面光波导相关联的DOE。
[0026]左和右投射子系统108L、108R可以将左和右单目图像分别投射到左和右目镜110L、110R上。目镜110L、110R可以被放置在用户50的眼睛52前面，以将单目图像作为双目图像观看。另外，目镜110L、110R可以被放置在用户50的眼睛52和周围环境之间的用户50的视场中，使得来自周围环境的直接光通过目镜110L、110R行进到用户50的眼睛52。
[0027]投射组件108L、108R可以分别向目镜110L、110R提供扫描光。在一些实施方式中，投射子系统108L、108R可以被实现为基于光纤扫描的投射设备，并且目镜110L、110R可以被实现为来自相应投射子系统108L、108R的扫描光被注入到其中的基于波导的显示器。投射子系统108L、108R中的每一个可包括空间光调制器(“SLM”)，诸如硅上液晶(“LCoS”)组件或微机电(“MEM”)扫描镜。
[0028]VAR系统100还可包括安装到框架结构102的一个或多个传感器，用于检测用户50的头部54的位置和运动和/或用户50的眼睛位置和眼间距。这样的(一个或多个)传感器可包括图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速计、罗盘、GPS单元、无线电设备、和/或陀螺仪。
[0029]用户取向检测模块112可以被配置为检测用户50的头部54的瞬时位置，并且基于从(一个或多个)传感器接收到的位置数据来确定用户50的头部54的位置。检测头部54的瞬时位置也可能促进用户50正在查看的对象的确定。用户取向模块112还可以基于从(一个或多个)传感器接收到的跟踪数据来跟本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：生成包括虚拟内容的帧；确定所述虚拟内容在所述帧中的位置；由处理器在所述虚拟内容的所述位置处卷积测试图案；基于所述卷积，生成校准帧；以及将所述校准帧应用于包括所述虚拟内容的所述帧。2.根据权利要求1所述的计算机实现的方法，其中，确定所述虚拟内容在所述帧中的所述位置包括：应用边缘检测或彩色图案检测中的一个或多个来识别所述帧中的包括所述虚拟内容的区域；识别所述区域中的像素的位置和像素值；以及将指示所述像素的所述位置和所述像素值的数据存储在存储器中。3.根据权利要求1所述的计算机实现的方法，其中，在所述虚拟内容的所述位置处卷积所述测试图案包括：选择代表性虚拟内容帧；以及在所述代表性虚拟内容帧中的所述虚拟内容的所述位置处卷积所述测试图案。4.根据权利要求1所述的计算机实现的方法，还包括：确定虚拟或增强现实系统的显示器的刷新率，其中，包括所述虚拟内容的所述帧的数量基于所述刷新率。5.根据权利要求1所述的计算机实现的方法，其中，将所述校准帧应用于包括所述虚拟内容的所述帧包括：将所述校准帧插入在包括所述虚拟内容的两个所述帧之间。6.根据权利要求1所述的计算机实现的方法，其中，生成所述校准帧包括：确定所述帧中的所述虚拟内容的强度水平；确定所述帧中的所述虚拟内容的所述强度水平小于最小阈值强度水平；以及生成具有与所述最小阈值强度水平匹配的强度水平的所述校准帧。7.根据权利要求1所述的计算机实现的方法，包括：响应于将所述校准帧应用于所述帧，确定一个或多个校准参数；以及使用所述校准参数在显示器处显示所述虚拟内容。8.根据权利要求1所述的计算机实现的方法，其中，生成所述校准帧包括：将测试图像隐藏在所述校准帧中的所述虚拟内容的边缘后面；以及使用具有与所述虚拟内容的颜色相同的颜色的测试图案来生成所述校准帧。9.一种虚拟或增强现实系统，包括：框架结构，其包括被配置为显示数据的显示设备；以及处理器，其被耦接到所述框架结构，所述处理器被配置为：生成包括虚拟内容的帧；确定所述虚拟内容在所述帧中的位置；在所述虚拟内容的所述位置处卷积测试图案；基于所述卷积，生成校准帧；以及
将所述校准帧和包括所述虚拟内容的所述帧发送到所述显示设备，其中，响应于从所述处理器接收到所述校准帧和包括所述虚拟内容的所述帧，所述显示设备被配置为显示所述校准帧和包括所述虚拟内容的所述帧。10.根据权利要求9所述的虚拟或增强现实系统，其中，被配置为确定所述虚拟内容在所述帧中的所述位置所述处理器包括所述处理器被配置为：应用边缘检测或彩色图案检测中的一个或多个来识别包括所述虚拟内容的所述...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：