混合光子VR/AR系统技术方案

一种包括增强器的VR/AR系统、方法、架构，其同时接收和处理现实世界图像成分信号，同时生成合成世界图像成分信号，然后对这些信号进行交错/增强以进行进一步处理。在一些实施方式中，现实世界信号(利用由增强器处理的可能性直通)被转换为IR(使用例如伪彩色图)并与合成世界信号(在IR中产生)交错以用于继续处理，包括可视化(转换为可见光谱)、幅度/带宽处理和输出整形，以生成旨在用于HVS的显示图像前体集合。体集合。体集合。

【技术实现步骤摘要】
混合光子VR/AR系统
[0001]分案申请声明
[0002]本申请是第201780030255.4号中国专利申请的分案申请。
[0003]相关申请的交叉引用
[0004]本申请要求于2017年3月13日提交的编号为15/457,967、15/457,980、15/457,991和15/458,009的美国专利申请的权益，并且要求于2016年3月15日提交的编号为62/308,825、62/308,361、62/308,585和62/308,687的美国专利申请的权益，并且该申请与编号为12/371,461、62/181,143和62/234,942的美国专利申请有关，其全部内容通过引用明确地并入本文用于所有目的。


[0005]本专利技术一般涉及视频和数字图像以及数据处理设备和网络，其生成、传输、转换、分配、存储和显示这样的数据，以及阵列中的非视频和非像素数据处理，例如传感阵列和空间光调制器，以及为此的数据应用和使用，更具体地但非排他地，用于数字视频图像显示器，无论是平面屏幕、柔性屏幕、2D或3D，还是投射图像，以及通过设备阵列进行的非显示数据处理，以及用于组织的空间形式和定位这些过程，包括诸如平板电视和消费者移动设备的紧凑型设备，以及提供像素信号或数据信号或其聚合或集合的图像捕捉、传输、分配、分割、组织、存储、递送、显示和投射的数据网络。

技术介绍

[0006]
技术介绍
部分中讨论的主题不应仅仅因为在
技术介绍
部分中提及而被认为是现有技术。类似地，不应假设在
技术介绍
部分中提到的或与背景技术部分的主题相关的问题先前已在现有技术中有所认识。
技术介绍
部分中的主题仅代表不同的方法，这些方法本身也可以是专利技术。
[0007]本专利技术的领域不是单一的，而是结合了增强现实和虚拟现实这两个相关领域，而提出和提供集成的移动设备解决方案解决了两个领域中的现有技术的关键问题和限制。对这些相关领域的背景的简要回顾将明确要解决的问题和限制，并为本公开所提出的解决方案打好基础。
[0008]这些术语的两个标准字典定义(来源：Dictionary.com)如下：
[0009]虚拟现实：“使用交互式软件和硬件的计算机系统对环境进行的逼真模拟，包括三维图形。缩写：VR。”[0010]增强现实：“在屏幕或其他显示器上查看的增强图像或环境，通过在现实世界环境中叠加计算机生成的图像、声音或其他数据而生成。”以及：“用于生成此类增强环境的系统或技术。缩写：AR。”[0011]从定义中可以明显看出，尽管是非技术性的，并且对于这些相关领域的技术人员而言，本质区别在于模拟元素是否是完整和沉浸式的模拟，甚至是对现实的部分直接视图，或者模拟元素是否被叠加在另外清晰无障碍的现实视图上。
[0012]在该主题的维基百科条目下提供了稍微更多的技术定义，考虑到对页面编辑的贡献的深度和范围，可以认为充分表现了该领域。
[0013]虚拟现实(VR)，有时被称为沉浸式多媒体，是一种计算机模拟环境，能够在某些地方模拟现实世界或想象世界中的物理存在。虚拟现实能够重现感官体验，包括虚拟味觉、视觉、嗅觉、听觉、触觉等。
[0014]增强现实(AR)是物理的现实世界环境的实时直接或间接视图，其元素通过计算机生成的感官输入(例如声音、视频、图形或GPS数据)来增强(或补充)。
[0015]固有但仅隐含在这些定义中的是移动视点的基本属性。虚拟或增强现实与更一般类别的计算机模拟的区别在于，无论是否有与“实时”、“直接”现实成像(本地或远程)的任何组合、融合、综合或整合，模拟的或混合的(增强或“混合”)现实“同时真实”成像，即当观看者在现实世界中移动时，观看者的视点随观看者移动。
[0016]本公开提出，需要这种更精确的定义来区分沉浸式显示和经验模拟世界(模拟器)的静态导航与模拟世界(虚拟现实)的移动导航。然后，模拟器的子范畴将是“个人模拟器”，或者至多是“部分虚拟现实”，其中固定用户配备有沉浸式HMD(头戴式显示器)和触觉接口(例如运动跟踪手套)，其能够实现模拟世界的部分“像虚拟现实一样”的导航。
[0017]另一方面，CAVE系统将被示意性地限定为有限的虚拟现实系统，因为只有借助于可移动层才能通过CAVE的尺寸进行导航，并且一旦达到CAVE本身的限制，接下来会是另一种形式的“部分虚拟现实”。
[0018]注意“移动”视点与“可移动”视点之间的差异。诸如视频游戏的计算机模拟是模拟世界或“现实”，但除非该模拟世界的探索者亲身运动，或指导另一个人或机器人运动，否则所有这些都能够说成模拟世界是“可导航的”(尽管在过去的四十年中计算机图形学的主要成就之一就是简单地“建立”软件中可探索的模拟环境)。
[0019]对于作为虚拟或混合(作者的首选术语)现实的模拟，一个重要的、最典型的特征是具有对真实空间的模拟(无论是完全合成还是混合)的映射。这样的真实空间可以像实验室或声场内的房间一样基本，并且仅仅是以某种比例映射和校准到模拟世界的网格。
[0020]这种区分不是可估价的，因为提供实时自然接口(头部跟踪、触觉、听觉等)而无需移动或映射到实际的真实地形的局部VR(无论是自然的、人造的或者混合的)并非从根本上比模拟物理交互并提供感官沉浸的局部VR系统的价值低。但是，如果没有足部的反馈系统或者更普遍地全身的、运动范围的反馈系统，和/或支持在任何地形、任何静止状态(无论是站立、坐着还是斜倚)中用户模拟但(在其感觉上)全身的运动的可动态变形的机械接口—交互表面，则VR系统按照定义是“局部的”。
[0021]但是，在没有这种理想的全身物理接口/反馈系统的情况下，将VR限制为“完整”和完全移动版本会将VR世界的地形限制在能够在现实世界中找到、修改或从头开始构建的地方。这种限制通常将严重限制虚拟现实体验的范围和能力。
[0022]但是，如将在即将公开的内容中显而易见的，这种区别产生差异，因为其为现有VR和AR系统如何不同及其局限性设置了“明线”，并且提供了告知本公开教导的背景。
[0023]将模拟的缺失但本质的特征和要求确立为完整的“虚拟现实”，下一步是确定通过什么方式实现“移动视点”的隐含问题。答案是，提供移动模拟的视图需要两个组成部分(其本身通过硬件和软件的组合实现)：运动图像显示装置，通过它能够查看模拟，以及运动跟
踪装置，它能够跟踪包括3个运动轴上显示器的设备运动，这意味着从最少三个跟踪点测量三维观察设备随时间的位置(如果映射设备测量以便能够推断第三轴上的第三个位置则最少为两个)，并且相对于可以是映射到真实空间的任何任意3D坐标系的3轴参照系，尽管为了机械地导航该空间的实际目的，2轴将形成一个平面，该平面是重力水平的地平面，并且第三轴Z垂直于该地平面。
[0024]作为时间函数准确和频繁地实际实现这种位置定向的解决方案需要传感器和软件的结合，并且这些解决方案的进步代表了VR和AR硬件/软件移动观察设备和系统领域发展的主要载体。
[0025]这些是相对较新的领域，就最早的实验与现今的实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种光子增强现实系统，包括：第一接口，从现实世界环境生成第一组信道化图像组成信号；第二接口，从合成世界环境生成第二组信道化图像组成信号；隔离光学信道的信号处理矩阵，耦合至所述接口，所述信号处理矩阵配置为将所述信道化图像组成信号信道化、处理、交错和分配为经处理的信道化图像组成信号组；以及信号操作结构组，耦合至所述信号处理矩阵，所述信号操作结构配置为从所述经处理的信道化图像组成信号组生成用于人类视觉系统的显示图像基元组。2.一种用于可视化操作世界的光子系统，所述操作世界包括虚拟现实模式中的合成世界，包括：增强器，从所述合成世界生成信道化合成世界图像组成信号组，所述信道化合成世界图像组成信号组中的每个信号具有增强器组所需属性，其中所述增强器在信道化增强器图像组成信号的输出组中包括所述信道化合成世界图像组成信号组；可视化器，耦合至所述增强器，处理所述信道化增强器图像组成信号的输出组，以针对生成信道化增强器图像组成信号的输出组的每个所述信道化增强器图像组成信号修改所述具有所需属性的增强器组的频率/波长调制或频率/波长转换属性，所述信道化增强器图像组成信号的输出组中的每个信号具有可视化器组所需属性；以及输出构造器，耦合至所述可视化器，从所述信道化可视化器图像组成信号的输出组生成显示图像基元组。3.如权利要求2所述的光子系统，其中，每个所述增强器组所需属性包括每个所述信道化合成世界图像组成信号的频率/波长属性，其中所述增强器组所需属性的频率/波长属性位于电磁频谱的参考人体视觉系统不可见的部分，并且其中所述频率/波长调制或所述频率/波长转换属性生成所述可视化器组所需属性，所述可视化器组所需属性的所述频率/波长属性位于所述电磁频谱的参考人体视觉系统均可见的部分。4.如权利要求2所述的光子系统，其中，所述操作世界还包括增强现实模式下的现实世界，还包括：现实世界接口，从所述现实世界、各自具有现实世界的所需属性组的信道化现实世界图像组成信号组生成信道化现实世界图像组成信号组；以及其中所述增强器接收所述信道化现实世界...

【专利技术属性】
技术研发人员：萨瑟兰德，
申请(专利权)人：萨瑟兰德，
类型：发明
国别省市：