增强现实和虚拟现实反馈增强系统、设备和方法技术方案

本申请公开了增强现实和虚拟现实反馈增强系统、设备和方法。系统、设备和方法可以提供一种用于渲染增强现实和虚拟现实(VR/AR)环境信息的方式。更具体地，系统、设备和方法可以提供一种用于选择性地抑制和增强对n维环境的VR/AR渲染的方式。所述系统、设备和方法可以通过聚焦于特定反馈信息而同时抑制来自所述环境的其他反馈信息来加深用户的VR/AR体验。

Augmented reality and virtual reality feedback augmentation system, equipment and method

The application discloses augmented reality and virtual reality feedback enhancement systems, devices and methods. Systems, devices and methods can provide a way to render environmental information in augmented reality and virtual reality (VR/AR). More specifically, systems, devices and methods can provide a way to selectively suppress and enhance VR/AR rendering for n-dimensional environments. The system, device and method can deepen the user's VR/AR experience by focusing on specific feedback information while suppressing other feedback information from the environment.

【技术实现步骤摘要】
增强现实和虚拟现实反馈增强系统、设备和方法
实施例总体上涉及图形处理，并且更具体地涉及使用对经渲染环境信息进行选择性抑制和增强来渲染增强现实和虚拟现实。
技术介绍
目前，在虚拟现实和/或增强现实(VR/AR)过程中的环境音频抑制和恶化(例如，衰减)可能会使用户例如当沉浸在VR/AR游戏中时感到不舒服。环境信息可能会分散注意力，妨碍了深度和/或增强的用户体验。传统系统无法在选择性地抑制不想要的声音(例如，洗碗机)的同时还监视所选的反馈(例如，重要/明显的声音，如处于另一位置的儿童、或火警)。另外，当前系统可能无法根据三维(3D)中央凹来执行音频调制。附图说明实施例的各种优点将通过阅读以下说明和所附权利要求以及通过参考以下附图而变得为本领域技术人员所显而易见，在附图中：图1是展示计算机系统的框图，所述计算机系统被配置成实现本文描述的实施例的一个或多个方面；图2A到图2D展示了根据实施例的并行处理器部件；图3A到图3B是根据实施例的图形多处理器的框图；图4A到图4F展示了示例性架构，其中多个GPU通信地耦合至多个多核处理器；图5展示根据实施例的图形处理流水线；图6是根据实施例的增强现实和虚拟现实(VR/AR)反馈增强系统配置的示例的概念图；图7A是根据实施例的使用位于聚焦区域和非聚焦区域中的声源的VR/AR增强用户体验的示例的概念图；图7B是根据实施例的在聚焦区域和非聚焦区域中的声源的示例的概念图；图8是根据实施例的管理反馈增强渲染的方法的示例的流程图；图9是根据实施例的将经归一化的反馈信息叠加在VR/AR场景上的方法的示例的流程图；并且图10是根据实施例的对一个或多个操作参数的渲染的调整进行管理的方法的示例的流程图；图11是根据实施例的头戴式显示器(HMD)系统的示例的图；图12是根据实施例包括于图11的HMD系统中的功能部件的示例的框图；图13是根据实施例包括于并行处理单元中的通用处理集群的示例的框图；图14是根据实施例可在并行处理单元内实现的图形处理流水线的示例的概念图；图15是根据实施例的串流多处理器的示例的框图；图16到图18是根据实施例的数据处理系统的概述的示例的框图；图19是根据实施例的图形处理引擎的示例的框图；图20到图22是根据实施例的执行单元的示例的框图；图23是根据实施例的图形流水线的示例的框图；图24A到图24B是根据实施例的图形流水线的示例的框图；图25是根据实施例的图形软件架构的示例的框图；图26是根据实施例的知识产权(IP)核开发系统的示例的框图；以及图27是根据实施例的片上系统集成电路的示例的框图。具体实施方式在以下描述中，阐述了许多细节以提供对本公开的更全面的理解。然而对于本领域技术人员显然的是，没有一个或多个这些具体细节也可实践本专利技术。在其他实例中，未描述公知的特征以便不阻碍本专利技术。系统概述图1是展示计算系统100的框图，所述计算系统被配置成实现本文描述的实施例的一个或多个方面。计算系统100包括处理子系统101，所述处理子系统具有一个或多个处理器102和系统存储器104，所述处理器与所述系统存储器经由可包括存储器中枢105的互连路径来通信。存储器中枢105可以是芯片组部件内的单独的部件，或可以集成在一个或多个处理器102内。存储器中枢105经由通信链路106与I/O子系统111耦合。I/O子系统111包括I/O中枢107，所述I/O中枢可以使得计算系统100能够从一个或多个输入装置108接收输入。另外，I/O中枢107可以使得显示控制器能够将输出提供给一个或多个显示装置110A，所述显示控制器可被包括在一个或多个处理器102中。在一个实施例中，与I/O中枢107耦合的一个或多个显示装置110A可以包括本地、内部或嵌入式显示装置。在一个实施例中，处理子系统101包括一个或多个并行处理器112，所述并行处理器经由总线或其他通信链路113耦合至存储器中枢105。通信链路113可以是任何数目的基于标准的通信链路技术或协议中的一者(比如但不限于，PCI快速总线)，或可以是供应方特定的通信接口或通信结构。在一个实施例中，一个或多个并行处理器112形成计算上集中的并行或向量处理系统，所述系统包括大量处理核和/或处理集群(比如，集成众核(MIC)处理器)。在一个实施例中，一个或多个并行处理器112形成图形处理子系统，所述图形处理子系统可以将像素输出到经由I/O中枢107耦合的一个或多个显示装置110A中的一者。一个或多个并行处理器112还可以包括显示控制器和显示接口(未示出)以使得能够直接连接到一个或多个显示装置110B。在I/O子系统111内，系统存储单元114可以连接到I/O中枢107以提供用于计算系统100的存储机制。I/O开关116可以用于提供接口机制以实现I/O中枢107与其他部件(比如，可集成到平台中的网络适配器118和/或无线网络适配器119，以及可以经由一个或多个插入式装置120添加的各种其他装置)之间的连接。网络适配器118可以是以太网适配器或另一有线网络适配器。无线网络适配器119可以包括以下各者中的一者或多者：Wi-Fi、蓝牙、近场通信(NFC)、或包括一个或多个无线电装置的其他网络装置。计算系统100可以包括未明确示出的其他部件，包括USB或其他端口连接件、光学存储驱动器、视频捕获装置等等，它们也可连接到I/O中枢107。使图1中的各种部件互连的通信路径可使用任何合适的协议来实现，比如基于PCI(外围部件互连)的协议(例如，PCI快速总线)或任何其他总线或点对点通信接口和/或协议(比如，NV-Link高速互连、或本领域中已知的互连协议)。在一个实施例中，一个或多个并行处理器112包括针对图形和视频处理进行优化的电路(包括(例如)，视频输出电路)，并且构成图形处理单元(GPU)。在另一个实施例中，一个或多个并行处理器112包括针对通用处理进行优化的电路，同时保持本文更详细地描述的底层计算架构。在又一个实施例中，计算系统100的部件可与一个或多个其他系统元件一起集成在单个集成电路上。例如，一个或多个并行处理器112、存储器中枢105、处理器102和I/O中枢107可以集成到芯片上系统(SoC)集成电路中。可替代地，计算系统100的部件可以集成到单个封装中以形成封装中系统(SIP)配置。在一个实施例中，计算系统100的部件的至少一部分可以集成到多芯片模块(MCM)中，所述MCM可以与其他多芯片模块一起互连到模块化计算系统中。将认识到的是，本文示出的计算系统100是展示性的，并且各种变型和修改是有可能的。可根据需要修改连接拓扑，包括桥的数目和排、(多个)处理器102的数目和(多个)并行处理器112的数目。例如，在一些实施例中，系统存储器104直接而非通过桥连接到(多个)处理器102，而其他装置经由存储器中枢105和(多个)处理器102与系统存储器104通信。在其他替代性拓扑中，(多个)并行处理器112连接到I/O中枢107或直接连接到一个或多个处理器102中的一者，而非连接到存储器中枢105。在其他实施例中，I/O中枢107和存储器中枢105可集成到单个芯片中。一些实施例可包括经由多个插口附接的两组或更多组处理器102，它们可以与(多个)并行处理器11本文档来自技高网...

【技术保护点】
1.一种反馈增强系统，包括：电源，用于向所述系统提供电力；存储器，包括n维环境信息，所述存储器耦合至处理器；以及图形流水线设备，所述图形流水线包括：观察者监视器，用于监视观察所述n维环境信息的观察者的一个或多个动作，所述环境信息包括反馈信息；反馈管理器，用于检测反馈信息，其中，反馈信息包括与所述观察者的优先级关系，其中，所述优先级关系标识定向到所述观察者的观察者定向反馈信息、或者非定向反馈信息中的一项或多项；光线跟踪引擎，用于将所述环境信息归一化到所述观察者的位置，包括将所述反馈信息归一化到所述观察者的位置，其中，所述图形流水线设备基于所述观察者的所述动作或所述反馈信息的与所述观察者的所述优先级关系中的一项或多项来渲染经归一化的反馈信息。

【技术特征摘要】
2017.04.17 US 15/488,8371.一种反馈增强系统，包括：电源，用于向所述系统提供电力；存储器，包括n维环境信息，所述存储器耦合至处理器；以及图形流水线设备，所述图形流水线包括：观察者监视器，用于监视观察所述n维环境信息的观察者的一个或多个动作，所述环境信息包括反馈信息；反馈管理器，用于检测反馈信息，其中，反馈信息包括与所述观察者的优先级关系，其中，所述优先级关系标识定向到所述观察者的观察者定向反馈信息、或者非定向反馈信息中的一项或多项；光线跟踪引擎，用于将所述环境信息归一化到所述观察者的位置，包括将所述反馈信息归一化到所述观察者的位置，其中，所述图形流水线设备基于所述观察者的所述动作或所述反馈信息的与所述观察者的所述优先级关系中的一项或多项来渲染经归一化的反馈信息。2.如权利要求1所述的系统，其中，所述反馈管理器基于一个或多个操作参数来使一个或多个反馈装置衰减，其中，所述反馈装置耦合至所述图形流水线设备，其中，所述反馈管理器将所述反馈信息标识为已知反馈信息或未知反馈信息，其中，当检测到所述未知反馈信息时，所述反馈管理器请求未知反馈标识符训练，其中，所述反馈管理器使所述反馈装置中的一个或多个致动。3.如权利要求2所述的系统，其中，所述观察者监视器监视所述观察者的注视方向、聚焦区域、非聚焦区域或所述位置中的一项或多项，其中，所述环境信息包括用于渲染一个或多个VR/AR场景的虚拟现实信息或增强现实信息(VR/AR)中的一项或多项，其中，所述VR/AR信息包括一个或多个对象、表面、声音或事件，其中，所述操作参数包括电力可用性、功耗参数、用户偏好、应用参数或性能参数中的一项或多项，其中，所述环境信息包括由位于一个或多个n维环境中的一个或多个采集装置采集的所采集信息，其中，所述观察者监视器或所述采集装置中一个或多个包括一个或多个传感器。4.如权利要求3所述的系统，其中，所述图形流水线设备在于所述注视方向上渲染的所述VR/AR场景中的至少一个上叠加对象、表面、或事件在所述声音或声源、所述事件或事件源的方向上的轮廓，其中，所述反馈管理器对在所述聚焦区域或所述非聚焦区域中的一个或多个中渲染的所述反馈信息的质量进行调制，其中，所述反馈管理器使在所述聚焦区域之外的所述非聚焦区域反馈信息衰减，以便引起所述观察者对所述非聚焦区域反馈信息的注意或聚焦。5.如权利要求2所述的系统，其中，所述图形流水线设备基于所述操作参数中的一个或多个来调整所述渲染，其中，所述图形流水线设备用于基于所述操作参数中的一个或多个来调整头部相关变换函数(HRTF)，其中，所述反馈装置包括一个或多个波束成形有向话筒，其中，所述一个或多个动作包括眼睛注视、姿势或听觉信号中的一个或多个。6.如权利要求3至5中任一项所述的系统，其中，所述光线跟踪引擎使用高保真立体音响复制声场数字信号处理或立体混响声场数字信号处理中的一项或多项来计算所述反馈信息的向量路径，其中，所述观察者监视器包括用于预测所述观察者的所述动作中的一个或多个动作的动作预测器，其中，所述图形流水线设备在所述声源中的至少一个声源在所述非聚焦区域中被检测到时将所述至少一个声源渲染为所检测的正观察初始聚焦区域的所述观察者的视野中的第一轮廓，其中，所述图形流水线设备用于基于聚焦时间阈值而将所述第一轮廓转换为主聚焦区域视图，其中，当所述第一轮廓转换为所述主聚焦区域视图时，所述图形流水线设备将所述初始聚焦区域转换为第二轮廓。7.一种反馈增强设备，包括：存储器，包括n维环境信息；以及图形流水线设备，所述图形流水线设备包括：观察者监视器，用于监视观察所述n维环境信息的观察者的一个或多个动作，所述环境信息包括反馈信息；反馈管理器，用于检测反馈信息，其中，反馈信息包括与所述观察者的优先级关系，其中，所述优先级关系标识定向到所述观察者的观察者定向反馈信息、或者非定向反馈信息中的一项或多项；光线跟踪引擎，用于将所述环境信息归一化到所述观察者的位置，包括将所述反馈信息归一化到所述观察者的位置，其中，所述图形流水线设备基于所述观察者的所述动作或所述反馈信息的与所述观察者的所述优先级关系中的一项或多项来渲染经归一化的反馈信息。8.如权利要求7所述的设备，其中，所述反馈管理器用于基于一个或多个操作参数来使一个或多个反馈装置衰减，所述反馈装置耦合至所述图形流水线设备，其中，所述反馈管理器用于将所述反馈信息标识为已知反馈信息或未知反馈信息，其中，当检测到所述未知反馈信息时，所述反馈管理器用于请求未知反馈标识符训练，其中，所述反馈管理器用于使所述反馈装置中的一个或多个致动。9.如权利要求8所述的设备，其中，所述观察者监视器用于监视所述观察者的注视方向、聚焦区域、非聚焦区域或所述位置中的一项或多项，其中，所述环境信息包括用于渲染一个或多个VR/AR场景的虚拟现实信息或增强现实信息(VR/AR)中的一项或多项，其中，所述VR/AR信息包括一个或多个对象、表面、声音或事件，其中，所述操作参数包括电力可用性、功耗参数、用户偏好、应用参数或性能参数中的一项或多项，其中，所述环境信息包括由位于一个或多个n维环境中的一个或多个采集装置采集的所采集信息，其中，所述观察者监视器或所述采集装置中一个或多个包括一个或多个传感器。10.如权利要求9所述的设备，其中，所述图形流水线设备用于在于所述注视方向上渲染的所述VR/AR场景中的至少一个上叠加对象...

【专利技术属性】
技术研发人员：C·萨科斯维尔，M·阿波达卡，K·肖，A·考克，J·S·波尔斯，A·T·莱克，N·卡布拉斯欧斯，J·雷，J·H·费特，T·T·施吕斯列尔，J·奎亚特科维斯基，J·M·霍兰，P·萨蒂，J·肯尼迪，L·冯，B·达斯，N·比斯瓦尔，S·J·巴兰，G·西灵吉尔，N·V·沙阿，A·沙玛，M·M·瓦莱尔卡，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US