This application discloses a sensory enhanced augmented reality and virtual reality device. Systems, devices and methods can provide a way to augment the user experience of augmented reality (AR) and/or virtual reality (VR) using environmental information gathered from sensors located in one or more physical environments. More specifically, systems, devices and methods may provide a method for tracking a user's gaze by an eye tracker sensor and collecting environmental information by the sensor. Systems, devices and methods may render feedback by one or more feedback devices or display devices based on the user's gaze for a portion of the environmental information.
【技术实现步骤摘要】
感官增强的增强现实和虚拟现实装置
实施例总体上涉及增强现实(AR)和虚拟现实(VR)，并且更具体地，涉及使用从一个或多个物理环境中的传感器装置采集的环境信息来增强VR/AR用户体验。
技术介绍
当前AR/VR系统可能局限于使用三维(3D)引擎对环境进行基本的渲染。这种AR/VR系统可以包括图形处理单元(GPU)，所述图形处理单元可以包括用于执行对场景帧的3D处理的标准渲染引擎以及用于增强媒体(例如，回放、运动搜索、转码)和加速使用模型的媒体固定功能能力。在图像被处理为帧的一部分并经由显示器进行播放时，传统AR/VR系统可以在真实世界的风景上渲染帧或覆盖图像。传统的AR/VR系统可以包括外围装置，如具有可能会降低用户的AR/VR体验的有限传感器能力的头戴式显示器。附图说明实施例的各种优点将通过阅读以下说明和所附权利要求以及通过参考以下附图而变得为本领域技术人员所显而易见，在附图中：图1是展示计算机系统的框图，所述计算机系统被配置成实现本文描述的实施例的一个或多个方面；图2A到图2D展示了根据实施例的并行处理器部件；图3A到图3B是根据实施例的图形多处理器的框图；图4...
【技术保护点】
1.一种感官增强的增强现实和虚拟现实系统，所述系统包括：电源，用于向所述系统提供电力；基础设施传感器，用于采集环境的环境信息；感官增强设备，包括：设备传感器，包括眼睛跟踪器传感器、以及用于采集所述环境信息的至少一部分的两个或更多个话筒或相机，其中，所述眼睛跟踪器传感器跟踪用户的注视；以及一个或多个反馈装置，其中，所述反馈装置中的一个或多个基于在所述用户的所述注视之外采集的所述环境信息来渲染反馈。
【技术特征摘要】
2017.04.17 US 15/488,6661.一种感官增强的增强现实和虚拟现实系统，所述系统包括：电源，用于向所述系统提供电力；基础设施传感器，用于采集环境的环境信息；感官增强设备，包括：设备传感器，包括眼睛跟踪器传感器、以及用于采集所述环境信息的至少一部分的两个或更多个话筒或相机，其中，所述眼睛跟踪器传感器跟踪用户的注视；以及一个或多个反馈装置，其中，所述反馈装置中的一个或多个基于在所述用户的所述注视之外采集的所述环境信息来渲染反馈。2.如权利要求1所述的系统，其中，所述眼睛跟踪器传感器基于所述用户的所述注视来计算所述用户的视场，其中，所述环境信息包括局部环境信息和全局环境信息，其中，所述环境信息包括标识所述环境中的表面、物理对象和属性的几何数据，其中，所述基础设施传感器包括两个或更多个本地传感器、远程传感器，其中，所述设备传感器包括两个或更多个右向传感器、左向传感器或后向传感器，所述感官增强设备进一步包括：所述传感器注册到的一个或多个信息合成器；校准装置，用于校准所述用户的定向，其中，所述一个或多个信息合成器基于所述用户的所述注视或者所述传感器中的一个或多个来确定所述用户或者所述环境中的一个或多个对象的定向，其中，所述一个或多个信息合成器对所述环境信息的所述部分进行合成以获得合成显示数据，其中，所述信息合成器包括所述用户本地的第一信息合成器和所述用户远程的第二信息合成器，并且其中，所述全局环境信息的至少一部分基于所述用户的所述视场或所述合成器中的一个或多个的信息合成器性能参数中的一项或多项而被引导至所述第二信息合成器；以及显示装置，用于基于所述用户的所述注视来显示所述环境信息的所述部分中的某个部分。3.如权利要求2所述的系统，所述感官增强设备进一步包括：增强现实图形处理单元，用于渲染至少一个增强现实对象，其中，所述增强现实对象不用于表示、或者不表示在所述环境中采集的所述物理对象中的一个或多个，其中，所述一个或多个反馈装置基于所述远程传感器、所述后向传感器、用户偏好、或应用参数中的一项或多项来致动一个或多个听觉队列、触觉反馈、嗅觉反馈、或味觉反馈。4.如权利要求3所述的系统，其中，所述环境信息的聚焦区域和非聚焦区域基于所述用户的所述注视来标识，其中，所述合成显示数据被生成为包括所述聚焦区域的所述环境信息、或所述聚焦区域对象中的一个或多个，所述系统进一步包括：硬件控制器，用于将所述全局环境信息的、不处于所述用户的所述视场中的所述至少一部分渲染为所述用户的所述视场中的所述对象中的一个或多个对象后方的轮廓，其中，所述硬件控制器基于媒体引擎轮次阈值通过媒体引擎多次经历所述渲染。5.如权利要求2所述的系统，其中，所述物理对象中的一个或多个物理对象向所述一个或多个合成器注册，其中，所述物理对象包括第一物理对象，其中，所述第一物理对象的表示被生成为所述环境的VR/AR表示中的第一VR/AR对象，其中，所述第一物理对象基于用户偏好或应用参数被表示为多种类型的VR/AR对象中的一种，并且其中，所述第一VR/AR对象由所述硬件控制器基于对所述第一物理对象的操纵来渲染。6.如权利要求5所述的系统，其中，对所述物理对象中的至少一个的操纵由所述合成器中的一个或多个或通过对所述物理对象中的所述一个或多个物理对象的操纵来预测。7.如权利要求6所述的系统，所述设备进一步包括：应用控制器，用于基于对所述第一物理对象的操纵来操纵第二物理对象，并且基于对所述第二物理对象的操纵来操纵所述第一物理对象，其中，由所述应用控制器对所述第一物理对象或所述第二物理对象进行的操纵发生在当所述应用控制器在所述用户操纵所述物理对象之前阈值时间段对所述物理对象进行操纵时。8.一种感官增强的增强现实和虚拟现实设备，所述设备包括：传感器，用于采集环境的环境信息，其中，所述传感器包括眼睛跟踪器传感器、以及两个或更多个话筒或相机，其中，所述眼睛跟踪器传感器跟踪用户的注视；以及一个或多个反馈装置，其中，所述反馈装置中的一个或多个基于在所述用户的所述注视之外采集的所述环境信息来渲染反馈。9.如权利要求8所述的设备，其中，所述眼睛跟踪器传感器基于所述用户的所述注视来计算所述用户的视场，其中，所述环境信息包括局部环境信息和全局环境信息，其中，所述环境信息包括标识所述环境中的表面、物理对象和属性的几何数据，其中，所述传感器包括两个或更多个本地传感器、远程传感器、右向传感器、左向传感器或后向传感器，所述设备进一步包括：所述传感器将注册到的一个或多个信息合成器；校准装置，用于校准所述用户的定向，其中，所述一个或多个信息合成器用于基于所述用户的所述注视或者所述传感器中的一个或多个来确定所述用户或者所述环境中的一个或多个对象的定向，其中，所述一个或多个信息合成器用于对所述环境信息的所述部分进行合成以获得合成显示数据，其中，所述信息合成器包括所述用户本地的第一信息合成器和所述用户远程的第二信息合成器，并且其中，所述全局环境信息的至少一部分将基于所述用户的所述视场或所述合成器中的一个或多个的信息合成器性能参数中的一项或多项而被引导至所述第二信息合成器；以及显示装置，用于基于所述用户的所述注视来显示所述环境信息的所述部分中的某个部分。10.如权利要求9所述的设备，进一步包括：增强现实图形处理单元，用于渲染至少一个增强现实对象，其中，所述增强现实对象不用于表示、或者不表示在所述环境中采集的所述物理对象中的一个或多个，其中，所述一个或多个反馈装置用于基于所述远程传感器、所述后向传感器、用户偏好、或应用参数中的一项或多项来致动一个或多个听觉队列、触觉反馈、嗅觉反馈、或味觉反馈。11.如权利要求10所述的设备，其中，所述环境信息的聚焦区域和非聚焦区域将基于所述用户的所述注视来标识，其中，所述合成显示数据将被生成为包括所述聚焦区域的所述环境信息、或所述聚焦区域中的所述对象中的一个或多个，所述设备进一步包括：硬件控制器，用于将所述全局环境信息的、不处于所述用户的所述视场中的所述至少一部分渲染为所述用户的所述视场中的所述对象中的一个或多个对象后方的轮廓，其中，所述硬件控制器基于媒体引擎轮次阈值通过媒体引擎多次经历所述渲染。...
【专利技术属性】
技术研发人员：A·考克，M·阿波达卡，K·肖，C·萨科斯维尔，J·S·波尔斯，A·T·莱克，J·M·霍兰，P·凯，S·拉希瑞，R·文卡特拉曼，K·辛哈，A·N·沙阿，D·S·范巴尔，A·R·阿普，J·雷，E·乌尔德阿迈德瓦尔，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。