在头戴显示设备内结合实景图像流之方法及系统技术方案

本发明专利技术描述了一种可头戴的增强现实与虚拟现实的显示设备。该头戴显示设备包括一个用来发起显示周围现实环境的图像流的处理器，使能够以佩戴该头戴显示设备来观察现实环境。

【技术实现步骤摘要】
【国外来华专利技术】
本文之以下内容基本有关于增强现实及虚拟现实的系统和方法，更具体涉及在头戴设备的显示系统中显示现实环境的系统和方法。
技术介绍
随着可穿戴技术和3D渲染技术的到来，增强现实和虚拟现实可视化的应用范围扩大了。增强现实和虚拟现实存在于混合现实可视化的持续进行中。
技术实现思路
一些实施方案中，描述了在一个处在现实环境中的用户佩戴的头戴显示设备上同时显示以下图像流的方法，同时显示的图像流包括在一个头戴显示设备成像系统视场内拍摄到的现实环境里的一个区域之实景图像流，和一个由处理器为现实环境生成的增强现实渲染图像流。该方法包括了：确定拍摄到的区域；生成一个与拍摄到的区域至少部分相对应的现实环境地图上的某个区域的渲染图像流；在头戴显示设备的显示系统里同时接收并显示实景图像流以及渲染图像流。在一些实施例中，描述了一种将一个增强现实渲染图像流匹配至由头戴显示设备的成像系统的视场内拍摄到的现实环境的一个实景图像流的系统。该系统包括了一个处理器，被配置成能够：能得到现实环境的地图；能确定已拍摄的区域；能生成一个地图上某个区域的渲染图像流，该区域与拍摄到的图像流至少部分相应。本专利技术描述了这些以及其他的实施例。附图说明参照附图可以更深入的了解本专利技术的实施例，其中：图1说明了一个头戴式显示设备的一种实施例；图2说明了一个头戴式显示的镜头和图像传感器的视场；图3为将渲染图像流以水印方式叠加到实景图像流的一种方法之流程示意图；图4为一个用户在一个现实环境中装备着头戴式显示设备的图解；图5A为一帧说明现实环境的图像流的示例图像；图5B为一帧说明现实环境的渲染图像流的示例图像；图5C为一帧说明结合了实景图像流和相对应的渲染图像流的示例图像；图6为一种在显示系统各离散区域中同时显示渲染图像流和实景图像流的方法之流程示意图；图7为一个说明了一渲染图像流和相对应的实景图像流在画中画结合的示例。具体实施方式为了使说明简洁清楚，在合理的情况下，参考数字可能会在附图中被重复使用以标明相应的和相似的元素。此外，为了使详尽透彻的理解本文所描述的所有实施例，本文阐述了许多具体的细节。然而本领域的普通技术人员可以理解的是，本专利技术描述的这些实施例即使没有这些具体的细节也可能实现。在其他的情况下，众所周知的方法、程序和部件并没有具体的描述，这么做是为了不含糊及掩盖了本文中所描述的这些实施例。并且，文中的描述不应该被看作会局限这些实施例的范围。也应当理解的是，本文中例证中所有能执行指令的任意模块、单元、部件、服务器、电脑、终端及设备，均可能包括或以其他方式访问电脑可读介质，例如存储介质、电脑存储介质或者数据存储设备(可移除或不可移除)如磁盘、光盘或磁带。电脑存储介质可能包括易失性的和非易失性的，可移除和不可移除的介质，以任何方法或科技来实现存储信息，例如电脑可读指令、数据结构、程序模块、或者其他数据。电脑存储介质的例子有RAM、ROM、EEPROM、闪存或者其他存储器科技、CD-ROM、数字多功能盘(DVD)或者其他光学存储器、卡式磁带、磁带、磁盘存储或者其他磁性存储设备、或者其他可以用来存储需要的信息并可以被另外的应用、模块或两者兼并来访问的介质。这样的电脑存储介质可以是该设备的一部分，或者是该设备可访问的或与设备相连接的。此处描述的任何应用或者模块，均可能通过在该电脑可读介质存储或者持有的电脑可读/可执行指令来实行，及以一个或者多个处理器来执行。当前的发现是针对增强现实的系统和方法。然而一个熟练的读者会理解增强现实可能拥有多种含义。在当前的发现中，增强现实包括了：用户与真实的物体和结构以及覆盖在其之上的虚拟的物体和结构的互动；用户与完全虚拟的一套物体和结构的互动，该虚拟物体和结构的生成是为了包括现实物体和结构的渲染，可能并随在现实环境之缩放版本内加入虚拟物体和环境，或者被称为“加强型虚拟现实”。进一步来说，虚拟的物体和结构有可能被完全免除，及增强现实系统有可能向用户显示一个仅包括了该物理环境图像流的一个物理环境版本。最后，一个有经验的读者可以了解的是，通过放弃物理环境的各方面详情，本文展现的系统和方法对于虚拟现实应用也同样适用，并可以被理解为“纯粹的”虚拟现实。为了方便读者，以下所指的“增强现实”亦需理解为包括了所有的前面提到的和熟练读者理解的其他变动模式。用户在增强现实系统中的参与度可以通过允许用户在整个现实环境中不受约束的移动来加强。尽管如此，应当理解的是，一个佩戴着头戴显示装备的用户最好是能察觉到现实环境中的障碍物，使用户能在其中移动而不意外的接触到障碍物。因此，增强现实系统的用户参与度和用户安全，可以通过在头戴显示设备上向用户显示至少局部现实环境的基本实时的图像来加强。这里描述的系统和方法是关于在现实环境中的用户的头戴显示设备上显示局部的现实环境。参看图1的示例，展示的是头戴显示设备12被配置为一个头盔；然而其他的配置也是可以被设想的。该头戴显示设备12由以下部分组成：一个处理器130用来与以下一个或多个部件通讯：(i)一个扫描、局部定位和定向模块141，模块141的组成包括一个扫描现实环境的扫描系统、一个确定该头戴显示设备12在此现实环境中的位置的定位系统，和一个检测该头戴显示设备12的方向的方向检测系统；(ii)至少一个用来拍摄现实环境的图像流的成像系统，例如一个由单一或多个摄像头123组成的摄像系统；(iii)至少一个显示系统121来向头戴显示设备12的用户显示增强现实或/和虚拟现实和现实环境的图像流；(iv)至少一个电源管理系统113来向各个部件分配功率；(v)多个感官反馈系统包括了，例如多个触觉反馈装置120，来向用户提供感观反馈；以及(vi)一个有音频输入和输出的音频系统124来提供音频互动。处理器130也可能进一步包括一个例如有天线的无线通讯系统126，来跟增强现实或/和虚拟现实系统中的其他部件通讯，例如其他的头戴显示设备、游戏机、路由器或至少一个外围设备13，来提高用户在增强现实和/或虚拟现实中的参与感。这些和其他各系统和各部件，在本文和本申请人的未决申请PCT/CA2014/050905中描述了，并且该未决申请的全部公开内容通过引用并入本文。可以理解的是，这里的术语“处理器”应该被理解为是作为单个或者多个分布式和/或不同的处理器来实行的，从而与需要单个或者多个处理器执行任务的组成部件和/或系统通讯。一个戴着头戴显示设备12并处于一个现实环境中的用户，可以在通过头戴显示设备12的显示系统121来观看虚拟现实的同时，在现实环境中移动并与此环境互动。在某些增强现实的应用中，用户可以只观看一个与现实环境无关的完全渲染的环境(即一个“纯粹”的虚拟现实应用)。在这样的应用中，用户与现实环境的互动可能是纯粹的将其当作一个可以在其中移动的空间。比如说，在一个用户运动的应用程序中，现实环境可以被作为一个平台，供用户在其中进行健美操表演、有氧运动、阻力训练或其他合适的运动。这样对用户显示的增强现实可能不会将现实空间中的障碍物考虑在内。然而用户也可能希望或者需要基本实时的看到现实空间，来确保她不会因为遭遇到该现实环境中的障碍物或者边界而受伤。当前的系统和方法使用户可以同时观看到现实环境并与虚拟现实渲染的环境互动，即使虚拟现实的本文档来自技高网...

【技术保护点】
一种在一个处在现实环境中的用户佩戴的头戴显示设备上同时显示以下图像的方法：头戴显示设备成像系统视场内的拍摄到的现实环境里的一个区域的实景图像流，和由处理器生成的关于该现实环境的增强现实渲染图像流。该方法包括：(a)确定已拍摄到的区域；(b)生成与拍摄到的区域至少部分符合的现实环境地图上的一个区域的渲染图像流；及(c)在头戴显示设备的显示系统里同时接收并显示实景图像流以及渲染图像流。

【技术特征摘要】
【国外来华专利技术】2013.10.03 US 61/886,4431.一种在一个处在现实环境中的用户佩戴的头戴显示设备上同时显示以下图像的方法：头戴显示设备成像系统视场内的拍摄到的现实环境里的一个区域的实景图像流，和由处理器生成的关于该现实环境的增强现实渲染图像流。该方法包括：(a)确定已拍摄到的区域；(b)生成与拍摄到的区域至少部分符合的现实环境地图上的一个区域的渲染图像流；及(c)在头戴显示设备的显示系统里同时接收并显示实景图像流以及渲染图像流。2.根据权利要求1所述的方法，进一步包括平移、缩放、回转渲染图像流，使渲染图像流中对应所拍摄区域的区域与拍摄到的区域对准。3.根据权利要求2所述的方法，其中显示包括了重叠两种图像流。4.根据权利要求1所述的方法，其中显示包括了在显示系统中的一个区域显示的实景图像流，而在显示系统中另一个区域显示的渲染图像流。5.根据权利要求4所述的方法，其中显示包括下列其中之一：画中...

【专利技术属性】
技术研发人员：德哈努山·巴拉尚德尔斯瓦兰，陈泽西，张剑，
申请(专利权)人：舒朗科技公司，
类型：发明
国别省市：加拿大;CA