捕获和渲染涉及虚拟环境的信息制造技术

公开了一种促进在第一位置（1）处捕获视觉信息以在第二位置（2）处显示的方法。在第一位置处，虚拟现实设备（11）可以被配置成渲染表示虚拟环境的视觉信息，并且至少一个捕获设备（12）可以被配置成捕获表示包括虚拟现实设备（11）的现实环境的信息。在第二位置处，至少一个监视器（21）可以被配置成渲染由所述至少一个捕获设备（12）捕获的信息。该方法包括确定至少一个捕获设备（12）相对于虚拟现实设备（11）的取向，并在虚拟环境中提供对所述取向的视觉指示。

Capturing and rendering information related to virtual environments

A method for facilitating the capture of visual information at the first position (1) and display at the second position (2) is disclosed. At the first location, the virtual reality device (11) can be configured to render visual information representing the virtual environment, and at least one capture device (12) can be configured to capture information representing the real environment including the virtual reality device (11). At the second position, at least one monitor (21) can be configured to render information captured by the at least one capture device (12). The method includes determining the orientation of at least one capture device (12) relative to a virtual reality device (11) and providing a visual indication of the orientation in a virtual environment.

【技术实现步骤摘要】
【国外来华专利技术】捕获和渲染涉及虚拟环境的信息
本专利技术是关于捕获和渲染涉及虚拟环境的信息。更具体地，本专利技术是关于用于捕获诸如视觉信息之类的信息并渲染所捕获的信息、同时渲染虚拟环境的方法和系统。
技术介绍
虚拟现实（VR）技术是众所周知的。通常，用户可以穿戴头戴式显示器（HMD）或类似的便携式设备，其在视觉上和/或听觉上渲染虚拟环境。虚拟环境可以包括计算机生成的图像（CGI）和/或计算机生成或捕获的声音。视觉虚拟环境通常取代现实环境，即，虚拟环境中的用户一般无法查看现实世界。当使用增强现实（AR）技术时，HMD或其他设备可以在现实世界的视图上叠加CGI或其他图像，从而使用户能够看到现实世界的部分或全部。AR技术的实施例可以包括模拟透明（即，透视）眼镜和数字透明眼镜（其可以能够进行记录和显示）。类似地，在VR中，用户可能无法听到现实世界的声音，而在AR中，用户可以听到现实世界和虚拟环境二者的声音。由于VR技术的用户通常无法看到现实世界，因此她不知道她面向的方向。然而，通常期望知道该方向，特别是当用户在查看虚拟世界的同时正在现实世界中移动时。用于确定用户或其便携式虚拟现实设备在现实世界中面向哪个方向的技术是已知的。例如，欧洲专利申请EP2579128A1公开了一种用于确定便携式设备的用户在现实世界中的查看方向并且用于随着现实世界中的查看方向的改变而改变虚拟世界中的查看方向的设备。例如，在视频会议中，期望两个位置处的用户都面向相机，因为这允许用户看到彼此的面部表情，这能增进沟通。然而，如果第一位置处的用户穿戴了虚拟现实设备，则她通常将无法看到相机，并且因此将无法面向相机。结果，第二位置处的用户可能无法看到第一位置处的用户的面部，从而使得视频会议效率降低。而且，将不可能有目光接触（在使用至少部分透明的VR或AR设备的情况下）。另外，当用户面向她的麦克风、而不是在另一方向上说话时，视频会议的声音质量可以明显更好。同样对于除视频会议之外的应用，可能期望将便携式VR设备与相机、麦克风和/或其他捕获设备对准。
技术实现思路
本专利技术的一个目的是通过提供一种促进捕获信息、特别是视觉信息的方法来解决这个问题，在该方法中：-使用虚拟现实设备渲染表示虚拟环境的视觉信息，-使用至少一个捕获设备捕获表示包括该虚拟现实设备的现实环境的信息，以及-渲染所捕获的信息；该方法包括：-确定至少一个捕获设备相对于该虚拟现实设备的取向，以及-在该虚拟环境中提供对所述取向的视觉指示。通过确定捕获设备的相对取向，并且通过在虚拟环境中提供对该相对取向的视觉指示，可以指示捕获设备与提供虚拟环境的虚拟现实设备之间的任何未对准，并使用户注意到所述未对准。这进而可以允许虚拟现实设备的用户调整她的取向，以便对准虚拟现实设备和捕获设备。可以使用各种类型的虚拟现实设备，诸如（可以作为眼镜来穿戴的）便携式设备和（全息）投影设备，所述（全息）投影设备可以在房间中投影虚拟环境，并且可以是便携式的但通常是固定设备。而且，当使用投影设备时，将投影与捕获设备对准仍然可以是有利的。术语虚拟现实设备一般来说包括增强现实设备，即虚拟现实设备可以是增强现实设备。本专利技术的方法可以用在这样的环境中，其中一个或多个捕获设备捕获表示现实环境的信息，其中所捕获的现实环境包括可以由用户携带的虚拟现实设备。也就是说，至少一个捕获设备可以捕获图像（即，可以由视频流表示的视觉信息）并且可选地还捕获声音（即，可以由音频流表示的听觉信息）。然后，例如通过使用本身可能已知的模式识别技术，从图像和/或声音导出虚拟现实设备的取向。在一些实施例中，虚拟现实设备可以配备有专用的取向检测单元，其可以利用例如雷达技术来确定捕获设备的取向。在仍其他实施例中，（一个或多个）捕获设备可以配备有专用的取向检测单元，其可以利用例如雷达技术来确定VR设备的取向。本专利技术的方法可以在单个位置或在两个（或更多个）位置处进行。使用虚拟现实设备渲染视觉（和/或听觉）信息以及使用至少一个捕获设备捕获（视觉和/或听觉）信息可以在第一位置处进行，而对所捕获的信息的渲染可以在第二位置处发生，这些位置可以相同或可以不同。确定取向甚至可以在第三位置处发生，该第三位置可以与第一位置和/或第二位置相同或不同。在第一位置处，虚拟现实设备和捕获设备可以是间隔开的，但是它们的位置可以统称为第一位置。因此，所述促进方法的实施例涉及在第一位置处捕获视觉和/或听觉信息以供在第二位置处渲染，其中在第一位置处：-使用虚拟现实设备渲染表示虚拟环境的视觉和/或听觉信息，以及-使用至少一个捕获设备捕获表示包括该虚拟现实设备的现实环境的信息；以及其中在第二位置处：-渲染在第一位置处捕获的信息；该方法包括：-在第一位置处确定至少一个捕获设备相对于虚拟现实设备的取向，以及-在虚拟环境中提供对所述取向的视觉指示。捕获表示包括虚拟现实设备的现实环境的信息与渲染所捕获的信息之间的时间可以是实时的、实时或延迟的。例如，可以首先将所捕获的信息缓存、存储或记录在存储器中，然后再进行渲染。在虚拟环境中提供的视觉指示可以通过LED或示出特定颜色的一小组像素来提供，例如绿色用于与捕获设备对准而红色用于未对准，和/或其他颜色表示“左”或“右”，并且在某些实施例中还有“上”和“下”。在虚拟环境中，可以示出指示期望的移动方向的箭头。附加地或替换地，可以使虚拟环境的视图移位以表示该取向。也就是说，如果该取向对应于例如向左30°，则虚拟世界的视图可以向左旋转约30°，从而建议用户将她的头向左转。要指出的是，除了视觉指示之外或代替视觉指示，可以使用对捕获设备的取向的听觉指示，诸如表示“左”和“右”的特定声音，并且可能还有“上”和“下”，和/或使用集成在可穿戴虚拟现实设备中的耳机或使用环绕声设置将虚拟音频源放置在与捕获设备在现实世界中的取向相对应的取向上。虚拟音频源可以表示所捕获的音频信息，例如在第二位置处捕获的用户的语音。在一些实施例中，可以在虚拟世界中以与捕获设备在现实世界中的取向基本对应的取向示出相机和/或监视屏幕或显示器。也就是说，在虚拟环境中提供对至少一个捕获设备的取向的视觉指示可以包括在虚拟环境中渲染对所述至少一个捕获设备的取向指示。因此，在一些实施例中，在虚拟环境中提供对所述至少一个捕获设备的相对取向的指示可以包括在虚拟环境中以与所述至少一个捕获设备在现实环境中的相对取向相对应的相对取向来渲染虚拟监视器，其中虚拟监视器优选地渲染由至少一个另外的捕获设备捕获的视觉信息。将理解的是，所述虚拟监视器是监视屏幕或显示器的再现，并且在一些实施例中，虚拟监视器可以包括相机或其他捕获设备的再现。该方法还可以包括：-使用至少两个捕获设备，-确定所述至少两个捕获设备相对于该虚拟现实设备的相应取向，-确定所述至少两个捕获设备相对于该虚拟现实设备的相应距离，以及-在虚拟环境中以与所述至少两个捕获设备在现实环境中的相对取向和相应距离相对应的相应相对取向和相应相对距离来渲染至少两个虚拟监视器。通过使用至少两个捕获设备、确定它们相应的取向和距离并在虚拟环境中渲染对应的虚拟监视器，用户可以在例如视频会议时面向其中一个监视器。虚拟监视器的取向向用户建议了要看向哪个方向，这使得视频会议有效率得多。在该方法的一些实施例中，确定至少一个捕获设备相对本文档来自技高网...

【技术保护点】
1.一种促进捕获视觉信息的方法，其中：‑ 使用虚拟现实设备（11）渲染表示虚拟环境的视觉信息，‑ 使用至少一个捕获设备（12）捕获表示包括虚拟现实设备（11）的现实环境的信息，以及‑ 渲染所捕获的信息，该方法包括：‑ 确定至少一个捕获设备（12）相对于虚拟现实设备（11）的取向（α），以及‑ 在虚拟环境中提供对所述取向（α）的视觉指示。

【技术特征摘要】
【国外来华专利技术】2016.06.07 EP 16173379.51.一种促进捕获视觉信息的方法，其中：-使用虚拟现实设备（11）渲染表示虚拟环境的视觉信息，-使用至少一个捕获设备（12）捕获表示包括虚拟现实设备（11）的现实环境的信息，以及-渲染所捕获的信息，该方法包括：-确定至少一个捕获设备（12）相对于虚拟现实设备（11）的取向（α），以及-在虚拟环境中提供对所述取向（α）的视觉指示。2.根据权利要求1所述的方法，其中，使用所述至少一个捕获设备（12）捕获的信息包括视觉信息。3.根据权利要求1或2所述的方法，其中，在虚拟环境中提供对所述至少一个捕获设备（12）的相对取向（α）的指示包括：-在虚拟环境中以与所述至少一个捕获设备（12）在现实环境中的相对取向（α）相对应的相对取向来渲染虚拟监视器，该虚拟监视器优选地渲染由至少一个另外的捕获设备（22）所捕获的视觉信息。4.根据权利要求3所述的方法，还包括：-使用至少两个捕获设备（12、12'），-确定所述至少两个捕获设备相对于虚拟现实设备（11）的相应取向（α、α'），-确定所述至少两个捕获设备相对于虚拟现实设备（11）的相应距离（Δ、Δ'），以及-在虚拟环境中以与所述至少两个捕获设备（12、12'）在现实环境中的相对取向（α、α'）和相应距离（Δ、Δ'）相对应的相应相对取向和相应相对距离来渲染至少两个虚拟监视器。5.根据前述权利要求中的任一项所述的方法，还包括：-确定虚拟现实设备（11）相对于所述至少一个捕获设备（12）的取向（β），并且优选地-依据所述取向（β）来调整虚拟监视器在虚拟环境中的渲染。6.根据前述权利要求中的任一项所述的方法，其中，确定所述至少一个捕获设备（12）相对于虚拟现实设备（11）的相对取向包括使用所述至少一个捕获设备。7.根据前述权利要求中的任一项所述的方法，其中，虚拟现实设备（11）配备有用于确定虚拟现实设备的相对取向的至少一个另外的捕获设备（12'）。8.根据前述权利要求中的任一项所述的方法，其中所述至少一个捕获...

【专利技术属性】
技术研发人员：M普林斯，HM斯特金，E托马斯，OA尼安姆，MO万德文特，
申请(专利权)人：皇家KPN公司，荷兰应用自然科学研究组织，
类型：发明
国别省市：荷兰,NL