用于呈现与真实对象相关的数字信息的方法和系统技术方案

本发明专利技术涉及一种呈现与真实对象相关的数字信息的方法，该方法包括：确定真实对象；提供多个呈现模式，其中该多个呈现模式包括虚拟现实模式和音频模式中的至少一者以及增强现实模式；提供与真实对象相关的数字信息的至少一种表示；在考虑由相机所捕获的图像的情况下，确定相机与参考坐标系之间的空间关系；根据该空间关系来从多个呈现模式中选择呈现模式；以及使用所选择的呈现模式来呈现数字信息的至少一种表示。

【技术实现步骤摘要】
【国外来华专利技术】本公开涉及一种用于呈现与真实对象相关的数字信息的方法和系统。在增强现实(AR)中，真实环境的视图(诸如真实环境的视频图像)与数字信息的叠层组合，该数字信息通常呈现与真实环境具有空间关系的一个或多个虚拟对象的形式。手持式增强现实需要用户装备有相机的设备，使得相机捕获具有相关联的数字信息的环境或对象。如果真实环境或对象在拍摄图像过程中不可见，则增强现实视图不提供数字信息。某些增强现实应用程序支持用户进行可能耗时几分钟甚至几小时的任务，示例包括步行导航和产品维护手册。用户可能不方便在整个任务执行期间举起设备，用户可能想要暂时放下设备或将设备收起来。在这种情况下使用增强现实视图时，不为用户提供支持其任务的数字信息，除非再次举起设备并且使相机再次面向对象或环境。在用户测试中观察到，用户体验中发生这种中断将使该用户丧失对其任务的跟踪。进一步观察到，有些用户由于害怕遗漏某物，即使在举着设备很疲劳的情况下也不会放下设备。上述两种状况使得用户体验不尽人意。进一步发现，最关键的问题在于手持式视频透视式AR应用程序需要用户连续举起手持式设备。这是必需的，因为后置相机需要捕获应被增强的场景。这不管是对老年人还是健康用户而言都是不合理的，因为手持式设备通常很重并且表面光滑，很难较长时间举起它们。增强现实跟踪系统面临的挑战是在设定适当用户期望所需的可感知时间内准确地估计丧失跟踪这一事件。这种系统通常充当二进制接通/断开开关。增强现实上下文中的标准方法主要限于用于通知用户丧失跟踪并要求用户将设备的相机指向真实对象或环境以恢复视觉跟踪的报警对话框。EP2579127A1提出了一种确定移动设备的用户的头部的取向的方法。该系统包括移动设备和头戴式辅助设备，该头戴式辅助设备包括用于获取头部的取向的数字罗盘。该取向用于确定递送给用户的内容。WO2013/058950A1提出了一种确定设备取向(例如在桌子上的面向下的取向)的方法。然后使用该设备取向来激活相应的通知配置文件(例如，“Quiet”)。US2012/0280917A1提出了一种使用设备的传感器(接触传感器、速度传感器、光传感器)基于用户意图和/或身份来调节设备状态(例如，省电模式)的方法。US8594744B2描述了一种用于基于对用户声音进行取样来将移动设备的操作模式从免提模式切换到听筒模式的系统和方法。在过渡到另一种信息呈现模式的情况下，并不一定需要附加用户输入。唯一需要是对用户的声音数据(利用麦克风来捕获)进行取样。EP2327010A2和WO2010/022386A2描述了一种使用虚拟相机、取向传感器和接触交互来在移动设备上的三维环境中进行导航的方法和系统。期望提供一种用于呈现与真实对象相关的数字信息的方法和系统，该方法和系统能够在例如在手持式设备上执行给定用户任务期间(例如，在放下手持式设备时)提供不中断的用户界面和体验。根据一方面，公开了一种表示与真实对象相关的数字信息的方法，该方法包括：确定真实对象；提供多个呈现模式，其中该多个呈现模式包括虚拟现实模式和音频模式中的至少一者以及增强现实模式；提供与真实对象相关的数字信息的至少一种表示；在考虑到由相机所捕获的图像的情况下，确定相机与参考坐标系之间的空间关系；根据该空间关系来从多个呈现模式中选择呈现模式；以及使用所选择的呈现模式来呈现数字信息的至少一种表示。根据另一方面，提供了一种表示与真实对象相关的数字信息的方法，该方法包括：确定真实对象；提供多个呈现模式，其中该多个呈现模式包括虚拟现实模式和音频模式中的至少一者以及增强现实模式；提供与真实对象相关的数字信息的至少一种表示；在考虑到由至少一个相机所捕获的至少一个图像的情况下，确定人眼与参考坐标系之间的空间关系；根据该空间关系来从多个呈现模式中选择呈现模式；以及使用所选择的呈现模式来呈现数字信息的至少一种表示。根据另一方面，提供了一种用于呈现与真实对象相关的数字信息的系统，该系统包括处理系统，该处理系统被配置为：确定真实对象；提供多个呈现模式，其中该多个呈现模式包括虚拟现实模式和音频模式中的至少一者以及增强现实模式；提供与真实对象相关的数字信息的至少一种表示；在考虑到由相机所捕获的图像的情况下，确定相机与参考坐标系之间的空间关系；根据空间关系来从多个呈现模式中选择呈现模式；以及使用所选择的呈现模式来呈现数字信息的至少一种表示。根据另一方面，提供了一种用于呈现与真实对象相关的数字信息的系统，该系统包括处理系统，该处理系统被配置为：确定真实对象；提供多个呈现模式，其中该多个呈现模式包括虚拟现实模式和音频模式中的至少一者以及增强现实模式；提供与真实对象相关的数字信息的至少一种表示；在考虑到由至少一个相机所捕获的至少一个图像的情况下，确定人眼与参考坐标系之间的空间关系；根据该空间关系来从多个呈现模式中选择呈现模式；以及使用所选择的呈现模式来呈现数字信息的至少一种表示。具体地，提议自动确定相机与真实对象或环境之间的当前空间关系是否适于通过使用(视觉)增强现实(AR)呈现来呈现与真实对象或环境相关联的数字信息，并且如果不适用，则提议切换到不同的信息呈现模式(如虚拟现实(VR)呈现或音频呈现)，这会更适于将支持用户任务的相关联数字信息传送给用户。本专利技术有助于通过从AR呈现自动切换到另一种信息呈现模式(例如，VR呈现或音频呈现)来解决上述缺点。在整个文档中，术语“AR呈现”、“AR呈现模式”、“AR模式”、“增强现实呈现”、“增强现实呈现模式”和“增强现实模式”可互换使用。另外，本文档可互换使用术语“VR呈现”、“VR呈现模式”、“VR模式”、“虚拟现实呈现”、“虚拟现实呈现模式”和“虚拟现实模式”。而且，术语“音频呈现”、“音频呈现模式”和“音频模式”在整个文档中可互换使用。本专利技术试图解决的问题是，去除在放下手持式设备或将其收起时被中断的用户体验的间隙。这可例如基于设备取向(的变化)来检测。因此，提出了一种用于连续用户体验的系统和方法，具体地通过分别根据相机或眼睛与真实对象之间的空间关系的至少一部分来改变信息呈现模式。与常用方法相比，其优点在于可与用户连续保持逻辑连接并呈现与真实对象相关的数字信息，其方式最适于给定上下文，即相机或眼睛与对象之间的空间关系这种给定上下文。当前，在AR应用程序(例如，AR浏览器)和/或AR或计算机视觉软件开发工具包中，提供了对象或环境是否被跟踪的状态，并且应用程序开发者可例如通过向用户提供视觉指令来告知如何达到所需对象或环境被跟踪的状态(例如，通过“请将相机指向杂志封面以开始增强现实体验”)，以对该对象或环境未被跟踪这一事件作出反应。根据本专利技术，AR应用程序和/或AR或计算机视觉软件开发工具包的未来版本可能提供多个状态，告知1)数字信息可在对象的实时视频图像或实时视图的顶部呈现为空间配准地再现(AR模式)；或2)数字信息可在屏幕上在视觉上呈现，而无需任何实时配准(VR模式)；或3)数字信息无法在屏幕上在视觉上呈现，但可例如通过扬声器或耳机在听觉上呈现(音频模式)。应用程序开发者可手动处理这些情况，或SDK(软件开发工具包)可理解数字信息描述，该数字信息描述包括不同的呈现，例如包括AR模式的3D模型、VR模式的3D模型或2D图像、可本文档来自技高网...

【技术保护点】
一种呈现与真实对象相关的数字信息的方法，包括‑确定真实对象，‑提供多个呈现模式，其中所述多个呈现模式包括虚拟现实模式和音频模式中的至少一者以及增强现实模式，‑提供与所述真实对象相关的数字信息的至少一种表示，‑在考虑由相机所捕获的图像的情况下，确定所述相机与参考坐标系之间的空间关系，‑根据所述空间关系来从所述多个呈现模式中选择呈现模式，‑使用所选择的呈现模式来呈现所述数字信息的所述至少一种表示。

【技术特征摘要】
【国外来华专利技术】1.一种呈现与真实对象相关的数字信息的方法，包括-确定真实对象，-提供多个呈现模式，其中所述多个呈现模式包括虚拟现实模式和音频模式中的至少一者以及增强现实模式，-提供与所述真实对象相关的数字信息的至少一种表示，-在考虑由相机所捕获的图像的情况下，确定所述相机与参考坐标系之间的空间关系，-根据所述空间关系来从所述多个呈现模式中选择呈现模式，-使用所选择的呈现模式来呈现所述数字信息的所述至少一种表示。2.一种呈现与真实对象相关的数字信息的方法，包括-确定真实对象，-提供多个呈现模式，其中所述多个呈现模式包括虚拟现实模式和音频模式中的至少一者以及增强现实模式，-提供与所述真实对象相关的数字信息的至少一种表示，-在考虑由至少一个相机所捕获的至少一个图像的情况下，确定人眼与参考坐标系之间的空间关系，-根据所述空间关系来从所述多个呈现模式中选择呈现模式，-使用所选择的呈现模式来呈现所述数字信息的所述至少一种表示。3.根据权利要求1或2所述的方法，其中-根据所述相机或人眼分别与所述真实对象之间的空间关系的至少一部分，所述增强现实模式在所述真实对象的实时视图中在显示设备上在视觉上混入所述数字信息的所述至少一种表示，-所述虚拟现实模式在显示设备上在视觉上呈现所述数字信息的所述至少一种表示和所述真实对象的表示，并且-所述音频模式根据所述数字信息的所述至少一种表示来生成声音。4.根据权利要求3所述的方法，其中所述真实对象的所述实时视图由所述相机捕获作为至少一个图像，并且所述显示设备包括屏幕，其中在所述屏幕上显示所述至少一个图像。5.根据权利要求3所述的方法，其中所述真实对象的所述实时视图由所述人眼捕获，并且所述显示设备包括半透明屏幕。6.根据权利要求1至5中的一个权利要求所述的方法，包括根据所述至少一个图像的像素信息和/或根据在所述相机捕获所述至少一个图像时所述相机相对于所述参考坐标系的姿态和/或根据手动输入来将由所述相机所捕获的所述真实对象的至少一部分的至少一个图像确定为至少一个关键图像。7.根据权利要求6所述的方法，所述真实对象的表示包括所述至少一个关键图像。8.根据权利要求1至7中的一个权利要求所述的方法，包括根据所述至少一个图像的所述像素信息和/或根据至少一个阈值和/或根据手动输入来将在所述相机捕获所述真实对象的至少一部分的至少一个图像时所述相机相对于所述参考坐标系的至少一个姿态确定为至少一个关键姿态。9.根据权利要求8所述的方法，其中根据所述至少一个关键姿态来呈现所述真实对象的表示。10.根据权利要求1至9中的一个权利要求所述的方法，其中所述真实对象根据由所述相机所捕获的所述真实对象的至少一部分的至少一个图像来确定。11.根据权利要求1至10中的一个权利要求所述的方法，其中所述真实对象根据至少一个手动输入来确定。12.根据权利要求1至11中的一个权利要求所述的方法，其中所述数字信息的所述至少一种表示包括以下各项中的至少一者：三维对象、三角网格、点云、体积数据集、贝塞尔曲线、花键、表面描述、图像、声音、文字、视频和动画。13.根据权利要求1至12中的一个权利要求所述的方法，其中所述参考坐标系与所述真实对象相关联。14.根据权利要求1至12中的一个权利要求所述的方法，其中所述参考坐标系与地球或跟踪系统相关联。15.根据权利要求1至14中的一个权利要求所述的方法，其中根据所述空间关系来从所述多个呈现模式中选择呈现模式包括-确定所述真实对象的至少一部分是否在所述相机的视场内，-如果是，选择所述增强现实模式作为所述呈现模式，-否则，选择所述虚拟现实模式和音频模式中的至少一者作为所述呈现模式。16.根据权利要求1至15中的一个权利要求所述的方法，其中根据所述空间关系来从所述多个呈现模式中选择呈现模式包括-确定所述空间关系是否指示所述相机与所述真实对象之间的距离低于阈值，-如果是，选择所述增强现实模式作为所述呈现模式，-否则，选择所述虚拟现实模式和音频模式中的至少一者作为所述呈现模式。17...

【专利技术属性】
技术研发人员：D·库尔茨，A·费多索夫，
申请(专利权)人：METAIO有限公司，
类型：发明
国别省市：德国;DE