确定虚拟对象的大小制造技术

提供了一种用于确定虚拟环境中的虚拟对象的大小的系统和方法。所述虚拟对象可以表示物理空间中的对象。所述系统和方法可以从相机获得所述对象的图像数据，获得指示所述相机的视角的相机元数据，估计所述对象与所述相机之间的对象距离，并且通过以下步骤来估计物理空间中的所述对象的物理大小：确定所述图像数据中的所述对象的图像大小，并且基于所述相机元数据和所述对象距离确定所述图像大小与所述对象的所述物理大小之间的关系。因此，可以依照所述对象的所述物理大小确定所述虚拟环境中的所述虚拟对象的所述大小。因此可以在所述虚拟环境中给予虚拟对象逼真的相对大小。另一优点可以是不需要多个相机的校准系统和校准渲染环境。

Determining the size of virtual objects

【技术实现步骤摘要】
【国外来华专利技术】确定虚拟对象的大小
本专利技术涉及用于确定虚拟环境中的虚拟对象的大小的方法和系统。本专利技术进一步涉及指示所述确定的大小的对象大小元数据。本专利技术进一步涉及渲染设备和服务器，所述渲染设备和服务器被配置成依照对象大小元数据确立虚拟环境中的虚拟对象的大小。
技术介绍
虚拟现实(VR)涉及使用计算机技术来给予用户沉浸在虚拟环境中的感觉。通常，VR渲染设备(另外在下文中简称为VR设备)利用头戴式显示器(HMD)来向用户渲染虚拟环境，但是也可以使用其他类型的VR显示和渲染技术，包括但不限于全息和Cave自动虚拟环境(递归首字母缩写词CAVE)。已知使用VR环境，其在VR的上下文中还简称为“虚拟环境”，以用于多用户通信。在这种多用户通信中，用户可以通过虚拟环境内的化身来表示，同时经由语音(例如，使用麦克风和扬声器)和/或非言语通信进行通信。后者的示例包括但不限于基于文本的通信、基于手势的通信等。这里，术语“化身”指代虚拟环境内的用户的表示，其可以包括作为真实或假想的人、真实或抽象的对象等的表示。这种基于VR环境的多用户通信本身是已知的，例如，从AltspaceVR(http://altvr.com/)、Improov(http://www.middlevr.com/improov/)、3DICC(http://www.3dicc.com/)等获知。另外已知将VR环境与基于视频的通信组合。例如，从据说为“用于在虚拟现实中协作的平台”的Improov已知将用户的实况相机记录用作虚拟环境中的化身。还已知在不使用虚拟现实的情况下(例如，在电视或监视器上)渲染此类虚拟环境。专利技术人已考虑在通过用户的虚拟表示来在虚拟环境中表示他自己/她自己的场景中，可能需要确立虚拟环境中的虚拟表示的大小。可以能够选择标准大小。然而，这可能有缺点。例如，如果通过多个用户的虚拟表示来在虚拟环境中表示他们，则这种标准大小可以在虚拟环境中产生用户的不自然表示。即，用户之间的物理大小方面的任何差异将在虚拟环境中“丢失”。当虚拟表示是用户的逼真表示而不是抽象表示时，例如通过包括被实况记录的相应用户的图像数据的视觉渲染的每个虚拟表示，此问题可能更糟。即，给定此类逼真表示，可以预期其大小差异也是逼真的。例如，如果使用立体显示器来渲染虚拟环境，则虚拟表示的此类非逼真标准大小对虚拟环境的用户而言可能是尤其显著的。专利技术人还已经认识到，当通过虚拟对象来在虚拟环境中表示除人以外的物理对象时也会发生上述问题。问题因此不限于人的虚拟表示。用户可以指定他的/她的大小，例如他的/她的身高，并且相应地确立虚拟环境中的化身的大小。替换地，可以从用户简档获得这种信息。然而，在虚拟表示包括用户的图像数据的视觉渲染的情况下，图像数据可能不总是示出所有用户，即从上到下，也不在站立位置中。相反，图像数据可以仅示出用户的一部分，例如，他的/她的面部和上半身。在这种和类似的情况下，在图像数据中确切地示出的内容与从用户(简档)获得的大小指示之间可以存在未知关系。Hirose等人在IEEEMultimedia6.3,1999,pp.14-22的出版物“Integratinglivevideoforimmersiveenvironments”描述了制作用户的视频化身。据说相机捕获用户的图像并且从背景中提取用户的形态的图像。此图像被发送到另一站点并与共享虚拟3D世界集成在一起。渲染图像被作为视频化身投影在沉浸式投影显示中。据说所提取的用户的形态必须以其实际大小并在正确位置中显示在3D空间中，而不只是叠加为2D图像。为了调整所显示的大小，考虑相机条件以及用户在虚拟空间中的位置之间的关系。不利的是，Hirose等人使用多个相机的校准系统和校准渲染环境来确保用户的图像在显示时被正确地调整大小。
技术实现思路
获得用于依照对象的物理大小确定虚拟对象的大小的方法和系统将是有利的，其中所述方法和系统解决Hirose等人的问题中的至少一个。依照本专利技术的第一方面，提供了一种用于确定虚拟环境中的虚拟对象的大小的方法。所述虚拟对象可以表示物理空间中的对象。所述方法可以包括：-从相机获得所述对象的图像数据；-获得指示所述相机的视角的相机元数据；-估计所述对象与所述相机之间的对象距离；-通过以下步骤来估计物理空间中的所述对象的物理大小：i)确定所述图像数据中的所述对象的图像大小，并且ii)基于所述相机元数据和所述对象距离确定所述图像大小与所述对象的所述物理大小之间的关系；以及-依照所述对象的所述物理大小确定用于在所述虚拟环境中渲染的所述虚拟对象的所述大小。依照本专利技术的另一方面，提供了一种暂时性或非暂时性计算机可读介质，其可包括与对象的图像数据相关联的对象大小元数据，其中可以从相机获得所述图像数据，并且其中所述对象大小元数据可以包括指示所述相机的视角的相机元数据以及指示所述对象与所述相机之间的对象距离的数据。依照本专利技术的另一方面，提供了一种暂时性或非暂时性计算机可读介质，其可包括定义虚拟环境中的虚拟对象的大小的对象大小元数据，其中所述虚拟对象可表示物理空间中的对象，并且其中所述虚拟环境中的所述虚拟对象的所述大小可以是依照根据所述对象的图像数据和所述相机元数据所确定的所述对象的物理大小。依照本专利技术的另一方面，提供了一种系统，其可以被配置成生成与虚拟环境中的虚拟对象相关联的对象大小元数据。所述虚拟对象可以表示物理空间中的对象。所述系统可包括：-到相机的相机接口，其用于获得所述对象的图像数据；-存储器，其包括表示一组指令的指令数据；-处理器，其被配置成与所述相机接口和所述存储器进行通信并且执行该组指令，其中该组指令当由所述处理器执行时，可以使所述处理器：-获得指示所述相机的视角的相机元数据；-估计所述对象与所述相机之间的对象距离；-基于所述相机元数据和所述对象距离生成对象大小元数据以使得渲染设备或服务器能够基于所述对象大小元数据依照物理空间中的所述对象的物理大小确立所述虚拟环境中的所述虚拟对象的所述大小。所述系统可以连接到所述相机或者包括所述相机，在此情况下可以在内部连接所述相机。所述系统可以被集成在设备中，所述设备诸如但不限于所述相机、智能电话、平板设备、膝上型电脑等。依照本专利技术的另一方面，提供了一种网络实体，其是用于托管虚拟环境的服务器或用于渲染所述虚拟环境的渲染设备。所述虚拟环境可以包括虚拟对象。所述虚拟对象可以表示物理空间中的对象。所述网络实体可以包括：-到网络的网络接口，其用于接收：-来自相机的所述对象的图像数据；-指示所述虚拟环境中的虚拟对象的大小的对象大小元数据；-存储器，其包括表示一组指令的指令数据；-处理器，其被配置成与所述网络接口和所述存储器进行通信并且执行该组指令，其中该组指令当由所述处理器执行时，可以使所述处理器：-生成所述虚拟环境中的所述虚拟对象以包括所述对象的所述图像数据的视觉渲染；-依照所述对象大小元数据确立所述虚拟环境中的所述虚拟对象的所述大小。上述措施涉及虚拟环境中的虚拟对象的渲染，其中所述虚拟对象表示物理空间中的对象。作为示例，所述对象在下文中是人，此后还称为“用户”。然而，这不是限制，因为所述对象还可以是非人类的。依照上述措施，可以从相机(诸如膝上型电脑的网络摄像头或智能电话或平板设备的相机)获本文档来自技高网...

【技术保护点】
1.一种用于确定虚拟环境中的虚拟对象的大小的方法，所述虚拟对象表示物理空间中的对象，所述方法包括：‑ 从相机获得所述对象的图像数据；‑ 获得指示所述相机的视角的相机元数据；‑ 估计所述对象与所述相机之间的对象距离；‑ 通过以下步骤来估计物理空间中的所述对象的物理大小：i) 确定所述图像数据中的所述对象的图像大小，并且ii) 基于所述相机元数据和所述对象距离确定所述图像大小与所述对象的所述物理大小之间的关系；以及‑ 依照所述对象的所述物理大小确定用于在所述虚拟环境中渲染的所述虚拟对象的所述大小。

【技术特征摘要】
【国外来华专利技术】2016.12.02 EP 16201955.81.一种用于确定虚拟环境中的虚拟对象的大小的方法，所述虚拟对象表示物理空间中的对象，所述方法包括：-从相机获得所述对象的图像数据；-获得指示所述相机的视角的相机元数据；-估计所述对象与所述相机之间的对象距离；-通过以下步骤来估计物理空间中的所述对象的物理大小：i)确定所述图像数据中的所述对象的图像大小，并且ii)基于所述相机元数据和所述对象距离确定所述图像大小与所述对象的所述物理大小之间的关系；以及-依照所述对象的所述物理大小确定用于在所述虚拟环境中渲染的所述虚拟对象的所述大小。2.根据权利要求1所述的方法，其中，所述虚拟环境中的所述虚拟对象包括所述对象的所述图像数据的视觉渲染。3.根据权利要求1至2中的任何一项所述的方法，其中所述获得所述相机元数据包括获得包括在所述图像数据中或者与所述图像数据相关联的EXIF元数据、MPEG元数据或ONVIF元数据。4.根据权利要求1至3中的任何一项所述的方法，其中所述获得所述相机元数据包括：-访问包括不同的相机类型的相机元数据的数据库；-获得所述相机的类型标识符；以及-基于在所述数据库中查找所述相机的所述类型标识符来检索所述相机元数据的至少一部分。5.根据权利要求1至4中的任何一项所述的方法，其中所述确定所述对象距离包括获得指示所述对象距离的辅助数据，并且其中估计所述对象与所述相机之间的所述对象距离包括分析所述辅助数据。6.根据权利要求5所述的方法，其中所述辅助数据包括以下各项中的至少一种：-指示所述相机的焦距的相机元数据；-从连接到所述相机的深度传感器获得的深度数据；-从另一相机获得的另一图像数据，其中所述图像数据和所述另一图像数据一起表示所述对象的立体图像数据，并且其中估计所述对象与所述相机之间的所述对象距离包括分析所述立体图像数据；以及-从连接到所述相机或者包括在所述相机中的麦克风阵列获得的定向音频数据。7.根据权利要求1至6中的任何一项所述的方法，其中所述虚拟环境是联网虚拟环境，其中所述相机连接到系统，所述系统连接到网络，并且其中所述方法进一步包括：-经由所述网络将所述图像数据从所述系统提供给参与所述联网虚拟环境的网络实体，所述网络实体是托管所述虚拟环境的服务器或渲染设备；以及-从所述系统向所述网络实体提供对象大小元数据以使得所述网络实体能够基于所述对象大小元数据依照物理空间中的所述对象的物理大小确立所述虚拟环境中的所述虚拟对象的所述大小。8.根据权利要求7所述的方法，其中所述方法由所述系统执行，其中所述提供所述对象大小元数据包括：-提供由所述系统所确定的所述虚拟环境中的所述虚拟对象的所述大小作为所述对象大小元数据。9.根据权利要求7所述的方法，其中所述提供所述对象大小元数据包括将所述相机元数据和所述对象距离提供给所述网络实体以使得所述网络实体能够：-基于所述相机元数据和所述对象距离估计物理空间中的所述对象的所述物理大小；并且-依照所述对象的所述物理大小确定所述虚拟环境中的所述虚拟对象的所述大小。10.一种暂时性或非暂时性计算机可读介质，其...

【专利技术属性】
技术研发人员：HM斯特金，M普林斯，
申请(专利权)人：皇家KPN公司，荷兰应用自然科学研究组织，
类型：发明
国别省市：荷兰,NL