头戴式显示器与真实世界对象之间的相互通信制造技术

在第一显示装置上实现与虚拟空间中所产生的虚拟对象的用户交互。使用第一显示装置的传感器和相机数据，识别其表面上具有标记的真实世界对象。相对于真实世界对象上的标记来产生和显示虚拟3D空间中的虚拟对象。对真实3D空间中的真实世界对象的操纵导致虚拟3D空间中的虚拟对象的属性发生变化。所述标记包括关于要产生的特定渲染物的信息。可以基于标记中所包括的信息来产生和显示不同的虚拟对象。当真实世界对象具有传感器时，将来自真实世界对象的传感器数据传输到第一显示装置以基于传感器输入来增强虚拟对象或虚拟场景的显示。本地或远程存储器可以进一步定义、增强或修改真实世界对象的特性。

【技术实现步骤摘要】
【国外来华专利技术】头戴式显示器与真实世界对象之间的相互通信
技术介绍
互联网、移动数据网络和硬件的快速发展导致开发出许多类型的装置。此类装置包括如膝上型计算机之类的更大型装置以及承载在用户身体部位上的穿戴式装置的更小型装置。此类穿戴式装置的实例包括眼镜、头戴式显示器、智能手表或装置以监控穿戴者的生物信息。可以将包括文本、音频和视频数据的移动数据串流到装置上。然而，由于其有限的屏幕尺寸和处理能力，其使用会受到限制。
技术实现思路
本公开涉及用于实现与虚拟对象的用户交互的系统和方法，其中经由对真实世界对象的操纵来渲染虚拟3D空间中的虚拟对象，并由本地或远程数据源来增强或修改所述虚拟对象。在一些实施例中，公开了一种用于实现与虚拟对象的用户交互的方法。所述方法包括：由与第一显示装置通信的处理器来检测真实世界对象的存在，所述真实世界对象包括在其表面上的标记。处理器识别真实3D空间中的真实世界对象相对于用户双眼的位置和定向，并渲染相对于标记被定位和定向在虚拟3D空间中的虚拟对象。经由对真实(3D)空间中的真实世界对象的操纵来控制虚拟对象的显示。所述方法进一步包括：由处理器传输渲染数据以在第一显示装置上视觉地呈现虚拟对象。在一些实施例中，虚拟对象的视觉呈现可不包括真实世界对象，使得用户仅看到虚拟空间中的虚拟对象。在一些实施例中，虚拟对象的视觉呈现可以包括真实世界对象的图像，使得由虚拟对象来增强或修改真实视觉对象的视图。在一些实施例中，将虚拟对象配置成用于可经由对真实世界对象的操纵来操纵的方法进一步包括：由处理器检测真实世界对象的位置和定向中的一者的变化；基于真实世界对象的检测到的变化来更改虚拟空间中的虚拟对象的一个或多个属性；以及由处理器将渲染数据传输到第一显示装置，以视觉地显示具有经更改的属性的虚拟对象。在一些实施例中，真实世界对象是包括触摸屏在内的第二显示装置。第二显示装置存在于第一显示装置的相机的视野中，且可通信地联接到第一显示装置。此外，标记显示在第二显示装置的触摸屏上。所述方法进一步包括：由处理器从第二显示装置接收关于用户触摸输入的数据；以及响应于关于用户触摸输入的数据来操纵虚拟空间中的虚拟对象。在一些实施例中，关于用户触摸输入的数据(包括用户身体部位相对于标记在触摸屏上的位置信息和对虚拟对象的操纵)进一步包括：由处理器响应于用户触摸输入来改变虚拟空间中的虚拟对象的位置，以跟踪虚拟对象的位置信息或大小。在一些实施例中，用户触摸输入对应于单次轻击或多次轻击、轻击并按住、旋转、轻扫或捏动缩放手势中的一者。在一些实施例中，所述方法进一步包括：由处理器从第一显示装置和第二显示装置中的一者或多者中所包括的多个传感器中的至少一者接收关于输入的数据；以及由处理器响应于此类传感器输入数据来操纵虚拟对象和虚拟场景中的一者。在一些实施例中，多个传感器可以包括相机、陀螺仪、加速度计和磁力计。因此，来自第一和/或第二显示装置的传感器输入数据实现了互相跟踪。因此，即使第一和第二显示装置中的一者或多者移出另一者的视野，仍通过在第一与第二显示装置之间相互交换此类运动/位置传感器数据来实现精确的相对位置跟踪。在一些实施例中，真实世界对象是另一个对象的3D打印模型，且虚拟对象包括另一对象的虚拟外表面。虚拟外表面编码另一对象的真实世界表面反射率性质。虚拟对象的大小可以基本上类似于3D打印模型的大小。所述方法进一步包括：由处理器响应于指示购买渲染图(rendering)的另外的输入来渲染虚拟外表面。在一些实施例中，公开了一种包括处理器和存储介质的计算装置，所述存储介质用于将由处理器执行的程序逻辑有形地存储在其上。编程逻辑使得处理器能够执行各种操作，这些操作与实现与虚拟对象的用户交互相关联。由处理器来执行存在检测逻辑以用于与第一显示装置通信地来检测真实世界对象的存在，所述真实世界对象包括在其表面上的标记。由处理器执行识别逻辑以用于识别真实3D空间中的真实世界对象相对于用户双眼的位置和定向。处理器执行以下各项：渲染逻辑，其用于渲染相对于标记被定位和定向在虚拟3D空间中的虚拟对象；操纵逻辑，其用于响应于对真实3D空间中的真实世界对象的操纵来操纵虚拟对象；以及传输逻辑，其用于由处理器传输渲染数据以在第一显示装置的显示器上视觉地显示虚拟对象。在一些实施例中，操纵逻辑进一步包括：由处理器执行的变化检测逻辑，其用于检测真实世界对象的位置和定向中的一者的变化；由处理器执行的更改逻辑，其用于基于真实世界对象的检测到的变化来更改虚拟空间中的虚拟对象的位置和定向中的一者或多者；以及由处理器执行的变化传输逻辑，其用于将经更改的位置和定向传输到第一显示装置。在一些实施例中，真实世界对象是包括触摸屏和多种传感器在内的第二显示装置。第二显示装置a)存在于第一显示装置的相机的视野中，且可通信地联接到第一显示装置，不过不需要存在于视野中，因为其他传感器也可以提供用于准确跟踪两个装置(以每一者相对于另一者的方式)的有用数据。标记显示在第二显示装置的触摸屏上，且操纵逻辑进一步包括：由处理器执行的接收逻辑，其用于从第二显示装置接收关于用户触摸输入的数据；以及由处理器执行的逻辑，其用于响应于关于用户触摸输入的数据来操纵虚拟空间中的虚拟对象。关于用户触摸输入的数据可以包括用户身体部位相对于标记在触摸屏上的位置信息。操纵逻辑进一步包括：由处理器执行的位置改变逻辑，其用于改变虚拟空间中的虚拟对象的位置以跟踪位置信息；以及由处理器执行的大小改变逻辑，其用于响应于用户触摸输入来改变虚拟对象的大小。在一些实施例中，处理器包括在第一显示装置中，且设备进一步包括：由处理器执行的显示逻辑，其用于在第一显示装置的显示器上显示虚拟对象。一种非暂时性处理器可读存储介质包括处理器可执行指令，所述指令用于由与第一显示装置通信的处理器来检测真实世界对象的存在，所述真实世界对象包括在其表面上的标记。在一些实施例中，非暂时性处理器可读介质进一步包括用于以下各项的指令：识别真实3D空间中的真实世界对象相对于用户双眼的位置和定向；渲染相对于标记被定位和定向在虚拟3D空间中的虚拟对象，所述虚拟对象可经由对真实3D空间中的真实世界对象的操纵来操纵；以及由处理器传输渲染数据以在第一显示装置的显示器上视觉地显示虚拟对象。在一些实施例中，用于经由对真实世界对象的操纵来操纵虚拟对象的指令进一步包括用于以下各项的指令：检测真实世界对象的位置和定向中的一者的变化；基于真实世界对象的检测到的变化来更改虚拟空间中的虚拟对象的位置和定向中的一者或多者；以及基于检测到的变化向用户显示处于经更改的位置和定向中的一者或多者的虚拟对象。在一些实施例中，真实世界对象是包括触摸屏在内的第二显示装置，其存在于第一显示装置的相机的视野中且可通信地联接到第一显示装置。标记显示在第二显示装置的触摸屏上。非暂时性介质进一步包括用于以下各项的指令：从第二显示装置接收关于用户触摸输入的数据；以及响应于关于用户触摸输入的数据来操纵虚拟空间中的虚拟对象。在一些实施例中，真实世界对象是另一个对象的3D打印模型，且虚拟对象包括另一对象的虚拟外表面。虚拟外表面编码另一对象的真实世界表面反射率性质，且虚拟对象的大小基本上类似于3D打印模型的大小。非暂时性介质进一步包括用于由处理器响应于指示购买本文档来自技高网...

【技术保护点】
一种方法，其包括：由与第一显示装置通信的处理器来检测真实世界对象的存在，所述真实世界对象包括在其表面上的标记；由所述处理器识别真实3D空间中的所述真实世界对象相对于用户双眼的位置和定向；由所述处理器渲染相对于所述标记被定位和定向在虚拟3D空间中的虚拟对象，并且所述虚拟对象被配置成经由对所述真实3D空间中的所述真实世界对象的操纵来实现在所述虚拟3D空间中的控制；以及由所述处理器将渲染数据传输到所述第一显示装置，以视觉地呈现所述虚拟3D空间中的所述虚拟对象。

【技术特征摘要】
【国外来华专利技术】2015.02.13 US 14/621,6211.一种方法，其包括：由与第一显示装置通信的处理器来检测真实世界对象的存在，所述真实世界对象包括在其表面上的标记；由所述处理器识别真实3D空间中的所述真实世界对象相对于用户双眼的位置和定向；由所述处理器渲染相对于所述标记被定位和定向在虚拟3D空间中的虚拟对象，并且所述虚拟对象被配置成经由对所述真实3D空间中的所述真实世界对象的操纵来实现在所述虚拟3D空间中的控制；以及由所述处理器将渲染数据传输到所述第一显示装置，以视觉地呈现所述虚拟3D空间中的所述虚拟对象。2.根据权利要求1所述的方法，其中，所述虚拟对象被配置成经由对所述真实世界对象的操纵来实现控制进一步包括：由所述处理器检测所述真实世界对象的所述位置和定向中的一者的变化。3.根据权利要求2所述的方法，进一步包括：由所述处理器基于所述真实世界对象的检测到的变化来更改所述虚拟空间中的所述虚拟对象的位置和定向中的一者或多者；以及由所述处理器将渲染数据传输到所述第一显示装置，以基于所述检测到的变化在经更改的位置和定向中的一者或多者处来视觉地显示所述虚拟对象。4.根据权利要求1所述的方法，所述真实世界对象是包括触摸屏在内的第二显示装置，所述第一显示装置通信地联接到所述第二显示装置，所述联接实现所述第一显示装置与所述第二显示装置之间的数据交换。5.根据权利要求4所述的方法，其中在所述第二显示装置的所述触摸屏上检测到所述标记。6.根据权利要求4所述的方法，进一步包括：由所述处理器从所述第二显示装置接收关于所述用户的触摸输入的数据；以及由所述处理器响应于关于所述用户的触摸输入的所述数据来操纵所述虚拟空间中的所述虚拟对象或虚拟场景。7.根据权利要求6所述的方法，关于所述用户的触摸输入的所述数据包括所述用户的身体部位相对于所述标记在所述触摸屏上的位置信息。8.根据权利要求7所述的方法，对所述虚拟对象的所述操纵进一步包括：由所述处理器改变所述虚拟空间中的所述虚拟对象的位置以跟踪所述位置信息。9.根据权利要求6所述的方法，对所述虚拟对象的所述操纵进一步包括：由所述处理器响应于所述用户的触摸输入来改变所述虚拟对象的大小、形状、照明和渲染性质中的一者或多者。10.根据权利要求9所述的方法，其中所述用户的触摸输入对应于选自由以下各项组成的一群手势的手势：单次轻击或多次轻击、轻击并按住、旋转、轻扫或捏动缩放手势。11.根据权利要求4所述的方法，其进一步包括：由所述处理器从所述第二装置中所包括的多个传感器中的至少一者接收关于输入的数据；由所述处理器响应于来自所述第二装置的传感器输入数据来操纵所述虚拟对象或所述虚拟场景。12.根据权利要求1所述的方法，其中对真实世界对象的所述检测包括对另一个对象的3D打印模型的检测。13.根据权利要求12所述的方法，其中所述虚拟对象包括所述另一个对象的虚拟外表面，所述虚拟外表面编码所述另一个对象的真实世界表面材料的光学性质。14.根据权利要求13所述的方法，其中所述虚拟对象的几何和渲染性质中的一者或多者基本上类似于所述3D打印模型的对应性质。15.根据权利要求14所述的方法，其进一步包括：由所述处理器接收用于购买所述虚拟对象的渲染数据的用户输入；以及由所述处理器将关于所述用户对所述渲染数据的购买信息传输到供应商服务器。16.根据权利要求12所述的方法，其中所述虚拟对象的其他几何或渲染性质中的一者或多者不同于所述3D打印模型的对应性质。17.根据权利要求16所述的方法，其进一步包括：由所述处理器接收用于购买所述虚拟对象的渲染数据的用户输入；以及由所述处理器将关于所述用户对所述渲染数据的购买信息传输到供应商服务器。18.根据权利要求16所述的方法，其进一步包括：由所述处理器检测所述用户已购买所述虚拟对象的渲染数据以与所述3D打印模型一起使用；由所述处理器根据所述已购买的渲染数据来渲染所述虚拟对象。19.根据权利要求1所述的方法，其进一步包括：由所述处理器在所述第一显示装置的显示器上显示所述虚拟对象。20.一种设备，其包括：处理器；非暂时性存储介质，其具有存储在其上的处理器可执行的编程逻辑，所述编程逻辑包括：存在检测逻辑，其与第一显示装置通信地来检测真实世界对象的存在，所述真实世界对象包括在其表面上的标记；识别逻辑，其识别真实3D空间中的所述真实世界对象相对于用户双眼的位置和定向；渲染逻辑，其渲染相对于所述标记被定位和定向在虚拟3D空间中的虚拟对象；操纵逻辑，其响应于对所述真实3D空间中的对所述真实世界对象的操纵来操纵所述...

【专利技术属性】
技术研发人员：朱利安·M·乌尔巴赫，N·拉扎雷夫，
申请(专利权)人：OTOY公司，
类型：发明
国别省市：美国,US