用个性化虚拟数据更新打印内容制造技术

本发明专利技术涉及用个性化虚拟数据更新打印内容。本技术允许使用透视、近眼、混合现实显示设备系统来用个性化虚拟数据更新打印内容。例如书籍或杂志等打印内容项被从显示设备上的相机所捕捉的图像数据中标识，并且基于例如眼睛注视或姿势等物理动作用户输入来标识对打印内容项内的打印内容选择的用户选择。基于用户简档数据为打印内容选择从可用的虚拟数据中选择虚拟数据，并且该显示设备系统在与该打印内容选择的位置配准的位置中显示所选择的虚拟数据。在一些示例中，基于物理动作用户输入来确定与打印内容项有关的任务，并且根据该任务与该打印的内容项配准地显示个性化虚拟数据。

【技术实现步骤摘要】

本专利技术涉及混合现实，尤其涉及用个性化虚拟数据更新打印内容。
技术介绍
静态的打印的材料可以被认为是一种形式的只读存储器，所述存储器不需要电力并且以对人眼可见的形式来存储其数据。此外，数据通常以人眼能够舒适阅读的格式来呈现，这种格式将打印的文字呈现在白色或另一种对比色的纸的对比物理背景上。而且，大量信息可被存储在诸如教科书等打印的材料中。然而，将文学内容永久设置在卡片、书籍、杂志和用于表达文学内容的其他打印的介质上也意味着不能针对读者改编所述内容。
技术实现思路
混合现实是一种允许将虚拟图像与现实世界视图相混合的技术。用户可佩戴透视、近眼、混合现实显示设备来观看现实对象和以用户的视野来显示的虚拟对象的混合图像。诸如头戴式显示(HMD)设备等近眼显示设备可以更新静态的打印材料中所体现的数据。换言之，实体书籍、杂志、或静态的打印材料的其他实施例在以下意义上成为了一种形式的动态存储器:打印的纸片、打印的卡片、或其他打印介质上出现的东西可以改变，并且可以基于用户简档(profile)数据来改变。本专利技术技术提供一种使用透视、近眼、混合现实显示设备来用个性化的虚拟数据更新打印的内容的方法的实施例。该方法包括:标识透视、近眼、混合现实显示设备的视野中的打印内容项，以及基于物理动作用户输入来标识用户在打印内容项内选择的打印内容选择。打印的内容项的一些示例是书籍或杂志。打印内容选择的一些示例是字、短语、图解、或段落。物理动作用户输入的一些示例是用户生成的姿势、眼睛注视、以及声音或语音。确定虚拟数据是否对打印内容选择可用，并且响应于虚拟数据对打印内容选择可用，基于用户简档数据从可用数据中选择虚拟数据。在与打印内容选择的位置配准的位置处显示该虚拟数据。虚拟数据是虚拟对象的图像数据，并且可以是二维(2D)或三维(3D)的。与现实对象(如打印内容选择)配准的虚拟对象或虚拟数据意味着该虚拟对象参考或取决于通过该透视显示设备所看到的打印内容选择的位置来跟踪该虚拟对象在该透视显示设备的视野中的位置。本专利技术技术为用于用个性化的虚拟数据来更新打印内容的透视、近眼、混合现实显示设备系统提供了系统的实施例。该系统包括由支撑结构定位的透视显示器。支撑结构的一个示例是眼镜架。至少一个面向外的相机被定位在支撑结构上以捕捉该透视显示器的视野的图像数据。一个或多个软件控制的处理器能够访问所存储的用户简档数据并且通信地耦合到搜索引擎，所述搜索引擎能够访问一个或多个数据存储，所述数据存储包括作品的内容、布局和虚拟数据以及体现所述作品的打印内容项。所述一个或多个软件控制的处理器通信地耦合到至少一个面向外的相机以用于接收视野的图像数据。基于该视野的图像数据，所述一个或多个软件控制的处理器标识选择打印内容项中的打印内容选择的用户物理动作。该一个或多个软件控制的处理器基于用户简档数据和打印内容选择从一个或多个数据存储中选择虚拟数据，并且通信地耦合到至少一个图像生成单元以供该透视显示器致使该单元显示该虚拟数据。该技术提供一个或多个处理器可读存储设备的实施例，该存储设备具有编码于其上的指令，所述指令致使一个或多个处理器执行一种用于使用透视、近眼、混合现实显示设备来用个性化的虚拟数据更新打印内容的方法。该方法包括:标识透视、近眼、混合现实显示设备的视野中的打印内容项，以及基于物理动作用户输入来确定与该打印内容项有关的任务。执行该任务，并且根据该任务将该个性化的虚拟数据显示为与该内容项配准。提供本
技术实现思路
以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本
技术实现思路
并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。附图说明图1A是描绘透视、混合现实显示设备系统的一个实施例的示例组件的框图。图1B是描绘透视、混合现实显示设备系统的另一实施例的示例组件的框图。图1C是描绘将移动设备用作处理单元的透视、混合现实显示设备系统的另一实施例的示例组件的框图。图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透明、混合现实显示设备的实施例中的镜架的镜腿的侧视图。图2B是透视、近眼、混合现实设备的显示光学系统的实施例的俯视图。图3是从软件角度来看的用于通过透视、混合现实显示设备系统来提供混合现实用户界面的系统的框图，在其中用于用个性化虚拟数据来更新打印内容的软件可操作。图4A示出打印内容选择元数据记录的示例。图4B示出与打印介质相关(medium-dependent)的以及与介质无关(medium-1ndependent)的交叉引用内容数据存储的示例。图5A是用于用个性化的虚拟数据来更新打印内容的方法的实施例的流程图。图5B是用于用个性化的虚拟数据来更新打印内容的方法的另一实施例的流程图。图6是用于标识透视、混合现实显示设备的视野中的打印内容项的过程的实施例的流程图。图7A是用于标识用户的眼睛选择打印内容选择的至少一个物理动作的过程的实现示例的流程图。图7B是用于标识用户的眼睛选择打印内容选择的的至少一个物理动作的过程的另一实现示例的流程图。图7C是用于标识姿势选择打印内容选择的至少一个物理动作的过程的实现示例的流程图。图8是用于生成用户定义的姿势并将该姿势与任务相关联的过程的实现示例的流程图。图9是用于确定虚拟数据相对于打印材料的放置的过程的实现示例的流程图。图10是用于基于用户简档数据来从可用虚拟数据中选择虚拟数据的过程的实现示例的流程图。图11示出在博物馆布告(placard)的示例上下文中用个性化的虚拟数据来更新打印内容的示例。图12A示出了标识用户在作为打印内容项的示例的书籍内选择打印内容选择的姿势的示例。图12B示出了标识并显示与打印内容选择有关的数据的示例，所述数据是在从另一应用接收的用户的用户简档数据中标识的另一人的数据。图13示出了执行与打印内容选择和透视、近眼、混合现实显示设备系统的用户的当前位置有关的方向任务的示例。图14A是用于执行学习辅助任务的过程的实现示例的流程图，所述学习辅助任务基于用户问题来检索虚拟数据。图14B示出了显示在一个或多个虚拟页面上格式化的虚拟数据的学习辅助任务的示例，所述虚拟页面看上去像是作为一个或多个相邻页面而被插入包括打印内容选择的页面。图15A是用于执行单词学习辅助任务的示例的过程的实现示例的流程图。图15B是用于执行单词学习辅助任务的示例的过程的另一实现示例的流程图。图15C示出了显示单词的定义的单词学习辅助任务的示例。图15D示出了显示单词的同义词的单词学习辅助任务的示例。图16是用于执行以下任务的过程的实现的流程图:该任务允许用户用打印内容项中的一个或多个其他单词来替换至少一个单词。图17是可用于实现网络可访问计算系统的计算系统的一个实施例的框图。图18是可以在本技术的各实施例中操作的示例性移动设备的框图。具体实施例方式本技术提供用于用基于用户简档数据且由透视、近眼、混合现实显示设备系统显示的虚拟数据更新静态的打印内容的各实施例。透视显示设备系统标识用户视野中的真实书籍、杂志、报纸或其他真实的打印材料。书籍、杂志、报纸、卡片或独立的纸片都是打印内容项的示例，对象识别软件能够从面向前的相机所捕捉的图像数据中标识这些打印内容项，所述相机被置于显示设备系统上用于捕捉该显本文档来自技高网...

【技术保护点】
一种用于使用透视、近眼、混合现实显示设备来用个性化虚拟数据更新打印内容的方法，包括：标识透视、近眼、混合现实显示设备的视野中的打印内容项；基于物理动作用户输入来标识对所述打印内容项内的打印内容选择的用户选择；确定虚拟数据是否可用于所述打印内容选择；响应于虚拟数据可用于所述打印内容选择，基于用户简档数据从可用虚拟数据中选择虚拟数据；以及在与所述打印内容选择的位置配准的位置中显示所述虚拟数据。

【技术特征摘要】
2011.12.07 US 13/313,368;2012.01.09 US 13/346,6741.一种用于使用透视、近眼、混合现实显示设备来用个性化虚拟数据更新打印内容的方法，包括: 标识透视、近眼、混合现实显示设备的视野中的打印内容项； 基于物理动作用户输入来标识对所述打印内容项内的打印内容选择的用户选择； 确定虚拟数据是否可用于所述打印内容选择； 响应于虚拟数据可用于所述打印内容选择，基于用户简档数据从可用虚拟数据中选择虚拟数据；以及 在与所述打印内容选择的位置配准的位置中显示所述虚拟数据。2.按权利要求1所述的方法，其特征在于，还包括基于眼睛跟踪数据来确定当前存在状态并且更新用户简档数据中存储的所述当前存在状态；以及 其中基于用户简档数据来选择虚拟数据包括基于所述当前存在状态来选择虚拟数据。3.按权利要求1所述的方法，其特征在于: 用户简档数据包括身份数据，所述身份数据包括用户年龄；以及其中基于用户简档数据来从所述可用虚拟数据中选择虚拟数据包括基于所述用户年龄来选择对年龄适当的虚拟数据。4.按权利要求1所述的方法，其特征在于，还包括: 访问与所述打印内容选择以及所述用户的用户简档数据中所标识的另一人有关的数据；以及 其中基于用户简档数据来从所述可用虚拟数据中选择虚拟数据包括选择关于所述另一人的数据用于所述虚拟数据。5.按权利要求1所述的方法，其特征在于，还包括: 存储所述虚拟数据，其中所述虚拟数据与体现在所述打印内容项中的作品的与介质无关的版本的布局中的所述打印内容选择中体现的内容配准。6.按权利要求1所述的方法，其特征在于，还包括: 基于物理动作用户输入来确定与所述打印内容项有关的任务； 执行所述任务；以及 根据所述任务与所述打印内容项配准地显示个性化虚拟数据。7.按权利要求6所述的方法，其特征在于，执行所述任务进一步包括通过以下动作来执行学习辅助任务: 监视所述透视、近眼、混合现实显示设备的话筒所捕捉的音频数据以获得所述打印内容项中的一个或多个单词； 通过语音识别软件来标识所述用户所提的、与所述打印内容项的所述一个或多个单词有关的问题； 基于所述问题来制 定查询； 基于所述查询为所述打印内容项搜索包括虚拟数据的一个或多个数据存储；以及响应于接收到基于所述查询的虚拟数据，在...

【专利技术属性】
技术研发人员：S·M·斯莫尔，A·AA·基普曼，B·I·瓦特，K·S·佩雷斯，
申请(专利权)人：微软公司，
类型：发明
国别省市：