用于显示图形用户界面的方法、设备和系统技术方案

用于在图形用户界面上显示图形元素的技术包含用于生成捕获图像的可穿戴计算装置。可穿戴计算装置分析捕获图像以生成用于放置图形元素的图形用户界面上的一个或多个预期位置的图像位置度量数据。图像位置度量数据指示对应预期位置的一个或多个图像特性。可穿戴计算装置基于对应图像位置度量数据来确定每个预期位置的适当性数据。适当数据指示用于显示图形元素的对应位置的相对适合性。可穿戴计算装置基于适当性数据来选择预期位置之一，并在选择的预期位置在图形用户界面上显示图形元素。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
头戴式显示器和其它可穿戴显示器已经与可穿戴计算装置一起出现。头戴式和某些其它可穿戴显示器通过将视觉用户界面例如投影在安装在一对眼镜上的透明表面上而产生了在用户前面的自由空间中浮动的图像的错觉。投影的视觉界面通常也是透明的，使得界面不遮挡它后面的现有光。因而，投影的视觉界面看起来是覆盖或以别的方式观看用户的视野上。视觉用户界面一般总是投影到显示器的相同部分。附图说明本文描述的概念在附图中作为示例而非作为限制图示。为了图示的简洁和清晰起见，在附图中图示的元件不一定按比例绘制。在认为适当的地方，附图标记在各图之间已经被重复以指示对应或类似元件。图1是用于显示图形用户界面的可穿戴计算装置的至少一个实施例的简化框图；图2是图1的可穿戴计算装置的环境的至少一个实施例的简化框图；图3是用于由图1的可穿戴计算装置显示图形用户界面的方法的至少一个实施例的简化流程图；图4是用于确定图1的可穿戴计算装置的用户的上下文的方法的至少一个实施例的简化流程图；图5是用于分析由图1的可穿戴计算装置的相机捕获的图像的方法的至少一个实施例的简化流程图；以及图6-9是图示由图1的可穿戴计算装置在图形用户界面上的图形元素的预期放置的简化图解。具体实施方式虽然本公开的概念易受到各种修改和备选形式，但其特定实施例已经在附图中作为示例示出，并且将在本文中详细描述。然而，应该理解，没有意图将本公开的概念局限于所公开的具体形式，而是相反，本专利技术覆盖与本公开和所附权利要求书一致的所有修改、等同物和备选。在说明书中提到“一个实施例”、“实施例”、“图示实施例”等指示所描述的实施例可包含具体特征、结构或特性，但每一个实施例可以一定或者可以不一定包含该具体特征、结构或特性。而且，此类短语不一定是指同一实施例。另外，当结合实施例描述具体特征、结构或特性时，认为以结合不管是否明确描述的其它实施例实现此类特征、结构或特性在本领域技术人员的知识范围内。此外，应该认识到，包含在以“A、B和C中的至少一个”的形式的列表中的项目可指的是(A)；(B)；(C)；(A和B)；（A和C）；(B和C)或(A,B和C)。类似地，包含在以“A、B或C中的至少一个”形式的列表中的项目可指的是(A)；(B)；(C)；(A和B)；（A和C）；(B和C)或(A,B和C)。所公开的实施例在一些情况下可用硬件、固件、软件或它们的任何组合来实现。所公开的实施例也可实现为由易失性或非易失性机器可读（例如计算机可读）介质携带或存储在其上的指令，其可由一个或多个处理器读取和执行。机器可读存储介质可实施为用于存储或传送由机器（例如易失性或非易失性存储器、媒体盘或其它媒体装置）可读形式的信息的任何存储装置、机制或其它物理结构。在附图中，一些结构或方法特征可按特定布置和/或排序示出。然而，应该认识到，可能不需要此类特定布置和/或排序。而是，在一些实施例中，此类特征可按与在说明性附图中示出的不同的方式和/或次序布置。此外，在具体附图中包含结构或方法特征不打算暗示此类特征在所有实施例中都需要，并且在一些实施例中，可能不包含或者可与其它特征组合。现在参考图1，在说明性实施例中，可穿戴计算装置102配置成在头戴式显示器的图形用户界面上显示图形元素。图形元素可实施为文本、图像和/或其它视觉元素。如下面所详细论述的，可穿戴计算装置102捕获包含用户视野的一个或多个图像，并分析捕获图像和上下文数据以确定图形用户界面上的图形元素的适当显示位置。可穿戴计算装置102可实施为任何类型移动计算装置，包含头戴式显示器并且能够由用户穿戴，并执行本文描述的各种功能。例如，可穿戴计算装置102可实施为或另外包含任何类型头戴式显示器（例如计算机护目镜）或能够投影图形用户界面使得它与用户的视野合并或覆盖用户的视野上的其它可穿戴计算装置。如图1所示，说明性可穿戴计算装置102包含处理器110、输入/输出(\I/O\)子系统112、存储器114、通信电路116、一个或多个外围装置118、一个或多个相机120、显示器122、数据存储装置124和一个或多个传感器130。当然，在其它实施例中，可穿戴计算装置102可包含其它或附加组件，诸如通常在典型移动计算装置(例如各种输入/输出装置)中发现的组件。此外，在一些实施例中，说明性组件中的一个或多个可结合在另一组件中，或另外来自另一组件的一部分。例如，在一些实施例中，存储器114或其部分可合并在处理器110中。处理器110可被实施为能够执行本文描述的功能的任何类型处理器。例如，处理器可实施为单核或多核处理器、数字信号处理器、微控制器或其它处理器或处理/控制电路。类似地，存储器114可实施为能够执行本文描述的功能的任何类型易失性或非易失性存储器或数据存储装置。在操作中，存储器114可存储在可穿戴计算装置102操作期间使用的各种数据和软件，诸如操作系统、应用、程序、库以及驱动。存储器114以通信方式经由I/O子系统112耦合到处理器110，I/O子系统104可实施为电路和/或组件以便于与处理器110、存储器114和/或可穿戴计算装置102的其它组件的输入/输出操作。例如，I/O子系统112可实施为或另外包含存储器控制器集线器、输入/输出控制集线器、固件装置、通信链路（即，点对点链路、总线链路、导线、电缆、光导、印刷电路板迹线等）和/或其它组件和子系统以便于输入/输出操作。在一些实施例中，I/O子系统112可形成片上系统(SoC)的一部分，并与处理器110、存储器114和可穿戴计算装置102的其它组件一起合并在单个集成电路芯片上。通信电路116可实施为能够实现通过网络（未示出）在可穿戴计算装置102与其它移动装置之间通信的任何通信电路、装置或它们的组合。为了这么做，通信电路116可使用任何适合的通信技术（例如无线或有线通信）以及关联的协议（例如以太网、Bluetooth?、Wi-Fi?、WiMAX等）来实现此类通信，例如取决于网络类型，其可实施为能够实现可穿戴计算装置102与远程装置之间通信的任何类型通信网络。可穿戴计算装置102的外围装置118可包含任何数量的附加外围或接口装置。包含在外围装置118中的具体装置例如可取决于可穿戴计算装置102的类型和/或预计用途。相机120可实施为适合于捕获图像的任何外围或集成装置，诸如照相机、摄像机或能够捕获视频和/或图像的其它装置。在一些实施例中，可穿戴计算装置102可包含多个相机120，它们可用于例如从不同视角捕获图像。备选地或附加地，相机120中的一个或多个可以是三维（3D）相机、深度相机、双焦点相机和/或另外能够生成深度图像、通道或流。例如，相机120中的一个或多个可包含红外（IR）投影仪和IR传感器，使得IR传感器通过分析由IR投影仪投影在场景上的IR光图案来估计场景中对象的深度值。在另一实施例中，相机120中的一个或多个包含至少两个镜头和配置成从场景的至少两个不同视角捕获图像的对应传感器（例如立体相机）。在一些实施例中，相机120中的一个或多本文档来自技高网...

【技术保护点】
一种用于显示图形用户界面的可穿戴计算装置，所述可穿戴计算装置包括：相机，用于生成捕获图像；图像分析模块，用于分析所述捕获图像以生成用于放置图形元素的所述图形用户界面上的一个或多个预期位置的图像位置度量数据，所述图像位置度量数据指示所述对应预期位置的一个或多个图像特性；以及放置模块，用于（i）基于所述对应图像位置度量数据来确定每个预期位置的适当性数据，所述适当性数据指示用于显示所述图形元素的所述对应位置的相对适合性；（ii）基于所述适当性数据来选择所述预期位置之一；以及（iii）在所述选择的预期位置在所述图形用户界面上显示所述图形元素。

【技术特征摘要】
【国外来华专利技术】1.一种用于显示图形用户界面的可穿戴计算装置，所述可穿戴计算装置包括：
相机，用于生成捕获图像；
图像分析模块，用于分析所述捕获图像以生成用于放置图形元素的所述图形用户界面上的一个或多个预期位置的图像位置度量数据，所述图像位置度量数据指示所述对应预期位置的一个或多个图像特性；以及
放置模块，用于（i）基于所述对应图像位置度量数据来确定每个预期位置的适当性数据，所述适当性数据指示用于显示所述图形元素的所述对应位置的相对适合性；（ii）基于所述适当性数据来选择所述预期位置之一；以及（iii）在所述选择的预期位置在所述图形用户界面上显示所述图形元素。
2.如权利要求1所述的可穿戴计算装置，其中所述捕获图像包含所述可穿戴计算装置的用户的视野内的场景。
3.如权利要求1所述的可穿戴计算装置，其中分析所述捕获图像包括确定在所述一个或多个预期位置的所述捕获图像的复杂性，
其中确定每个预期位置的所述适当性数据包括基于在所述一个或多个预期位置的所述捕获图像的所述复杂性来确定每个预期位置的所述适当性数据。
4.如权利要求3所述的可穿戴计算装置，其中确定所述复杂性包括确定在所述一个或多个预期位置的所述捕获图像的熵得分。
5.如权利要求1所述的可穿戴计算装置，其中分析所述捕获图像包括确定在所述一个或多个预期位置的所述捕获图像的颜色特性，
其中确定每个预期位置的所述适当性数据包括基于在所述一个或多个预期位置的所述捕获图像的所述颜色特性来确定每个预期位置的所述适当性数据。
6.如权利要求5所述的可穿戴计算装置，其中确定在所述一个或多个预期位置的所述捕获图像的所述颜色特性包括：
生成所述图形元素的像素中存在的光的频率的参考表示；
生成所述捕获图像的每一个所述预期位置的像素中存在的光的频率的表示；以及
将所述捕获图像的每一个所述预期位置的像素中存在的光的频率的所述表示与所述参考表示进行比较。
7.如权利要求1-6中任一项所述的可穿戴计算装置，其中分析所述捕获图像包括确定在所述一个或多个预期位置的所述捕获图像的光强度，
其中确定每个预期位置的所述适当性数据包括基于在所述一个或多个预期位置的所述捕获图像的所述光强度来确定每个预期位置的所述适当性数据。
8.如权利要求1-6中任一项所述的可穿戴计算装置，其中分析所述捕获图像包括向所述捕获图像应用面部检测算法以确定所述捕获图像中的任何人的面部的位置，
其中确定每个预期位置的所述适当性数据包括基于在所述捕获图像中标识的每个人的面部的位置确定每个预期位置的所述适当性数据。
9.如权利要求1-6中任一项所述的可穿戴计算装置，还包括：深度分析模块，用于（i）基于所述捕获图像生成深度图，（ii）基于生成的深度图来确定所述捕获图像的前景层和背景层；以及（iii）基于所述可穿戴计算装置的用户的注视方向来标识焦点的图像层，
其中确定每个预期位置的所述适当性数据包括基于所述对应图像位置度量数据和所述焦点的图像层来确定每个预期位置的所述适当性数据。
10.如权利要求1所述的可穿戴计算装置，还包括：传感器处理模块，用于基于来自所述可穿戴计算装置的一个或多个传感器的数据来确定所述可穿戴计算装置的用户的上下文，
其中确定每个预期位置的所述适当性数据包括基于所述对应图像位置度量数据和所述用户的所述上下文来确定每个预期位置的适当性数据。
11.如权利要求10所述的可穿戴计算装置，其中确定所述用户的所述上下文包括确定所述用户的视觉负载、所述用户的音频负载或所述用户的生物状态中的一项或多项。
12.如权利要求10所述的可穿戴计算装置，其中所述放置模块还确定是否基于所述上下文数据来显示所述图形元素，其中确定所述适当性数据包括响应于显示所述图形元素的确定而确定适当性数据。
13.如权利要求10所述的可穿戴计算装置，其中确定所述用户的所述上下文包括确定所述用户的运动。
14.如权利要求...

【专利技术属性】
技术研发人员：J·雷特克里夫，G·B·拉法，A·扎菲罗格鲁，S·莫，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US