【技术实现步骤摘要】
本公开整体涉及评估用户与电子设备的交互,这些交互涉及手部和身体姿势、凝视、语音、手持式控制器输入、人机接口设备(hid)输入和/或其他用户活动。
技术介绍
1、可以在促进基于用户活动的交互方面改进现有的用户交互系统。
技术实现思路
1、本文所公开的各种具体实施包括将用户活动与3d环境内的元素相关联的设备、系统和方法。一些具体实施以考虑到在基于传感器的用户活动检测中的不准确性(即,模糊性)例如在基于传感器数据的凝视跟踪或基于传感器数据的手/关节位置中的不准确性的方式来进行。一些具体实施使用采样技术来将3d环境中的用户活动与适当的元素(诸如定位在3d环境内的用户界面(ui)的一部分)相关联。例如,采样技术可用于标识该3d环境内的样本位置(例如,凝视方向周围的样本位置)以对其进行评估并且最终从中进行选择以与用户活动相关联,例如将特定的ui按钮与凝视方向相关联。在一个示例中,用户活动为凝视方向,并且生成围绕该凝视方向的射线图案以标识候选ui目标,从候选ui目标中选择ui元素以与凝视方向相关联。
...【技术保护点】
1.一种方法,所述方法包括:
2.根据权利要求1所述的方法,其中选择将与UI活动相关联的所述UI目标包括:
3.根据权利要求2所述的方法,其中确定所述相应的UI目标中的每一个相应的UI目标上的所述点包括:
4.根据权利要求2所述的方法,其中选择将与所述UI活动相关联的所述UI目标是基于确定所述UI目标内的最近的不透明点在与所述用户活动相关联的样本位置的角距离阈值内。
5.根据权利要求2所述的方法,其中基于以下操作来选择将与所述UI活动相关联的所述UI目标:
6.根据权利要求1所述的方法,其中所标识的UI目标包
7...
【技术特征摘要】
1.一种方法,所述方法包括:
2.根据权利要求1所述的方法,其中选择将与ui活动相关联的所述ui目标包括:
3.根据权利要求2所述的方法,其中确定所述相应的ui目标中的每一个相应的ui目标上的所述点包括:
4.根据权利要求2所述的方法,其中选择将与所述ui活动相关联的所述ui目标是基于确定所述ui目标内的最近的不透明点在与所述用户活动相关联的样本位置的角距离阈值内。
5.根据权利要求2所述的方法,其中基于以下操作来选择将与所述ui活动相关联的所述ui目标:
6.根据权利要求1所述的方法,其中所标识的ui目标包括:
7.根据权利要求1所述的方法,其中标识所述ui目标包括:
8.根据权利要求7所述的方法,其中所述应用的所述ui元素占据二维(2d)区域,并且所述方法还包括:基于选择将与所述用户活动相关联的所述ui目标,向所述应用标识所述2d区域内的点,使得所述应用能够使用2d应用动作识别进程来识别将与所述ui元素相关联的动作。
9.根据权利要求7所述的方法,其中由所述应用提供的所述数据包括分层树结构,所述分层树结构限定所述ui元素在二维(2d)坐标系上相对于彼此的位置和包含关系。
10.根据权利要求7所述的方法,其中由所述应用提供的所述数据标识所述ui元素中的一些ui元素的外部效果,其中外部效果指定操作系统(os)进程将提供对相对于应用进程之外的指定ui元素的指定用户活动的响应。
11.根据权利要求1所述的方法,其中对应于所述用户...
【专利技术属性】
技术研发人员:J·K·舒茨伯格,D·M·塔提鲍姆,C·B·洛蒂,D·J·梅耶,L·索托多布拉多,
申请(专利权)人:苹果公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。