提出了眼睛控制用户机器交互系统和方法，其基于包括电子隐形眼镜的定向和运动的输入变量，帮助携带毫微微投影仪的隐形眼镜的佩戴者来控制和导航虚拟场景，该虚拟场景可以被叠加到现实世界环境上。各种实施例提供了佩戴者与虚拟环境之间的流畅、直观和自然流动的眼睛控制交互操作。在一些实施例中，眼睛运动信息用于在无需眨眼、挤眼、手势和使用按钮的情况下来唤醒智能电子隐形眼镜、激活虚拟场景中的工具或其任意组合。工具或其任意组合。工具或其任意组合。
【技术实现步骤摘要】
【国外来华专利技术】基于眼睛的激活和工具选择系统及方法
[0001]相关申请的交叉引用
[0002]本申请要求以下美国未决申请的优先权权益：于2019年10月24日提交的、名称为“EYE
‑
BASED ACTIVATION AND TOOL SELECTION SYSTEMS ANDMETHODS”、专利技术人列为Dominic Philip Haine、Scott Herz、Renaldi Winoto、Abhishek Bhat、Ramin Mirjalili和Joseph Czompo、美国专利申请第16/662,842号[案卷号20156
‑
2273(R124)]；以及于2020年1月6日提交的、名称为“Eye
‑
Gesture User Interface”、专利技术人列为Dominic Philip Haine和Scott Herz的、美国临时专利申请第62/957,734号[案卷号20156
‑
2382P(R140P)]；以及于2020年7月27日提交的、名称为“Eye
‑
Tracking User Interface forVirtual Tool Control”、专利技术人列为Dominic Philip Haine和Scott Herz的美国专利申请第16/940,152号[案卷号20156
‑
2382(R142)]。上述专利文件的全部内容通过引用并入本文。
[0003]本公开总体上涉及用于在虚拟环境中激活工具的眼睛控制系统及方法，具体而言，涉及允许用户基于由该用户佩戴的隐形眼镜内的传感器跟踪的眼睛运动来激活和选择虚拟工具的隐形眼镜系统。
技术介绍
[0004]AR/VR技术在庞大且多样化的市场中的发展是本领域技术人员所熟知的。诸如游戏、媒体、搜索和信息管理之类的市场实施了各种不同的AR/VR产品，以允许个人与虚拟环境进行交互。这些AR/VR产品为个人提供了丰富且动态的平台，用户可以在其中检索信息、查看媒体内容、导航虚拟场景并以AR/VR环境特有的方式与其他人互动。重要的是，这些AR/VR产品在整个使用过程中保持用户友好的体验，避免让用户承受过多的内容和信息，同时管理用户与虚拟环境交互的方式；鉴于当今AR/VR产品的限制，这项任务通常很困难。
[0005]虽然AR/VR技术为用户提供了在虚拟媒体中与虚拟内容进行独特交互并且享受身临其境的用户体验的能力，但这些技术并非没有限制。这些技术通常受到个人所能与虚拟环境进行交互的方式的限制。例如，许多AR/VR产品依赖于姿态、手控制器或其他类型的运动，这些运动必须转化为虚拟环境本身。这些交互动作可能是突兀的、难以学习的、随着时间的推移而疲劳、使用不方便，并且对于那些手臂或手无法轻松运动的用户而言是不可用的。此外，这些动作在社交环境中可以显得很尴尬，因此会对整体体验产生负面影响。
[0006]因此，需要允许用户按需激活智能隐形眼镜并且在虚拟场景中导航工具同时保持积极的整体体验的系统及方法。
附图说明
[0007]图1A示出了根据本公开实施例的示例性眼戴式显示(“EMD”)系统。
[0008]图1B示出了根据本公开的实施例的用于EMD系统的示例性隐形眼镜组件。
[0009]图1C示出了根据本公开的实施例的示例性电子隐形眼镜。
[0010]图2A示出了根据本公开的实施例的包括运动传感器的示例性电子隐形眼镜。
[0011]图2B示出了极坐标系系统，该极坐标系系统用作图1所示电子隐形眼镜中组件的参考系。
[0012]图2C和图2D示出了图1所示的电子隐形眼镜的参考系的各种约定。
[0013]图3示出了根据本公开的实施例的偏心跨度(SoE)的概念。
[0014]图4A示出了根据本公开的实施例将虚拟图像的可见部分投影到视网膜上。
[0015]图4B和图4C使用手电筒类比说明SoE的概念。
[0016]图5A示出了根据本公开的实施例的包括示例性激活阈值的“虚拟工具激活图表”。
[0017]图5B示出了根据本公开的实施例的用于使用激活阈值来选择工具的方法。
[0018]图5C示出了根据本公开的实施例的用于显示所选择工具的方法。
[0019]图5D示出了根据本公开的实施例的用于使用辅助设备来选择用于显示的若干工具的方法。
[0020]图5E示出了根据本公开的实施例的用于促进激活的一组示例性角度。
[0021]图5F示出了根据本公开的实施例的用于校准用户的眼睛运动范围的示例性方法。
[0022]图5G示出了根据本公开的实施例的用于自动调节激活灵敏度的示例性过程。
[0023]图6A至图6C示出了根据本公开的实施例的使用隐形眼镜中的电容性皮肤传感器测量眼窝中眼睛位置的示例性方法。
[0024]图7示出了根据本公开的实施例的通过观察周边来激活工具的示例性方法。
[0025]图8示出了根据本公开的实施例的示例性引导特征。
[0026]图9示出了根据本公开的实施例的分层工具集中的示例性工具如何揭示可选子工具的存在。
[0027]图10A至图10D示出了根据本公开的实施例的用于突出显示工具的示例性方法。
[0028]图11示出了根据本公开的实施例的用于将用户的眼睛运动解释为系统的激活或暂时激活的示例性方法。
[0029]图12示出了根据本公开的实施例的基于眼睛的激活和工具选择系统。
[0030]图13示出了根据本公开的实施例的使用基于眼睛的激活和工具选择系统的过程。
[0031]图14示出了根据本公开的实施例的使用基于眼睛的激活和工具选择系统的另一过程。
[0032]图15示出了根据本公开的实施例使用虚拟场景的可见部分中的触发器来揭示附近的虚拟对象。
[0033]图16A示出了利用根据本公开的实施例的连接符的虚拟对象。
[0034]图16B示出了根据本公开的实施例的在不使用可见连接符的情况下揭示存在其他不可见虚拟对象的虚拟对象。
[0035]图16C示出了根据本公开的实施例的具有连接符的代理或指针。
[0036]图16D示出了根据本公开的实施例的没有连接符的代理或指针。
[0037]图16E示出了根据本公开的实施例的用作存在不可见对象的提示的项。
[0038]图17示出了根据本公开的实施例的虚拟场景中的虚拟对象的示例性布置。
[0039]图18A和图18B示出了根据本公开的实施例的用于使用佩戴者的注视来揭示示例性虚拟场景中的对象的方法。
[0040]图19示出了根据本公开的实施例的用于在虚拟空间中揭示虚拟对象的方法。
[0041]图20A和图20B示出了根据本公开的实施例的用于在视觉上导航虚拟对象的方法。
[0042]图21示出了根据本公开的实施例的用于在视觉上导航虚拟信息的另一方法。
[0043]图22示出了本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种基于眼睛的激活方法，包括：跟踪用户的眼睛的位置、定向或运动中的至少一个以生成跟踪数据，眼睛跟踪由设置在隐形眼镜内的一个或多个传感器执行，所述隐形眼镜在被激活时将虚拟场景的至少一部分投射到所述用户的视网膜上；分析所述跟踪数据，以识别所述用户的眼睛的至少一个位置、定向或运动何时越过将眼睛运动范围的内部区域与外部区域分开的激活阈值，所述外部区域具有与工具相关联的第一位置；响应于所述用户的眼睛越过所述激活阈值到所述第一位置，激活隐形眼镜显示器；在所述内部区域内确定第二位置；以及在所述内部区域内在所述第二位置处显示所述工具，以允许所述用户与所述工具进行交互。2.根据权利要求1所述的基于眼睛的激活方法，其特征在于，所述虚拟场景被使用所述隐形眼镜内的毫微微投影仪投射在所述视网膜上。3.根据权利要求1所述的基于眼睛的激活方法，其特征在于，所述跟踪数据是通过跟踪所述用户的眼睛相对于所述用户的眼睛的眼窝的位置、定向或运动而生成的。4.根据权利要求1所述的基于眼睛的激活方法，其特征在于，与所选的工具相关联的至少一个子工具在所述工具在所述第二位置处被激活之后，被显示在所述内部区域内。5.根据权利要求1所述的基于眼睛的激活方法，其特征在于，跟踪所述用户的眼睛的位置、定向或运动中的至少一个的步骤还包括跟踪所述用户的头部运动以补充所述跟踪数据。6.根据权利要求1所述的基于眼睛的激活方法，其特征在于，所述跟踪数据的处理由在所述隐形眼镜外部的辅助设备进行分析，所述辅助设备经由至少一个无线通信信道与所述隐形眼镜通信，并且存储用户的眼睛的位置、定向或运动中的至少一个的数据。7.根据权利要求6所述的基于眼睛的激活方法，其特征在于，分析所述跟踪数据的步骤还包括以下步骤：对所存储的数据进行处理，使得与所述用户相关联的先前眼睛扫视运动被用于补充对所述用户的眼睛越过所述激活阈值到所述第一位置的识别。8.根据权利要求6所述的基于眼睛的激活方法，其特征在于，所存储的数据被用于基于所述用户的先前眼睛运动修改所述激活阈值被设置在所述眼睛运动范围内的位置。9.一种基于眼睛的滚动方法，包括：通过隐形眼镜将虚拟场景的至少一部分投射到用户的视网膜上，所述虚拟场景包括一个或多个视窗，每个视窗包括一个或多个滚动区域，以使得虚拟内容能够在每个视窗内的滚动；通过设置在所述隐形眼镜内的一个或多个传感器追踪所述用户的眼睛的在一个或多个自由度上的位置、定向或运动中的至少一个，以生成跟踪数据，所述跟踪数据指示用户的意图；响应于所述跟踪数据代表所述用户在一个视窗的一个或多个滚动区域中的一个内的注视点，使所述一个视窗内的虚拟内容以...
【专利技术属性】
技术研发人员：D，
申请(专利权)人：泰克图斯公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。