本发明专利技术的各实施例一般涉及用于实现基于手势的签名认证的系统、方法和机器可读介质。在一个实施例中，系统可包括若干模态输入设备。每个模态输入设备能够检索来自用户的模态输入数据流。该系统还包括能够将检索到的模态输入数据流中的每个模态输入数据流解读成相应的动作集合的模态解读逻辑。该系统附加地包括用于将每个相应的动作集合指派成控制被显示对象之一的模态配对逻辑。另外，该系统具有使每个被显示对象由其被指派的动作集合来控制的模态控制逻辑。
【技术实现步骤摘要】
本专利技术的各实施例一般涉及集成电路领域，尤其涉及用于通过多模态输入的使用 来控制显示器上的对象的系统、方法和设备。
技术介绍
手势输入随着Nintendo (任天堂) Wii 和其他游戏设备已变得非常流行。随 着集成摄像机和阵列话筒在计算产品中变得更常见，诸如手势、语音和凝视(眼睛的使用 或者头的运动)之类的输入方法将变成更常见的输入手段。附图简述本专利技术的实施例在各附图的插图中是作为示例而非作为限制来示出的，在附图中 相同的附图标记指代相同的元件。附图说明图1示出眼睛凝视模态输入操纵在显示器上看到的东西的实施例。图2示出由用户作出的用以控制显示器上的对象的多模态输入的实施例。图3示出由用户作出的用以控制显示器上的对象的多模态输入的另一实施例。图4示出由两个用户分别作出的用以控制显示器上的对象的多模态输入的实施 例。图5是模块化多模态输入系统的实施例的框图。图6是利用模态输入流来控制被显示对象的过程的实施例的流程图。图7是利用多模态输入来同时控制一个以上被显示对象的过程的实施例的流程 图。图8示出实现多模态输入以控制显示器上的对象的计算机系统的实施例。图9示出实现多模态输入以控制显示器上的对象的计算机系统的另一实施例。详细描述各实施例一般涉及用于使用多模态输入来控制显示器上的对象的系统、方法和装置。在许多实施例中，使用多模态输入来控制被显示对象的过程涉及接收若干模态输 入流。该模态输入可以是来自任何类型的模态输入设备的输入。例如，模态输入设备可以 包括摄影机、话筒、诸如加速计之类的运动检测器、附连到皮肤的用以检测大脑或肌肉组织 中的电场/脉冲的电气测量装备、或者其他此类设备。模态输入设备可以能够捕捉(即，记 录)的模态输入类型有眼睛运动(即，眼睛凝视方向)、头运动、手臂和手运动、腿和脚运动、 语音命令以及许多其他形式的模态输入。模态输入“流”是指由这些模态输入设备之一捕捉的数据流。例如，摄影机可以针 对用户的眼睛运动被训练。摄影机可以每秒钟记录用户眼睛的特写视角的60个视频帧。这 些帧可被称为模态输入数据流。其他流包括音频捕捉流以及来自诸如Nintendo Wii 遥 控器之类的运动捕捉设备的坐标数据流，该运动捕捉设备可每隔一定数目个毫秒提供设备 位置的三维坐标。这些模态输入流中的若干模态输入流可被接收到计算设备中。每一流随后由该计 算设备内的逻辑解读以查明动作集合。该动作集合随后被指派给显示设备上的对象。电视机可以是所利用的显示设备。 电视机上的对象可以是虚拟的手、虚拟的腿、球、或者可被显示的许多其他类型的对象之 一。另外，在许多实施例中，对象可以是屏幕的虚拟视点摄像机视角。换言之，通过操纵摄 像机视角，在屏幕上看到的视图可以变化。例如，如果眼睛凝视从左转向右，那么可在屏幕 上显示的虚拟世界可以作为响应而向右旋转。本质上，该过程允许该动作集合附连至被显 示的对象(或者关联于所看到的东西的显示)并且该对象因此在显示器上由这些动作动态 地操纵。该过程的示例利用用户眼睛运动流。如果用户的眼睛从向左看变成向右看， 那么解读逻辑辨别此运动并创建涉及潜在地与时间戳耦合的该运动的可动作命令。该 集合中的单个动作可以看上去如此(眼睛凝视中心偏左30°，中心偏下15° ；时间 10:17:57. 098)。图1示出眼睛凝视模态输入操纵在显示器上看到的东西的实施例。时刻1时的显 示器示出用户眼睛位置在屏幕中心，该屏幕示出在屏幕右侧有颗树的所显示环境。此眼睛 位置由凝视跟踪装备100(例如，潜在地戴在用户头上的摄影机)跟踪。在时刻2，显示器正 示出相同的环境位置，但是用户的眼睛突然向右凝视，这由凝视跟踪装备100记录。眼睛运动可以随后被解读，其揭示部分在当前所显示环境右侧的合意环境参照 系。解读逻辑随后创建控制视点向右移动的动作集合，示出了在时刻2+时，(在时刻1和 时刻2时在屏幕右边的)树已由于眼睛运动而移动到屏幕的中心。这已满足用户，因为合 意视点现在已在显示器的中心，所以用户的眼睛再一次在显示器的中心。图2示出由用户作出的用以控制显示器上的对象的多模态输入的实施例。图2具 体而言将眼睛凝视运动和手臂手势运动用作两种类型的模态输入。具体而言，用户的眼睛 凝视运动由模态输入设备2A(200)跟踪并且手臂手势运动由模态输入设备2B(202)跟踪。 用户的眼睛凝视运动被指派成操纵显示器的参照系并且用户的手臂运动被指派成操纵显 示器上的虚拟四分卫手臂。当用户将其凝视向右移时，视点变化到新的参照系。这由结果2A(204)来表示，该 结果表明对应于顶部的显示器参照系的框被修改到屏幕的中心。这导致橄榄球运动员从显 示器的右侧移动到中心。随着此举的发生，用户用其手臂作出投掷运动(即，手势)。此手势由模态输入设 备2B 202捕捉。解读逻辑解读该投掷运动手臂手势并控制显示器上的虚拟四分卫手臂向 橄榄球运动员投掷橄榄球，这是结果2B(206)。图3示出由用户作出的用以控制显示器上的对象的多模态输入的另一实施例。 图3具体地将眼睛凝视运动、手臂手势运动和语音命令用作三种类型的模态输入。具体 而言，用户的眼睛凝视运动由模态输入设备3A(300)跟踪，手臂手势运动由模态输入设备 3B(302)跟踪，并且用户的语音命令由模态输入设备3C(304)记录。用户的眼睛凝视运动被 指派成操纵显示器的参照系，用户的手臂运动被指派成操纵虚拟冒险家挥动武器的手臂， 并且用户的语音命令被指派成操纵非玩家控制角色(NPC)冒险家好友将做的事情以帮助 显示器上的该冒险家。当用户将其凝视向左或向右移时，视点变化到新的参照系。这由结果3A(306)表 示，其表明用户目前的参照系在屏幕的中心，所以不需要移动。在模态输入“用户眼睛凝视”跟踪的同时，用户用其手臂作出运动(即，手势)。此 手势由模态输入设备3B 302捕捉。解读逻辑解读该手臂手势并控制冒险家的手臂用该冒 险家手中的虚拟武器来攻击、阻挡等。另外，在模态输入“用户眼睛凝视”跟踪和模态输入“用户手臂手势”跟踪的同时， 用户说出动作命令作为对冒险家的NPC好友的指令。例如，用户可能注意到有支箭将要击 中冒险家的好友并呼喊“避开”以使NPC好友避开该箭的路线。任何数目的语音命令可被 解读(例如，跳、攻击、坐下、等等)。因此，用户通过其眼睛、手臂和语音的同时模态输入可 以一次操纵显示器上的若干对象。图4示出由两个用户分别作出的用以控制显示器上的对象的多模态输入的实施 例。图4具体地将眼睛凝视运动和手臂手势运动用作两种类型的模态输入。尽管未在图 4中示出，但是相同或相似的模态输入设备可被用来跟踪用户眼睛凝视运动和手臂手势运 动。玩家1的眼睛凝视运动控制玩家1守门员402运动，此指派是通过模态控制链路1来 可视化的。玩家1的手臂手势运动404控制玩家1射手406运动，此指派是通过模态控制 链路2来可视化的。玩家2的眼睛凝视运动408控制玩家2守门员410运动，这是通过模 态控制链路3来可视化的。最后，玩家2的手臂手势运动412控制玩家2射手414运动，这 是通过模态控制链路4来可视化的。图5是模块化多模态输入系统的实施例的框图。多模态输入计算设备500可以是任何类型的计算设备，诸如台式计算机、服务器、 工作本文档来自技高网...
【技术保护点】
１．一种模块化多模态输入系统，包括：多个模态输入设备，每个模态输入设备检索来自用户的模态输入数据流；模态解读逻辑，用于将检索到的多个模态输入数据流中的每个模态输入数据流解读成相应的动作集合；模态配对逻辑，用于将每个相应的动作集合指派成控制多个被显示对象中的一个被显示对象；以及模态控制逻辑，用于通过每个被显示对象被指派的动作集合来控制该被显示对象。
【技术特征摘要】
...
【专利技术属性】
技术研发人员：G·J·安德森，R·A·多亨帝，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。