用于人类自然命令控制的多模态行为感知制造技术

通过使用以多模态的自然命令来控制计算机系统。在一个示例中，一种方法包括：接收以第一模态的第一命令，接收以第二模态的第二命令，确定第二命令是否证实第一命令，并且如果第二命令证实第一命令则执行第一命令。

【技术实现步骤摘要】
【国外来华专利技术】【专利摘要】通过使用以多模态的自然命令来控制计算机系统。在一个示例中，一种方法包括：接收以第一模态的第一命令，接收以第二模态的第二命令，确定第二命令是否证实第一命令，并且如果第二命令证实第一命令则执行第一命令。【专利说明】用于人类自然命令控制的多模态行为感知
本公开涉及通过使用自然命令来控制计算机系统，并且具体地涉及检测多个模式 的人类行为W作为命令。
技术介绍
语音和姿势命令已经在各种各样的领域中被开发用于人机交互。已经开发了识别 语音命令的软件应用。语音命令可W由计算机或者更最近地在远程服务器处被解释，所述 远程服务器然后将命令提供回到本地设备。还已经开发了识别姿势命令的各种系统。该些 最近对于游戏已经变得商业上流行起来，但是还已经被开发用于呈现软件和其它目的。 在将语音或姿势用作人机接口时，总是存在该样的风险：用户可能正在与另一个 人或甚至另一个机器交谈，但是机器将人类行为解释为命令。对于可靠的操作，计算机应当 知道何时命令真的旨在作为用于计算机执行的指令或仅仅是正常人类活动的部分。口头命 令可W例如碰巧是某人正在视频会议呼叫中讲述的故事的一部分。为了避免用户命令或姿 势的误解，一些系统使用一种机制，用户利用所述机制可W寻址机器。为了向机器指示用户 意图语音命令、姿势或其它类型的输入，一些地址或键盘命令首先被提供。 为了完全避免误解命令，机器操作者可W使用键盘和鼠标设备。该些允许命令被 精确地做出并且精确地指向特定机器。然而，它们对于人机交互而言不是自然的并且是非 直观的。在使用姿势或语音命令的一些系统中，用户约束他们的行为W适应于机器。例如， 用户可W在任何命令之前插入代词或恰当的名称作为主体，诸如在每个命令之前呼叫"计 算机"。该允许计算机听取其声音的地址或名称并且避免执行在正常对话或呈现中所包含 的命令。另一途径是要求用户在延长的时间内保持姿势。该是非正常的姿势，因此计算机 将不把它与其它正常姿势混淆。该些途径需要用户做一些特别的事W从正常人类行动中区 分计算机命令。结果，在平常的行动或言语之外，使得计算机交互感觉不自然并且不直观。 【专利附图】【附图说明】 作为示例并且不是作为限制地在附图的各图中图示了本专利技术的实施例，其中同样 的参考标号指代类似的元件。 图1是根据本专利技术的第一实施例的本专利技术的硬件实现的框图。 图2是根据本专利技术的第二实施例的本专利技术的硬件实现的框图。 图3是根据本专利技术的实施例的用于通过使用第二命令来确认第一命令的过程流 程图。 图4是根据本专利技术的实施例的适合于实现本公开的过程的计算机系统的框图。 【具体实施方式】 在下述一些示例中，计算机将多个模态组合在一起W便计算机具有更好和更准确 的基础来确定何时用户想要陈述或姿势成为用于计算机的命令。该可W使得系统适配于用 户，而不是让用户适配于系统。结果，整个人机接口体验对于用户而言更自然并且直观。在 一个示例中，该可W通过使用用户意图感知组件来进行，所述用户意图感知组件过滤掉可 能对计算机而言看起来像命令信号但不是的非故意信号。 本专利技术的实施例可W应用于使用相机作为主输入设备的任何无键盘PC(个人计算 机)设计或无键盘用户接口设计，并且其中导航或应用命令由多个模态控制。它还可W应用 于从用户感知的视角来看涉及多层通电策略的任何PC设计。虽然在PC的上下文中描述了 实施例，但是所描述的实施例可W应用于接收用户命令的任何设备，包括计算机、演示系统 或娱乐系统。 命令结构典型地具有若干层操作。如图1中所示，命令结构系统100具有某种类 型的传感器110,典型地为键盘、鼠标、触摸板或触摸屏。另外，还可W使用相机和麦克风。 通过监控器112、针对命令来监控传感器。在一些情况下，传感器生成被转发给中断检测器 116的中断113。监控器112经由传感器110来连续并恒定地或者W间隔而监控环境。它 基于传感器的类型而生成不同类型的警告或中断信号。对于键盘，存在针对不同键的不同 信号。对于触摸板，可W存在针对不同水平的按压和速度的不同水平。在其它情况下，传感 器可W是电容或电阻测量电路、水位计量仪、温度计、湿度计、质谱仪等等。 在报告层级，如果所监控的传感器生成事件，该样的对轮询信号的响应或中断，那 么该被检测116并且被指示给报告系统114。报告层级处理所监控的信号并且生成对应的 命令。在PC的情况下，敲击特定键被解释为字母或命令符号。转化器118接收报告并且将 那些指令转化成可行动的控制信号。命令控制装置120然后根据命令的性质和特定系统的 配置来履行或执行所期望的行动。 该系统100允许一种使用场景，其中，例如用户正在键入文档。用户然后通过说 "删除上一个字"或"将光标往后移动两行"而使用语音命令来编辑文档。该可W大大地改 善使用系统的便利性。该样的结构针对命令而监控112单个传感器110。系统具有单个模 态，或者是键盘和鼠标、或是触摸屏、或是姿势、或是语音等。一些系统可W允许不同的模态 被用作可替换方案。结果，存在该样的风险：命令可能被误解或者并非意图作为命令的某事 物可能被解释为命令。该可W通过使用模态的组合来避免。可W通过将附加传感器禪合到 监控器112或者通过重复命令结构系统来支持每种附加传感器类型而支持附加的模态。 模态的组合允许系统消除非故意的命令指令的执行。可W在演示幻灯片展示或混 合媒体演示的上下文中考虑多个模态的简单使用示例。用户可W组合例如卷动手势与短语 "下一张幻灯片"，而不是仅仅陈述"下一张幻灯片"。手势例如易于执行并且防止演示系统 在非意图的时候改变幻灯片。在该种情况下，手的卷动姿势可W是在演示期间或在正常对 话期间使用的常见自然姿势。类似地，短语"下一张幻灯片"可能在讨论幻灯片而没有意图 所显示的幻灯片改变到下一张幻灯片时使用。通过要求大约同时做出姿势和陈述二者，系 统允许用户在非常小的误解机会的情况下容易地移到下一张幻灯片。 另一使用场景还组合了接收口头命令的麦克风与观察操作者的相机。对于任何应 用，用户可W告诉计算机"关闭窗口！"。该可W是对计算机的命令，但它可能代替地是向房 间中位于打开的窗户附近的某人说的。相机可W用于人脸检测。相机可W用于确保说话者 正看着具有打开的窗口的计算机屏幕，而不是移开目光看着房间的另一部分或者看向另一 监控器上的不同窗口。相机可W不仅用于注意力的方向，而且还用于确保当接收到"关闭窗 口 "音频时，看着计算机屏幕的人也正在讲话。 除了使用多于一个模态之外，系统可W此外通过使用证实来确保发出了命令。在 W上示例中，两个不同的传感器模式被组合W确保发出了命令。传感器、麦克风和相机在典 型系统中总是活动的。作为可替换方案，可W使用证实，其在用信号通知候选命令控制之后 被激活。 证实可W是隐式或显式的。隐式证实得到关于用户的主动意图的信息而不需要来 自用户的任何特定行动。可WW该样的方式来查看"关闭窗口 "示例。如果主动意图证实 失败，于是接收命令的应用可W具有丢弃该命令的选项。可替换地，可W使用其它隐式证实 或发起的显式证实。 显式证实需要来自用户的一些行动。该样的显式证本文档来自技高网...

【技术保护点】
一种方法，包括：接收以第一模态的第一命令；接收以第二模态的第二命令；确定第二命令是否证实第一命令；以及如果第二命令证实第一命令则执行第一命令。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：N卢，AK鲍夫米克，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US