与数字代理的基于力的交互制造技术

各实施例涉及实现与智能个人助理(IPA)的基于力的交互。能够感测施加于所输入的触摸输入的力的计算设备被配置有基于压力的过滤器，该过滤器检查触摸输入的压力以确定哪些触摸输入将被转移到IPA或者哪些触摸输入将被传递到与IPA无关的下层用户界面。基于被指定用于IPA的触摸输入的压力特性，这些触摸输入可以变成IPA的上下文的一部分。一些IPA对触摸输入的使用包括：选择显示器上的图形对象，将外部短语(例如，“那个”、“那些”)解析为指代如此选择的图形对象，显示瞬态用户界面以提供关于所选择对象的信息(或针对所选择对象的动作)，将所选择对象并入IPA的当前上下文中，等等。

Force-based Interaction with Digital Agents

The embodiments relate to the realization of force-based interaction with intelligent personal assistant (IPA). A computing device capable of sensing the force applied to the input touch input is configured with a pressure-based filter that checks the pressure of the touch input to determine which touch input will be transferred to the IPA or which touch input will be transferred to the IPA-independent lower user interface. Based on the pressure characteristics of the touch inputs designated for IPA, these touch inputs can become part of the context of IPA. Some IPA uses of touch input include: selecting graphical objects on display, parsing external phrases (such as \that\, \those\) to refer to such selected graphical objects, displaying transient user interfaces to provide information about the selected objects (or actions against the selected objects), incorporating the selected objects into the current context of IPA, and so on.

【技术实现步骤摘要】
【国外来华专利技术】与数字代理的基于力的交互
技术介绍
成熟软件技术的融合已使得智能个人助理(IPA)对于日常使用变得实际。语音识别准确性、机器学习、以及对各种数据的快速访问已被组合以使IPA理解并执行复杂的语音命令(如本文所使用的，“命令”是指指令和问题两者)变得可能。一些熟知的IPA是Apple的Siri(TM)、GoogleNow(或GoogleAssistant)(TM)、亚马逊的Alexa(TM)、微软的Cortana(TM)、Facebook的M(TM)、Sirius(开源)、以及其它。虽然IPA在一般能力方面继续改善，但这些代理对上下文的理解有限，因为它应用于执行IPA的设备(或者其至少某一部分，例如前端)的显示器上的特定对象。目前，为了指代特定的屏幕上对象，用户必须描述对象的属性(例如，名称)来指定特定的对象。实验IPA已实现对位置的详细冗余描述以指定对象。用户可能会说出诸如“发送从左上角数的第三对象”、“打开从右侧数第四个从下数的第二个图标”或“分享我的猫戴着帽子的图片”等描述。对于用户而言表述这种描述性短语可能是乏味的，并且IPA经常难以解释。一些IPA能够从屏幕上示出的信息中推断语音命令的上下文。然而，这种方法涉及尝试枚举所有感兴趣的对象，并且不能够指定特定对象的上下文。另外，这种方法对于较大的设备或者在多任务场景中特别受限，其中用户可能指代的对象(例如，当说出命令“共享这个”时)是非常模糊的。一些IPA分析屏幕上的任何内容，并基于对象的属性以及可能其他因素(例如最近使用活动或其目标)来做出关于对象的推断和假设。这种启发式猜测通常无法识别用户的预期目标。用于确定用户所指代的是哪个屏幕上对象的现有方法都没有涉及明确的手动(即，触摸)指定。因此，作为现有任务流的一部分，IPA最终向用户提供有限的值。使用非语音形式的用户输入来向IPA指定对象(例如触摸输入)似乎很方便。然而，大多数操作系统已经被设计为以预先定义的方式来处理触摸输入。针对对象的触摸很可能已经被保留用于触发预期响应。下面讨论用于使得触摸输入能够用于指定IPA的上下文而不会干扰预先存在的触摸功能的技术。
技术实现思路
包括以下
技术实现思路
仅为了介绍以下具体实施方式中所讨论的一些概念。该
技术实现思路
不是全面的，并且并非旨在描述所要求保护的主题内容的范围，该主题内容的范围由本申请给出的权利要求来阐述。各实施例涉及实现与智能个人助理(IPA)的基于力的交互。能够感测施加于所输入的触摸输入的力的计算设备被配置有基于压力的过滤器，该过滤器检查触摸输入的压力以确定哪些触摸输入将被转移到IPA或者哪些触摸输入将被传递到与IPA无关的下层用户界面。基于被指定用于IPA的触摸输入的压力特性，这些触摸输入可以变成IPA的上下文的一部分。一些IPA对触摸输入的使用包括：选择显示器上的图形对象，将外指(exophoric)短语(例如，“那个”、“那些”)解析为指代如此选择的图形对象，显示瞬态用户界面以提供关于所选择对象的信息(或针对所选择对象的动作)，将所选择对象并入IPA的当前上下文中，等等。下面将参考结合附图考虑的以下详细描述来解释许多伴随特征。附图说明从以下根据附图阅读的详细描述将更好地理解本说明书，其中类似的附图标记用于表示所附说明书中的类似部件。图1示出了被配置为在显示器上提供用户界面的计算设备。图2示出了计算设备的另外细节。图3示出了IPA的细节。图4示出了触摸输入如何通过压力过滤器以转移到IPA或传递到应用层。图5示出了使用触摸输入的压力来解析语音命令的外指短语的过程。图6示出了基于与通过语音识别所识别的命令相关联的触摸输入来识别外指物的一个或多个对象的过程。图7示出了语音命令和针对语音命令触摸输入在其相对时间顺序方面可以如何不同。图8示出了压力过滤的触摸输入的某些功能可以如何用于帮助解析语音命令中的外指物。图9示出了解决多元外指物的示例。图10示出了IPA使用触摸输入提示来提供关于对象的上下文洞察的实施例。图11示出了可以在其上实现上述实施例的计算设备的细节。具体实施方式图1示出了被配置为在显示器102上提供用户界面的计算设备102。显示器102具有触摸和压力感测能力。操作系统106包括输入堆栈108、显示管理器110和窗口系统112。输入堆栈108包括设备驱动器和从第一显示器102接收原始压力点并将它们转换为窗口系统112可使用的形式的其他组件。窗口系统112提供已知功能，例如接收压力点并将它们作为事件分派给相应窗口(例如，应用)的软件，生成用于窗口的图形等等。显示管理器110管理由窗口系统112生成的图形的显示，并且可以为窗口系统112提供抽象显示功能，例如提供与哪些显示器可用及其属性有关的信息。计算设备100还包括压力过滤器114和智能个人助理116(IPA)。压力过滤器114是输入处理链中的模块，该模块评估触摸输入的压力特征以将满足由压力过滤器114实现的压力条件的触摸输入“过滤”或转移到IPA116。在一些实施例中，由显示器102感测到的所有触摸输入由压力过滤器114评估，该压力过滤器114用作门，该门指示(i)满足压力条件的触摸输入将由IPA116接收和处理，以及(ii)指示不满足压力条件的触摸输入传递给窗口系统112的普通输入处理链，该普通输入处理链将触摸输入分派给窗口管理器、应用窗口、用户界面元素等等。IPA116是已知类型的软件模块，但是如本文所述进行修改或扩展以使用触摸输入来获取上下文以用于向用户提供信息以及用于解释和执行语音命令。图1中所示出的模块的功能的细分仅是可以实现本文所描述的实施例的一种类型的环境的示例。本文所描述的实施例可以适用于显示图形并使用压敏触摸表面的任何计算设备。术语“触摸”在本文中用于描述由任何物理工具(包括手指、笔、手写笔等等)输入的点。图2示出了计算设备100的另外细节。当诸如手指或手写笔之类的物理指针120接触感测表面122时，感测表面122生成位置信号，该位置信号指示感测表面122的由物理指针120接触的对应点的位置。感测表面122还生成压力信号，该压力信号指示对由物理指针120施加到感测表面122的力的测量值。可以基于感测表面的位移、由接触点形成的形状、热量、像素级压力传感器阵列等等来实现力或压力感测。直接测量或间接估计物理指针120的变化力的任何手段都将是足够的。感测表面122输出原始压力点124，每个原始压力点124具有设备坐标和压力测量值，例如在0至1之间。输入堆栈108接收由设备驱动器126传递的原始压力点124。在硬件堆栈108与窗口系统112之间的某一点处，原始压力点被转换为显示坐标并由窗口系统112输出为输入事件128以向下传递通过可能以压力过滤器114开始的一系列响应器或处理器，并且随后通过窗口系统112到一个或多个应用或IPA116，视情况而定。图3示出了IPA116的细节。如上面提到的，IPA是已知的软件元件，并且用于实现IPA的细节可在别处获得。例如，LucidaIPA的源代码可以在github.com(claritylab/lucida)上获得。通常，IPA包括多种功能，这些功能可以在本地执行、远程执行、或两者。IPA116包括语音识别模块140。语音命令142被说出到计算设备10本文档来自技高网...

【技术保护点】
1.一种由计算设备执行的方法，所述计算设备包括存储硬件、处理硬件、显示器、以及感测触摸输入和力分量的触摸输入设备，所述方法由所述处理硬件执行存储在所述存储硬件中的指令来执行，所述方法包括：执行所述计算设备上的智能个人助理(IPA)，所述执行包括：使用语音识别来识别通过所述计算设备的麦克风来输入的命令，并调用针对所识别命令的相应操作；执行由图形用户界面组成的应用，所述执行包括显示所述图形用户界面，所述图形用户界面包括表示存储在所述计算设备上的对象的图形对象，所述应用被配置为：对针对所述图形用户界面的触摸输入进行响应；接收分别由所述力分量组成的触摸输入，每个力分量对应于经由所述触摸输入设备来输入对应触摸输入所利用的力的测量值；针对力条件来评估所述力分量，其中(i)每次确定经评估的力分量满足所述力条件时，基于该确定，根据所述图形用户界面中的目标对象的图形表示的位置并基于与满足所述力条件的经评估的力分量相对应的所述触摸输入的位置来由所述IPA或者针对所述IPA自动地识别所述目标对象，以及(ii)每次确定经评估的力分量不满足所述力条件时，将所述触摸输入提供给所述应用并且所述应用对所提供的触摸输入进行响应。...

【技术特征摘要】
【国外来华专利技术】2016.10.25 US 15/334,1531.一种由计算设备执行的方法，所述计算设备包括存储硬件、处理硬件、显示器、以及感测触摸输入和力分量的触摸输入设备，所述方法由所述处理硬件执行存储在所述存储硬件中的指令来执行，所述方法包括：执行所述计算设备上的智能个人助理(IPA)，所述执行包括：使用语音识别来识别通过所述计算设备的麦克风来输入的命令，并调用针对所识别命令的相应操作；执行由图形用户界面组成的应用，所述执行包括显示所述图形用户界面，所述图形用户界面包括表示存储在所述计算设备上的对象的图形对象，所述应用被配置为：对针对所述图形用户界面的触摸输入进行响应；接收分别由所述力分量组成的触摸输入，每个力分量对应于经由所述触摸输入设备来输入对应触摸输入所利用的力的测量值；针对力条件来评估所述力分量，其中(i)每次确定经评估的力分量满足所述力条件时，基于该确定，根据所述图形用户界面中的目标对象的图形表示的位置并基于与满足所述力条件的经评估的力分量相对应的所述触摸输入的位置来由所述IPA或者针对所述IPA自动地识别所述目标对象，以及(ii)每次确定经评估的力分量不满足所述力条件时，将所述触摸输入提供给所述应用并且所述应用对所提供的触摸输入进行响应。2.根据权利要求1所述的方法，所述方法还包括：确定在正由所述IPA处理的给定命令中存在外指短语；以及基于确定所述命令中存在所述外指短语，参照目标对象来执行所述命令。3.根据权利要求1所述的方法，其中，所述力条件用于在所述触摸输入之中区分将被用于向所述IPA标识对象的第一触摸输入与将不被用于向所述IPA标识对象的第二触摸输入。4.根据权利要求3所述的方法，其中，所述力条件至少包括一力阈值，并且所述评估包括：将所述力阈值与所述力分量进行比较，并且其中，被确定为满足所述力条件的每个触摸输入不被传递给所述应用，并且被确定为不满足所述力条件的每个触摸输入将不被用于由所述IPA或针对所述IPA来识别目标对象。5.根据权利要求1所述的方法，还包括：通过所述IPA显示用户界面元素来由所述IPA对目标对象的指示进行响应，其中，所述用户界面元素的内容是由所述IPA基于所述目标对象的一个或多个特征来选择的。6.一种计算设备，包括：处理硬件(358)；麦克风；触摸和力感测显示器，所述触摸和力感测显示器感测触摸输入并提供与所述触摸输入的力相对应的相应测量值；以及存储指令的存储硬件，所述指令被配置...

【专利技术属性】
技术研发人员：C·克莱因，C·R·卡波佐，B·D·埃利奥特，C·M·巴思，O·J·C·图奥米，S·申，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US