针对免提交互来自动调整用户界面制造技术

本发明专利技术公开了一种方法，该方法包括自动确定电子设备在车辆中而无需用户输入以及无需考虑数字助理应用是否被用户独立调用。在一些具体实施中，确定电子设备在车辆中包括检测到电子设备在与车辆通信(例如，通过有线或无线通信技术和/或协议)。该方法还包括，响应于所述确定，调用由电子设备实现的虚拟助理的收听模式。在一些具体实施中，该方法还包括限制用户查看由电子设备呈现的视觉输出、向电子设备提供键入的输入等能力。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求2013年6月8日提交的美国专利申请序列号13/913,421的优先权，该申请要求2012年6月9日提交的名称为“AutomaticallyAdaptingUserInterfacesForHands-FreeInteraction”的美国临时专利申请序列号61/657,744的权益，且是2011年9月30日提交的名称为“AutomaticallyAdaptingUserInterfacesforHands-FreeInteraction”的美国专利申请序列号13/250,947的部分延续申请，该申请是2011年1月10日提交的名称为“IntelligentAutomatedAssistant”的美国专利申请序列号12/987,982的部分延续申请，该申请又要求2010年1月18日提交的美国临时专利申请序列号61/295,774和2011年6月3日提交的美国临时专利申请序列号61/493,201的权益。所有以上申请的公开全文以引用方式并入本文中。
本专利技术涉及多模用户界面，更具体地，涉及包括基于语音形态和视觉形态两者的用户界面。
技术介绍
很多现有的操作系统和设备使用语音输入作为用户能够控制操作的形态。一个实例是语音命令系统，其将具体的口头命令映射到操作，例如，以通过讲出人名来发起电话号码的拨打。另一个实例是交互式语音响应(IVR)系统，其允许人通过电话诸如自动电话服务台来访问静态信息。很多语音命令和IVR系统的范围较窄，仅能够处理预定义的一组语音命令。此外，它们的输出常常是从固定一组响应提取的。智能自动化助理，本文也称为虚拟助理，能够提供人和计算机之间改进的界面，包括自然语言输入的处理。此类助理允许用户利用口语和/或文本形式的自然语言与设备或系统交互，可以如2011年1月10日提交的名称为“IntelligentAutomatedAssistant”的相关美国技术专利申请序列号12/987,982中所述那样实现此类助理，在此通过引用将其整个公开并入本文。此类助理解释用户输入，将用户的意图实施成任务和那些任务的参数，执行服务以支持那些任务，并产生对于用户可理解的输出。虚拟助理能够使用一般的语音和自然语言理解技术来识别更大范围的输入，使得能够与用户产生对话。一些虚拟助理能够在模式组合中生成输出，模式包括口头响应和书面文本，并还能够提供图形用户界面(GUI)，允许直接操控屏幕上的要素。然而，用户可能并非始终处于能够利用此类视觉输出或直接操控界面的情形中。例如，用户可能正在驾驶或操作机械，或者可能有视力残障，或者可能仅仅是不适或不熟悉视觉界面。在本文中将其中用户阅读屏幕或经由接触(包括使用键盘、鼠标、触摸屏、定点设备等)来与设备交互的能力受限或无此能力的任何情况称为“免提情景”。例如，在用户驾驶的同时尝试操作设备的情况下，如上所述，用户能够听到听觉输出并利用其语音做出响应，但出于安全的原因，不应阅读小号字体、在菜单上轻击或输入文本。免提情景给诸如虚拟助理的复杂系统的建立者带来了特殊的挑战。用户需要无论其是否处于免提情景中都能够完全利用设备的特征。然而，不考虑免提操作中固有的特定限制可能导致既限制设备或系统实用性又限制其可用性的状况，甚至可能因为使用户从诸如操作车辆的主要任务注意力分散而影响安全性。
技术实现思路
根据本专利技术的各种实施例，一种用于诸如虚拟助理在内的系统的用户界面针对免提使用进行自动调整。经由自动手段或手动手段检测免提情景，并且该系统调整复杂交互系统的各个阶段以改变用户体验来反映此类上下文的特定限制。因此，本专利技术的系统允许单一实现虚拟助理或其他复杂系统以动态提供用户界面要素，并改变用户界面行为，允许免提使用，而不会影响用户对同一系统手动使用的体验。例如，在各种实施例中，本专利技术的系统提供了用于调节虚拟助理的操作的机构，使得其提供输出从而允许用户无需阅读屏幕上的细节就完成其任务。此外，在各种实施例中，虚拟助理能够提供用于接收口头输入的机构作为阅读、轻击、点击、键入或执行常利用图形用户界面实现的其他功能的替代。在各种实施例中，本专利技术的系统提供了与常规图形用户界面相同(或近似)的基础功能性，同时允许与免提情景相关联的特定要求和限制。更一般地，本专利技术的系统允许核心功能性保持基本相同，同时方便在免提情景中的操作。在一些实施例中，在单次会话的一些情况下，根据本专利技术的技术构建的系统允许用户在免提模式和常规(“手动”)模式之间自由选择。例如，可以使同一界面能够适应于办公环境和移动的车辆两者，其中该系统在环境变化时对用户界面的行为动态地做出必要更改。根据本专利技术的各种实施例，可以实施若干机构中的任一种以使虚拟助理的操作适应于免提情景。在各种实施例中，该虚拟助理是如2011年1月10日提交的名称为“IntelligentAutomatedAssistant”的美国技术专利申请序列号12/987,982中描述的智能自动化助理，在此通过引用将其整个公开并入本文。此类助理利用自然语言对话以集成的常规方式与用户配合，并在适当的时候调用外部设备以获得信息或执行各种动作。根据本专利技术的各种实施例，虚拟助理可以被配置、被设计和/或用于检测免提情景，并在执行各种不同类型的操作、功能和/或特征时相应地调整其操作，和/或组合其被安装的电子设备的多种特征、操作和应用。在一些实施例中，本专利技术的虚拟助理能够检测免提情景并在接收输入、提供输出、在与用户对话和/或基于所辨别的意图执行(或发起)动作时相应地调节其操作。例如，可以通过激活和/或与电子设备上可能有的任何应用或服务交互以及通过诸如互联网的电子网络可获得的服务，来执行动作。在各种实施例中，可以经由应用编程接口(API)或通过任何其他适当机构执行外部服务的此类激活。通过这种方式，根据本专利技术的各种实施例实现的虚拟助理能够为电子设备的很多不同应用和功能并相对于可以通过互联网获得的服务来提供免提使用环境。如上文引用的相关申请中所述，使用此类虚拟助理能够减轻用户的如下负担：获悉可以在设备上和联网服务上使用什么功能性，如何与此类服务交互以获得其需要的东西，以及如何解释从此类服务接收的输出；特别地，本专利技术的助理能够充当用户和此类多样化服务之间的中介。此外，在各种实施例中，本专利技术的虚拟助理提供了会话界面，用户可能发现这种会话界面比常规图形用本文档来自技高网...

【技术保护点】
一种在电子设备处执行的调整用户界面的方法，所述电子设备具有存储器和一个或多个处理器，所述存储器存储由所述一个或多个处理器执行的一个或多个程序，所述方法包括：自动确定所述电子设备在车辆中而无需用户输入以及无需考虑数字助理应用是否已被用户独立调用；以及响应于所述确定，调用由所述电子设备实现的虚拟助理的收听模式。

【技术特征摘要】
【国外来华专利技术】2013.06.08 US 13/913,4211.一种在电子设备处执行的调整用户界面的方法，所述电子设备具有
存储器和一个或多个处理器，所述存储器存储由所述一个或多个处
理器执行的一个或多个程序，所述方法包括：
自动确定所述电子设备在车辆中而无需用户输入以及无需考虑
数字助理应用是否已被用户独立调用；以及
响应于所述确定，调用由所述电子设备实现的虚拟助理的收听
模式。
2.根据权利要求1所述的方法，其中执行自动确定所述电子设备在所
述车辆中而无需考虑用户最近是否调用过所述数字助理应用。
3.根据权利要求1所述的方法，其中所述收听模式使所述电子设备连
续收听来自用户的语音输入。
4.根据权利要求2所述的方法，其中响应于检测到所述电子设备连接
到充电源，所述收听模式使所述电子设备连续收听来自所述用户的
语音输入。
5.根据权利要求1所述的方法，其中所述收听模式使所述电子设备在
启动所述收听模式之后在预先确定的时间段内收听来自用户的语音
输入。
6.根据权利要求1所述的方法，其中在所述电子设备提供听觉输出之
后，所述收听模式使所述电子设备自动收听来自所述用户的语音输
入而无需来自用户的物理输入。
7.根据权利要求1所述的方法，还包括：
在处于所述收听模式时，检测由所述用户说出的唤醒字词；
响应于检测到所述唤醒字词，收听来自所述用户的语音输入；
从所述用户接收语音输入；以及
生成对所述语音输入的响应。
8.根据权利要求1所述的方法，其中确定所述电子设备在车辆中包括
检测到所述电子设备在与所述车辆通信，根据权利要求8所述的方
法，其中所述通信为蓝牙通信。
9.根据权利要求8所述的方法，其中所述通信为无线通信。
10.根据权利要求8所述的方法，其中所述通信为有线通信。
11.根据权利要求8所述的方法，其中检测到所述电子设备在与所述车
辆通信包括检测到所述电子设备在与所述车辆的语音控制系统通
信。
12.根据权利要求1所述的方法，其中确定所述电子设备在车辆中包括
检测到所述电子设备正在以第一预先确定的速度或高于第一预先确
定的速度移动。
13.根据权利要求12所述的方法，其中确定所述电子设备在车辆中还包
括检测到所述电子设备正在以第二预先确定的速度或低于第二预先
确定的速度移动。
14.根据权利要求13所述的方法，其中所述第一预先确定的速度为大约
20英里每小时，并且所述第二预先确定的速度为大约150英里每小
时。
15.根据权利要求12所述的方法，其中确定所述电子设备在车辆中还包
括检测到所述电子设备正在道路上或道路附近行进。
16.根据权利要求12所述的方法，其中利用由以下项构成的组中的一者
或多者来确定所述电子设备的所述速度：
GPS位置信息；加速度计数据；
无线数据信号信息；和速度计信息。
17.根据权利要求1所述的方法，还包括，响应于所述确定，限制查看
由所述电子设备呈现的视觉输出的能力。
18.根据权利要求1所述的方法，还包括，响应于所述确定，限制与由
所述电子设备呈现的图形用户界面交互的能力。
19.根据权利要求1所述的方法，还包括，响应于所述确定，限制使用
所述电子设备的物理部件的能力。
20.根据权利要求1所述的方法，还包括，响应于所述确定，限制在所
述电子设备上执行触摸输入的能力。
21.根据权利要求1所述的方法...

【专利技术属性】
技术研发人员：T·R·格鲁伯，H·J·萨德勒，L·T·拿波利塔诺，E·C·舒伯特，B·C·萨姆纳，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US