用于家庭自动化的智能助理制造技术

本发明专利技术涉及使用虚拟助理来控制电子设备的系统和过程。在一个示例性过程中，用户能够以自然语言形式向用户设备说出输入以控制一个或多个电子设备。用户设备可将用户语音传输到服务器以转换为文本表示。服务器可基于所述文本表示来识别所述一个或多个电子设备以及待由所述一个或多个电子设备执行的适当命令。所识别的一个或多个设备和待执行的命令可被传输回到所述用户设备，所述用户设备可将所述命令转发到适当的一个或多个电子设备以供执行。响应于接收到所述命令，所述一个或多个电子设备可执行所述命令并将其当前状态传输到所述用户设备。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本专利申请要求提交于2014年5月30日的名称为\INTELLIGENTASSISTANTFORHOMEAUTOMATION\的美国临时申请序列号62/005,893以及提交于2014年9月30日的名称为\INTELLIGENTASSISTANTFORHOMEAUTOMATION\的美国非临时申请序列号14/503,105的优先权，所述申请出于所有目的据此全文以引用方式并入本文。
本申请整体涉及自然语言处理，更具体地讲，涉及使用具有自然语言处理的虚拟助理来控制电子设备。
技术介绍
可使用在诸如移动电话、平板电脑、膝上型计算机、台式计算机等计算设备上运行的软件应用来远程控制的家庭电子设备已经越来越流行。例如，许多制造商生产可由移动电话上运行的软件应用控制以调节灯泡的亮度和/或颜色的灯泡。还可使用具有类似控制的其他设备例如门锁、恒温器等。尽管这些设备可向用户提供更高水平的控制和便利，但是随着家庭中远程受控设备的数量和远程受控设备的类型数量的增加，管理这些设备变得非常困难。例如，典型家庭可包括放置在家庭各个房间中的40个至50个灯泡。使用常规软件应用，给予每个灯泡一个唯一标识符，并且试图控制这些设备之一的用户必须从图形用户界面内的可用设备列表中选择适当的标识符。记住特定灯泡的正确标识符并且从40个至50个标识符的列表中查找该标识符可能是一个困难且耗时的过程。不同的制造商通常提供必须用于控制其相应设备的不同软件应用，这也增加了管理和控制大量远程受控设备的难度。因此，用户必须定位并打开一个软件应用以开启/关闭相应的灯泡，然后必须定位并打开另一个软件应用以设置其恒温器的温度。
技术实现思路
本专利技术提供了使用虚拟助理来控制电子设备的系统和过程。在一个示例过程中，用户能够以自然语言形式向用户设备说出输入以控制一个或多个电子设备。用户设备可将用户语音传输到服务器以转换为文本表示。服务器可基于该文本表示来识别一个或多个电子设备以及将由一个或多个电子设备执行的适当命令。所识别的一个或多个设备和要执行的命令可被传输返回到用户设备，该用户设备可将命令转发到适当的一个或多个电子设备以供执行。响应于接收到命令，一个或多个电子设备可执行命令并将其当前状态传输到用户设备。附图说明图1示出了根据各种实施例的其中虚拟助理可用于控制电子设备的示例性环境。图2示出了根据各种实施例的其中虚拟助理可用于远程控制电子设备的示例性环境。图3示出了根据各种实施例的示例性用户设备。图4示出了根据各种实施例的用于存储与电子设备相关联的信息的多个条目的视觉表示。图5示出了根据各种实施例的使用虚拟助理来控制电子设备的示例性过程，其中虚拟助理是使用客户端-服务器模型来实施的。图6示出了根据各种实施例的使用虚拟助理来远程控制电子设备的示例性过程，其中虚拟助理是使用客户端-服务器模型来实施的。图7示出了根据各种实施例的在独立用户设备上使用虚拟助理来控制电子设备的示例性过程。图8示出了根据各种实施例的将电子设备的状态存储为配置的示例性过程。图9示出了根据各种实施例的使用先前存储的配置来设置电子设备的状态的示例性过程。图10示出了根据各种实施例的被配置成控制电子设备的电子设备的功能框图。图11示出了根据各种实施例的被配置成将电子设备的状态存储为配置的电子设备的功能框图。图12示出了根据各种实施例的被配置成将电子设备的状态存储为配置的电子设备的功能框图。图13示出了根据各种实施例的被配置成控制电子设备的电子设备的功能框图。图14示出了根据各种实施例的被配置成将电子设备的状态存储为配置的电子设备的功能框图。图15示出了根据各种实施例的被配置成将电子设备的状态存储为配置的电子设备的功能框图。具体实施方式在以下对示例的描述中将引用附图，在附图中以例示的方式示出了可被实施的特定示例。应当理解，在不脱离各个示例的范围的情况下，可使用其他示例并且可作出结构性变更。智能自动化助理(或虚拟助理)在用户与电子设备之间提供直观的界面。这些助理可以允许用户使用语音形式和/或文本形式的自然语言与设备或系统交互。例如，用户可通过以自然语言形式向与电子设备相关联的虚拟助理提供语音用户输入来访问电子设备的服务。虚拟助理可对语音用户输入执行自然语言处理，以推断用户意图并将用户意图实施到任务中。然后可通过执行电子设备的一个或多个功能来执行任务，并且能够以自然语言形式将相关输出返回给用户。这涉及使用虚拟助理来控制电子设备的系统和过程。在一个示例过程中，用户能够以自然语言形式向用户设备说出输入以控制一个或多个电子设备。用户设备可将用户语音传输到服务器以转换为文本表示。服务器可基于该文本表示来识别一个或多个电子设备以及将由一个或多个电子设备执行的适当命令。所识别的一个或多个设备和要执行的命令可被传输返回到用户设备，该用户设备可将命令转发到适当的一个或多个电子设备以供执行。响应于接收到命令，一个或多个电子设备可执行命令并将其当前状态传输到用户设备。系统概述图1示出了根据各种实施例的用于实施虚拟助理以控制电子设备的示例性系统100。术语“虚拟助理”、“数字助理”、“智能自动化助理”或“自动数字助理”可以是指解译语音形式和/或文本形式的自然语言输入以推断用户意图，并基于推断出的用户意图来执行动作的任何信息处理系统。例如，为了进行推断出的用户意图，该系统可执行以下内容中的一个或多个：通过设计用以实施所推断出的用户意图的步骤和参数来识别任务流；将来自推断出的用户意图的具体要求输入到任务流中；通过调用程序、方法、服务、API等来执行任务流；以及生成对用户的听觉形式(例如语音)和/或视觉形式的输出响应。虚拟助理可以能够接受至少部分地为自然语言命令、请求、声明、讲述和/或询问的形式的用户请求。通常，用户请求要么寻求数字助理作出信息性回答，要么寻求虚拟助理执行任务。针对用户请求的令人满意的响应可包括提供所请求的信息性回答、执行所请求的任务，或这两者的组合。例如，用户可向虚拟助理提出诸如“我现在在哪里？”之类的问题。基于用户的当前位置，虚拟助理可回答“你在中央公园。”用户还可请求执行任务，例如“请提醒我今天下午4点打电话给妈妈”。作为响应，虚拟助理可确认该请求，然后在用户的电子时间表中创建适当的提醒项目。在执行所请求的任务期间，虚拟助理可有时在很长时间段内在涉及多次信息交换的持续对话中与用户进行交互。存在与虚拟助理进行交互以请求信息或执行各种任务的许多其他方法。除提供言语响应并采取经编程的动作之外，虚拟助理还可提供其他视频或音频形式(例如，作为文本、警报、音乐、视频、动画等)的响应。虚拟助理的示例在提交于2011年1月10日的名称为“IntelligentAutomatedAssistant”的申请人的美国技术专利申请序列号12/987,982中有所描述，该申请的全部公开内容以引用方式并入本文。如图1所示，在一些实施例中，可根据客户端-服务器模型来实施虚拟助理。虚拟助理可包括在用户设备102上执行的客户端侧部分，以及在服务器系统110上执行的服务器侧部分。用户设备102可包括任何电子设备，诸如移动电话、平板电脑、便携式媒体播放器、台式计算机、膝上型计算机、PDA、电视机、电视机顶盒本文档来自技高网...

【技术保护点】
一种用于在用户设备上使用虚拟助理来控制电子设备的方法，所述方法包括：由所述用户设备接收包括用户语音的音频输入；将与所述音频输入对应的数据传输到一个或多个服务器；从所述一个或多个服务器接收：由所述一个或多个服务器基于与所述音频输入对应的所述数据而确定的第一电子设备的标识；和由所述一个或多个服务器基于与所述音频输入对应的所述数据而确定的待由所述第一电子设备执行的第一命令；以及将所述第一命令传输到所述第一电子设备。

【技术特征摘要】
【国外来华专利技术】2014.05.30 US 62/005,893;2014.09.30 US 14/503,1051.一种用于在用户设备上使用虚拟助理来控制电子设备的方法，所述方法包括：由所述用户设备接收包括用户语音的音频输入；将与所述音频输入对应的数据传输到一个或多个服务器；从所述一个或多个服务器接收：由所述一个或多个服务器基于与所述音频输入对应的所述数据而确定的第一电子设备的标识；和由所述一个或多个服务器基于与所述音频输入对应的所述数据而确定的待由所述第一电子设备执行的第一命令；以及将所述第一命令传输到所述第一电子设备。2.根据权利要求1所述的方法，还包括：在将所述第一命令传输到所述第一电子设备之后，从所述第一电子设备接收所述第一电子设备的当前状态；以及将所述第一电子设备的所述当前状态传输到所述一个或多个服务器。3.根据权利要求2所述的方法，其中所述第一电子设备包括灯泡。4.根据权利要求3所述的方法，其中所述第一命令包括用于设置所述灯泡的开启/关闭状态、可调光状态或颜色状态的命令。5.根据权利要求4所述的方法，其中所述第一电子设备的所述当前状态包括在传输用于设置所述灯泡的开启/关闭状态、可调光状态或颜色状态的所述第一命令之后，所述灯泡的开启/关闭状态、可调光状态或颜色状态。6.根据权利要求2所述的方法，其中所述第一电子设备包括电源插座。7.根据权利要求6所述的方法，其中所述第一命令包括用于设置所述电源插座的有源/无源状态的命令。8.根据权利要求7所述的方法，其中所述第一电子设备的所述当前状态包括在传输用于设置所述电源插座的有源/无源状态的所述命令之后，所述电源插座的有源/无源状态。9.根据权利要求2所述的方法，其中所述第一电子设备包括开关。10.根据权利要求9所述的方法，其中所述第一命令包括用于设置所述开关的接通/断开状态的命令。11.根据权利要求10所述的方法，其中所述第一电子设备的所述当前状态包括在传输用于设置所述开关的接通/断开状态的所述命令之后，所述电源插座的接通/断开状态。12.根据权利要求2所述的方法，其中所述第一电子设备包括门锁。13.根据权利要求12所述的方法，其中所述第一命令包括用于设置所述门锁的锁定/解锁状态的命令。14.根据权利要求13所述的方法，其中所述第一电子设备的所述当前状态包括在传输用于设置所述门锁的锁定/解锁状态的所述命令之后，所述门锁的锁定/解锁状态。15.根据权利要求2所述的方法，其中所述第一电子设备包括车库门。16.根据权利要求15所述的方法，其中所述第一命令包括用于设置所述车库门的打开/闭合状态的命令。17.根据权利要求16所述的方法，其中所述第一电子设备的所述当前状态包括在传输用于设置所述车库门的打开/闭合状态的所述命令之后，所述车库门的打开/闭合状态。18.根据权利要求2所述的方法，其中所述第一电子设备包括恒温器。19.根据权利要求18所述的方法，其中所述第一命令包括用于设置所述恒温器的温度设定数值的命令。20.根据权利要求19所述的方法，其中所述第一电子设备的所述当前状态包括在传输用于设置所述恒温器的温度设定数值的所述第一命令之后，所述恒温器的温度设定数值。21.根据权利要求2所述的方法，其中所述第一命令包括针对所述第一电子设备的所述当前状态的查询。22.根据权利要求2所述的方法，还包括响应于确定已经满足预先确定的条件，输出与所述第一电子设备的所述当前状态相关联的通知。23.根据权利要求2所述的方法，其中所述用户设备包括用于存储多个电子设备中的每个电子设备的状态的数据库，所述多个电子设备包括所述第一电子设备，并且其中所述方法还包括至少部分地基于从所述第一电子设备接收的所述第一电子设备的所述当前状态来更新存储在所述数据库中的所述第一电子设备的状态。24.根据权利要求2所述的方法，其中所述方法还包括基于所述第一命令以及从所述第一电子设备接收的所述第一电子设备的所述当前状态来输出所述第一命令的结果的指示，其中所述结果的所述指示是音频指示、视觉指示或者音频指示和视觉指示两者。25.根据权利要求1所述的方法，其中所述用户设备包括移动电话、台式计算机、膝上型计算机、平板计算机、便携式媒体播放器、电视机、电视机顶盒或可穿戴电子设备。26.根据权利要求1所述的方法，其中所述第一命令通过本地无线网络传输到所述第一电子设备。27.根据权利要求1所述的方法，其中所述第一命令通过蓝牙、视线、对等网络或WiFi通信直接传输到所述第一电子设备。28.根据权利要求1所述的方法，其中所述方法不包括在从所述一个或多个服务器接收所述第一命令与将所述第一命令传输到所述第一电子设备之间针对所述第一电子设备的状态来查询所述第一电子设备。29.根据权利要求1所述的方法，还包括：从所述一个或多个服务器接收：由所述一个或多个服务器基于与所述音频输入对应的所述数据而确定的第二电子设备的标识；以及由所述一个或多个服务器基于与所述音频输入对应的所述数据而确定的待由所述第二电子设备执行的第二命令；将所述第二命令传输到所述第二电子设备；在将所述第二命令传输到所述第二电子设备之后，从所述第二电子设备接收所述第二电子设备的当前状态；以及将所述第二电子设备的所述当前状态传输到所述一个或多个服务器。30.一种用于在用户设备上使用虚拟助理来控制电子设备的方法，所述方法包括：由所述用户设备接收包括用户语音的音频输入；将与所述音频输入对应的数据传输到一个或多个服务器；从所述一个或多个服务器接收用于查询多个电子设备中的每个电子设备的状态的指令，所述指令由所述一个或多个服务器基于与所述音频输入对应的所述数据而确定；以及向所述多个电子设备中的每个电子设备传输状态查询。31.根据权利要求30所述的方法，还包括：从所述多个电子设备接收所述多个电子设备中的每个电子设备的当前状态；以及将所述多个电子设备中的每个电子设备的所述当前状态传输到所述一个或多个服务器以存储为配置。32.一种用于在用户设备上使用虚拟助理来控制电子设备的方法，所述方法包括：由所述用户设备接收包括用户语音的音频输入；将与所述音频输入对应的数据传输到一个或多个服务器；从所述一个或多个服务器接收用于设置多个电子设备中的每个电子设备的状态的多个命令，所述多个命令由所述一个或多个服务器基于所存储的配置而确定；以及将所述多个命令传输到所述多个电子设备。33.根据权利要求32所述的方法，还包括：从所述多个电子设备接收所述多个电子设备中的每个电子设备的更新状态；以及将所述多个电子设备中的每个电子设备的所述更新状态传输到所述一个或多个服务器。34.一种用于在用户设备上使用虚拟助理来控制电子设备的方法，所述方法包括：由一个或多个服务器从用户设备接收与包括用户语音的音频输入对应的数据；对与音频输入对应的所述数据执行语音到文本转换，以生成所述用户语音的文本表示；基于所述用户语音的所述文本表示来识别第一电子设备；基于所述用户语音的所述文本表示来识别待由所述第一电子设备执行的第一命令；以及传输所述第一电子设备的标识和所述第一命令。35.根据权利要求34所述的方法，还包括接收所述第一电子设备的当前状态。36.根据权利要求35所述的方法，其中所述第一电子设备包括灯泡。37.根据权利要求36所述的方法，其中所述第一命令包括用于改变所述灯泡的开启/关闭状态、可调光状态或颜色状态的命令。38.根据权利要求37所述的方法，其中所述第一电子设备的所述当前状态包括在所述灯泡接收到用于设置所述灯泡的开启/关闭状态、可调光状态或颜色状态的所述第一命令之后，所述灯泡的开启/关闭状态、可调光状态或颜色状态。39.根据权利要求35所述的方法，其中所述第一电子设备包括电源插座。40.根据权利要求39所述的方法，其中所述第一命令包括用于设置所述电源插座的有源/无源状态的命令。41.根据权利要求40所述的方法，其中所述第一电子设备的所述当前状态包括在所述电源插座接收到用于设置所述电源插座的有源/无源状态的所述第一命令之后，所述电源插座的有源/无源状态。42.根据权利要求35所述的方法，其中所述第一电子设备包括门锁。43.根据权利要求42所述的方法，其中所述第一命令包括用于设置所述门锁的锁定/解锁状态的命令。44.根据权利要求43所述的方法，其中...

【专利技术属性】
技术研发人员：R·M·奥尔，G·R·内尔，B·L·布拉姆鲍格，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US