使用注视信息的设备控制制造技术

本公开总体涉及控制电子设备。在一些示例中，所述电子设备使用注视信息来激活数字助理。在一些示例中，所述电子设备使用注视信息来识别要操作的外部设备。在一些示例中，所述电子设备提供区分不同讲话者的指示。电子设备提供区分不同讲话者的指示。电子设备提供区分不同讲话者的指示。

【技术实现步骤摘要】
【国外来华专利技术】使用注视信息的设备控制
[0001]相关申请的交叉引用
[0002]本专利申请要求2018年9月28日提交的名称为“DEVICE CONTROL USING GAZE INFORMATION”(使用注视信息的设备控制)的美国临时专利申请No.62/739,087的优先权，该临时专利申请的内容据此全文以引用方式并入本文。


[0003]本公开整体涉及计算机用户界面，并且更具体地涉及用于使用注视信息控制电子设备的技术。

技术介绍

[0004]用户经常提供输入诸如按键和语音输入，以控制电子设备。例如，用户激活设备的按钮或说出触发短语以启动设备上的应用程序。此类输入经常要求用户在手臂可触及范围内或麦克风范围内。
[0005]智能自动化助理(或数字助理)可在人类用户与电子设备之间提供有利界面。此类助理可允许用户使用自然语言以语音形式和/或文本形式与设备或系统进行交互。例如，用户可向正在电子设备上运行的数字助理提供包含用户请求的语音输入。数字助理可从该语音输入解译用户意图，将用户意图操作化成任务并且执行该任务。在一些系统中，以这种方式执行任务可以以识别任务的方式受到约束。然而，在一些情况下，用户可能受限于特定的一组命令，使得用户不能容易地指示数字助理使用自然语言语音输入来执行任务。此外，在许多情况下，数字助理无法基于先前的用户行为进行调整，继而缺乏用户体验的期望优化。

技术实现思路

[0006]然而，用于控制电子设备的一些技术通常很麻烦而且效率低下。例如，一些现有技术使用复杂且耗时的用户界面，该用户界面可包括多次按键或击键。又如，一些现有技术要求用户位于手臂的距离内以激活设备的按钮。现有技术需要比所需更多的时间，这导致浪费用户的时间和设备能量。这后一考虑在电池驱动的设备中是特别重要的。
[0007]因此，本技术向电子设备提供了用于控制电子设备的更快、更高效的方法和界面。此类方法和界面任选地补充或替换用于控制电子设备的其他方法。此类方法和界面减少对用户所造成的认知负担，并且产生更有效的人机界面。对于电池驱动的计算设备，此类方法和界面节省功率，并且增大电池充电之间的时间间隔。此类技术还允许用户在用户不位于可触及电子设备的距离内和/或用户在嘈杂环境(例如，包括基于由电子设备产生的音频的噪声)中更有效地与电子设备进行交互。
[0008]根据一些实施方案，提供了一种方法。在电子设备处执行该方法。该方法包括：当电子设备的数字助理未被激活时：使用一个或多个相机传感器获取第一注视信息；以及根据确定第一注视信息满足一组一个或多个激活标准：激活电子设备的数字助理；以及提供已满足该组一个或多个激活标准的指示。
[0009]根据一些实施方案，提供了一种非暂态计算机可读存储介质。该介质存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序。该一个或多个程序包括用于执行以下操作的指令：当电子设备的数字助理未被激活时：使用一个或多个相机传感器获取第一注视信息；以及根据确定第一注视信息满足一组一个或多个激活标准：激活电子设备的数字助理；以及提供已满足该组一个或多个激活标准的指示。
[0010]根据一些实施方案，提供了一种暂态计算机可读存储介质。该介质存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序。该一个或多个程序包括用于执行以下操作的指令：当电子设备的数字助理未被激活时：使用一个或多个相机传感器获取第一注视信息；以及根据确定第一注视信息满足一组一个或多个激活标准：激活电子设备的数字助理；以及提供已满足该组一个或多个激活标准的指示。
[0011]根据一些实施方案，提供了一种电子设备。该电子设备包括：一个或多个处理器；和存储器，该存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：当电子设备的数字助理未被激活时：使用一个或多个相机传感器获取第一注视信息；以及根据确定第一注视信息满足一组一个或多个激活标准：激活电子设备的数字助理；以及提供已满足该组一个或多个激活标准的指示。
[0012]根据一些实施方案，提供了一种电子设备。该电子设备包括：用于当电子设备的数字助理未被激活时使用一个或多个相机传感器获取第一注视信息的装置；以及用于根据确定第一注视信息满足一组一个或多个激活标准而执行以下操作的装置：激活电子设备的数字助理；以及提供已满足该组一个或多个激活标准的指示。
[0013]根据一些实施方案，提供了一种方法。在电子设备处执行该方法。该方法包括：当第一外部设备处于第一状态时：接收执行第一命令的音频用户输入请求；以及使用一个或多个相机传感器获取第一注视信息；以及根据使用第一注视信息确定一组一个或多个注视标准针对第一外部设备被满足：基于第一命令来传输将第一外部设备从第一状态转变到第二状态的指令。
[0014]根据一些实施方案，提供了一种非暂态计算机可读存储介质。该介质存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序。该一个或多个程序包括用于执行以下操作的指令：当第一外部设备处于第一状态时：接收执行第一命令的音频用户输入请求；以及使用一个或多个相机传感器获取第一注视信息；以及根据使用第一注视信息确定一组一个或多个注视标准针对第一外部设备被满足：基于第一命令来传输将第一外部设备从第一状态转变到第二状态的指令。
[0015]根据一些实施方案，提供了一种暂态计算机可读存储介质。该介质存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序。该一个或多个程序包括用于执行以下操作的指令：当第一外部设备处于第一状态时：接收执行第一命令的音频用户输入请求；以及使用一个或多个相机传感器获取第一注视信息；以及根据使用第一注视信息确定一组一个或多个注视标准针对第一外部设备被满足：基于第一命令来传输将第一外部设备从第一状态转变到第二状态的指令。
[0016]根据一些实施方案，提供了一种电子设备。该电子设备包括：一个或多个处理器；和存储器，该存储器存储被配置为由一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：当第一外部设备处于第一状态时：接收执行第一
命令的音频用户输入请求；以及使用一个或多个相机传感器获取第一注视信息；以及根据使用第一注视信息确定一组一个或多个注视标准针对第一外部设备被满足：基于第一命令来传输将第一外部设备从第一状态转变到第二状态的指令。
[0017]根据一些实施方案，提供了一种电子设备。该电子设备包括：用于当第一外部设备处于第一状态时执行以下操作的装置：接收执行第一命令的音频用户输入请求；以及使用一个或多个相机传感器获取第一注视信息；以及用于根据使用第一注视信息确定一组一个或多个注视标准针对第一外部设备被满足而执行以下操作的装置：基于第一命令来传输将第一外部设备从第一状态转变到第二状态的指令。
[0018]根据一些实施方案，提供了一种方法。在电子设备处执行该方法。该方法包括：接收音频用户输入请求；根据确定所述音频用户输入请求对应于第一用户，将指示符本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在电子设备处：当所述电子设备的数字助理未被激活时：使用一个或多个相机传感器获取第一注视信息；以及根据确定所述第一注视信息满足一组一个或多个激活标准：激活所述电子设备的所述数字助理；以及提供所述一组一个或多个激活标准已被满足的指示。2.根据权利要求1所述的方法，还包括：根据确定所述第一注视信息不满足所述一组一个或多个激活标准：放弃激活所述数字助理。3.根据权利要求1至2中任一项所述的方法，还包括：接收用于执行命令的音频用户输入请求；以及响应于接收到用于执行所述命令的所述音频用户输入请求：根据确定一组一个或多个性能标准被满足，基于所述音频用户输入请求的内容来执行所述命令。4.根据权利要求3所述的方法，其中当所述数字助理未被激活时，所述电子设备开始接收所述音频用户输入请求。5.根据权利要求3至4中任一项所述的方法，还包括：产生音频输出，其中在接收到所述音频用户输入请求之前以第一音量产生所述音频输出；以及响应于开始接收所述音频用户输入请求，将所述音频输出的音量降低到低于所述第一音量的第二音量，其中所述第二音量是基于用户和所述电子设备之间的距离的。6.根据权利要求3至5中任一项所述的方法，还包括：响应于接收到用于执行所述命令的所述音频用户输入请求：根据确定所述一组一个或多个性能标准未被满足，放弃基于所述音频用户输入请求的所述内容来执行所述命令，其中所述一组一个或多个性能标准包括连续注视标准，所述连续注视标准在所述电子设备确定第二注视信息指示所述用户未进行以下操作时被满足：所述用户中断指向所述电子设备的注视超过所述数字助理的激活和所述音频用户输入请求的终止之间的阈值持续时间。7.根据权利要求3至6中任一项所述的方法，还包括：响应于接收到用于执行所述命令的所述音频用户输入请求：根据确定所述一组一个或多个性能标准未被满足，提供摇头指示，其中所述摇头指示包括：在所述电子设备的显示器的第一侧上显示第一亮光图案，在显示所述第一亮光图案之后，在所述电子设备的所述显示器的第二侧上显示第二亮光图案，以及在显示所述第二亮光图案之后，在所述电子设备的所述显示器的所述第一侧上显示所述第一亮光图案。8.根据权利要求1至7中任一项所述的方法，其中所述指示是指示所述数字助理被激活
的视觉指示。9.根据权利要求1至8中任一项所述的方法，其中所述指示是指示所述数字助理被激活的音频指示。10.根据权利要求1至9中任一项所述的方法，其中所述一组一个或多个激活标准包括视场标准，所述视场标准在所确定的偏移角度小于阈值偏移角度时被满足，其中所确定的偏移角度是形成在以下项之间的角度：用户的注视的视线，以及从所述用户到所述电子设备的所计算的视线。11.根据权利要求10所述的方法，其中所述用户的所述注视的所述视线是基于所述用户的头部位置的。12.根据权利要求1至11中任一项所述的方法，其中所述一组一个或多个激活标准包括停留时间标准，所述停留时间标准在根据所述第一注视信息确定的所述注视的停留时间大于阈值时间段时被满足。13.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至12中任一项所述的方法的指令。14.一种电子设备，包括：一个或多个处理器；和存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至12中任一项所述的方法的指令。15.一种电子设备，包括：用于执行根据权利要求1至12中任一项所述的方法的装置。16.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：当所述电子设备的数字助理未被激活时：使用一个或多个相机传感器获取第一注视信息；以及根据确定所述第一注视信息满足一组一个或多个激活标准：激活所述电子设备的所述数字助理；以及提供所述一组一个或多个激活标准已被满足的指示。17.一种电子设备，包括：一个或多个处理器；和存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：当所述电子设备的数字助理未被激活时：使用一个或多个相机传感器获取第一注视信息；以及根据确定所述第一注视信息满足一组一个或多个激活标准：激活所述电子设备的所述数字助理；以及提供所述一组一个或多个激活标准已被满足的指示。
18.一种电子设备，包括：用于当所述电子设备的数字助理未被激活时执行以下操作的装置：使用一个或多个相机传感器获取第一注视信息；以及用于根据确定所述第一注视信息满足一组一个或多个激活标准而执行以下操作的装置：激活所述电子设备的所述数字助理；以及提供所述一组一个或多个激活标准已被满足的指示。19.一种方法，包括：在电子设备处：当第一外部设备处于第一状态时：接收用于执行第一命令的音频用户输入请求；以及使用一个或多个相机传感器获取第一注视信息；以及根据使用所述第一注视信息确定一组一个或多个注视标准针对所述第一外部设备被满足：基于所述第一命令来传输用于将所述第一外部设备从所述第一状态转变到第二状态的指令。20.根据权利要求19所述的方法，还包括：根据使用所述第一注视信息确定所述一组一个或多个注视标准针对所述第一外部设备未被满足：放弃传输用于将所述第一外部设备从所述第一状态转变到所述第二状态的指令。21.根据权利要求19至20中任一项所述的方法，其中所述一组一个或多个注视标准包括视场标准，所述视场标准在所确定的偏移角度小于阈值偏移角度时被满足，其中所确定的偏移角度是形成在以下项之间的角度：用户的注视的视线，以及从所述用户到所述第一外部设备的所计算的视线。22.根据权利要求21所述的方法，其中所述用户的所述注视的所述视线是基于所述用户的头部位置的。23.根据权利要求19至22中任一项所述的方法，其中所述一组一个或多个注视标准包括停留时间标准，所述停留时间标准在根据所述第一注视信息确定的所述注视的停留时间大于阈值时间段时针对所述第一外部设备被满足。24.根据权利要求19至23中任一项所述的方法，还包括：根据确定所述一组一个或多个注视标准针对所述第一外部设备被满足，提供所述一组一个或多个注视标准被满足的指示。25.根据权利要求19至24中任一项所述的方法，还包括：在传输用于将所述第一外部设备从所述第一状态转变到所述第二状态的指令之后，提供所述第一外部设备处于所述第二状态的指示。26.根据权利要求24至25中任一项所述的方法，其中所述指示是特定于域的。27.根据权利要求19至26中任一项所述的方法，其中电子设备与所述第一外部设备配对。
28.根据权利要求19至27中任一项所述的方法，还包括：当所述第一外部设备处于所述第一状态并且第二外部设备处于第三状态时：根据使用所述第一注视信息确定所述一组一个或多个注视标准针对所述第二外部设备被满足：基于所述第一命令来传输用于将所述第二外部设备从所述第三状态转变到第四状态的指令；以及根据使用所述第一注视信息确定所述一组一个或多个注视标准针对所述第二外部设备未被满足：基于所述第一命令放弃传输用于将所述第二外部设备从所述第三状态转变到所述第四状态的指令。29.根据权利要求19至28中任一项所述的方法，还包括：当所述第一外部设备处于所述第二状态并且第二外部设备处于第三状态时：接收包括第二命令的第二用户输入请求；使用一个或多个相机传感器获取第二注视信息；以及根...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：苹果公司，
类型：发明
国别省市：