用于检测可听输入中的中止的装置、设备及方法制造方法及图纸

本发明专利技术提供了一种用于检测可听输入中的中止的装置、设备及方法。所述装置包括：处理器和存储器，所述存储器能够被所述处理器访问并且承载有能够由所述处理器执行的指令，以对装置的用户提供的可听输入序列进行处理，至少部分地基于来自与所述装置通信的至少一个摄像头的第一信号来确定在提供的可听输入序列期间发生了中止，响应于确定发生了中止而停止处理所述可听输入序列，至少部分地基于来自摄像头的第二信号来确定已恢复提供所述可听输入序列；以及响应于确定已恢复提供可听输入序列，来恢复对所述可听输入序列的处理。

【技术实现步骤摘要】
用于检测可听输入中的中止的装置、设备及方法
本申请总体上涉及检测装置的可听输入中的中止。
技术介绍
当对于诸如计算机的装置输入诸如命令的可听输入序列时，可听输入序列中的中止可能导致计算机停止“接听”该可听输入序列，这是因为例如装置停止处理序列和/或超时，从而不能完全地处理命令。此外，在一些实例中，被装置确定为可听输入序列中的中止的可能实际上为用户结束了提供可听输入序列之后、等待装置处理该可听输入序列的空白(silence)。在这样的实例中，这可能导致装置处理并非要输入至该装置的音频并且甚至可能例如不必要地消耗该装置的电池。
技术实现思路
因此，在第一方面中，一种装置包括：处理器；存储器，所述存储器能够被所述处理器访问并且承载有能够被所述处理器执行以实现如下操作的指令：处理可听输入序列，所述可听输入序列由所述装置的用户提供；至少部分地基于来自与所述装置通信的至少一个摄像头的第一信号来确定在提供所述可听输入序列期间发生了中止；响应于确定发生了所述中止，停止处理所述可听输入序列；至少部分地基于来自所述摄像头的第二信号来确定已恢复提供所述可听输入序列；以及响应于确定已恢复提供所述可听输入序列，恢复对所述可听输入序列的处理。在一些实施方式中，中止可以包括装置不能理解的可听序列分隔符。此外，可以至少部分地基于对至少第一信号执行读唇软件，将可听序列分隔符确定为是不能理解的，其中，可以响应于采集用户的面部的至少一部分的至少一个图像的摄像头，由摄像头生成第一信号。此外，在一些实施方式中，指令还能够由所述处理器执行，从而除非还在对来自所述装置上的加速度计的信号进行处理时至少基本上同时接收到所述可听序列分隔符，则响应于处理来自所述装置上的加速度计的信号而确定停止处理所述可听输入序列。另外，如果需要，则中止包括在用户向装置提供可听输入期间的中止。因此，至少部分地基于第一信号确定发生了中止可以包括：确定用户的当前面部表情表示不是将要提供可听输入。在一些实施方式中，确定用户的当前面部表情表示不是将要提供可听输入可以包括：确定用户的嘴至少大部分是闭合的。此外，如果需要，则至少部分地基于第二信号确定已恢复提供可听输入序列包括：确定用户的嘴是张开的。在另一方面中，一种方法包括：在装置处接收可听输入序列，所述可听输入序列由所述装置的用户提供；响应于接收到来自与所述装置通信的至少一个摄像头的第一信号以及响应于接收到来自与所述装置至少通信的触控显示器的输入，而确定所述用户已经停止提供所述可听输入序列；以及确定所述用户已经恢复提供所述可听输入序列。在又一方面中，一种设备包括：第一处理器；网络适配器；存储装置，所述存储装置承载有经由所述网络适配器通过网络传输的、以通过第二处理器实现如下操作的指令：处理可听输入命令，所述可听输入命令由与所述第二处理器关联的装置的用户提供，对所述可听输入命令的处理响应于如下操作：基于来自与所述第二处理器通信的至少一个摄像头的至少一个信号确定在所述用户正沿所述装置的方向看的同时所述用户的嘴正在活动；以及执行所述可听输入命令。参照附图可以最好地理解本原理关于其结构和操作的细节，在附图中，相同的附图标记指代相同的部件，以及在附图中：附图说明图1是根据本原理的示例性装置的框图；图2是由根据本原理的装置执行的逻辑的示例流程图；以及图3至图6是在根据本原理的装置上可呈现的示例用户界面(UI)。具体实施方式本公开内容总体上涉及基于用户信息的装置(例如，消费电子产品(CE))。对于本文所描述的任何计算机系统，系统可以包括服务器部件和客户端部件，服务器部件和客户端部件通过网络相连接以使得数据可以在服务器部件和客户端部件之间进行交换。客户端部件可以包括一个或更多个计算装置，包括电视(例如，智能TV，连网TV)、计算机(诸如膝上型计算机和平板计算机)以及包括智能电话的其它移动装置。作为非限定性示例，这些客户端装置可以采用来自苹果、谷歌或微软的操作系统。可以使用UNIX操作系统。这些操作系统可以执行一个或更多个浏览器(诸如由微软或谷歌或摩斯拉或其它浏览器程序制成的浏览器)，所述浏览器可以通过诸如因特网、本地内联网或虚拟个人网络的网络来访问由因特网服务器提供的网络应用。本文所使用的指令是指用于处理系统中的信息的计算机实现的步骤。可以以软件、固件或硬件来实施指令，因此，按照它们的功能来阐述示例性的部件、块、模块、电路和步骤。处理器可以是能够凭借各种线(诸如地址线、数据线和控制线)以及寄存器和移位寄存器执行逻辑的任何常规的通用的单片处理器或多片处理器。此外，除了通用的处理器之外，本文所描述的任何逻辑块、模块和电路可以在下述装置中或者由下述装置实现或执行：数字信号处理器(DSP)、现场可编程门阵列(FPGA)或其它可编程逻辑装置，诸如专用集成电路(ASIC)、分立门或晶体管逻辑、分立硬件部件、或被设计为执行本文所描述的功能的前述的任何组合。处理器可以通过控制器或状态机或计算装置的组合来实现。本文中以流程图和/或用户界面的形式所描述的软件和/或应用可以包括各种子例程、过程等。应该理解，被公开为由例如模块执行的逻辑可以被重新分配给其它软件模块和/或被合并到单个模块中和/或变得在共享库中可获得。当以软件实现逻辑时，可以使用适合的语言(例如C#或C++，但不限于此)编写逻辑，并且可以将逻辑存储在计算机可读存储介质上或通过计算机可读存储介质传输(例如，其可以不是载波)，计算机可读存储介质例如为随机存取存储器(RAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、致密盘只读存储器(CD-ROM)或其它光学盘存储装置(如数字多功能光盘(DVD))、磁盘存储装置或其它磁存储装置(包括可移动拇指驱动器)等。连接可以建立计算机可读介质。作为示例，这样的连接可以包括包含光学光纤和同轴线以及双绞线的硬线电缆。这样的连接可以包括包含红外和无线电的无线通信连接。在一个示例中，处理器可以通过其输入线从诸如计算机可读存储介质的数据存储装置存取信息，和/或处理器可以通过激活用于发送数据和接收数据的无线收发器来从因特网服务器无线地存取信息。数据通常在被接收时通过天线与处理器的寄存器之间的电路系统从模拟信号转换成数字信号，并且在被发射时从数字信号转换为模拟信号。然后，处理器通过其移位寄存器处理数据以在输出线上输出计算出的数据，以在装置上呈现计算出的数据。包括在一个实施方式中的部件可以以任何适合的组合形式用在其它实施方式中。例如，可以对本文所描述的和/或在附图中所描绘的各种部件中的任何部件进行组合、交换或将其从其它实施方式中排除。“具有A、B和C中的至少一个的系统”(同样地“具有A、B或C中的至少一个的系统”以及“具有A、B、C中的至少一个的系统”)包括仅具有A、仅具有B、仅具有C、具有A和B两者、具有A和C两者、具有B和C两者、和/或具有A、B和C三者的系统等。在摘要、说明书和/或权利要求书中使用了术语“电路”或“电路系统”。如本领域的技术人员已知的，术语“电路系统”包括所有层级的可用的集成电路(例如，从分立的逻辑电路到诸如超大规模集成电路(VLSI)的最高层级的电路集成)，并且包括被编程用以执行实施方式的功能的可编程逻辑部件以及被编程有用于执行这些功能的本文档来自技高网...

【技术保护点】
一种用于检测可听输入中的中止的装置，包括：处理器，存储器，所述存储器能够被所述处理器访问并且承载有能够被所述处理器执行以实现如下操作的指令：处理可听输入序列，所述可听输入序列由所述装置的用户提供；至少部分地基于来自与所述装置通信的至少一个摄像头的第一信号来确定在提供所述可听输入序列期间发生了中止；响应于确定发生了所述中止，停止处理所述可听输入序列；至少部分地基于来自所述摄像头的第二信号来确定已恢复提供所述可听输入序列；以及响应于确定已恢复提供所述可听输入序列，恢复对所述可听输入序列的处理。

【技术特征摘要】
2013.12.03 US 14/095,3691.一种用于检测可听输入中的中止的装置，包括：处理器，存储器，所述存储器能够被所述处理器访问并且承载有能够被所述处理器执行以实现如下操作的指令：处理可听输入序列，所述可听输入序列由所述装置的用户提供；所述可听输入序列包括不被所述装置理解的语音分隔符时，忽略所述语音分隔符，以排除所述语音分隔符作为将要处理的可听输入序列的部分。2.根据权利要求1所述的装置，其中，还包括：至少部分地基于来自与所述装置通信的至少一个摄像头的第一信号来确定在提供所述可听输入序列期间发生了中止；响应于确定发生了所述中止，停止处理所述可听输入序列；至少部分地基于来自所述摄像头的第二信号来确定已恢复提供所述可听输入序列；以及响应于确定已恢复提供所述可听输入序列，恢复对所述可听输入序列的处理。3.根据权利要求2所述的装置，其中，所述指令还能够由所述处理器执行，从而在对来自所述装置上的加速度计的信号进行处理时，若同时接收到所述语音分隔符，则响应于处理来自所述装置上的加速度计的信号而确定停止处理所述可听输入序列。4.根据权利要求2所述的装置，其中，至少部分地基于对至少所述第一信号执行读唇软件来将所述语音分隔符确定为不能理解的，所述第一信号是所述摄像头响应于所述摄像头采集所述用户的面部的至少一部分的至少一个图像而生成的。5.根据权利要求2所述的装置，其中，所述第一信号和所述第二信号分别由所述摄像头响应于所述摄像头采集所述用户的面部的至少一部分的至少一个图像而生成。6.根据权利要求2所述的装置，其中，所述中止包括所述用户向所述装置提供可听输入序列期间的中止。7.根据权利要求2所述的装置，其中，所述至少部分地基于所述第一信号确定发生了中止包括：确定所述用户的当前面部表情表示不是将要提供可听输入。8.根据权利要求7所述的装置，其中，所述确定用户的当前面部表情表示不是将要提供可听输入包括：确定所述用户的嘴至少大部分闭合。9.根据权利要求8所述的装置，其中，所述确定用户的当前面部表情表示不是将要提供可听输入包括：确定所述用户的嘴是闭合的。10.根据权利要求2所述的装置，其中，所述至少部分地基于所述第二信号来确定已恢复提供所述可听输入序列包括：确定所述用户的嘴是张开的。11.根据权利要求2所述的装置，其中，所述至少部分地基于所述第一信号确定已发生了中止包括：确定所述用户的嘴是张开的并且至少是静止的。12.根据权利要求2所述的装置，其中，所述至少部分地基于所述第一信号确定已发生了中止包括：确定所述用户的眼睛没有在看所述装置或没有朝向所述装置看。13.一种用于检测装置的可听输入中的中止的方法...

【专利技术属性】
技术研发人员：拉塞尔·斯佩格特·范布恩，苏珊娜·玛丽恩·博蒙，罗德·大卫·沃特曼，
申请(专利权)人：联想新加坡私人有限公司，
类型：发明
国别省市：新加坡;SG