用于减少云服务中的延迟的系统和方法技术方案

用于分布基于云的语言处理服务以在本地装置中部分地执行以减少由用户感知的延迟的系统和方法。举例来说，本地装置可经由音频输入接收请求，这需要基于云的服务来处理所述请求且产生响应。可在本地产生部分响应且回放，同时远程产生更完整的响应。同时远程产生更完整的响应。同时远程产生更完整的响应。

【技术实现步骤摘要】
【国外来华专利技术】用于减少云服务中的延迟的系统和方法
[0001]相关申请
[0002]本申请主张2020年8月28日申请且名称为“用于减少云服务中的延迟的系统和方法(SYSTEMS AND METHODS FOR REDUCING LATENCY IN CLOUD SERVICES)”的美国专利申请第17/006,157号的优先权，所述美国专利申请的全部公开内容以引用的方式并入本文中。


[0003]本公开涉及使用基于云的服务来处理在客户端装置处接收到的用户输入。

技术介绍

[0004]客户端装置可接收用户输入(例如，经由音频接口，例如麦克风)。用户可与客户端装置对话且询问问题或提交命令。客户端装置可充当接收这些请求且回放响应的虚拟助理。举例来说，用户可询问时间、询问方向、请求待执行的因特网搜索或发布其它命令。为处理此类请求，客户端装置可调用基于云的服务以处理请求。举例来说，基于云的服务可应用各种人工智能算法以将音频输入转换成文字且处理文字以提取且推断上下文。基于云的服务可接着产生传输到客户端装置的响应。客户端装置可接着基于从云服务接收到的响应而呈现(例如，回放)声频输出。使用云服务来处理请求可在用户结束说话的时间与用户听到云产生的声频输出的时间之间引入延迟。延迟可为若干秒。延迟可提供归因于请求与响应之间的延迟而不较自然的用户体验。
附图说明
[0005]为了促进对本专利技术的更全面理解，现在参考附图。图式不应被解释为限制本专利技术，而是仅意图说明不同方面和实施例。
[0006]图1为根据各种实施例的联网环境的图。
[0007]图2为展示根据各种实施例的联网环境内的一些组件的通信的定时图。
[0008]图3为说明根据各种实施例的本地选择预定义初始响应的过程的图。
[0009]图4为说明根据各种实施例的将定向标记本地地识别为初始响应的图。
[0010]图5为说明根据各种实施例的本地识别话题以产生初始响应的图。
[0011]图6为说明根据各种实施例的客户端应用程序的功能性的实例的流程图。
[0012]图7为展示客户端装置中的各种实施例的实施方案的实例的示意图。
具体实施方式
[0013]服务器应用程序可响应于请求提供用户辅助。用户可通过经由语音通信或将其它用户输入(例如，基于文本的输入)提供到客户端装置来请求服务器应用程序的服务。客户端装置接着与服务器应用程序通信。举例来说，在客户端装置上执行的虚拟助理可在用户输入(例如，用户动作、语音词语)上触发，将用户输入的内容发送到服务器应用程序(例如，云托管的远程推断引擎)，等待查询的结果的返回响应，且将答案呈现给用户。在许多情况
下，面对网络流量和云端推断负载时，这造成了可察觉的长暂停。用户可对分布式虚拟助理的缓慢响应性感到沮丧。
[0014]用户通常不期望执行远程推断所需的毫秒至秒时间范围中的响应内容。然而，用户可期望同时的某一形式的响应性。一个人可假定延迟通常需要在对话响应时间范围中(约几毫秒；如同用户与另一人类说话)。
[0015]本公开涉及减少客户端装置处的用户输入与由服务器应用程序产生的响应之间的延迟。根据各种实施例，解决方案涉及在客户端装置中实施流线功能性以产生且提供初始响应，而服务器应用程序产生初级响应。当客户端装置呈现初始响应(例如，播放第一音频片段)时，初级响应由云服务产生其传输到客户端装置。客户端装置可接着将与初级响应相关联的第二音频片段附加到当前播放的第一音频片段。从用户的视角，用户在提供用户输入之后以最小延时观察连续播放的音频片段。从客户端装置的视角，客户端装置开始将响应呈现给用户而不产生完全响应。
[0016]在一些实施例中，客户端装置立即以由预定义的第一音频片段组成的初始响应答复用户。预定义音频片段可为样板介绍性响应。这给予用户实时延迟的印象，即使查询自身直到样板响应已结束播放之前的某一时间才结束。举例来说，如果用户提供说话“12+12等于多少？”的请求，那么客户端装置可立即开始答复说出的第一音频片段。“答案为...”。这一“样板”响应需要1到2秒以经由语音响应来表达，所述语音响应可提供为基于云的推断请求和响应提供足够时间。
[0017]在其它实施例中，客户端装置本地执行相对较小的预测深度神经网络(DNN)。本地DNN可确定实际回答的定向标记。举例来说，用户可立即获得正或负初始回答，而使用云服务在背景中进行查询。举例来说，本地DNN可配置成用于响应“是的
‑‑
我可得出你的答案”或“不
‑‑
我不认为我知晓所述答案”。
[0018]在其它实施例中，客户端装置执行相对较小预测DNN以产生对应于请求的话题的初始响应。举例来说，如果用户询问“今天的天气怎么样？”，那么本地DNN可将话题识别为“今天，天气将为...”的初始响应的“天气”公式。这占用了在远程云服务上执行推断分析所需的几秒钟而没有任何可察觉的延时。云服务可接着在呈现(例如，回放)第一片段时产生初级响应。客户端装置可接着将与初级响应相关联的第二音频片段附加到第一片段以用于完全响应的无缝回放。
[0019]现将描述示例性实施例以便说明各种特征。本文中所描述的实施例并不意图限制范围，而是意图提供本专利技术的组件、用途及操作的实例。
[0020]图1展示根据各种实施例的联网环境100。联网环境100包含可执行应用程序且存储各种数据的计算系统110。计算系统110可实施为服务器设施或提供计算能力的任何其它系统。替代地，计算系统110可采用可例如布置于一或多个服务器组或计算机组或其它布置中的多个计算装置。此类计算装置可位于单一设施中，或可分布在许多不同地理位置当中。举例来说，计算系统110可包含一起可包括主控计算资源、网格计算资源和/或任何其它分布式计算布置的多个计算装置。在一些实施例中，计算系统110可对应于弹性计算资源，其中处理的分配容量、网络、存储或其它计算相关资源可随时间推移而变化。计算系统110可实施使用计算系统110的资源来执行服务器侧应用程序的一或多个虚拟机。
[0021]计算系统110向用户提供云服务。云服务包含可从用户输入导出推断且产生响应
的远程执行的应用程序。这可涉及分析基于语音的用户输入、从基于语音的输入确定查询、执行查询及返回结果。结果可涉及搜索数据且将数据格式化为语音输出。举例来说，如果用户输入为“天气怎么样？”，那么云服务可分析此语音输入以确定特定查询。举例来说，查询可为基于用户位置而搜索天气相关数据的数据库。查询产生响应，在此实例中，响应可为用户的位置的天气数据。云服务可产生音频片段以表达响应的数据且将响应的数据和/或音频片段传输到客户端装置。
[0022]具体来说，计算系统包含与客户端装置介接以将云服务提供到客户端装置的服务器应用程序112。服务器应用程序112可为服务器侧虚拟助理应用程序。服务器应用程序112可配置成执行数据库查询、因特网搜索、功能性调用或对基于网络的服务的其它网络命令以获得查询的结果。由服务本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，其包括：客户端装置的处理器；存储器，其配置成存储多个指令，所述多个指令在被执行时致使所述处理器：对从麦克风接收到的音频输入信号进行编码，所述音频输入信号包括请求；将所述经编码音频输入信号传输到配置成产生初级响应的云服务；确定对所述请求的初始响应，所述初始响应对应于第一音频片段；在接收所述初级响应之前渲染用于呈现的所述第一音频片段，所述初级响应对应于第二音频片段；及附加所述第二音频片段以跟随所述第一音频片段，所述第二音频片段在所述第一音频片段的所述呈现之后呈现。2.根据权利要求1所述的系统，其中所述第一音频片段为在从所述麦克风接收所述音频输入信号之前存储在所述存储器中的预定音频片段。3.根据权利要求1所述的系统，其中所述第一音频片段随机地选自存储在所述存储器中的预定音频片段库。4.根据权利要求1所述的系统，其中所述多个指令在被执行时进一步致使所述处理器通过将深度神经网络(DNN)算法应用于所述音频输入信号以产生所述初始响应来确定对所述请求的所述初始响应。5.根据权利要求4所述的系统，其中所述DNN算法配置成将所述音频输入信号分类为定向结果，所述定向结果指示所述云服务是否能够对所述请求作出响应，其中所述初始响应是根据所述定向结果确定的。6.根据权利要求4所述的系统，其中所述DNN算法配置成识别与所述音频输入信号相关联的话题，其中所述多个指令在被执行时进一步致使所述处理器基于所述所识别话题而识别所述初始响应。7.根据权利要求1所述的系统，其中所述多个指令在被执行时进一步致使所述处理器从所述初级响应产生所述第二音频片段。8.一种客户端装置，其包括：存储器，其配置成存储本地应用程序；及处理器，其耦合到配置成执行所述本地应用程序的所述存储器，所述处理器配置成；对在所述客户端装置处接收到的输入信号进行编码，所述输入信号包括请求；将所述经编码输入信号传输到配置成产生初级响应的云服务；确定对所述请求的初始响应，所述初始响应对应于第一音频片段；渲染用于呈现的所述第一音频片段；从所述云服务接收所述初级响应，所述初级响应对应于第二音频片段；在所述第一音频片段的呈现期间将所述第二音频片段附加到所述第一音频片段。9.根据权利要求8所述的客户端装置，其中所述第一音频片段为在所述客户端装置处接收到所述输入信号之前存储在所述存储器中的预定音频片段。10.根据权利要求8所述的客户端...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：美光科技公司，
类型：发明
国别省市：