在中断期间向应用提供自动用户输入制造技术

本文档涉及用于解决中断的技术，这些中断阻止应用接收用户输入、阻止用户向应用提供输入、和/或阻止或影响用户接收应用输出。一种示例方法涉及由用户与交互式应用交互期间检测交互式应用的中断，生成自动用户输入，以及在交互式应用的中断期间向交互式应用提供自动用户输入。用户输入。用户输入。

【技术实现步骤摘要】
【国外来华专利技术】在中断期间向应用提供自动用户输入

技术介绍

[0001]在许多计算环境中，中断是有问题的。例如，当用户通过网络正在玩视频游戏或使用另一类型的交互式应用时，网络中断可以使得交互式应用不响应用户的输入。中断本质上也可以是非技术性的，诸如当用户被家庭成员或朋友打断时。解决这样的中断的自动工作取得了有限的成功。

技术实现思路

[0002]该
技术实现思路
被提供来以简化形式介绍下面在具体实施方式中进一步被描述的一些概念。该
技术实现思路
不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在被用于限制所要求保护的主题的范围。
[0003]该描述通常涉及用于解决中断的技术，这些中断阻止应用接收用户输入、阻止用户提供输入、和/或阻止用户接收应用输出。一个示例包括可以在计算设备上被执行的方法或技术。该方法或技术可以包括在由用户与交互式应用交互期间检测交互式应用的中断。该方法或技术还可以包括响应于检测到中断而生成自动用户输入并向交互式应用提供该自动用户输入。
[0004]另一示例包括一种系统，该系统具有硬件处理单元以及存储计算机可读指令的存储资源。在由硬件处理单元执行时，计算机可读指令可以使硬件处理单元检测网络中断，该网路中断至少暂时阻止流交互式应用接收一个或多个实际用户输入。计算机可读指令还可以使硬件处理单元使用先前接收的实际用户输入来生成自动用户输入。计算机可读指令还可以使硬件处理单元响应于检测到网络中断，用自动用户输入替换对流交互式应用的一个或多个实际用户输入。
[0005]另一示例包括计算机可读存储介质，该计算机可读存储介质存储计算机可读指令，这些计算机可读指令在由硬件处理单元执行时，使硬件处理单元执行动作。这些动作可以包括接收交互式应用的视频输出以及接收由用户提供的对交互式应用的实际用户输入。这些动作还可以包括检测中断，该中断阻止交互式应用接收进一步的实际用户输入。这些动作还可以包括向预测模型提供交互式应用的视频输出和实际用户输入，以及从预测模型获得经预测的用户输入。这些动作还可以包括在中断期间向交互式应用提供经预测的用户输入。
[0006]上面所列出的示例旨在提供快速参考以帮助读者，而不旨在限定本文中所描述的概念的范围。
附图说明
[0007]参考附图来描述具体实施例。在这些图中，附图标记的(多个)最左边的数字标识附图标记首次出现的图。在描述和这些图中的不同实例中对相似的附图标记的使用可以指示相似或相同的项目。
[0008]图1图示了与本概念的一些实现一致的示例游戏环境。
[0009]图2图示了与本概念的一些实现一致的示例时间线。
[0010]图3A
‑
图3E图示了与本概念的一些实现一致的示例用户体验。
[0011]图4图示了与本概念的一些实现一致的示例处理流程。
[0012]图5图示了与本概念的一些实现一致的示例用户交互模型。
[0013]图6图示了与本概念的一些实现一致的示例系统。
[0014]图7图示了与本概念的一些实现一致的示例方法或技术。
具体实施方式
[0015]概述
[0016]如所指出的，对于交互式应用(诸如，视频游戏、增强现实应用、或者用户频繁地提供输入以控制应用的其它应用)的用户而言，中断可能是有问题的。对于在线应用，用户设备与应用服务器之间的网络中断可以使应用服务器接收输入太迟而无法有效地使用它们来控制在线应用。另外，网络中断可以使用户设备接收应用服务器的输出(诸如，视频或音频输出)太迟，以至于用户无法有效地响应。在任一情况下，应用体验都受到影响。
[0017]用于解决应用中断的一种基本方法是在中断期间继续使用中断开始之前接收的最近的输入。然而，这种方法可能对用户的应用体验产生负面影响。例如，最近的输入可能在应用中引起负面的或意外的结果，因为用户没有机会调整他们的输入以响应在中断周期期间所生成的应用输出。
[0018]更复杂的备选方案可以涉及监视内部应用状态并在中断期间调整内部应用状态以提供更流畅的用户体验。然而，该方法可以涉及大量的开发工作，诸如修改内部应用代码以处理中断和/或向外部中断处理软件提供对于内部应用状态的挂钩。
[0019]所公开的实现提出了解决上面的问题的用于缓解应用中断的方法。在所公开的实现中，在应用中断期间自动用户输入被用来替换实际用户输入。当中断结束时，控制可以被返回给用户。
[0020]在一些实现中，自动用户输入可以在不访问内部应用状态的情况下生成。例如，用户交互模型可以使用诸如应用输出和先前接收的用户输入之类的信息来生成自动用户输入，并且由用户交互模型生成的自动用户输入可以在中断期间提供给应用。因此，所公开的实现可以在中断期间向用户提供无缝体验，而无需对应用代码进行修改。
[0021]另外，所公开的实现可以通过利用自动用户输入来提供逼真的用户体验，该自动用户输入准确地反映在没有中断的情况下特定用户将如何与给定应用交互。相比之下，如下面更详细讨论的，尝试仿真最佳行为而不是经预测的用户行为的方法可能导致不切实际的结果。
[0022]术语
[0023]就该文档而言，术语“应用”是指执行特定功能的任何类型的可执行软件、固件、或者硬件逻辑。术语“交互式应用”是指响应于接收的用户输入而执行处理，并且响应于所接收的用户输入而迭代地、频繁地、或者连续地调整应用输出的应用。术语“在线应用”是指通过任何类型的计算机网络或通信链路或通过将应用从一个设备流传输或下载到另一个设备可访问的应用。术语“流应用”是指在第一设备上执行且通过网络或其它通信链路向一个或多个其它设备发送应用输出流的在线应用。其它一个或多个设备可以再现应用输出，例
如使用显示器或音频设备，并且还可以向流应用提供用户输入。
[0024]术语“中断”是指至少暂时影响或阻止用户与交互式应用的交互的任何情形。例如，中断本质上可以是技术性的，例如网络中断或阻止交互式应用接收实际用户输入和/或阻止用户接收应用输出的其它技术问题。常见的中断可以包括网络条件(诸如，时延)、带宽限制、或者分组丢弃。中断本质上也可以是非技术性的，例如，用户可能由于与朋友或家庭成员的交谈、呼入电话呼叫等而分心。
[0025]术语“用户交互模型”是指可以用于例如通过生成自动用户输入对与应用的用户交互进行建模的任何类型的机器学习、启发式、或者基于规则的方法。术语“实际用户输入”是指在与交互式应用的交互过程期间由用户实际提供的输入。术语“自动用户输入”是指可以在中断期间代替实际用户输入的机器生成的表示。在一些情况下，可以使用由给定模型输出的自动用户输入而无需修改，而在其他情况下，由模型输出的自动用户输入可以在被提供给交互式应用之前被平滑或以其他方式与先前接收的实际用户输入组合。因此，术语“自动用户输入”涵盖用户交互模型的未修改的输出以及已被平滑或以其他方式与实际用户输入组合的用户交互模型的输出两者。
[0026]术语“机器学习模型”是指可以通过观察用户与应用之间的过去交互的特性来学习以生成自动用户输本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：硬件处理单元；以及存储计算机可读指令的存储资源，所述计算机可读指令在由所述硬件处理单元执行时，使所述硬件处理单元：检测网络中断，所述网络中断影响由流交互式应用对一个或多个实际用户输入的接收；使用先前接收的对所述流交互式应用的实际用户输入，生成自动用户输入；以及响应于检测到所述网络中断，用所述自动用户输入替换对所述流交互式应用的所述一个或多个实际用户输入。2.根据权利要求1所述的系统，其中所述计算机可读指令在由所述硬件处理单元执行时，使所述硬件处理单元：在没有所述网络中断的情况下，向执行所述流交互式应用的计算设备转发所接收的实际用户输入；以及在所述网络中断期间，向执行所述流交互式应用的所述计算设备转发所述自动用户输入。3.根据权利要求1所述的系统，其中所述计算机可读指令在由所述硬件处理单元执行时，使所述硬件处理单元：使用所述流交互式应用的输出来生成所述自动用户输入。4.根据权利要求1所述的系统，其中所述计算机可读指令在由所述硬件处理单元执行时，使所述硬件处理单元：检测到所述网络中断已被解决且进一步的实际用户输入已被接收；以及响应于检测到所述网络中断已被解决，停止用所述自动用户输入替换所述进一步的实际用户输入。5.根据权利要求1所述的系统，其中所述流交互式应用是视频游戏。6.根据权利要求5所述的系统，所述自动用户输入包括针对视频游戏控制器的经预测的控制器输入。7.根据权利要求5所述的系统，其中所述计算机可读指令在由所述硬件处理单元执行时，使所述硬件处理单元：使用与所述视频游戏的用户交互的用户交互模型来生成所述自动用户输入。8.根据权利要求7所述的系统，其中所述计算机可读指令在由所述硬件处理单元执行时，使所述硬件处理...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：