执行触摸运动预测的深度机器学习制造技术

本公开提供了利用机器学习来执行用户输入运动预测的系统和方法。具体地，本公开的系统和方法可以包括并使用机器学习运动预测模型，该机器学习运动预测模型被训练为接收指示用户输入对象的运动的运动数据，并且响应于接收到运动数据而输出用户输入对象的预测的未来位置。用户输入对象可以是用户的手指或由用户操作的触笔。运动预测模型可以包括深度递归神经网络。

Deep Machine Learning for Implementing Touch Motion Prediction

【技术实现步骤摘要】
【国外来华专利技术】执行触摸运动预测的深度机器学习
本公开一般涉及机器学习。更具体地，本公开涉及执行用户输入运动预测的深度机器学习。
技术介绍
用户可以使用用户输入对象(诸如，例如一个或多个手指、由用户操作的触笔或其他用户输入对象)向计算设备提供用户输入。具体地，在一个示例中，用户可以使用用户输入对象来触摸触敏显示屏或其他触敏组件。用户输入对象与触敏显示屏的交互使得用户能够向计算设备提供用户输入。然而，在某些现有计算设备中，在触摸事件的结果显示在屏幕上之前，由触敏显示屏检测到的触摸事件必须经过相当大的处理堆栈。例如，触摸输入处理堆栈可以包括用于液晶显示器(LiquidCrystalDisplay，LCD)屏幕的固件、内核、渲染和垂直同步(VerticalSynchronization，V-Sync)的组合。处理堆栈还可以包括由消耗触摸输入的各个程序完成的软件处理。处理堆栈的大小和复杂性引入了“触摸时延”的问题，其中在触摸事件发生时和设备似乎响应触摸事件时之间发生延迟。触摸时延是影响设备性能的重大挑战。虽然利用更好的软件调度可以减少一些触摸时延，但是无论处理堆栈组织得有多好，存在用于处理触摸事件并且然后该触摸事件到达屏幕的最小时间量。
技术实现思路
本公开的实施例的方面和优点将在以下描述中部分阐述，或者可以从描述来学习，或者可以通过实施例的实践来学习。本公开的一个示例方面针对一种预测用户输入对象的运动的计算机实施的方法。该方法包括由一个或多个计算设备获得与用户输入对象相关联的第一组运动数据。第一组运动数据描述用户输入对象随时间的位置。该方法包括由一个或多个计算设备将第一组运动数据输入到机器学习运动预测模型的递归神经网络中。该方法包括由一个或多个计算设备接收运动预测向量作为运动预测模型的输出，其中该运动预测向量描述用户输入对象的分别针对一个或多个未来时间的一个或多个预测的未来位置。本公开的另一示例方面针对预测用户输入对象的运动的计算设备。该计算设备包括至少一个处理器。该计算设备包括机器学习运动预测模型，其中该机器学习运动预测模型包括递归神经网络。该运动预测模型被训练为接收指示用户输入对象的运动的运动数据，并且响应于接收到运动数据而输出用户输入对象的预测的未来位置。该计算设备包括存储指令的至少一个有形、非暂时性计算机可读介质，其中当该指令由至少一个处理器运行时，使得至少一个处理器获得与用户输入对象相关联的第一组运动数据。第一组运动数据描述用户输入对象随时间的位置。指令的运行使得至少一个处理器将第一组运动数据输入到运动预测模型的递归神经网络中。指令的运行使得至少一个处理器接收运动预测向量作为运动预测模型的输出，其中该运动预测向量描述用户输入对象的分别针对一个或多个未来时间的一个或多个预测的未来位置。指令的运行使得至少一个处理器执行与由运动预测向量描述的一个或多个预测的未来位置相关联的一个或多个动作。本公开的另一示例方面针对包括用户计算设备的计算系统。该用户计算设备包括至少一个处理器和至少一个非暂时性计算机可读介质。该至少一个非暂时性计算机可读介质存储机器学习运动预测模型，其中该机器学习运动预测模型被配置为接收指示用户输入对象的运动的运动数据，并且响应于接收到运动数据而输出用户输入对象的预测的未来位置。运动预测模型由损失函数通过运动预测模型的反向传播来训练。损失函数包括描述一个或多个误差向量分别的一个或多个长度的第一和除以一个或多个真值向量分别的一个或多个长度的第二和的误差比。该至少一个非暂时性计算机可读介质存储当由至少一个处理器运行时，使得用户计算设备使用机器学习运动预测模型来获得用户输入对象的预测的未来位置的指令。本公开的其他方面针对各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。参考以下描述和所附权利要求，本公开的各种实施例的这些和其他特征、方面和优点将变得更好理解。并入本说明书并构成本说明书的一部分的附图图示了本公开的示例实施例，并与说明书一起用来解释相关原理。附图说明针对本领域普通技术人员之一的实施例的详细讨论在参考附图的说明书中阐述，其中：图1描绘了根据本公开的示例实施例的示例计算系统的框图。图2描绘了根据本公开的示例实施例的示例运动预测模型的框图。图3描绘了根据本公开的示例实施例的示例运动预测模型的框图。图4描绘了根据本公开的示例实施例的示例运动预测模型的框图。图5描绘了根据本公开的示例实施例的预测用户输入对象的运动的示例方法的流程图。图6描绘了根据本公开的示例实施例的训练运动预测模型的示例方法的流程图。图7描绘了根据本公开的示例实施例的示例运动向量的图形示图。图8描绘了根据本公开的示例实施例的示例运动向量的图形示图。具体实施方式概述通常，本公开针对利用机器学习来执行用户输入运动预测的系统和方法。具体地，本公开的系统和方法可以包括并使用机器学习运动预测模型，其中该机器学习运动预测模型被训练为接收指示用户输入对象的运动的运动数据，并且响应于接收到运动数据而输出用户输入对象的预测的未来位置。例如，用户输入对象可以是用户的手指或由用户操作的触笔。具体地，根据本公开的一方面，运动预测模型可以包括递归神经网络(例如，深度递归神经网络)。在一个示例中，用户计算设备可以获得描述用户输入对象随时间的位置的运动数据。计算设备可以将运动数据输入到运动预测模型的递归神经网络中，并且接收运动预测向量作为运动预测模型的输出。运动预测向量可以描述用户输入对象的分别针对一个或多个未来时间的一个或多个预测的未来位置。计算设备可以使用由运动预测模型输出的运动预测向量来减少或甚至消除触摸时延。具体地，计算设备可以响应于或以其他方式基于用户输入对象的预测的未来位置来执行操作，从而消除等待接收用户输入动作的剩余部分并通过大的处理堆栈处理输入动作的剩余部分的需要。为了提供示例，本公开的计算设备可以将描述与用户触摸动作的初始部分(例如，向左划动动作的初始部分)相关联的手指运动/位置的运动数据输入到运动预测模型的递归神经网络中。响应于接收到运动数据，运动预测模型可以预测与用户触摸动作的剩余部分(例如，向左划动动作的剩余部分)相关联的手指运动/位置。计算设备可以响应于预测的手指运动/位置而执行动作(例如，渲染其中所显示的对象已经被向左划动的显示屏)。这样，计算设备不需要等待并且然后处理用户触摸动作的剩余部分。因此，计算设备能够更快地响应触摸事件并减少触摸时延。例如，高质量运动预测可以使得触摸时延能够减少到人类用户不可感知的水平。更具体地，本公开的方面适用于经由用户输入对象的运动接收用户输入的计算设备。示例用户输入对象包括用户的一个或多个手指、由用户操作的触笔或其他用户输入对象。具体地，在一个示例中，用户可以使用用户输入对象来触摸计算设备的触敏显示屏或其他触敏组件。用户输入对象相对于触敏显示屏的运动使得用户能够向计算设备提供用户输入。具体地，计算设备可以生成或以其他方式获得描述用户输入对象随时间的位置的一组运动数据。例如，可以收集和处理从各种传感器(例如，触敏显示屏或其他用户输入组件)接收的数据，以生成一组运动数据。作为一个示例，一组运动数据可以包括对象位置和时间的一个或多个条目。例如，一组运动数据可以包括提供用户输入对象在x维和y维上的位置以本文档来自技高网...

【技术保护点】
1.一种预测用户输入对象的运动的计算机实施的方法，该方法包括：由一个或多个计算设备获得与用户输入对象相关联的第一组运动数据，所述第一组运动数据描述用户输入对象随时间的位置；由一个或多个计算设备将第一组运动数据输入到机器学习运动预测模型的递归神经网络中；以及由一个或多个计算设备接收运动预测向量作为运动预测模型的输出，其中所述运动预测向量描述用户输入对象的分别针对一个或多个未来时间的一个或多个预测的未来位置。

【技术特征摘要】
【国外来华专利技术】2016.09.08 US 15/259,9171.一种预测用户输入对象的运动的计算机实施的方法，该方法包括：由一个或多个计算设备获得与用户输入对象相关联的第一组运动数据，所述第一组运动数据描述用户输入对象随时间的位置；由一个或多个计算设备将第一组运动数据输入到机器学习运动预测模型的递归神经网络中；以及由一个或多个计算设备接收运动预测向量作为运动预测模型的输出，其中所述运动预测向量描述用户输入对象的分别针对一个或多个未来时间的一个或多个预测的未来位置。2.根据权利要求1所述的计算机实施的方法，其中，由一个或多个计算设备获得与用户输入对象相关联的第一组运动数据包括由一个或多个计算设备获得与用户的手指或由用户操作的触笔相关联的第一组运动数据，所述第一组运动数据描述手指或触笔相对于触敏屏的运动。3.根据权利要求1或2所述的计算机实施的方法，其中，由一个或多个计算设备将第一组运动数据输入到运动预测模型的机器学习递归神经网络中包括由一个或多个计算设备将第一组运动数据输入到运动预测模型的机器学习长短期记忆(LSTM)神经网络中。4.根据权利要求1-3中任一项所述的计算机实施的方法，还包括：由一个或多个计算设备接收高维上下文向量作为递归神经网络的输出；以及由一个或多个计算设备将高维上下文向量和描述一个或多个未来时间的时间向量输入到运动预测模型的前馈神经网络中；其中，由一个或多个计算设备接收运动预测向量作为运动预测模型的输出包括由一个或多个计算设备接收运动预测向量作为前馈神经网络的输出。5.根据权利要求1-3中任一项所述的计算机实施的方法，还包括：由一个或多个计算设备接收高维上下文向量作为递归神经网络的输出；以及由一个或多个计算设备将高维上下文向量和描述一个或多个未来时间的时间向量输入到运动预测模型的递归解码器神经网络中；其中，由一个或多个计算设备接收运动预测向量作为运动预测模型的输出包括由一个或多个计算设备接收运动预测向量作为递归解码器神经网络的输出。6.根据权利要求1-3中任一项所述的计算机实施的方法，其中：由一个或多个计算设备将第一组运动数据输入到机器学习递归神经网络中包括由一个或多个计算设备将第一组运动数据和描述一个或多个未来时间的时间向量输入到递归神经网络中；以及由一个或多个计算设备接收运动预测向量作为运动预测模型的输出包括由一个或多个计算设备接收运动预测向量作为递归神经网络的输出。7.根据前述权利要求中任一项所述的计算机实施的方法，其中，由一个或多个计算设备获得与用户输入对象相关联的第一组运动数据包括：由一个或多个计算设备获得第一组运动数据，其中所述第一组运动数据提供描述用户输入对象在x维中的位置的改变的至少一个值、描述用户输入对象在y维中的位置的改变的至少一个值、以及描述时间的改变的至少一个值；或者由一个或多个计算设备获得第一组运动数据，其中所述第一组运动数据提供描述用户输入对象在x维中的至少两个位置的至少两个值、描述用户输入对象在y维中的至少两个位置的至少两个值、以及描述至少两个时间的至少两个值。8.根据前述权利要求中任一项所述的计算机实施的方法，还包括：由一个或多个计算设备基于一组训练数据训练运动预测模型；其中，由一个或多个计算设备训练运动预测模型包括由一个或多个计算设备通过运动预测模型反向传播损失函数；并且其中，损失函数包括描述一个或多个误差向量分别的一个或多个长度的第一和除以一个或多个真值向量分别的一个或多个长度的第二和的误差比。9.根据前述权利要求中任一项所述的计算机实施的方法，其中：由一个或多个计算设备获得第一组运动数据包括由一个或多个计算设备迭代地获得分别更新用户输入对象随时间的位置的多个运动更新；由一个或多个计算设备将第一组运动数据输入到递归神经网络包括由一个或多个计算设备迭代地将多个运动更新中的每一个运动更新在它们被迭代地获得时输入到递归神经网络中；以及由一个或多个计算设备接收运动预测向量作为运动预测模型的输出包括由一个或多个计算设备迭代地接收多个运动预测向量作为运动预测模型的输出。10.根据前述权利要求中任一项所述的计算机实施的方法，还包括：当确定用户输入对象已经停止提供用户输入时，由一个或多个计算设备清除与递归神经网络相关联的高速缓存。11....

【专利技术属性】
技术研发人员：PC林，TH林，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US