用于预测触摸解释的多任务机器学习制造技术

本公开提供了利用机器学习来预测多个触摸解释的系统和方法。具体地，本公开的系统和方法可以包括并使用机器学习触摸解释预测模型，其中该模型已经被训练为接收指示一个或多个用户输入对象相对于触摸传感器在一个或多个时间处的一个或多个位置的触摸传感器数据，并且响应于接收到触摸传感器数据而提供一个或多个预测触摸解释输出。每个预测触摸解释输出对应于至少部分地基于触摸传感器数据的不同类型的预测触摸解释。预测触摸解释可以包括触摸点解释集合、手势解释和/或针对一个或多个未来时间的触摸预测向量。

Multitask Machine Learning for Predictive Touch Interpretation

【技术实现步骤摘要】
【国外来华专利技术】用于预测触摸解释的多任务机器学习
本公开一般涉及机器学习。更具体地，本公开涉及利用多任务机器学习来确定触摸点和其他触摸解释的系统和方法。
技术介绍
用户可以使用用户输入对象(诸如例如一个或多个手指、由用户操作的触笔(stylus)或其他用户输入对象)向计算设备提供用户输入。具体地，在一个示例中，用户可以使用用户输入对象来触摸触敏显示屏或其他触敏组件。用户输入对象与触敏显示屏的交互使得用户能够以原始触摸传感器数据的形式向计算设备提供用户输入。在某些现有计算设备中，可以在与触摸传感器相关联的数字信号处理器上使用简单启发法(heuristics)将触摸传感器数据直接解释为0个、1个或多个“触摸点”。用来确定触摸传感器数据是否产生触摸点确定的传统分析可以限制可能的解释类型。在一些示例中，这样的现有计算设备中的触摸点确定使用有限数量的固定处理规则来分析触摸传感器数据。处理规则有时不能被修改来适配新技术，也不能相对于不同用户针对特定触摸模式而定制。此外，对所确定的触摸点的任何附加分析都涉及附加处理规则的后续使用。此外，现有计算设备中的触摸点确定在触摸点确定之后丢弃大量原始触摸传感器数据，因此阻止了进一步处理原始触摸传感器数据的可能性。
技术实现思路
本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述而获知，或者可以通过对实施例的实践而获知。本公开的一个示例方面针对一种从用户输入对象确定触摸解释的计算设备。该计算设备包括至少一个处理器、机器学习触摸解释预测模型和至少一个计算机可读介质(其可以是有形的、非暂时性计算机可读介质/多个有形的、非暂时性计算机可读介质，然而该方面不限于此)，该至少一个计算机可读介质存储当由至少一个处理器执行时使得至少一个处理器执行操作的指令。触摸解释预测模型已经被训练为接收指示一个或多个用户输入对象相对于触摸传感器在一个或多个时间处的一个或多个位置的触摸传感器数据，并且响应于接收到触摸传感器数据而输出一个或多个预测触摸解释。该操作包括获得指示相对于触摸传感器随时间的一个或多个用户输入对象位置的第一触摸传感器数据集合。该操作还包括将第一触摸传感器数据集合输入到机器学习触摸解释预测模型中。该操作还包括接收作为触摸解释预测模型的输出的、描述一个或多个用户输入对象的预测意图的一个或多个预测触摸解释。触摸传感器数据可以是原始触摸传感器数据，并且第一触摸传感器数据集合可以是第一原始触摸传感器数据集合。本公开的另一个示例方面针对一个或多个有形的、非暂时性计算机可读介质(其可以是有形的、非暂时性计算机可读介质，然而该方面不限于此)，该一个或多个有形的、非暂时性计算机可读介质存储当由一个或多个处理器执行时使得一个或多个处理器执行操作的计算机可读指令。该操作包括获得描述机器学习触摸解释预测模型的数据。触摸解释预测模型已经被训练为接收指示一个或多个用户输入对象相对于触摸传感器在一个或多个时间处的一个或多个位置的触摸传感器数据，并且响应于接收到触摸传感器数据而提供多个预测触摸解释输出。每个预测触摸解释输出对应于至少部分地基于触摸传感器数据的不同类型的预测触摸解释。该操作还包括获得指示相对于触摸传感器随时间的一个或多个用户输入对象位置的第一触摸传感器数据集合。该操作还包括将第一触摸传感器数据集合输入到机器学习触摸解释预测模型中。该操作还包括接收作为触摸解释预测模型的输出的多个预测触摸解释，每个预测触摸解释描述一个或多个用户输入对象的不同预测方面。该操作还包括执行与多个预测触摸解释相关联的一个或多个动作。触摸传感器数据可以是原始触摸传感器数据，并且第一触摸传感器数据集合可以是第一原始触摸传感器数据集合。本公开的另一个示例方面针对一种从用户输入对象确定触摸解释的移动计算设备。该移动计算设备包括处理器和至少一个计算机可读介质(其可以是有形的、非暂时性计算机可读/介质，然而这方面不限于此)，该至少一个计算机可读介质存储当由至少一个处理器执行时使得至少一个处理器执行操作的指令。该操作包括获得描述包括神经网络的机器学习触摸解释预测模型的数据。触摸解释预测模型已经被训练为接收指示一个或多个用户输入对象相对于触摸传感器在一个或多个时间处的一个或多个位置的触摸传感器数据，并且响应于接收到触摸传感器数据而输出两个或更多个预测触摸解释。该操作还包括获得与一个或多个用户输入对象相关联的第一触摸传感器数据集合，该第一触摸传感器数据集合描述一个或多个用户输入对象随时间的位置。该操作还包括将第一触摸传感器数据集合输入到机器学习触摸解释预测模型中。该操作还包括接收作为触摸解释预测模型的输出的、描述一个或多个用户输入对象的一个或多个预测意图的两个或更多个预测触摸解释。两个或更多个预测触摸解释包括分别描述一个或多个意图触摸点的触摸点解释集合和将触摸点解释集合表征为从预定义手势类别确定的手势的手势解释。触摸传感器数据可以是原始触摸传感器数据，并且第一触摸传感器数据集合可以是第一原始触摸传感器数据集合。本公开的互补示例方面针对一种处理器实现的方法，该方法包括获得描述包括神经网络的机器学习触摸解释预测模型的数据。触摸解释预测模型已经被训练为接收指示一个或多个用户输入对象相对于触摸传感器在一个或多个时间处的一个或多个位置的触摸传感器数据，并且响应于接收到触摸传感器数据而输出两个或更多个预测触摸解释。该方法还包括获得与一个或多个用户输入对象相关联的第一触摸传感器数据集合，该第一触摸传感器数据集合描述一个或多个用户输入对象随时间的位置。该方法还包括将第一触摸传感器数据集合输入到机器学习触摸解释预测模型中。该方法还包括接收作为触摸解释预测模型的输出的、描述一个或多个用户输入对象的一个或多个预测意图的两个或更多个预测触摸解释。两个或更多个预测触摸解释包括分别描述一个或多个意图触摸点的触摸点解释集合和将触摸点解释集合表征为从预定义手势类别确定的手势的手势解释。触摸传感器数据可以是原始触摸传感器数据，并且第一触摸传感器数据集合可以是第一原始触摸传感器数据集合。本公开的其他方面针对各种系统、装置、非暂时性计算机可读介质、用户接口和电子设备。参考以下描述和所附权利要求，本公开的各种实施例的这些和其他特征、方面以及优点将更好理解。并入本说明书中并构成其一部分的附图图示了本公开的示例实施例，并且与描述一起用来解释相关原理。附图说明在参考附图的说明书中阐述了写给本领域普通技术人员的实施例的详细讨论，其中：图1描绘了根据本公开的示例实施例的执行机器学习的示例计算系统的框图；图2描绘了根据本公开的示例实施例的执行机器学习的第一示例计算设备的框图；图3描绘了根据本公开的示例实施例的执行机器学习的第二示例计算设备的框图；图4描绘了根据本公开的示例实施例的第一示例模型布置；图5描绘了根据本公开的示例实施例的第二示例模型布置；图6描绘了根据本公开的示例实施例的示例用例的第一方面；图7描绘了根据本公开的示例实施例的示例用例的第二方面；图8描绘了根据本公开的示例实施例的执行机器学习的示例方法的流程图；图9描绘了根据本公开的示例实施例的执行机器学习的示例方法的第一附加方面的流程图；图10描绘了根据本公开的示例实施例的执行机器学习的示例方法的第二附加方面的流程图；并且图11描本文档来自技高网...

【技术保护点】
1.一种从用户输入对象确定触摸解释的计算设备，包括：至少一个处理器；机器学习触摸解释预测模型，其中所述触摸解释预测模型已经被训练为接收指示一个或多个用户输入对象相对于触摸传感器在一个或多个时间处的一个或多个位置的原始触摸传感器数据，并且响应于接收到原始触摸传感器数据而输出一个或多个预测触摸解释；以及至少一个有形的、非暂时性计算机可读介质，存储当由至少一个处理器执行时使得至少一个处理器执行操作的指令，所述操作包括：获得指示相对于触摸传感器随时间的一个或多个用户输入对象位置的第一原始触摸传感器数据集合；将第一原始触摸传感器数据集合输入到机器学习触摸解释预测模型中；以及接收作为触摸解释预测模型的输出的、描述一个或多个用户输入对象的预测意图的一个或多个预测触摸解释。

【技术特征摘要】
【国外来华专利技术】2016.12.29 US 15/393,6111.一种从用户输入对象确定触摸解释的计算设备，包括：至少一个处理器；机器学习触摸解释预测模型，其中所述触摸解释预测模型已经被训练为接收指示一个或多个用户输入对象相对于触摸传感器在一个或多个时间处的一个或多个位置的原始触摸传感器数据，并且响应于接收到原始触摸传感器数据而输出一个或多个预测触摸解释；以及至少一个有形的、非暂时性计算机可读介质，存储当由至少一个处理器执行时使得至少一个处理器执行操作的指令，所述操作包括：获得指示相对于触摸传感器随时间的一个或多个用户输入对象位置的第一原始触摸传感器数据集合；将第一原始触摸传感器数据集合输入到机器学习触摸解释预测模型中；以及接收作为触摸解释预测模型的输出的、描述一个或多个用户输入对象的预测意图的一个或多个预测触摸解释。2.根据权利要求1所述的计算设备，其中，一个或多个预测触摸解释包括至少第一预测触摸解释和第二预测触摸解释，其中所述第一预测触摸解释包括分别描述一个或多个意图触摸点的触摸点解释集合，所述第二预测触摸解释包括将触摸点解释集合表征为从预定义手势类别确定的手势的手势解释。3.根据权利要求1或2所述的计算设备，其中，机器学习触摸解释预测模型包括具有多个输出层的深层递归神经网络，每个输出层对应于描述一个或多个用户输入对象的一个或多个预测意图的不同类型的触摸解释。4.根据权利要求1或2所述的计算设备，其中：机器学习触摸解释预测模型包括至少一个共享层和在结构上位于所述至少一个共享层之后的多个不同且有区别的输出层；并且接收作为触摸解释预测模型的输出的、描述一个或多个用户输入对象的预测意图的一个或多个预测触摸解释包括：从机器学习触摸解释预测模型的多个不同且有区别的输出层接收一个或多个预测触摸解释。5.根据任一项前述权利要求所述的计算设备，其中，获得第一原始触摸传感器数据集合包括获得与用户的一个或多个手指或手部分或者由用户操作的触笔相关联的第一原始触摸传感器数据集合，第一原始触摸传感器数据集合描述一个或多个手指、手部分或触笔相对于触敏屏幕的位置。6.根据任一项前述权利要求所述的计算设备，其中，获得第一原始触摸传感器数据集合包括：获得第一原始时间传感器数据集合，其中所述第一原始时间传感器数据集合提供描述一个或多个用户输入对象在x维度上的位置的变化的至少一个值、描述一个或多个用户输入对象在y维度上的位置的变化的至少一个值、以及描述时间变化的至少一个值；或获得第一原始时间传感器数据集合，其中所述第一原始时间传感器数据集合提供描述一个或多个用户输入对象在x维度上的至少两个位置的至少两个值、描述一个或多个用户输入对象在y维度上的至少两个位置的至少两个值、以及描述至少两个时间的至少两个值。7.根据任一项前述权利要求所述的计算设备，其中，机器学习触摸解释预测模型已经基于第一训练数据集合而训练，其中所述第一训练数据集合包括：与指示相对于触摸传感器的一个或多个用户输入对象位置的记录的触摸传感器数据相对应的第一部分数据、和与应用于记录的屏幕内容的所确定的触摸解释的标记相对应的第二部分数据，其中第一部分数据和屏幕内容被同时记录。8.根据任一项前述权利要求所述的计算设备，其中，机器学习触摸解释预测模型已经基于第二训练数据集合而训练，其中所述第二训练数据集合包括：与触摸传感器数据观察的初始序列相对应的第一部分数据、和与触摸传感器数据观察的后续序列相对应的第二部分数据。9.根据任一项前述权利要求所述的计算设备，其中，一个或多个预测触摸解释包括分别描述零个、一个或多个触摸点的触摸点解释集合。10.根据权利要求8所述的计算设备，其中，触摸点解释集合还包括描述与每个触摸点相关联的预测类型的用户输入对象和每个触摸点处的所估计的触摸压力的触摸类型中的一个或多个。11.根据任一项前述权利要求所述的计算设备，其中，一个或多个预测触摸解释包括将第一原始触摸传感器数据集合的至少一部分表征为从预定义手势类别确定的手势的手势解释。12.根据任一项前述权利要求所述的计算设备，其中，一个或多个预测触摸解释包括描述一个或多个用户输入对象分别针对一个或多个未来时间的一个或多个预测未来位置的触摸预测向量。13.一个或多个有形的、非暂时性计算机可读介质，其中所述一个或多个有形的、非暂时性计算机可读介质存储当...

【专利技术属性】
技术研发人员：T德赛雷斯，V卡布恩，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US