经由以时间残差连接为特征的机器学习模型对顺序数据的改进处理制造技术

系统和方法可以包括或利用机器学习模型(例如，卷积神经网络)，该模型包括一个或多个时间残差连接。特别是，每个时间残差连接可以分别将由模型的当前实例化从当前顺序输入生成的一个或多个中间特征数据集供应到应用于处理一个或多个其他顺序输入的机器学习模型的一个或多个其他实例化。例如，机器学习模型的其他实例化可以包括：被应用于处理序列中跟随当前顺序输入的一个或多个后续顺序输入的机器学习模型的后续实例化，和/或被应用于处理序列中在当前顺序输入先前的一个或多个先前顺序输入的机器学习模型的先前实例化。前顺序输入的机器学习模型的先前实例化。前顺序输入的机器学习模型的先前实例化。

【技术实现步骤摘要】
【国外来华专利技术】经由以时间残差连接为特征的机器学习模型对顺序数据的改进处理
[0001]相关申请
[0002]本申请要求2021年1月13日提交的美国临时专利申请号63/136,772的优先权和权益。美国临时专利申请号63/136,772的全部内容通过引用被并入本文。


[0003]本公开总体涉及用于处理顺序数据的机器学习。更具体地说，本公开涉及一种机器学习模型(例如，神经网络，诸如卷积神经网络)，其以在模型的不同时间实例化之间传递中间特征数据的一个或多个残差连接为特征。

技术介绍

[0004]各种机器学习任务包括从顺序数据诸如顺序图像数据、音频数据(例如，语音数据)、文本数据、传感器数据等生成预测或推断。作为一个示例，给定来自视频的图像序列，视频理解模型的任务可能是预测帧级或视频级输出，用于诸如动作辨识、对象检测或其他的任务。
[0005]在许多情况下，检测和理解顺序数据本身内的时间依赖性的能力对于生成高质量的预测至关重要。然而，许多典型的现有模型架构并不有助于这种性质的时间理解。
[0006]试图捕捉时间信息的其他模型是低效或低性能的。例如，基于三维卷积的模型通常要求输入是预处理的图像帧的序列，并试图并发处理所有的图像，从而导致大的存储器占用(例如，与输入帧的数量成线性增长)和离线推断。作为另一示例，某些递归模型(例如基于门控递归单元或长短时记忆单元)容易出现训练不稳定和性能低下的情况。

技术实现思路

[0007]本公开的实施例的方面和优点将在以下描述中部分阐述，或者可以从描述中了解，或者可以通过实施例的实践了解。
[0008]本公开的一个示例方面是针对一种用于对顺序数据的改进的时间处理的计算系统。该计算系统包括一个或多个处理器和一个或多个非暂时性计算机可读介质，其集体存储：机器学习卷积神经网络，其包括一个或多个时间残差连接，所述一个或多个时间残差连接分别向被应用于处理一个或多个其他顺序输入的机器学习卷积神经网络的一个或多个其他实例化供应从当前顺序输入生成的一个或多个中间特征数据集；以及指令，其在由一个或多个处理器执行时，使该计算系统执行操作。这些操作包括，对于在序列中包括的多个顺序输入中的每一个：利用机器学习卷积神经网络的当前实例化的至少一部分处理当前顺序输入，以生成当前中间特征数据集；存储当前中间特征数据集，以提供给被应用于处理序列中的当前顺序输入的后续的一个或多个后续顺序输入的机器学习卷积神经网络的一个或多个后续实例化；访问由被应用于处理序列中的当前顺序输入先前的一个或多个先前顺序输入的机器学习卷积神经网络的一个或多个先前实例化生成的一个或多个先前中间特
征数据集；以及至少部分地基于当前中间特征数据集和一个或多个先前中间特征数据集，从机器学习卷积神经网络的当前实例化来生成模型输出。
[0009]本公开的另一个示例方面是针对一种计算机实现的方法。该方法包括，对于在序列中包括的多个顺序输入中的每一个：利用机器学习卷积神经网络的当前实例化的至少一部分来处理当前顺序输入，以生成当前中间特征数据集；存储当前中间特征数据集，用于提供给被应用于处理序列中在当前顺序输入的后续的一个或多个后续顺序输入的机器学习卷积神经网络的一个或多个后续实例化，其中机器学习卷积神经网络的当前实例化经由一个或多个时间残差连接与机器学习卷积神经网络的一个或多个后续实例化连接；访问由被用于应用于处理序列中当前顺序输入先前的一个或多个先前顺序输入的机器学习卷积神经网络的一个或多个先前实例化生成的一个或多个先前中间特征数据集，其中机器学习卷积神经网络的当前实例化经由一个或多个时间残差连接与机器学习卷积神经网络的一个或多个先前实例化连接；以及至少部分地基于当前中间特征数据集和一个或多个先前中间特征数据集，从机器学习卷积神经网络的当前实例化生成模型输出。
[0010]本公开的另一个示例方面针对一个或多个非暂时性计算机可读介质，其集体存储：机器学习卷积神经网络，其包括一个或多个时间残差连接，所述一个或多个时间残差连接分别向被应用于处理一个或多个其他顺序输入的机器学习卷积神经网络的一个或多个其他实例化供应从当前顺序输入生成的一个或多个中间特征数据集；以及用于执行机器学习卷积神经网络的计算机可读指令。
[0011]本公开的其他方面针对各种系统、装置、非暂时性计算机可读媒体、用户接口和电子设备。
[0012]本公开的各种实施例的这些和其他特征、方面和优点将在参考以下描述和所附权利要求后变得更好理解。并入本说明书并构成其一部分的附图图示了本公开的示例实施例，并与描述一起用于解释相关原理。
附图说明
[0013]针对本领域普通技术人员的实施例的详细讨论载于说明书中，参考了附图，在附图中：
[0014]图1描绘了根据本公开的示例实施例的机器学习模型的图形，该模型包括一个或多个时间残差连接。
[0015]图2A
‑
图2G描绘了根据本公开的示例实施例的包括一个或多个时间残差连接的示例机器学习模型的框图。
[0016]图3A
‑
图3C描绘了根据本公开的示例实施例的示例时间残差连接操作的框图。
[0017]图4A描绘了根据本公开的示例实施例的示例计算系统的框图。
[0018]图4B描绘了根据本公开的示例实施例的示例计算设备的框图。
[0019]图4C描绘了根据本公开的示例实施例的示例计算设备的框图。
[0020]图5描绘了根据本公开的示例实施例的采用机器学习模型的示例方法的流程图，该模型包括一个或多个时间残差连接。
[0021]跨多个图中重复的附图标记旨在识别不同实施方式中的相同特征。
具体实施方式
[0022]概述
[0023]总的来说，本公开内容针对的是包括或充分利用机器学习模型(例如，卷积神经网络)的系统和方法，该模型包括一个或多个时间残差连接。特别是，每个时间残差连接可以分别向被应用于处理一个或多个其他顺序输入的机器学习模型的一个或多个其他实例化供应由当前模型实例化从当前顺序输入生成的一个或多个中间特征数据集，。例如，机器学习模型的其他实例化可以包括：被应用于处理在序列中跟随当前顺序输入的一个或多个后续顺序输入的机器学习模型的后续实例化，和/或被应用于处理序列中在当前顺序输入先前的一个或多个先前顺序输入的机器学习模型的先前实例化。以这种方式，对顺序数据的不同部分之间的时间依赖性建模有用的时间信息可以从模型的一个实例化传递到其他实例化，允许机器学习模型在生成预测/推断时更有效地保留和处理时间信息。
[0024]更特别的是，本文描述的示例机器学习模型可以使用时间残差连接从模型的附近实例化接收和/或向模型的附近实例化发送中间特征数据(例如，来自神经网络的层——诸如卷积网络的卷积层——的中间激活)。跨时间残差连接传递这样的信息，可以生成提升或以其他方式改进模型的每个实例化的特征提取过程的效果。换句话说，时间残差连接可以被用来在时间上结合(conjunct)特征图。请注意，这与深度神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对顺序数据的改进的时间处理的计算系统，所述计算系统包括：一个或多个处理器；以及一个或多个非暂时性计算机可读介质，所述一个或多个非暂时性计算机可读介质集中存储：机器学习卷积神经网络，所述机器学习卷积神经网络包括一个或多个时间残差连接，所述一个或多个时间残差连接分别向被应用于处理一个或多个其他顺序输入的机器学习卷积神经网络的一个或多个其他实例化供应从当前顺序输入生成的一个或多个中间特征数据集；以及指令，所述指令当由所述一个或多个处理器执行时，使所述计算系统执行操作，所述操作包括：对于包括在序列中的多个顺序输入中的每一个：利用所述机器学习卷积神经网络的当前实例化的至少一部分来处理所述当前顺序输入，以生成当前中间特征数据集；存储所述当前中间特征数据集，用于提供给被应用于处理所述序列中在所述当前顺序输入后续的一个或多个后续顺序输入的所述机器学习卷积神经网络的一个或多个后续实例化；访问由被应用于处理所述序列中在所述当前顺序输入先前的一个或多个先前顺序输入的所述机器学习卷积神经网络的一个或多个先前实例化生成的一个或多个先前中间特征数据集；以及至少部分地基于所述当前中间特征数据集和所述一个或多个先前中间特征数据集，从所述机器学习卷积神经网络的所述当前实例化生成模型输出。2.根据权利要求1所述的计算系统，其中，所述机器学习卷积神经网络仅由前向传播的时间残差连接组成，所述前向传播的时间残差连接将从所述当前顺序输入生成的所述一个或多个中间特征数据集供应到所述机器学习卷积神经网络的所述后续实例化。3.根据权利要求1所述的计算系统，其中，所述机器学习卷积神经网络包括以下两者：前向传播的时间残差连接，所述前向传播的时间残差连接将从所述当前顺序输入生成的所述一个或多个中间特征数据集供应到所述机器学习卷积神经网络的所述后续实例化；以及后向传播的时间残差连接，所述后向传播的时间残差连接将从所述当前顺序输入生成的所述一个或多个中间特征数据集供应到所述机器学习卷积神经网络的所述先前实例化。4.根据前述权利要求中任一项所述的计算系统，其中，所述一个或多个时间残差连接中的至少一个被配置为将所述一个或多个中间特征数据集供应到所述机器学习卷积神经网络的所述一个或多个其他实例化的相同层。5.根据前述权利要求中任一项所述的计算系统，其中，所述一个或多个时间残差连接中的至少一个被配置为将所述一个或多个中间特征数据集供应到所述机器学习卷积神经网络的所述一个或多个其他实例化的不同层。6.根据前述权利要求中任一项所述的计算系统，其中，所述一个或多个时间残差连接包括存在于所述机器学习卷积神经网络内不同的相应深度的多个时间残差连接。7.根据前述权利要求中任一项所述的计算系统，其中，至少部分地基于所述当前中间
特征数据集和所述一个或多个先前中间特征数据集从所述机器学习卷积神经网络的所述当前实例化生成所述模型输出包括：将所述先前中间特征数据集中的至少一个与至少一个现有的特征数据集相组合以形成组合的特征数据集；以及至少部分地基于所述组合的特征数据集，从所述机器学习卷积神经网络的所述当前实例化生成所述模型输出。8.根据权利要求7所述的计算系统，其中，将所述先前中间特征数据集中的所述至少一个与所述至少一个现有的特征数据集相组合以形成所述组合的特征数据集包括：对所述先前中间特征数据集中的所述至少一个与所述至少一个现有的特征数据集求和。9.根据权利要求7所述的计算系统，其中，将所述先前中间特征数据集中的所述至少一个与所述至少一个现有的特征数据集相组合以形成所述组合的特征数据集包括：将所述先前中间特征数据集中的所述至少一个与所述至少一个现有的特征数据集连结；以及将一个或多个卷积应...

【专利技术属性】
技术研发人员：袁梁哲，王永喆，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：