执行机器学习模型的分割推理操作制造技术

技术编号:40985810 阅读:25 留言:0更新日期:2024-04-18 21:30
在本文档中描述了用于执行机器学习模型的推理操作的方法、系统和装置,其包括编码在计算机存储介质上的计算机程序。在一个方面,该方法包括接收表示包括推理操作的第一机器学习模型的数据。获得系统执行推理操作的估计历时。获得为在循环时间窗口的每次出现期间执行优先机器学习模型的优先推理操作而保留的优先时间段。确定在保留优先时间段之后剩余的循环时间窗口的每次出现的剩余时间段。对估计历时是否大于剩余时间段进行确定。作为响应,第一机器学习模型被划分成子模型组。硬件处理单元在剩余时间段期间执行子模型的推理操作。

【技术实现步骤摘要】
【国外来华专利技术】

本说明书涉及数据处理、机器学习和执行机器学习模型的分割推理操作


技术介绍

1、机器学习模型是根据经验(例如,历史数据)训练的模型,以用于学习模式并对数据集、事件和系统进行预测。神经网络是采用一层或多层非线性单元来预测接收的输入的输出的机器学习模型。除了输出层之外,一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层(即下一隐藏层或输出层)的输入。网络的每一层根据网络参数的相应集合的当前值从接收的输入生成输出。

2、一般来说,具有较深层和较大层大小的神经网络在被训练之后通常表现优于它们较浅和较小的神经网络,例如,当应用于图像检测或自然语言处理相关任务时。较大和较深的神经网络固有地具有较大数目的参数,并且一些可以被归类为巨型神经网络。巨型神经网络是具有许多网络参数(例如,100万个参数、1000万个参数、5亿个参数或20亿个或更多个参数)的神经网络。

3、神经网络的网络参数是影响由神经网络执行的操作并作为训练的一部分被调整的值。例如,网络参数可以包括权重矩阵的值,并且在某些情况下包括神经网络的网络层的偏差向量。...

【技术保护点】

1.一种由系统执行的方法,所述系统包括主机和一个或多个硬件处理单元,所述硬件处理单元被配置成执行多个机器学习模型的推理操作,所述方法包括:

2.根据权利要求1所述的方法,其中,生成所述第一推理输出还包括:

3.根据权利要求2所述的方法,其中,执行所述第一组子模型的所述相应的推理操作还包括:

4.根据权利要求1所述的方法,还包括:

5.根据权利要求1所述的方法,其中,接收表示所述第一机器学习模型的数据还包括:

6.根据权利要求1所述的方法,还包括:

7.根据权利要求5所述的方法,其中,所述输入包括由传感器捕获的多个图像...

【技术特征摘要】
【国外来华专利技术】

1.一种由系统执行的方法,所述系统包括主机和一个或多个硬件处理单元,所述硬件处理单元被配置成执行多个机器学习模型的推理操作,所述方法包括:

2.根据权利要求1所述的方法,其中,生成所述第一推理输出还包括:

3.根据权利要求2所述的方法,其中,执行所述第一组子模型的所述相应的推理操作还包括:

4.根据权利要求1所述的方法,还包括:

5.根据权利要求1所述的方法,其中,接收表示所述第一机器学习模型的数据还包括:

6.根据权利要求1所述的方法,还包括:

7.根据权利要求5所述的方法,其中,所述输入包括由传感器捕获的多个图像帧中的图像帧;

8.根据权利要求1所述的方法,其中,所述系统被配置成执行用于处理输入序列的一个或多个机器学习模型的推理操作,其中,所述输入序列中的每一个在所述主机处以特定频率根据次序被接收,并且其中,所述循环时间窗口的时间段基于所述特定频率来确定。

9.根据权利要求1所述的方法,其中,所述第一机器学习模型包括神经网络,所述神经网络包括按顺序布置的多个网络层,其中,获得所述第一估计历时包括:

10.根据权利要求2所述的方法,还包括:

11.根据权利要求9所述的方法,其中,划分包括所述神经网络的所述第一机器学习模型还包括:

12.根据权利要求1...

【专利技术属性】
技术研发人员:禹同爀
申请(专利权)人:谷歌有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1