【技术实现步骤摘要】
【国外来华专利技术】用于提供具有可调节计算需求的机器学习模型的系统和方法相关申请本申请要求于2018年10月1日提交的第62/739584号美国临时专利申请的优先权和利益。通过引用第62/739584号美国临时专利申请的全部内容将其合并于此。
本公开一般涉及机器学习模型。更具体地，本公开涉及用于提供具有可调节计算需求的机器学习模型的系统和方法。
技术介绍
设备上机器学习模型已经变得更加普遍。例如，深度神经网络已经部署在“边缘”设备上，诸如移动电话、嵌入式设备、其他“智能”设备或其他资源受限的环境。当与基于云的配置相比校时，这样的设备上模型可以提供包括减少延迟和改进隐私的好处，在基于云的配置中，机器学习模型被远程存储和访问，例如，在经由广域网访问的服务器中。然而，这种边缘设备的计算资源可以显著变化。此外，对于特定设备，在给定时间用于执行这样的设备上机器学习模型的可用计算资源量可以基于各种因素而变化。因此，设备上机器学习模型可能表现出差的性能，诸如增加的时延或延迟，和/或要求次优的设备资源分配。
技术实现思路
<...
【技术保护点】
1.一种计算设备，包括：/n至少一个处理器；/n机器学习模型，包括多个块和所述多个块中的两个或更多个块之间的一个或多个残差连接，其中所述机器学习模型被配置为接收模型输入，并且响应于模型输入的接收，输出模型输出；/n至少一个有形的、非瞬时性计算机可读介质，所述计算机可读介质存储指令，所述指令当由所述至少一个处理器执行时使得所述至少一个处理器执行操作，所述操作包括：/n确定资源分配参数，所述资源分配参数与在推理时间对所述机器学习模型的系统资源的期望分配相对应；/n基于所述资源分配参数停用所述机器学习模型的多个块的子集；/n将所述模型输入输入到所述多个块的子集被停用的机器学习模型...
【技术特征摘要】 【专利技术属性】
【国外来华专利技术】20181001 US 62/739,5841.一种计算设备，包括：
至少一个处理器；
机器学习模型，包括多个块和所述多个块中的两个或更多个块之间的一个或多个残差连接，其中所述机器学习模型被配置为接收模型输入，并且响应于模型输入的接收，输出模型输出；
至少一个有形的、非瞬时性计算机可读介质，所述计算机可读介质存储指令，所述指令当由所述至少一个处理器执行时使得所述至少一个处理器执行操作，所述操作包括：
确定资源分配参数，所述资源分配参数与在推理时间对所述机器学习模型的系统资源的期望分配相对应；
基于所述资源分配参数停用所述机器学习模型的多个块的子集；
将所述模型输入输入到所述多个块的子集被停用的机器学习模型；以及
接收所述模型输出作为所述机器学习模型的输出。
2.根据权利要求1所述的计算设备，其中选择所述多个块的子集以使得所述残差连接中的至少一个绕过所述多个块的子集中的每一个。
3.根据权利要求1所述的计算设备，其中所述多个块的子集中的每一个位于所述机器学习模型的残差连接的至少一个之间。
4.根据权利要求1所述的计算设备，其中所述资源分配参数基于以下中的一个或多个来确定：电池状态、计算设备的模式、当前可用处理器能力或当前正在运行的应用的数量。
5.根据权利要求1所述的计算设备，其中确定所述资源分配参数包括从所述计算设备的用户接收输入。
6.根据权利要求1所述的计算设备，其中确定所述资源分配参数包括在将所述模型输入输入到所述机器学习模型之前确定所述资源分配参数。
7.根据权利要求1所述的计算设备，其中：
所述多个块中的至少两个块残差地连接在残差链中；以及
停用所述机器学习模型的多个块的子集包括停用所述残差链的起始残差块和残差尾部部分。
8.根据权利要求7所述的计算设备，其中：
所述残差链从所述机器学习模型的输入端向所述机器学习模型的输出端延伸；以及
所述残差尾部部分包括从所述起始残差块向所述机器学习模型的输出端延伸的残差链内的块。
9.根据权利要求1所述的计算设备，其中选择所述多个块的子集包括基于与所述机器学习模型内的每个块的相应位置正相关的每个块的相应概率来选择块。
10.根据权利要求1所述的计算设备，其中：
所述资源分配参数与所述机器学习模型的最大目标资源分配量相对应；以及
技术研发人员：M沙里夫，A沙马，A莫德文特西夫，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。