用于本地和远程联合推理的设备和方法技术

技术编号:43304450 阅读:28 留言:0更新日期:2024-11-12 16:20
一种用于处理数据样本(401、701)以形成预测输出(409、410)的设备(400、703),该设备用于:接收(801)数据样本(401、701);将数据样本(401、701)和/或根据数据样本推导的任意中间输出(406)中的一个或多个任意中间输出输入(802)到可学习控制函数(402);根据该函数(402)的输出(403),执行(803)以下中的一项:(i)通过本地存储的第一模型(404、405、704)处理数据样本(401、701),以形成预测输出(409);(ii)将数据样本(401、701)和/或任意中间输出(406)中的一个或多个任意中间输出发送到远程位置(407、702),以输入到远程存储的第二模型(408、705),以形成预测输出(410)。控制器可以有利地利用数据的固有语义特征来判定在何处执行处理。

【技术实现步骤摘要】
【国外来华专利技术】

本专利技术涉及一种用于形成预测输出的数据处理,例如推理期间的数据处理,该数据处理可以在设备本地执行,也可以在设备本地和远程位置(例如云服务器)联合执行。


技术介绍

1、最近,机器学习(machine learning,ml)领域通过深度学习(deep learning,dl)范式在图像分类、分析、人脸/物体识别、自然语言处理和回归类型预测等熟知任务和应用方面取得了多项突破。因此,许多技术公司决定部署dl模型,并为它们的用户提供相关服务,以执行各种ml任务。但是,考虑到执行这些模型非常耗费精力和时间,因此,这些服务的标准方法是基于云计算的。具体地,当数据点(或样本)到达并且设备(例如笔记本电脑)必须执行推理任务时,样本会被发送到云端,在云端由大型dl模型进行处理。然后,将输出返回到设备。在这种情况下,ml推理被定义为以下过程:将数据输入ml算法或模型中,以计算输出,例如数值得分、用于回归任务的数值或处理分类问题时的类。

2、因此,业界目前的标准做法是将数据样本发送到云端,在云端由强大的服务器将样本前向传递。这种方法有一个明显的好处,即可以使用任意本文档来自技高网...

【技术保护点】

1.一种用于处理数据样本(401、701)以形成预测输出(409、410)的设备(400、703),所述设备(400、703)用于:

2.根据权利要求1所述的设备(400),其特征在于,如果所述可学习控制函数(402)的所述输出(403)超过阈值,则所述设备用于通过存储在所述设备(400)本地的所述第一模型(404、405)处理所述数据样本(401),以形成所述预测输出(409)。

3.根据权利要求1或2所述的设备(400),其特征在于,如果所述可学习控制函数(402)的所述输出(403)未超过阈值,则所述设备(400)用于将所述数据样本(401)和/或根据所述数...

【技术特征摘要】
【国外来华专利技术】

1.一种用于处理数据样本(401、701)以形成预测输出(409、410)的设备(400、703),所述设备(400、703)用于:

2.根据权利要求1所述的设备(400),其特征在于,如果所述可学习控制函数(402)的所述输出(403)超过阈值,则所述设备用于通过存储在所述设备(400)本地的所述第一模型(404、405)处理所述数据样本(401),以形成所述预测输出(409)。

3.根据权利要求1或2所述的设备(400),其特征在于,如果所述可学习控制函数(402)的所述输出(403)未超过阈值,则所述设备(400)用于将所述数据样本(401)和/或根据所述数据样本推导的所述任意中间输出(406)中的一个或多个任意中间输出发送到所述远程位置(407),以输入到存储在所述远程位置的所述第二模型(408),以形成所述预测输出(410)。

4.根据上述权利要求中任一项所述的设备(400),其特征在于,根据所述数据样本(401)推导的所述任意中间输出(406)是存储在所述设备(400)上的所述第一模型(404、405)的一个或多个中间输出(406)。

5.根据权利要求4所述的设备(400),其特征在于,所述第一模型包括多个部分(404、405),一个中间输出(406)包括所述多个部分中的第一部分(404)的输出。

6.根据权利要求5所述的设备(400),其特征在于,所述第一部分(404)用于对所述数据样本(401)进行编码。

7.根据上述权利要求中任一项所述的设备(400),其特征在于,所述第一模型(404、405)的计算需求和/或存储大小要求低于所述第二模型(408)的计算需求和/或存储大小要求。

8.根据上述权利要求中任一项所述的设备(40...

【专利技术属性】
技术研发人员:西奥多罗斯·吉安纳卡斯迪米屈斯·提斯里曼妥思阿波斯特劳斯·德斯托尼斯
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1