【技术实现步骤摘要】
本申请涉及通信领域，并且更具体地，涉及一种模型推理方法和通信装置。
技术介绍
1、模型推理是指模型生成结果的过程。用户使用应用程序或者数据通道(datachannel，dc)小程序的过程中，经常会有模型推理需求，比如视频通过过程中的换脸技术、语音翻译等均涉及模型推理。模型推理对算力要求普遍偏高，如果终端算力不足则会导致模型推理效果较差或时延偏大，从而影响用户体验。
技术实现思路
1、本申请提供了一种通信方法和通信装置，能够实现终端和网络设备之间的有效协同和推理任务的按需分配。
2、第一方面，提供了一种通信方法，该方法可以由终端执行，也可以由终端的部件(例如处理器、芯片、或芯片系统等)执行，还可以由能实现全部或部分终端功能的逻辑模块或软件实现。为了便于描述，下面以由终端执行为例进行说明。
3、该方法包括：接收来自第一网络设备的模型推理信息，该模型推理信息用于终端执行会话相关的第一部分模型的推理；根据该模型推理信息执行该第一部分模型的推理，并向第二网络设备发送该第一部分...
【技术保护点】
1.一种模型推理方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，在所述接收来自第一网络设备的模型推理信息之前，所述方法还包括：
3.如权利要求2所述的方法，其特征在于，所述推理能力信息包括下述中的一项或多项：推理可用算力、推理精度、推理可用缓存、推理使用的AI/ML框架和版本号、支持的中间数据压缩算法。
4.如权利要求3所述的方法，其特征在于，所述模型推理可用算力是所述终端基于其计算资源的配置确定的，或者，所述模型推理可用算力是所述终端基于其剩余计算资源或可用计算资源确定的。
5.如权利要求1-4任一项...
【技术特征摘要】
1.一种模型推理方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，在所述接收来自第一网络设备的模型推理信息之前，所述方法还包括：
3.如权利要求2所述的方法，其特征在于，所述推理能力信息包括下述中的一项或多项：推理可用算力、推理精度、推理可用缓存、推理使用的ai/ml框架和版本号、支持的中间数据压缩算法。
4.如权利要求3所述的方法，其特征在于，所述模型推理可用算力是所述终端基于其计算资源的配置确定的，或者，所述模型推理可用算力是所述终端基于其剩余计算资源或可用计算资源确定的。
5.如权利要求1-4任一项所述的方法，其特征在于，在所述接收模型推理参数信息之前，所述方法还包括：
6.如权利要求1-5中任一项所述的方法，其特征在于，所述模型推理信息包括所述第一部分模型的标识。
7.如权利要求6所述的方法，其特征在于，所述模型推理信息还包括下述中的一项或多项：所述第一部分模型的参数的个数、推理的输出数据的类型、中间数据的张量形状、中间数据的张量结构、或者中间数据的压缩算法。
8.如权利要求2所述的方法，其特征在于，所述向所述第一网络设备发送所述推理能力信息，包括：
9.如权利要求1-8中任一项所述的方法，其特征在于，所述第二网络设备为人工智能ai/机器学习ml媒体面网元，所述第一网络设备为ai/ml控制面网元；或者，所述第二网络设备为媒体资源功能网元，所述第一网络设备为应用服务器；或者，所述第二网络设备为互联网业务媒体服务器，所述第一网络设备为互联网业务信令服务器。
10.如权利要求2所述的方法，其特征在于，所述向所述第一网络设备发送所述终端的推理能力信息，包括：
11.如权利要求10所述的方法，其特征在于，所述在所述第二网络设备具有模型推理能力的情况下，向所述第一网络设备发送所述推理能力信息之前，所述方法还包括：
12.一种模型推理方法，其特征在于，包括：
13.如权利要求12所述的方法，其特征在于，所述模型推理信息包括所述第一部分模型的标识。
14.如权利要求13所述的方法，其特征在于，所述模型推理信息还包括下述中的一项或多项：所述第一部分模型的参数的个数、推理的输出数据的类型、中间数据的张量形状、...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。