【技术实现步骤摘要】
本专利技术涉及计算机人工智能，具体涉及一种基于drl和bp的移动边缘网络协同推理方法。
技术介绍
1、大语言模型(llms)具有先进的内容创作和推理能力，可以为移动边缘网络中的用户提供沉浸式智能服务。然而，由于llm推理的计算复杂度较高，它通常作为云服务提供，这导致了响应延迟较长、带宽成本高以及可能出现私人数据泄露的风险。与此同时，移动边缘计算(mec)作为一种高效的支持各种分布式应用的范式，已经逐渐兴起，应用场景涵盖了从内容传递到人工智能(ai)应用等多个方面。因此，利用mec作为部署llm服务的补充模式，为移动用户提供服务是很自然的选择。尽管这种方式提供了灵活性，但如何利用边缘服务器和终端设备的计算与内存资源，提供高效的推理服务，仍然是一个挑战性问题。
2、边缘计算在本地处理信息，而不是将敏感数据传输到集中式云端。此外，边缘计算允许灵活且分布式的架构，可以将适当的计算资源分配给特定的任务。因此，边缘计算与大语言模型(llms)的结合，赋予了llm个性化和领域特定的生成能力。然而，llm推理的高强度计算需求常常超出资源有限...
【技术保护点】
1.一种基于DRL和BP的移动边缘网络协同推理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于DRL和BP的移动边缘网络协同推理方法，其特征在于，S1中，包含基站、与基站共址的边缘服务器和N个具有处理能力的终端设备集合；
3.根据权利要求2所述的一种基于DRL和BP的移动边缘网络协同推理方法，其特征在于，S2中，大语言模型中缓存的时间间隔：
4.根据权利要求3所述的一种基于DRL和BP的移动边缘网络协同推理方法，其特征在于，S3中，模型缓存问题描述为，将通信轮次r内的环境状态定义为sr，sr∈S；
5....
【技术特征摘要】
1.一种基于drl和bp的移动边缘网络协同推理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于drl和bp的移动边缘网络协同推理方法，其特征在于，s1中，包含基站、与基站共址的边缘服务器和n个具有处理能力的终端设备集合；
3.根据权利要求2所述的一种基于drl和bp的移动边缘网络协同推理方法，其特征在于，s2中，大语言模型中缓存的时间间隔：
4.根据权利要求3所述的一种基于drl和bp的移动边缘网络协同推理方法，其特征在于，s3中，模型缓存问题描述为，将通信轮次r内的环境状态定义为sr，sr∈s；
5.根据权利要求4所述的一种基于drl和bp的移动边缘网络协同推理方法，其特征在于，s4中，先定义g表示边缘服务器用于缓存小型模型的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。