一种云边协同的大语言模型智能客服部署优化方法技术

本发明专利技术公开了一种云边协同的大语言模型智能客服部署优化方法，包括：S1，构建电商问答数据集；S2，基于云上大语言模型获取云预测词元序列；S3，压缩大语言模型获取若干个不同的微指导模型并训练，基于训练结果更新电商问答数据集，基于损失函数优化模型，并部署优化模型在边缘侧；S4，判断边缘网络延迟是否大于预设网络延迟阈值，若是，基于本地模型预测答复，否则，基于所有本地模型分别预测答复，并构建词元有向无环图发送云侧，执行S5；S5，云利用改进后的Transformer输出包含节点概率的更新的词元有向无环图；S6，云基于贪心解码输出最佳词元序列作为请求答复传输边缘。本发明专利技术有效提高推理效率，降低推理成本。

【技术实现步骤摘要】

本专利技术属于人工智能，具体涉及一种云边协同的大语言模型智能客服部署优化方法。

技术介绍

1、在电商领域，智能客服系统的应用变得越来越普遍。同时随着近年来大语言模型的不断发展，许多系统开始依赖于大型语言模型(large language models,llms)，如chatgpt、文心一言等api或者企业直接在云端部署开源大模型如llama2、gpt-3等采用迭代递增的方式处理用户的请求，以提升客户服务体验。然而，将大语言模型应用于电商智能客服场景中，目前技术面临以下几个重要的挑战。

2、1.高昂的api调用费用：直接chatgpt、文心一言等成熟、商业化llm的api为客户提供服务，则会面临api调用成本高。这对于预算有限的电商企业尤其具有挑战性，尤其是在客服流量高峰期间，费用可能迅速累积；2.数据安全问题：通过api调用外部服务处理客户数据，存在潜在的数据安全和隐私风险。客户数据可能包含敏感信息，因此，将这些数据传输至外部服务器进行处理可能引发数据泄露和隐私问题；3.内存访问开销大：常规方式部署llm用于客服问答系统，在推理过程中需要频繁访本文档来自技高网...

【技术保护点】

1.一种云边协同的大语言模型智能客服部署优化方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的云边协同的大语言模型智能客服部署优化方法，其特征在于，在步骤S4中，所述收集每个本地问答预测模型的预测结果构建词元有向无环图N，包括如下步骤：

3.根据权利要求1所述的云边协同的大语言模型智能客服部署优化方法，其特征在于，所述步骤S5包括如下步骤：

4.根据权利要求3所述的云边协同的大语言模型智能客服部署优化方法，其特征在于，在步骤S5.1中，所述注意力分数的计算公式为：

5.根据权利要求3所述的云边协同的大语言模型智能客服部署优化方法，其...

【技术特征摘要】

1.一种云边协同的大语言模型智能客服部署优化方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的云边协同的大语言模型智能客服部署优化方法，其特征在于，在步骤s4中，所述收集每个本地问答预测模型的预测结果构建词元有向无环图n，包括如下步骤：

3.根据权利要求1所述的云边协同的大语言模型智能客服部署...

【专利技术属性】
技术研发人员：王闻宇，张青青，王晓飞，
申请(专利权)人：派欧云计算上海有限公司，
类型：发明
国别省市：