【技术实现步骤摘要】
本申请涉及人工智能，更具体地说，涉及一种模型推理方法、系统、设备及计算机可读存储介质。
技术介绍
1、大语言模型（large language model，llm）指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。然而，大语言模型受限于结构等因素，存在推理速度慢、不准确的情况，影响用户对大语言模型的应用体验。
2、综上所述，如何提高大语言模型的推理速度和准确度是目前本领域技术人员亟待解决的问题。
技术实现思路
1、本申请的目的是提供一种模型推理方法，其能在一定程度上解决如何提高大语言模型的推理速度和准确度的技术问题。本申请还提供了一种模型推理系统、电子设备及计算机可读存储介质。
2、为了实现上述目的，本申请提供如下技术方案：
3、一种模型推理方法，包括：
4、确定大语言模型中的各个中间层；
5、筛选出满足跳过条件的中间层作为候选层；
6、生成大语言模型跳过候选层进行推理的推理信息；
...【技术保护点】
1.一种模型推理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述筛选出满足跳过条件的中间层作为候选层，包括：
3.根据权利要求2所述的方法，其特征在于，所述生成大语言模型跳过候选层进行推理的推理信息，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一输出分布、所述第二输出分布和所述推理时间，生成推理信息，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据推理信息，从候选层中筛选出目标层，包括：
6.根据权利要求5所述的方法，其特征在于，所述根据最大累积值对应的候...
【技术特征摘要】
1.一种模型推理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述筛选出满足跳过条件的中间层作为候选层，包括：
3.根据权利要求2所述的方法，其特征在于，所述生成大语言模型跳过候选层进行推理的推理信息，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一输出分布、所述第二输出分布和所述推理时间，生成推理信息，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据推理信息，从候选层中筛选出目标层，包括：
【专利技术属性】
技术研发人员：刘吉，张天乐，
申请(专利权)人：杭州同顺传媒科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。