一种基于大模型蒸馏的小模型定制方法和装置制造方法及图纸

一种基于大模型蒸馏的小模型定制方法和装置，其方法包括：(1)训练深度强化学习算法的模型，用于边缘服务器部署小模型的决策,根据决策对环境做出相应的动作，并根据环境的反馈更新强化学习模型；(2)使用大模型，根据用户关心的问题，蒸馏出小模型；(3)边缘服务器上的强化学习模型根据当前环境的状态做出具体的部署决策；本发明专利技术引入一种基于大模型蒸馏的小模型定制方法，支持对多个模型部署进行决策分配，并且拥有较强的灵活性。相比于暴力搜索、直接部署，有效提高了资源利用率，减少了系统的计算开销。

【技术实现步骤摘要】

本专利技术涉及边缘计算领域，具体地，涉及基于大模型蒸馏的小模型定制方法和装置。

技术介绍

0、技术背景

1、在智能家居的场景中，家居摄像头扮演了重要的角色，通过摄像头能够获得许多关于家庭的信息，回答用户关心的问题。近年来，多模态大模型发展迅速，许多多模态大模型(chatgpt-4，viscpm，chatglm)都具有视觉问答(visual question answering，vqa)的能力，它需要模型在理解图像的基础上，根据具体的问题作出回答。通过在智能家居的摄像头中部署具有视觉问答能力的模型，能够有效地筛选用户关心的摄像头信息并记录。然而，考虑到当前智能家居的边缘服务器的计算资源不足，边缘服务器还不具有直接运行多模态大模型的能力。

2、已有的一些解决这种问题的方法，例如模型剪枝(model pruning)可以通过裁剪模型的某些冗余的结构来减小模型占用的资源、模型量化(model quantization)可以通过将模型参数中的浮点数量化为空间占用更小的整数形式，来减小资源占用。然而，这些方法减小的资源占用有限，相对于多模态大模本文档来自技高网...

【技术保护点】

1.一种基于大模型蒸馏的小模型定制方法，包括以下步骤：

2.如权利要求1所述的一种基于大模型蒸馏的小模型定制方法，其特征在于：步骤1具体包括：

3.如权利要求1所述的一种基于大模型蒸馏的小模型定制方法，其特征在于：步骤2具体包括：

4.如权利要求1所述的一种基于大模型蒸馏的小模型定制方法，其特征在于：步骤3具体包括：

5.一种基于大模型蒸馏的小模型定制方法装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-4中任一项所述的一种基于大模型蒸馏的小模型定制方...

【技术特征摘要】

1.一种基于大模型蒸馏的小模型定制方法，包括以下步骤：

2.如权利要求1所述的一种基于大模型蒸馏的小模型定制方法，其特征在于：步骤1具体包括：

3.如权利要求1所述的一种基于大模型蒸馏的小模型定制方法，其特征在于：步骤2具体包括：

4.如权利要求1所述的一种基于大模型蒸馏的小模型定制方法，其特征在于：步骤3具体包括：

5.一种基于...

【专利技术属性】
技术研发人员：高艺，徐伟峰，董玮，肖凯杰，李福，
申请(专利权)人：浙江大学，
类型：发明
国别省市：