【技术实现步骤摘要】
本申请涉及电子设备，特别涉及一种模型部署方法、电子设备及可读存储介质。
技术介绍
1、随着计算机技术的发展，人工智能出现，人工智能模型也出现，并不断优化和升级。人工智能模型具有能够根据数据学习样本数据，并根据样本数据中包含的数据变化规律，对未发生的事件进行预测。人工智能模型甚至还能够对输入的数据进行复杂、大量的运算，得到接近数据在现实中的变化过程的预测结果。但是，随着数据处理量、或者数据处理过程的复杂化，人工智能模型的体积(size)也随之变得庞大，使得人工智能模型运行过程中所涉及的模型参数量巨大，从而加大了调用人工智能模型的电子设备的负担。
技术实现思路
1、本申请提供了一种模型部署方法、电子设备及可读存储介质，以缩小模型体积，提高模型运行速度。技术方案如下：
2、第一方面，提供了一种模型部署方法，包括：针对至少一组模型参数，在待部署模型中依次去掉每一组模型参数，得到至少一个待测模型；其中，每一组模型参数用于对输入数据的矩阵中的全部元素进行模型计算，将输入数据的矩阵进行全部转...
【技术保护点】
1.一种模型部署方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述待部署模型为大语言模型；针对至少一组模型参数，在待部署模型中依次去掉每一组所述模型参数，得到至少一个待测模型之前，所述方法还包括：
3.根据权利要求1或2所述的方法，其特征在于，所述根据所有所述待测模型的测试损失值，确定所述至少一组模型参数中的可移除参数，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据每个所述待测模型的测试损失值，与所述测试数据输入所述待部署模型所得到的参考损失值，确定所述待测模型对应的可去除参数的重要性分数，包括：<...
【技术特征摘要】
1.一种模型部署方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述待部署模型为大语言模型；针对至少一组模型参数，在待部署模型中依次去掉每一组所述模型参数，得到至少一个待测模型之前，所述方法还包括：
3.根据权利要求1或2所述的方法，其特征在于，所述根据所有所述待测模型的测试损失值，确定所述至少一组模型参数中的可移除参数，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据每个所述待测模型的测试损失值，与所述测试数据输入所述待部署模型所得到的参考损失值，确定所述待测模型对应的可去除参数的重要性分数，包括：
5.根据权利要求2所述的方法，其特征在于，所述待部署模型还包括词库；所述根据所述简化模型和所述待部署模型，部署所述待部署模型，还包括：
6.根据权利要求5所述的方法，其特征在于，所述简化所述词库，得到...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。