一种大模型权重加密存储及解密加载方法、系统及应用技术方案

本发明专利技术公开了一种大模型权重加密存储及解密加载方法，所述方法包括加密存储、解密加载两部分，包括如下步骤：步骤一、通过低秩适应方法微调经预训练的大模型的权重，得到低秩适应权重文件；步骤二、接收步骤一中获得的所述低秩适应权重文件并写入存储设备进行加密保存；步骤三、解密时，检查保存加密后的低秩权重文件的存储设备的存在性，检查存在时读取所述低秩适应权重文件；步骤四、解密并传递所述低秩权重文件；步骤五、加载合并解密后的低秩权重文件和基座模型权重文件，进行推理。本发明专利技术还公开了实现上述方法的安全自适应权重存储及推理系统，及对应的应用。

【技术实现步骤摘要】

本专利技术属于人工智能大模型权重存储及加解密，涉及一种大模型权重加密存储及解密加载方法、系统及应用。

技术介绍

1、近年来，人工智能技术尤其是大模型技术的飞速发展，让各行各业的人都体验到了人工智能技术的强大，很多行业开始考虑将大模型应用于自身领域。而要实现大模型在本领域的良好效果，必须用本领域的数据对大模型进行训练。大模型训练需要耗费大量的数据、算力和时间，训练好的模型权重文件是模型厂商的核心资产，一旦被竞争对手窃取，无疑会削弱原模型厂商的竞争力，因此需要对大模型进行加密，而大模型中最重要的文件就是其权重文件。

2、当前对大模型权重进行加密的方法主要有以下几种：

3、一是采用传统的加解密算法对模型文件进行全量加密，然后在运行过程中进行解密，但加密模型在内存中的解密时延是明文模型导入框架的时延的数十倍，影响了端侧的推理性能和用户体验，且如果解密算法被泄露，模型很容易被泄露。

4、二是基于安全多方计算、同态加密等技术的密态计算方案，这类方案可以使得模型在密文形式下进行推理。但其计算或通信开销很大，会导致模型推理时延是普通模型本文档来自技高网...

【技术保护点】

1.一种大模型权重加密存储及解密加载方法，其特征在于，所述方法包括加密存储、解密加载两部分，包括如下步骤：

2.如权利要求1所述的方法，其特征在于，步骤一中，选择在通用数据集上训练好的预训练大模型，收集并预处理预定行业或领域的数据集使所述数据集符合模型微调要求；对预训练大模型的权重矩阵进行低秩分解，分解成两个或多个低秩矩阵，并用所述数据集对低秩矩阵参数进行优化微调；完成微调后，将优化后的低秩矩阵参数保存下来，形成低秩适应权重文件；和/或，

3.如权利要求1所述的方法，其特征在于，步骤二中，通过USB接口将所述低秩适应权重文件从微调环境传输至所述存储设备，所述存储设...

【技术特征摘要】

1.一种大模型权重加密存储及解密加载方法，其特征在于，所述方法包括加密存储、解密加载两部分，包括如下步骤：

2.如权利要求1所述的方法，其特征在于，步骤一中，选择在通用数据集上训练好的预训练大模型，收集并预处理预定行业或领域的数据集使所述数据集符合模型微调要求；对预训练大模型的权重矩阵进行低秩分解，分解成两个或多个低秩矩阵，并用所述数据集对低秩矩阵参数进行优化微调；完成微调后，将优化后的低秩矩阵参数保存下来，形成低秩适应权重文件；和/或，

3.如权利要求1所述的方法，其特征在于，步骤二中，通过usb接口将所述低秩适应权重文件从微调环境传输至所述存储设备，所述存储设备通过硬件加密芯片将所述低秩适应权重文件进行加密处理并存储于存储设备中；和/或，

4.如权利要求1所述的方法，其特征在于，步骤三中，进行存储设备连接与识别，对所述低秩适应权重文件进行验证和读取；和/或，

5.如权利要求1所述的方法，其特征在于，步骤四中，输入并判断读取密码的正确与否，当输入的所述读取密码与预设读取密码一致时，对进行加密后的所述低秩适应权重文...

【专利技术属性】
技术研发人员：吕永鑫，黄文昆，
申请(专利权)人：上海曲速超为技术有限公司，
类型：发明
国别省市：