【技术实现步骤摘要】
本申请涉及计算机，具体涉及一种基于大语言模型处理数据的方法、大语言模型、电子设备、计算机可读存储介质及计算机程序产品。
技术介绍
1、随着计算机技术的快速发展，大语言模型因其出众的数据处理能力，能够在诸多场景下发挥其能力，例如通过大语言模型生成所需图像、通过大语言模型查询专业知识、与大语言模型进行对话、通过大语言模型生成符合要求的文章等。由于大语言模型的参数量与计算量很大，需要比较大的计算资源，因此，大语言模型通常部署在云服务端。
2、然而，大语言模型部署在云服务端时，用户终端需要连接网络后才可以使用大语言模型，且由于用户需要将使用时的文本信息，如用户问题、开发者代码等上传到云服务端，对用户的隐私信息也造成了一定的泄露风险，从而不便于用户在用户终端使用大语言模型。
技术实现思路
1、本申请提供一种基于大语言模型处理数据的方法、大语言模型、电子设备、计算机可读存储介质及计算机程序产品，能够在用户终端流畅地运行大语言模型，从而使得用户终端无需联网就可以为用户提供服务，且能够更好地保证用户的隐私。
2、第一方面，本申请提供了一种基于大语言模型处理数据的方法，应用于用户终端，所述用户终端上部署有大语言模型，所述大语言模型的各线性计算层的权重参数预先被量化为整数数据类型的格式数据；所述方法包括：
3、获取输入数据；
4、通过所述大语言模型的嵌入层对所述输入数据进行向量转换，得到所述输入数据对应的浮点数据类型的浮点查询向量；
5、将所
6、通过所述线性计算层的权重参数与所述整数查询向量进行运算，得到所述输入数据对应的查询结果。
7、第二方面，本申请提供了一种大语言模型，包括：
8、文本转换tokenizer层，用于将输入数据转换为所述大语言模型支持的文本数据格式；
9、嵌入embedding层，用于将文本数据转换成向量；
10、转换transformer层，所述transformer层包括各线性计算linear层，所述linear层的权重参数被量化为整数数据类型的格式数据，所述linear层用于对输入的向量数据进行线性变换，得到模型运算结果。
11、第三方面，本申请提供了一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在处理器上运行的计算机程序指令；所述处理器执行所述计算机程序指令时实现如第一方面任一项所述的方法。
12、第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的方法。
13、第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。
14、与现有技术相比，本申请具有以下优点：
15、本申请实施例提供的基于大语言模型处理数据的方法应用于用户终端，用户终端上部署有大语言模型，且大语言模型的各线性计算层的权重参数预先被量化为整数数据类型的格式数据，由于各线性计算层的权重参数被量化为整数数据类型，相比于浮点数据类型的权重参数，整数数据类型的权重参数在进行矩阵运算时能够很大幅度地减少内存访问量，由于用户终端的内存通常比较小，采用整数数据类型的权重参数对输入数据进行矩阵运算能够显著提高模型的计算和内存访问效率，从而提高大语言模型的计算效率以及对设备资源的要求，使得用户终端能够更顺畅地运行大语言模型，且整数数据类型的权重参数也能够很好地将浮点数据类型的权重参数的信息进行替代，保证了计算精度。本申请提供的方案在通过大语言模型处理数据时，先通过大语言模型的嵌入层对输入数据进行向量转换，得到输入数据对应的浮点数据类型的浮点查询向量，再将浮点查询向量转换为整数数据类型的整数查询向量，通过线性计算层的权重参数与整数查询向量进行运算，得到所述输入数据对应的查询结果，作为输入数据的整数数据类型的整数查询向量在于线性计算层进行矩阵相乘等运算时，可以进一步降低内存访问量，从而提高用户终端的计算效率。
16、可见，本申请提供的方案将大语言模型部署在用户终端上进行运行时，通过将大语言模型的权重参数和用户输入的输入数据量化为整数数据类型的数据，能够大幅度减小大语言模型在用户终端上运行时对内存的访问量以及减小计算量，从而更适用于用户终端内存小、计算资源有限的情况，使得用户终端能够流场地运行大语言模型。另外，由于大语言模型的线性计算层的权重参数的分布差异通常很小，使得各权重参数量化为整数型后分布相似度很高，因此，权重参数量化后对大语言模型的计算精度影响很小，且由于整数数据类型通常具有足够的范围来表示大语言模型的输入数据，因此，通过整数数据类型能够非常完整地量化输入数据对应的查询向量，从而能够更好地确保输入数据的信息不会丢失。所以，本申请进行权重参数量化和查询向量量化能够很好地保证大语言模型在用户终端运行的计算精度，这样，由于大语言模型部署在用户终端，因此，用户终端无需联网即可回复用户查询的内容，更好地保证了用户查询内容的隐私，从而更便于用户使用，另外，由于无需配备专用的云服务端来部署大语言模型，所以可以降低大语言模型的运行成本。
本文档来自技高网...【技术保护点】
1.一种基于大语言模型处理数据的方法，其特征在于，应用于用户终端，所述用户终端上部署有大语言模型，所述大语言模型的各线性计算层的权重参数预先被量化为整数数据类型的格式数据；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过所述线性计算层的权重参数与所述整数查询向量进行运算，得到所述输入数据对应的查询结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述矩阵运算结果进行反量化，得到浮点数据类型的输出结果，包括：
4.根据权利要求1所述的方法，其特征在于，在所述通过所述线性计算层的权重参数与所述整数查询向量进行运算之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述整数查询向量的数据排布形状为所述整数查询向量的批量大小与所述大语言模型的输入数据的通道数构成的二维矩阵，所述线性计算层的权重参数的数据排布形状为所述线性计算层的权重参数中输出特征图的通道数与所述线性计算层的权重参数中输入特征图的通道数构成的二维矩阵；
6.根据权利要求5所述的方法，其特征在于，所述使用所述计算指令将所述
7.根据权利要求5所述的方法，其特征在于，所述使用所述计算指令将所述重排后查询向量与所述重排后权重参数进行运算，包括：
8.根据权利要求1至7任一项所述的方法，其特征在于，所述大语言模型的除嵌入层之外的处理层在所述用户终端的内存中加载，所述嵌入层在所述用户终端的磁盘中部署，所述嵌入层包括各数据分别对应的嵌入层权重参数；
9.根据权利要求8所述的方法，其特征在于，所述通过所述目标权重参数将所述输入数据转换为对应的浮点数据类型的浮点查询向量，包括：
10.根据权利要求9所述的方法，其特征在于，在所述获取输入数据之前，所述方法还包括：
11.根据权利要求10所述的方法，其特征在于，所述模型文件通过以下方式导出得到：
12.根据权利要求11所述的方法，其特征在于，所述基于所实现功能的不同对所述大语言模型进行分块，得到各个功能对应的模型分块，包括：
13.根据权利要求12所述的方法，其特征在于，所述将所述替换后分块中的冗余数据删除，包括以下至少一项：
14.一种大语言模型，其特征在于，包括：
15.一种电子设备，其特征在于，包括：处理器、存储器以及存储在所述存储器上并可在处理器上运行的计算机程序指令；所述处理器执行所述计算机程序指令时实现如上述权利要求1-13任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述权利要求1-13任一项所述的方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述权利要求1-13任一项所述的方法。
...【技术特征摘要】
1.一种基于大语言模型处理数据的方法，其特征在于，应用于用户终端，所述用户终端上部署有大语言模型，所述大语言模型的各线性计算层的权重参数预先被量化为整数数据类型的格式数据；所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过所述线性计算层的权重参数与所述整数查询向量进行运算，得到所述输入数据对应的查询结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述矩阵运算结果进行反量化，得到浮点数据类型的输出结果，包括：
4.根据权利要求1所述的方法，其特征在于，在所述通过所述线性计算层的权重参数与所述整数查询向量进行运算之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述整数查询向量的数据排布形状为所述整数查询向量的批量大小与所述大语言模型的输入数据的通道数构成的二维矩阵，所述线性计算层的权重参数的数据排布形状为所述线性计算层的权重参数中输出特征图的通道数与所述线性计算层的权重参数中输入特征图的通道数构成的二维矩阵；
6.根据权利要求5所述的方法，其特征在于，所述使用所述计算指令将所述重排后查询向量与所述重排后权重参数进行运算，得到所述输入数据对应的查询结果，包括：
7.根据权利要求5所述的方法，其特征在于，所述使用所述计算指令将所述重排后查询向量与所述重排后权重参数进行运算，包括：
8.根据权利要求1至7任一项所述的方法，其特征在于，所述大语言模型的...
【专利技术属性】
技术研发人员：王召德，吕承飞，杨经邦，姜霄棠，
申请(专利权)人：淘宝中国软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。