【技术实现步骤摘要】
本专利技术涉及模型编码，尤其涉及一种人工智能大模型推理中的编码方法、装置、电子设备、存储介质和程序产品。
技术介绍
1、transformer是一种广泛用于自然语言处理任务的深度学习模型。在transformer中，attention是主要的计算模块之一，其用于进行注意力计算(attention计算)。在attention计算时，会对不同的分词(tokens)进行计算，这些tokens包含有位置信息，即词与词之间是有顺序关系的，但是attention计算是无向的，为了把位置信息传递给模型，需要对输入tokens的位置进行编码，再将位置编码结果输入模型进行后续处理。
2、通常，模型在训练完成后，会对应有一个最大允许推理长度，即模型学习的是最大允许推理长度内的位置编码数据规律和特性，也就是模型对长度小于等于最大允许推理长度的序列有较好的推理效果，但对长度大于最大允许推理长度的序列的推理效果较差。
技术实现思路
1、本专利技术提供一种编码方法、装置、电子设备、存储介质和程序产品，用以解决现有技术中训练完成的模型对长度大于最大允许推理长度的序列的推理效果较差的缺陷。
2、本专利技术提供一种编码方法，包括：
3、基于模型的最大允许推理长度，对待推理序列进行分组，得到多个分组序列；
4、对各分组序列进行位置编码，得到所述各分组序列的初始位置编码结果；
5、基于所述各分组序列的初始位置编码结果，对所述各分组序列中的各分词进行位置编码。<...
【技术保护点】
1.一种编码方法，其特征在于，包括：
2.根据权利要求1所述的编码方法，其特征在于，所述基于所述各分组序列的初始位置编码结果，对所述各分组序列中的各分词进行位置编码，包括：
3.根据权利要求2所述的编码方法，其特征在于，所述基于当前分组序列的初始位置编码结果，以及下一分组序列的初始位置编码结果，对所述当前分组序列内的各分词进行位置编码，包括：
4.根据权利要求1至3任一项所述的编码方法，其特征在于，所述基于模型的最大允许推理长度，对待推理序列进行分组，得到多个分组序列，包括：
5.根据权利要求1至3任一项所述的编码方法，其特征在于，所述基于模型的最大允许推理长度，对待推理序列进行分组，得到多个分组序列，包括：
6.根据权利要求5所述的编码方法，其特征在于，各分组序列中所包含的分词数量随着目标距离的增加而增加，所述目标距离指各分组序列所在位置与当前推理位置之间的距离。
7.一种编码装置，其特征在于，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述编码方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述编码方法。
...【技术特征摘要】
1.一种编码方法，其特征在于，包括：
2.根据权利要求1所述的编码方法，其特征在于，所述基于所述各分组序列的初始位置编码结果，对所述各分组序列中的各分词进行位置编码，包括：
3.根据权利要求2所述的编码方法，其特征在于，所述基于当前分组序列的初始位置编码结果，以及下一分组序列的初始位置编码结果，对所述当前分组序列内的各分词进行位置编码，包括：
4.根据权利要求1至3任一项所述的编码方法，其特征在于，所述基于模型的最大允许推理长度，对待推理序列进行分组，得到多个分组序列，包括：
5.根据权利要求1至3任一项所述的编码方法，其特征在于，所述基于模型的最大允许推理长度，对待推理序列进行分组，得到多个分组序列，包括：
6...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：上海壁仞科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。