【技术实现步骤摘要】
本专利技术涉及模型编码，尤其涉及一种人工智能大模型推理中的编码方法、装置、电子设备、存储介质和程序产品。
技术介绍
1、transformer是一种广泛用于自然语言处理任务的深度学习模型。在transformer中，attention是主要的计算模块之一，其用于进行注意力计算(attention计算)。在attention计算时，会对不同的分词(tokens)进行计算，这些tokens包含有位置信息，即词与词之间是有顺序关系的，但是attention计算是无向的，为了把位置信息传递给模型，需要对输入tokens的位置进行编码，再将位置编码结果输入模型进行后续处理。
2、通常，模型在训练完成后，会对应有一个最大允许推理长度，即模型学习的是最大允许推理长度内的位置编码数据规律和特性，也就是模型对长度小于等于最大允许推理长度的序列有较好的推理效果，但对长度大于最大允许推理长度的序列的推理效果较差。
技术实现思路
1、本专利技术提供一种编码方法、装置、电子设备、存储介质和程序产品，用以...
【技术保护点】
1.一种编码方法，其特征在于，包括：
2.根据权利要求1所述的编码方法，其特征在于，所述基于所述各分组序列的初始位置编码结果，对所述各分组序列中的各分词进行位置编码，包括：
3.根据权利要求2所述的编码方法，其特征在于，所述基于当前分组序列的初始位置编码结果，以及下一分组序列的初始位置编码结果，对所述当前分组序列内的各分词进行位置编码，包括：
4.根据权利要求1至3任一项所述的编码方法，其特征在于，所述基于模型的最大允许推理长度，对待推理序列进行分组，得到多个分组序列，包括：
5.根据权利要求1至3任一项所述的编码方法，...
【技术特征摘要】
1.一种编码方法，其特征在于，包括：
2.根据权利要求1所述的编码方法，其特征在于，所述基于所述各分组序列的初始位置编码结果，对所述各分组序列中的各分词进行位置编码，包括：
3.根据权利要求2所述的编码方法，其特征在于，所述基于当前分组序列的初始位置编码结果，以及下一分组序列的初始位置编码结果，对所述当前分组序列内的各分词进行位置编码，包括：
4.根据权利要求1至3任一项所述的编码方法，其特征在于，所述基于模型的最大允许推理长度，对待推理序列进行分组，得到多个分组序列，包括：
5.根据权利要求1至3任一项所述的编码方法，其特征在于，所述基于模型的最大允许推理长度，对待推理序列进行分组，得到多个分组序列，包括：
6...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：上海壁仞科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。