一种问答处理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种问答处理方法、装置、电子设备及存储介质，包括：输出每个问题文本对应的Token序列；将问题文本对应的Token序列输入至认知模型之中，输出每个Token序列的特征信息；将特征信息输入至Token长度预测模型之中，进行长度预测，输出每个Token序列的长度信息；将每个Token序列的长度信息输入至认知交互网络之中，输出每个Token序列的目标长度信息；将每个Token序列的目标长度信息以及每个Token序列输入至认知模型之中，进行答案预测，输出每个问题文本的应答Token；将每个问题文本的应答Token输入至编码器网络，输出每个问题文本的目标应答文本，提高了应答文本生成的效率。

【技术实现步骤摘要】

本申请涉及人工智能，尤其是涉及一种问答处理方法、装置、电子设备及存储介质。

技术介绍

1、当前文本生成式模型主要为三种架构encoder-decoder架构、causal decoder架构以及prefix decoder架构，但不管是哪种架构，生成输出token时使用的都是单向注意力来进行逐个token生成，并最终将其转化为相应的文本。对于以上生成新的token的过程，通常会使用kv_cache技术来存储历史token对应的kv矩阵，减少计算量，以加速推理过程。但使用kv_cache技术会引入了一个问题：当前token产生的kv矩阵需要和历史token的kv矩阵进行拼接，这会占用大量的内存带宽，降低推理效率，并且，当同时进行多个问答生成时导致多个回复答案生成失败的问题。所以，如何提高问答处理的准确率以及效率成为了不容小觑的技术问题。

技术实现思路

1、有鉴于此，本申请的目的在于提供一种问答处理方法、装置、电子设备及存储介质，利用token长度预测模型实现了快速准确地确定出token序列的目标长度信息，从而根本文档来自技高网...

【技术保护点】

1.一种问答处理方法，其特征在于，所述问答处理方法包括：

2.根据权利要求1所述的问答处理方法，其特征在于，所述将多个问题文本输入至编码器网络之中，对每个所述问题文本进行编码处理，输出每个所述问题文本对应的Token序列，包括：

3.根据权利要求1所述的问答处理方法，其特征在于，所述将每个所述Token序列的长度信息输入至认知交互网络之中，基于参考Token长度信息以及每个所述Token序列的长度信息，输出每个所述Token序列的目标长度信息，包括：

4.根据权利要求1所述的问答处理方法，其特征在于，所述将每个所述Token序列的长度信息输入至认知交互...

【技术特征摘要】

1.一种问答处理方法，其特征在于，所述问答处理方法包括：

2.根据权利要求1所述的问答处理方法，其特征在于，所述将多个问题文本输入至编码器网络之中，对每个所述问题文本进行编码处理，输出每个所述问题文本对应的token序列，包括：

3.根据权利要求1所述的问答处理方法，其特征在于，所述将每个所述token序列的长度信息输入至认知交互网络之中，基于参考token长度信息以及每个所述token序列的长度信息，输出每个所述token序列的目标长度信息，包括：

4.根据权利要求1所述的问答处理方法，其特征在于，所述将每个所述token序列的长度信息输入至认知交互网络之中，基于参考token长度信息以及每个所述token序列的长度信息，输出每个所述token序列的目标长度信息，还包括：

5.根据权利要求1所述的问答处理方法，其特征在于，所述将每个所述问题文本的应答token输入至所述编码器网络...

【专利技术属性】
技术研发人员：詹杰，苏江，
申请(专利权)人：暗物质北京智能科技有限公司，
类型：发明
国别省市：