【技术实现步骤摘要】
本申请涉及计算机，特别涉及一种信息预测的方法及装置、设备、介质。
技术介绍
1、近年来，随着深度学习的发展，基于transformer结构的深度学习模型在自然语言处理领域取得了巨大的成功，具体可以应用于输入法的预测。然而，transformer的计算复杂度和空间复杂度随着序列长度的增加呈二次方增长，这对处理超长序列数据造成了瓶颈。长序列的计算开销不仅限于训练阶段，在推理时也同样显著。
2、采用状态空间模型进行输入法的预测可以处理词元数据。但是，状态空间模型中当前状态的输出，必须强制关联到历史词元对应的所有历史状态，也就增加了无效信息的引入。此外，状态空间模型中当前时刻的输出由历史状态和当前输入来决定，但是历史状态及当前输入前的超参数却只能由当前输入来决定，也就无法充分利用历史状态的信息。因此，基于状态空间模型的输入法预测的计算量相对较大，预测内容也无法充分参考历史内容。
技术实现思路
1、鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的信息预测的方法及装置、...
【技术保护点】
1.一种信息预测的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述获取用户输入的当前词元之前，还包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述当前参数矩阵与多个所述历史参数矩阵集合进行相似度比较，得到相似度比较结果，包括：
4.根据权利要求3所述的方法，其特征在于，所述对所述当前参数矩阵和所述每个历史参数矩阵进行相似度计算，得到相似度结果，包括：
5.根据权利要求3所述的方法，其特征在于，所述将所述当前参数矩阵与多个所述历史参数矩阵集合进行相似度比较，得到相似度比较结果之前
<...【技术特征摘要】
1.一种信息预测的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述获取用户输入的当前词元之前，还包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述当前参数矩阵与多个所述历史参数矩阵集合进行相似度比较，得到相似度比较结果，包括：
4.根据权利要求3所述的方法，其特征在于，所述对所述当前参数矩阵和所述每个历史参数矩阵进行相似度计算，得到相似度结果，包括：
5.根据权利要求3所述的方法，其特征在于，所述将所述当前参数矩阵与多个所述历史参数矩阵集合进行相似度比较，得到相似度比较结果之前，还包括：
6.根据权利要求2所述的方法，其特征在于，所述利用...
【专利技术属性】
技术研发人员：王鹏飞，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。