推理方法、介质、装置和计算设备制造方法及图纸

本公开的实施方式提供了一种推理方法，涉及计算机技术领域。该推理方法包括：确定待处理的推理提示词，生成所述推理提示词对应的推理词；根据所述推理提示词生成候选推理词语料库，根据所述候选推理词语料库和所述推理提示词，确定至少一个候选推理词；根据所述推理提示词和所述推理词对生成的候选推理词进行推理验证，根据通过推理验证的各所述候选推理词和所述推理词生成所述推理提示词对应的推理结果。通过本公开的方法在提高推理处理时推理效率的前提下保证推理质量。此外，本公开的实施方式提供了一种推理装置、介质和计算设备。

【技术实现步骤摘要】

本公开的实施方式涉及计算机，更具体地，本公开的实施方式涉及推理方法、介质、装置和计算设备。

技术介绍

1、本部分旨在为本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、大规模语言模型在各种自然语言处理任务中表现出色，广泛应用于问答系统、聊天机器人、文本生成等领域。

3、由于模型本身是由超大规模参数神经网络组成的模型，其训练和推理过程都需要进行超大规模计算，对于底层计算资源的消耗极为巨大，给实际应用带来挑战。例如，当用户在实时场景中等待模型的回复或分析结果时，过长的推理时间可能导致用户体验下降，或者，若快速回复不准确的分析结果也可能导致用户体验下降。

4、因此，如何在推理过程中提升推理效率的情况下保证推理质量成为亟待解决的技术问题。

技术实现思路

1、本公开提供一种推理方法、介质、装置和计算设备，以实现在提高推理处理时推理效率的前提下保证推理质量。

2、在本公开实施方式的第一方面中，提供了一种方法，包括：确定待处理的推理提示词本文档来自技高网...

【技术保护点】

1.一种推理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述推理提示词生成候选推理词语料库，包括：

3.根据权利要求2所述的方法，其特征在于，所述确定各所述词组中的待采纳推理词在当前子语料库中对应的子推理概率，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述候选推理词语料库和所述推理提示词，确定至少一个候选推理词，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述推理提示词和所述推理词，生成候选推理提示词，包括：

6.根据权利要求4所述的方法，其特征在于，所述候选推理词语...

【技术特征摘要】

1.一种推理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述推理提示词生成候选推理词语料库，包括：

3.根据权利要求2所述的方法，其特征在于，所述确定各所述词组中的待采纳推理词在当前子语料库中对应的子推理概率，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述候选推理词语料库和所述推理提示词，确定至少一个候选推理词，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述推理提示词和所述推理词，生成候选推理提示词，包括：

6.根据权利要求4所述的方法，其特征在于，所述候选推理词语料库中包含多个由提示词和待采纳推理词组成的词组，各所述词组中的...

【专利技术属性】
技术研发人员：刘东，杨震，李响，韩其琛，胡光龙，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：