一种自回归大语言模型的推理方法技术

技术编号:39988306 阅读:13 留言:0更新日期:2024-01-09 02:04
本发明专利技术涉及数据处理技术领域,具体涉及一种自回归大语言模型的推理方法,该方法包括:获取当前输入内容和预设领域内的资料;从构建的目标数据库中筛选出后向词汇集合;确定当前词汇和每个候选辅助词汇对应的语言多样性指标;确定当前词汇对应的辅助词汇数量;确定每个候选辅助词汇对应的语义关联程度;从所有候选辅助词汇中筛选出目标辅助词汇;确定每个目标辅助词汇对应的目标权重;根据当前词汇、预设主权重、所有目标辅助词汇及其对应的目标权重,通过自回归大语言模型,对当前输入内容进行下一个词汇的推荐。本发明专利技术通过对获取的当前输入内容和预设领域内的资料进行数据处理,提高了推理词汇的准确性和对下一个词汇推荐的准确度。

【技术实现步骤摘要】

本专利技术涉及数据处理,具体涉及一种自回归大语言模型的推理方法


技术介绍

1、自回归大语言模型是自然语言处理领域的一项重要技术,在多种应用中被广泛使用,包括对应的语句问答等。自回归大语言模型往往能够学习并理解自然语言的语法、语义和上下文信息,然后生成文本或执行其他自然语言处理任务。例如,较为常见的如同“完型填空”,即给出相关词汇进行对应的词汇推理,被广泛的应用于翻译等领域。

2、目前,采用自回归大语言模型对进行词汇推理时,往往是以上一个输出词汇作为当前正在输入的词汇进行下一个词汇的推理,这种方式在当前正在输入词汇对应的语言多样性较强的时候,往往面临着多种推理结果,进而使得整体的推理结果不太理想,往往导致推理输出词汇的准确性较低,从而导致对下一个词汇推荐的准确度较低。


技术实现思路

1、本专利技术的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本专利技术的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。...

【技术保护点】

1.一种自回归大语言模型的推理方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种自回归大语言模型的推理方法,其特征在于,所述从所述目标数据库中筛选出每个候选辅助词汇和所述当前词汇对应的后向词汇集合,包括:

3.根据权利要求1所述的一种自回归大语言模型的推理方法,其特征在于,所述根据所述当前词汇和每个候选辅助词汇对应的后向词汇集合,确定所述当前词汇和每个候选辅助词汇对应的语言多样性指标,包括:

4.根据权利要求3所述的一种自回归大语言模型的推理方法,其特征在于,当前词汇对应的语言多样性指标对应的公式为:

5.根据权利要求1所述的一...

【技术特征摘要】

1.一种自回归大语言模型的推理方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种自回归大语言模型的推理方法,其特征在于,所述从所述目标数据库中筛选出每个候选辅助词汇和所述当前词汇对应的后向词汇集合,包括:

3.根据权利要求1所述的一种自回归大语言模型的推理方法,其特征在于,所述根据所述当前词汇和每个候选辅助词汇对应的后向词汇集合,确定所述当前词汇和每个候选辅助词汇对应的语言多样性指标,包括:

4.根据权利要求3所述的一种自回归大语言模型的推理方法,其特征在于,当前词汇对应的语言多样性指标对应的公式为:

5.根据权利要求1所述的一种自回归大语言模型的推理方法,其特征在于,所述根据候选辅助词汇的数量和所述当前词汇对应的语言多样性指标,确定所述当前词汇对应的辅助词汇数量,包括:

6.根据权利要...

【专利技术属性】
技术研发人员:刘晓宇陈凯王伟龙
申请(专利权)人:北京语源科技有限公司
类型:发明
国别省市:

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1