语言模型训练方法、装置和计算机设备制造方法及图纸

本申请涉及一种语言模型训练方法、装置和计算机设备，所述方法包括：获取待处理文本及对应的标签词；将待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，第一待选词为预设词表中的词，第二待选词为待处理文本中的词；根据第一概率和第二概率处理得到目标词；根据目标词与标签词的差异，调整语言模型的参数，直至满足训练停止条件，得到训练完成的目标语言模型。本申请提供的方案可以提高语言模型预测的准确性。

Language model training methods, devices and computer equipment

【技术实现步骤摘要】
语言模型训练方法、装置和计算机设备
本申请涉及计算机
，特别是涉及一种语言模型训练方法、装置、计算机可读存储介质和计算机设备。
技术介绍
自然语言处理(NaturalLanguageProcessing,NLP)是计算机科学领域与人工智能领域中的一个重要方向，它能通过自然语言实现人与计算机之间的对话通信。目前的自然语言模型训练方法是对上下文中的词进行编码，然后在词表上进行预测得到目标词。然而，目前的语言训练方法预测得到的内容准确性不高。
技术实现思路
基于此，有必要针对目前的语言训练方法预测得到的内容准确性不高的技术问题，提供一种语言模型训练方法、装置、计算机可读存储介质和计算机设备。一种语言模型训练方法，包括：获取待处理文本及对应的标签词；将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；根据所述第一概率和所述第二概率处理得到目标词；根据所述目标词与所述标签词的差异，调整所述语言模型的参数，直至满足训练停止条件，得到训练完成的目标语言模型。一种文本处理方法，所述方法包括：获取待处理文本及对应的标签词；将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；根据所述第一概率和所述第二概率处理得到目标词；根据所述目标词生成所述待处理文本对应的目标文本。一种语言模型训练装置，所述装置包括：获取模块，用于获取待处理文本及对应的标签词；第一处理模块，用于将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；第二处理模块，用于根据所述第一概率和所述第二概率处理得到目标词；调整模块，用于根据所述目标词与标签词的差异，调整所述语言模型的参数，直至满足训练停止条件，得到训练完成的目标语言模型。一种文本处理装置，所述装置包括：文本获取模块，用于获取待处理文本及对应的标签词；语言模型处理模块，用于将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；目标词获取模块，用于根据所述第一概率和所述第二概率处理得到目标词；目标文本生成模块，用于根据所述目标词生成所述待处理文本对应的目标文本。一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行获取待处理文本及对应的标签词；将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；根据所述第一概率和所述第二概率处理得到目标词；根据所述目标词与所述标签词的差异，调整所述语言模型的参数，直至满足训练停止条件，得到训练完成的目标语言模型。一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行获取待处理文本及对应的标签词；将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；根据所述第一概率和所述第二概率处理得到目标词；根据所述目标词生成所述待处理文本对应的目标文本。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行获取待处理文本及对应的标签词；将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；根据所述第一概率和所述第二概率处理得到目标词；根据所述目标词与所述标签词的差异，调整所述语言模型的参数，直至满足训练停止条件，得到训练完成的目标语言模型。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行获取待处理文本及对应的标签词；将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；根据所述第一概率和所述第二概率处理得到目标词；根据所述目标词生成所述待处理文本对应的目标文本。上述语言模型训练方法、装置、计算机可读存储介质和计算机设备，通过获取待处理文本及对应的标签词，将待处理文本输入至语言模型中进行处理，得到预设词表中的词对应的第一概率以及待处理文本中的词对应的第二概率，能够加入待处理文本中的词语进行预测，根据目标词与标签词的差异，调整语言模型的参数，直至满足训练停止条件，得到训练完成的目标语言模型，提高语言模型预测的准确性。附图说明图1为一个实施例中语言模型训练方法的流程示意图；图2为另一个实施例中语言模型训练的示意图；图3为又一个实施例中语言模型训练方法的示意图；图4为一个实施例中ELMO的结构框图；图5为一个实施例中BERT模型的结构框图；图6为一个实施例中文本处理方法的流程示意图；图7为一个实施例中语言模型训练装置的结构框图；图8为一个实施例中文本处理装置的结构框图；图9为一个实施例中计算机设备的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。在一个实施例中，该语言模型训练方法可应用于终端或服务器。其中，终端具体可以是台式终端或手持终端。终端具体可以手机、平板电脑、笔记本电脑等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。语言模型训练方法可通过语言模型训练程序实现，语言模型训练程序可应用于终端或服务器。在一个实施例中，如图1所示，提供了一种语言模型训练方法。本实施例主要以该方法应用于终端或服务器来举例说明。参照图1，该模型训练方法具体包括如下步骤：步骤102，获取待处理文本及对应的标签词。其中，待处理文本是指待进行语义识别的文本。待处理文本具体可以是一句话、一段话或者一篇文章等。待处理文本不限语言类型，例如可以是中文文本，也可以是英文文本等。标签词是指该待处理文本通过语言模型进行训练后的期望结果。标签词是预先为该待处理文本配置的词。每个句子都有对应的标签词。该标签词可以为至少两个标签词，该至少两个标签词能组成一个句子。具体地，语言模型处理程序可提供输入界面，以获取用户通过输入界面输入的需要进行语义识别的文本，将获取的文本作为待处理文本，并设置对应的标签词。或者，语言模型处理程序获取从其他设备发送的待处理文本，以及该待处理文本对应的标签词。或者，语言模型处理程序获取通过界面选择的文本，将该文本作为待处理文本，并设置对应的标签词。步骤104，将待处理文本输入至语言模型中进行处理，得到第本文档来自技高网...

【技术保护点】
1.一种语言模型训练方法，包括：获取待处理文本及对应的标签词；将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；根据所述第一概率和所述第二概率处理得到目标词；根据所述目标词与所述标签词的差异，调整所述语言模型的参数，直至满足训练停止条件，得到训练完成的目标语言模型。

【技术特征摘要】
1.一种语言模型训练方法，包括：获取待处理文本及对应的标签词；将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，其中，所述第一待选词为预设词表中的词，所述第二待选词为待处理文本中的词；根据所述第一概率和所述第二概率处理得到目标词；根据所述目标词与所述标签词的差异，调整所述语言模型的参数，直至满足训练停止条件，得到训练完成的目标语言模型。2.根据权利要求1所述的方法，其特征在于，所述将所述待处理文本输入至语言模型中进行处理，得到第一待选词对应的第一概率以及第二待选词对应的第二概率，包括：将所述待处理文本转化为向量序列；将所述向量序列输入至语言模型中，得到第一待选词对应的第一概率；拷贝所述待处理文本，通过所述语言模型对所述待处理文本解码，得到第二待选词对应的第二概率。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一概率和所述第二概率处理得到目标词，包括：对所述第一概率和所述第二概率加权处理，得到每个待选词对应的目标概率；确定所述目标概率中最大的概率；将所述最大的概率对应的待选词作为目标词。4.根据权利要求1或2所述的方法，其特征在于，在所述根据所述目标词与所述标签词的差异，调整所述语言模型的参数之后，所述方法还包括：从所述待处理文本中获取所述目标词对应的上下文，将所述目标词及对应的上下文输入至所述语言模型中进行处理。5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：获取测试文本；将所述测试文本输入至所述目标语言模型中，得到第一待选词对应的第一概率以及第二待选词对应的第二概率；对所述第一概率和所述第二概率加权处理，得到每个待选词对应的目标概率；确定所述目标概率中最大的概率；将所述最大的概率对应的待选词作为目标词。6.根...

【专利技术属性】
技术研发人员：谭翊章，缪畅宇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44