一种预训练语言模型的信息处理方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种预训练语言模型的信息处理方法、装置、设备及介质，应用于人工智能技术领域，为解决现有的预训练语言模型不能更好地满足用户需求的问题，提出通过本地预训练语言模型在循环生成待回复文本的下一个词时，生成当前词典概率表；根据当前词典概率表中的各词判断是否存在最优词；若是，则将最优词作为下一个词进行生成；若否，则基于当前已生成文本生成对应的自然语言问题及问题类型；基于问题类型将自然语言问题发送至其他相应的预训练语言模型，并接收各个预训练语言模型返回的答复；从各个答复中选择出最优答复，并将最优答复作为下一个词进行生成；从而可以使基于本地预训练语言模型智能体能更好满足用户需求，提高用户使用体验。提高用户使用体验。提高用户使用体验。

【技术实现步骤摘要】
一种预训练语言模型的信息处理方法、装置、设备及介质


[0001]本专利技术实施例涉及人工智能
，特别是涉及一种预训练语言模型的信息处理方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]随着科技的发展，以ChatGPT(Chat Generative Pre
‑
trained Transformer，聊天机器人程序)为代表的大规模语言模型的突破成为了人工智能方向最引人瞩目的进展，在自然语言处理（NLP，natural language processing）领域的重要任务如问答、对话系统、文本总结、文本生成等上展现出了大一统的SOTA（State of the arts，最先进的技术）能力。然而，现有的预训练大语言模型由于训练方式的限制，其知识库仅局限于预训练数据所包含的内容，在结束中心式训练后，大规模语言模型便固定、无法更新。这使得当前预训练大规模语言模型面临训练后即过时的问题，以ChatGPT为例，当用户询问22年或更新的内容时，其会回答：“很抱歉，作为ChatGPT模型，我的知识截至于2021年9月，无法提供2021年9月或以后的实时数据。”这使得当前的大规模语言模型无法处理任何其训练时间点之后发生的相关内容，不能够很好地满足用户需求，影响用户使用体验。
[0003]鉴于此，如何提供一种能够更好满足用户需求的预训练语言模型的信息处理方法、装置、电子设备及计算机课程存储介质成为本领域技术人员需要解决的问题。

技术实现思路

[0004]本专利技术实施例的目的是提供一种预训练语言模型的信息处理方法、装置、电子设备及计算机课程存储介质，在使用过程中使基于该本地预训练语言模型的智能体能够为用户提供更高质量的答复。
[0005]为解决上述技术问题，本专利技术实施例提供了一种预训练语言模型的信息处理方法，应用于本地预训练语言模型，包括：在循环生成待回复文本的下一个词时，生成当前词典概率表；根据所述当前词典概率表中的各词判断是否存在最优词；若是，则将所述最优词作为所述下一个词进行生成；若否，则基于当前已生成文本生成对应的自然语言问题及问题类型；基于所述问题类型将所述自然语言问题发送至其他相应的预训练语言模型，并接收各个所述预训练语言模型返回的答复；从各个所述答复中选择出最优答复，并将所述最优答复作为所述下一个词进行生成。
[0006]在一种实施例中，所述根据所述当前词典概率表中的各词判断是否存在最优词，包括：从所述当前词典概率表中选择概率最大的词；判断所述概率最大的词是否为停止词；若是，则将所述概率最大的词作为最优词；
若否，获取所述当前词典概率表中概率最高的前预设数量的备选词；针对每个所述备选词，分别与所述当前已生成文本组成对应的短句；采用预先建立的合理性判断网络对每个所述短句进行合理性分析，得到与每个所述短句各自对应的合理性指标；针对每个所述备选词，根据所述备选词的概率及对应句子的合理性指标，得到与所述备选词对应的可信度值；根据每个所述备选词的可信度值，判断概率最高的备选词的可信度值与其他备选词的可信度值是否满足预设要求，若是，则确定所述概率最高的备选词为最优词，若否，则确定不存在最优词。
[0007]在一种实施例中，所述第一计算关系式为，其中，d表示差异值，表示概率最高的备选词的可信度值，表示第i个备选词的可信度值，和均表示可调节的参数，n表示备选词的总数量。
[0008]在一种实施例中，所述基于所述问题类型将所述自然语言问题发送至其他相应的预训练语言模型，并接收各个所述预训练语言模型返回的答复，包括：基于所述问题类型从预先建立的可信预训练语言模型词典中选择出各个目标可信预训练语言模型；将所述自然语言问题发送至每个所述目标可信预训练语言模型，以便所述目标可信预训练语言模型对所述自然语言问题进行处理并作出答复；接收每个所述目标可信预训练语言模型各自返回的答复；将所述自然语言问题和所述问题类型发送至预训练语言模型交互平台，以便所述预训练语言模型交互平台中与所述问题类型对应的预训练语言模型对所述自然语言问题进行处理并作出答复；接收所述预训练语言模型交互平台返回的各个答复；相应的，所述从各个所述答复中选择出最优答复，包括：基于各个所述目标可信预训练语言模型返回的答复及所述预训练语言模型交互平台返回的各个答复，选择出最优答复。
[0009]在一种实施例中，所述基于所述问题类型从预先建立的可信预训练语言模型词典中选择出各个目标可信预训练语言模型，包括：根据所述问题类型确定出目标领域；根据所述目标领域从预先建立的可信预训练语言模型词典中匹配出擅长领域为所述目标领域的各个目标可信预训练语言模型。
[0010]在一种实施例中，所述基于各个所述目标可信预训练语言模型返回的答复及所述预训练语言模型交互平台返回的各个答复，选择出最优答复，包括：根据每个所述目标可信预训练语言模型的答复及所述预训练语言模型交互平台返回的各个答复，对每种答复进行评分；将评分最高的答复作为最优答复。
[0011]在一种实施例中，所述根据每个所述目标可信预训练语言模型的答复及所述预训练语言模型交互平台返回的各个答复，对每种答复进行评分，包括：
将每个所述目标可信预训练语言模型的答复及所述预训练语言模型交互平台返回的各个答复中相同的答复分为一组，得到多组答复；针对每组答复，确定出组内的每个所述答复分别对应的新增评分；将所述组内的各个所述答复的新增评分进行求和，得到对应的答复最终的评分。
[0012]在一种实施例中，所述确定出组内的每个所述答复分别对应的新增评分，包括：针对组内的每个所述答复，根据所述答复的出处确定所述答复的新增评分。
[0013]在一种实施例中，所述根据所述答复的出处确定所述答复的新增评分，包括：在所述答复的出处为所述预训练语言模型交互平台的情况下，所述答复的新增评分为A；其中，A不小于1；在所述答复的出处为所述目标可信预训练语言模型的情况下，所述答复的新增评分为A+，其中，表示所述目标可信预训练语言模型在所述目标领域的可信值。
[0014]在一种实施例中，该方法还包括：在所述目标可信预训练语言模型的答复为最优答复的情况下，对所述目标可信预训练语言模型在所述目标领域的可信值进行加1更新；在所述目标可信预训练语言模型的答复不是最优答复的情况下，对所述目标可信预训练语言模型在所述目标领域的可信值进行减1更新。
[0015]在一种实施例中，该方法还包括：针对所述可信预训练语言模型词典中的每个可信预训练语言模型，在所述可信预训练语言模型的各擅长领域中存在可信值为0的擅长领域时，将所述可信值为0的擅长领域从所述可信预训练语言模型的擅长领域中删除。
[0016]在一种实施例中，该方法还包括：针对所述预训练语言模型交互平台中对所述自然语言问题进行处理并作出答复的各个预训练语言模型，在所述预训练语言模型给出的答复为最优答复时，将所述预训练语言模型作为备选预训练语言模型加入至备选预训练语言模型库内与所述自然语言问题对应的领域中。
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种预训练语言模型的信息处理方法，其特征在于，应用于本地预训练语言模型，包括：在循环生成待回复文本的下一个词时，生成当前词典概率表；根据所述当前词典概率表中的各词判断是否存在最优词；若是，则将所述最优词作为所述下一个词进行生成；若否，则基于当前已生成文本生成对应的自然语言问题及问题类型；基于所述问题类型将所述自然语言问题发送至其他相应的预训练语言模型，并接收各个所述预训练语言模型返回的答复；从各个所述答复中选择出最优答复，并将所述最优答复作为所述下一个词进行生成。2.根据权利要求1所述的预训练语言模型的信息处理方法，其特征在于，所述根据所述当前词典概率表中的各词判断是否存在最优词，包括：从所述当前词典概率表中选择概率最大的词；判断所述概率最大的词是否为停止词；若是，则将所述概率最大的词作为最优词；若否，获取所述当前词典概率表中概率最高的前预设数量的备选词；针对每个所述备选词，分别与所述当前已生成文本组成对应的短句；采用预先建立的合理性判断网络对每个所述短句进行合理性分析，得到与每个所述短句各自对应的合理性指标；针对每个所述备选词，根据所述备选词的概率及对应句子的合理性指标，得到与所述备选词对应的可信度值；根据每个所述备选词的可信度值，判断概率最高的备选词的可信度值与其他备选词的可信度值是否满足预设要求，若是，则确定所述概率最高的备选词为最优词，若否，则确定不存在最优词。3.根据权利要求2所述的预训练语言模型的信息处理方法，其特征在于，所述判断概率最高的备选词的可信度值与其他备选词的可信度值是否满足预设要求，包括：根据概率最高的备选词的可信度值与其他备选词的可信度值，结合第一计算关系式计算出差异值；判断所述差异值是否大于等于0，若是，则满足预设要求，确定所述概率最高的备选词为最优词，若否，则不满足预设要求，确定不存在最优词。4.根据权利要求3所述的预训练语言模型的信息处理方法，其特征在于，所述第一计算关系式为，其中，d表示差异值，表示概率最高的备选词的可信度值，表示第i个备选词的可信度值，和均表示可调节的参数，n表示备选词的总数量。5.根据权利要求1所述的预训练语言模型的信息处理方法，其特征在于，所述基于所述问题类型将所述自然语言问题发送至其他相应的预训练语言模型，并接收各个所述预训练语言模型返回的答复，包括：基于所述问题类型从预先建立的可信预训练语言模型词典中选择出各个目标可信预训练语言模型；将所述自然语言问题发送至每个所述目标可信预训练语言模型，以便所述目标可信预
训练语言模型对所述自然语言问题进行处理并作出答复；接收每个所述目标可信预训练语言模型各自返回的答复；将所述自然语言问题和所述问题类型发送至预训练语言模型交互平台，以便所述预训练语言模型交互平台中与所述问题类型对应的预训练语言模型对所述自然语言问题进行处理并作出答复；接收所述预训练语言模型交互平台返回的各个答复；相应的，所述从各个所述答复中选择出最优答复，包括：基于各个所述目标可信预训练语言模型返回的答复及所述预训练语言模型交互平台返回的各个答复，选择出最优答复。6.根据权利要求5所述的预训练语言模型的信息处理方法，其特征在于，所述基于所述问题类型从预先建立的可信预训练语言模型词典中选择出各个目标可信预训练语言模型，包括：根据所述问题类型确定出目标领域；根据所述目标领域从预先建立的可信预训练语言模型词典中匹配出擅长领域为所述目标领域的各个目标可信预训练语言模型。7.根据权利要求6所述的预训练语言模型的信息处理方法，其特征在于，所述基于各个所述目标可信预训练语言模型返回的答复及所述预训练语言模型交互平台返回的各个答复，选择出最优答复，包括：根据每个所述目标可信预训练语言模型的答复及所述预训练语言模型交互平台返回的各个答复，对每种答复进行评分；将评分最高的答复作为最优答复。8.根据权利要求7所述的预训练语言模型的信息处理方法，其特征在于，所述根据每个所述目标可信预训练语言模型的答复及所述预训练语言模型交互平台返回的各个答复，对每种答复进行评分，包括：将每个所述目标可信预训练语言模型的答复及所述预训练语言模型交互平台返回的各个答复中相同的答复分为一组，得到多组答复；针对每组答复，确定出组内的每个所述答复分别对应的新增评分；将所述组内的各个所述答复的新增评分进行求和，得到对应的答复最终的评分。9.根据权利要求8所述的预训练语言模型的信息处理方法，其特征在于，所述确定出组内的每个所述答复分别对应的新增评分，包括：针对组内的每个所述答复，根据所述答复的出处确定...

【专利技术属性】
技术研发人员：范宝余，郭振华，王立，王棣，张润泽，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：