文本处理模型的训练方法、文本处理方法、装置及介质制造方法及图纸

本发明专利技术公开了一种文本处理模型的训练方法、文本处理方法、装置及介质，先将待处理文本与人工智能生成内容服务器进行交互得到替换文本，再利用待处理文本和替换文本训练文本脱敏模型；在完成文本脱敏模型的训练后，将待处理文本输入至文本脱敏模型得到脱敏文本，并利用待处理文本和脱敏文本与人工智能生成内容服务器进行交互得到第一输出文本和第二输出文本，接着利用脱敏文本、第一输出文本、待处理文本和第二输出文本训练文本还原模型。通过训练后的文本脱敏模型和文本还原模型，本发明专利技术实施例可在用户使用LLM模型对用户上传的文本执行NLP任务时，同时保护用户和上游云厂商的信息安全。本发明专利技术实施例可应用于与人工智能进行交互的各种应用场景中。交互的各种应用场景中。交互的各种应用场景中。

【技术实现步骤摘要】
文本处理模型的训练方法、文本处理方法、装置及介质


[0001]本专利技术涉及人工智能
，尤其涉及一种文本处理模型的训练方法、文本处理方法、装置及介质。

技术介绍

[0002]目前，以人工智能技术驱动的大型语言模型(Large Language Model，LLM)能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动。然而，当用户使用部署于云端服务器的LLM模型执行自然语言处理(Nature Language Processing，NLP)任务时，需要将待处理文本发送给上游云厂商的云端服务器，存在泄露用户的重要信息的风险。为了解决这个问题，用户可以部署本地LLM模型，或者向上游云厂商请求派发可用于本地的LLM模型。
[0003]但是，当部署本地LLM模型时，需要人工制作大量的训练样本及对应的训练标签对本地LLM模型进行训练后才能执行用户所需的NLP任务，存在训练成本高昂的问题，并且训练得到的本地LLM模型的性能效果及不上云端服务器中LLM模型的性能效果。而当向上游云厂商请求派发本地的LLM模型时，则容易导致上游云厂商本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本处理模型的训练方法，其特征在于，所述文本处理模型包括文本脱敏模型和文本还原模型，所述文本处理模型的训练方法包括以下步骤：将待处理文本发送给人工智能生成内容服务器，接收所述人工智能生成内容服务器对所述待处理文本进行文本替换后得到的替换文本；利用所述替换文本和所述待处理文本对所述文本脱敏模型进行训练，得到训练后的文本脱敏模型，其中，所述待处理文本用作所述文本脱敏模型的训练样本，所述替换文本用作所述文本脱敏模型的训练标签；调用训练后的所述文本脱敏模型对所述待处理文本进行文本脱敏得到脱敏文本，将所述脱敏文本和所述待处理文本发送给所述人工智能生成内容服务器，接收所述人工智能生成内容服务器发送的第一输出文本和第二输出文本，其中，所述第一输出文本由所述人工智能生成内容服务器对所述脱敏文本进行文本处理后得到，所述第二输出文本由所述人工智能生成内容服务器对所述待处理文本进行所述文本处理后得到；利用所述脱敏文本、所述第一输出文本、所述待处理文本和所述第二输出文本对所述文本还原模型进行训练，得到训练后的文本还原模型，其中，所述脱敏文本、所述第一输出文本和所述待处理文本用作所述文本还原模型的训练样本，所述第二输出文本用作所述文本还原模型的训练标签。2.根据权利要求1所述的方法，其特征在于，将所述待处理文本发送给所述人工智能生成内容服务器进行文本替换的次数和接收所述替换文本的次数均为多次；所述利用所述替换文本和所述待处理文本对所述文本脱敏模型进行训练，得到训练后的文本脱敏模型，包括：根据多次发送的所述待处理文本和多次接收的所述替换文本得到脱敏训练样本集；利用所述脱敏训练样本集对所述文本脱敏模型进行训练，得到训练后的文本脱敏模型。3.根据权利要求2所述的方法，其特征在于，利用所述脱敏训练样本集对所述文本脱敏模型进行训练的过程，包括以下步骤：调用所述文本脱敏模型对所述脱敏训练样本集中的所述待处理文本进行文本脱敏，得到文本脱敏结果；根据所述文本脱敏结果和所述脱敏训练样本集中的所述替换文本得到文本脱敏损失值；根据所述文本脱敏损失值修正所述文本脱敏模型的参数。4.根据权利要求3所述的方法，其特征在于，所述文本脱敏模型对所述待处理文本进行文本脱敏的过程，包括以下步骤：对所述待处理文本进行脱敏特征编码得到所述待处理文本的脱敏文本特征；对所述待处理文本的脱敏文本特征进行脱敏特征解码得到所述文本脱敏结果。5.根据权利要求1所述的方法，其特征在于，将所述脱敏文本发送给所述人工智能生成内容服务器的次数、将所述待处理文本发送给所述人工智能生成内容服务器进行文本处理的次数、接收所述第一输出文本的次数和接收所述第二输出文本的次数均为多次；所述利用所述脱敏文本、所述第一输出文本、所述待处理文本和所述第二输出文本对所述文本还原模型进行训练，得到训练后的文本还原模型，包括：
根据多次发送的所述脱敏文本、多次接收的所述第一输出文本、多次发送的所述待处理文本和多次接收的所述第二输出文本得到还原训练样本集；利用所述还原训练样本集对所述文本还原模型进行训练，得到训练后的文本还原模型。6.根据权利要求5所述的方法，其特征在于，利用所述还原训练样本集对所述文本还原模型进行训练的过程，包括以下步骤：调用所述文本还原模型获取所述还原训练样本集中的所述脱敏文本、所述第一输出文本和所述待处理文本进行文本还原，得到文本还原结果；根据所述文本还原结果和所述还原训练样本集中的所述第二输出文本得到文本还原损失值；根据所述文本还原损失值修正所述文本还原模型的参数。7.根据权利要求1所述的方法，其特征在于，所述将所述待处理文本发送给人工智能生成内容服务器，接收所述人工智能生成内容服务器对所述待处理文本进行文本替换后得到的替换文本，包括：获取与所述待处理文本对应的文本替换引导模板；将所述文本替换引导模板和所述待处理文本发送给人工智能生成内容服务器，接收所述人工智能生成内容服务器根据所述文本替换引导模板对所述待处理文本进行文本替换后得到的替换文本。8.一种文本处理方法，其特征在于，包括以下步骤：获取待脱敏文本；调用文本脱敏模型对所述待脱敏文本进行文本脱敏，得到目标脱敏文本；将所述目标脱敏文本发送给人工智能生成内容服务器，接收所述人工智能生成内容服务器对所述目标脱敏文本进行文本处理后得到的处理输出文本；调用文本还原模型获取所述待脱敏文本、所述目标脱敏文本和所述处理输出文本进行文本还原，得到目标文本；其中，所述文本脱敏模...

【专利技术属性】
技术研发人员：陈昱，于旸，
申请(专利权)人：腾讯云计算北京有限责任公司，
类型：发明
国别省市：