一种预训练语言模型的训练、诉求转接方法、装置和设备制造方法及图纸

本发明专利技术公开了一种预训练语言模型的训练、诉求转接方法、装置和设备，其中训练方法包括：获取多组训练样本；通过预设的预训练语言模型计算当前训练样本中的两条诉求信息各自的文本向量；基于文本向量对诉求信息的类别和类别匹配情况进行预测，得到预测类别和预测类别匹配结果；根据第一误差以及第二误差校正预设的预训练语言模型的模型参数，第一误差是预测类别和类别标签之间的误差，第二误差是预测类别匹配结果和类别匹配标签之间的误差；当预训练语言模型满足预设的条件时，输出预训练语言模型。本发明专利技术提供的技术方案，提高了诉求信息的向量表达准确度。向量表达准确度。向量表达准确度。

【技术实现步骤摘要】
一种预训练语言模型的训练、诉求转接方法、装置和设备


[0001]本专利技术涉及大数据分析领域，具体涉及一种预训练语言模型的训练、诉求转接方法、装置和设备。

技术介绍

[0002]通常企事业单位、政务单位均有由电话、信箱、手机短信、手机APP、微博、微信等方式组成的专门受理热线事项的公共服务平台，整合各级各部门设立的面向公众提供业务查询、咨询、投诉、求助、公共服务、意见建议征集、民意调查等咨询热线。在接收到用户的诉求信息时，一个重要的环节就是分析出诉求信息中的事项，从而将诉求信息分拨到对应的处理部门进行事项的处理。随着自然语言处理技术的发展，越来越多的地方政府，使用基于自然语言处理算法代替人工的分拨。其中，一项重要的技术核心在于如何基于历史数据通过自然语言算法学习到每个事项诉求信息的向量表达，也就是将诉求信息的文字、词语或句子转换为数字向量形式，然后再基于诉求信息中的字向量、词向量或句向量进行下游的事项分析和诉求分拨任务，现有技术通常使用word2vector，Bert等预训练语言模型直接提取诉求信息的向量表达，但是经过实践检验，其向量表示的词句本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种预训练语言模型的训练方法，其特征在于，所述方法包括：获取多组训练样本，所述训练样本中包括两条语义相近的诉求信息，以及两条诉求信息对应的类别标签和类别匹配标签，所述类别匹配标签用于表征两条诉求信息是否属于同一类别；通过预设的预训练语言模型计算当前训练样本中的两条诉求信息各自的文本向量；基于所述文本向量对所述诉求信息的类别和类别匹配情况进行预测，得到预测类别和预测类别匹配结果；根据第一误差以及第二误差校正所述预设的预训练语言模型的模型参数，所述第一误差是所述预测类别和所述类别标签之间的误差，所述第二误差是所述预测类别匹配结果和所述类别匹配标签之间的误差；当所述预训练语言模型满足预设的条件时，输出所述预训练语言模型。2.根据权利要求1所述的方法，其特征在于，所述获取多组训练样本，包括：遍历历史诉求信息库中的各条诉求信息，基于BM25算法将所述历史诉求信息库中相似度在预设阈值以上的诉求信息两两组合；获取每组诉求信息对应的类别标签和类别匹配标签，进而得到多组所述训练样本。3.根据权利要求1所述的方法，其特征在于，所述基于所述文本向量对所述诉求信息的类别和类别匹配情况进行预测，得到预测类别和预测类别匹配结果，包括：将两个文本向量分别输入第一全连接层，计算两个文本向量各自的预测类别，所述第一全连接层的参数通过所述第一误差进行校正；将两个文本向量同时输入第二全连接层，计算两个文本向量的预测类别匹配结果，所述第二全连接层的参数通过所述第二误差进行校正。4.一种诉求转接方法，其特征在于，所述方法包括：接收目标用户的目标诉求信息，通过权利要求1
‑
3任意一项所述方法训练好的预训练语言模型将所述目标诉求信息转换为目标文本向量；以第一相似度算法从历史诉求信息库中提取与所述目标诉求信息语义相近的候选诉求信息；通过所述预训练语言模型计算各个候选诉求信息对应的候选文本向量；以第二相似度算法计算所述目标文本向量和各个候选文本向量的相似度，并找出与所述目标文本向量相似度最高的候选文本向量；将所述目标诉求信息...

【专利技术属性】
技术研发人员：李圆法，蚁韩羚，余晓填，王孝宇，
申请(专利权)人：深圳云天励飞技术股份有限公司，
类型：发明
国别省市：