一种信息解析方法、模型训练方法、装置及电子设备制造方法及图纸

本申请提供一种信息解析方法、模型训练方法、装置及电子设备，属于短信解析领域，信息解析模型包括编码器、意图解码器和多个槽位解码器；方法包括：获取文本信息；利用编码器对文本信息进行编码处理，得到编码向量集合；利用意图解码器对编码向量集合进行处理，得到文本信息对应的意图类别；基于意图类别，在多个槽位解码器中确定意图类别对应的目标槽位解码器；利用目标槽位解码器对编码向量集合进行处理，得到文本信息对应的槽位信息。这样，基于意图类别所属的服务垂域，调用该服务垂域对应的槽位解码器，然后，基于调用的一个槽位解码器解析短信文本的槽位信息，便可以降低推理时延和峰值内存。峰值内存。峰值内存。

【技术实现步骤摘要】
一种信息解析方法、模型训练方法、装置及电子设备


[0001]本申请属于短信解析领域，尤其涉及一种信息解析方法、模型训练方法、装置及电子设备。

技术介绍

[0002]随着电子设备技术的不断发展，电子设备的功能越来越全面。例如，电子设备可以为用户提供航班出行、火车出行、还款助手等多个服务垂域的卡片推送服务，以便于用户快速便捷地了解出行和生活等方面的信息。卡片推送服务是指电子设备在接收到短信、通知等信息后，可以生成该信息对应的事项卡片，并将该事项卡片显示在电子设备的主界面上。这极大地避免了用户遗忘重要事项，提升了用户的使用体验。
[0003]目前，主要通过训练后的信息解析模型对接收到的短信进行解析，进而生成该短信对应的事项卡片。但是，随着服务垂域的不断增加，信息解析模型的大小也随之增加，进而导致推理时延和峰值内存增大。

技术实现思路

[0004]本申请提供一种信息解析方法、模型训练方法、装置及电子设备，能够解决推理时延和峰值内存增大的问题。
[0005]第一方面，本申请提供一种信息解析模型的训练方法，所述信息解析模型包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息解析模型的训练方法，其特征在于，所述信息解析模型包括编码器、意图解码器、多个槽位解码器，所述训练方法包括：获取训练样本数据，所述训练样本数据包括文本信息以及与所述文本信息对应的样本意图类别和样本槽位信息；利用所述编码器对所述文本信息进行编码处理，得到编码向量集合，所述编码向量集合包括与所述文本信息中各字符一一对应的编码向量；利用所述意图解码器对所述编码向量集合进行处理，得到所述文本信息的预测意图类别；利用所述多个槽位解码器对所述编码向量集合进行处理，得到所述文本信息的预测槽位信息；基于所述预测意图类别、所述预测槽位信息以及所述样本意图类别和所述样本槽位信息，对所述信息解析模型进行训练，得到训练后的信息解析模型。2.根据权利要求1所述的训练方法，其特征在于，所述利用所述编码器对所述文本信息进行编码处理，得到编码向量集合，包括：在所述文本信息的起始位置添加起始标记符，以及在所述文本信息的结束位置添加分割标记符，得到N+2个字符；其中，所述N为所述文本信息包括的字符数量；对所述N+2个字符进行编码处理，得到所述编码向量集合，所述编码向量集合包括起始编码向量、N个文本编码向量和分割编码向量，其中，所述起始编码向量表示所述起始标记符对应的编码向量，所述N个文本编码向量表示与所述N个文本信息中各字符一一对应的编码向量，所述分割编码向量表示所述分割标记符对应的编码向量。3.根据权利要求2所述的训练方法，其特征在于，所述利用所述多个槽位解码器对所述编码向量集合进行处理，得到所述文本信息的预测槽位信息，包括：基于所述N个文本编码向量，生成槽位起始矩阵Hs和槽位结束矩阵He；其中，所述槽位起始矩阵Hs用于表征所述文本信息中各字符作为槽位的起始字符的所有编码向量，所述槽位结束矩阵He用于表征所述文本信息中各字符作为槽位的结束字符的所有编码向量；在所述多个槽位解码器均为未训练槽位解码器的情况下，将所述槽位起始矩阵Hs和所述槽位结束矩阵He分别输入每个所述槽位解码器，得到第一预测槽位矩阵；其中，所述第一预测槽位矩阵用于表征所有槽位组合方式以及每种所述槽位组合方式对应的各槽位类别的概率值；每种所述槽位组合方式包括槽位起始字符对应的编码向量以及槽位结束字符对应的编码向量；基于所述第一预测槽位矩阵，得到所述文本信息的预测槽位信息。4.根据权利要求3所述的训练方法，其特征在于，所述利用所述多个槽位解码器对所述编码向量集合进行处理，得到所述文本信息的预测槽位信息，还包括：在所述多个槽位解码器包括已训练槽位解码器和未训练槽位解码器的情况下，将所述槽位起始矩阵Hs和所述槽位结束矩阵He分别输入所述未训练槽位解码器，得到第二预测槽位矩阵；基于所述第二预测槽位矩阵，得到所述文本信息的预测槽位信息。5.根据权利要求3所述的训练方法，其特征在于，所述第一预测槽位矩阵通过如下公式得到：
R =（Hs）U（He）+ W(Hs
ꢀ⊕ꢀ
He) +B；其中，所述R表示第一预测槽位矩阵，所述U、所述W和所述B为超参数。6.根据权利要求3所述的训练方法，其特征在于，所述基于所述第一预测槽位矩阵，得到所述文本信息的预测槽位信息，包括：分别将所述第一预测槽位矩阵中每种槽位组合方式的概率值最大的槽位类别，确定为对应槽位组合方式的预测槽位类别；基于预设筛选规则，从所有所述槽位组合方式中筛选预测槽位组合方式；将所述预测槽位组合方式以及与所述预测槽位组合方式对应的预测槽位类别，确定为所述文本信息的预测槽位信息。7.根据权利要求3所述的训练方法，其特征在于，所述基于所述N个文本编码向量，生成槽位起始矩阵Hs和槽位结束矩阵He，包括：利用第一全连接网络对所述N个文本编码向量进行处理，得到所述槽位起始矩阵Hs；利用第二全连接网络对所述N个文本编码向量进行处理，得到所述槽位结束矩阵He。8.根据权利要求2所述的训练方法，其特征在于，所述利用所述意图解码器对所述编码向量集合进行处理，得到所述文本信息的预测意图类别，包括：利用所述意图解码器对所述起始编码向量进行处理，得到所述文本信息的预测意图类别。9.根据权利要求8所述的训练方法，其特征在于，所述文本信息的预测意图类别通过如下公式得到：y
intent =Argmax(Softmax(Kx+a))；其中，所述y
intent
为所述预测意图类别，所述x为所述起始编码向量，所述K和所述a为超参数。10.根据权利要求1所述的训练方法，其特征在于，所述基于所述预测意图类别、所述预测槽位信息以及所述样本意图类别和所述样本槽位信息，对所述信息解析模型进行训练，得到训练后的信息解析模型，包括：根据所述预测意图类别和所述样本意图类别，确定第一损失值；根据所述预测槽位信息和所述样本槽位信息，确定第二损失值；根据所述第一损失值和所述第二损失值迭代更新所述信息解析模型，得到所述训练后的信息解析模型。11.根据权利要求1所述的训练方法，其特征在于，所述文本信息包括短...

【专利技术属性】
技术研发人员：詹长静，张云柯，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：