句向量预测方法技术

本发明专利技术提供一种句向量预测方法

【技术实现步骤摘要】
句向量预测方法、问答匹配方法、装置及相关设备


[0001]本专利技术涉及句向量预测
，尤其涉及一种句向量预测方法
、
问答匹配方法
、
装置及相关设备
。

技术介绍

[0002]自然语言处理
(Nature Language processing
，
NLP)
是计算机科学领域与人工智能领域中的一个重要方向
。
随着自然语言处理技术的进步和工程落地经验的积累，智能客服系统近年来在各行业中，已经逐渐应用于实际业务场景
、
服务于实际客户，降低了人工客服的压力和成本
。
现有的客服系统基于
NLP
预训练模型如
Bert
构建，通过识别用户问题中的句向量，再通过句向量与问答数据库中的问答匹配，从而自动给出答复，但预训练模型
Bert
需要经过大量数据进行训练后，才能够学习到人类语言语义
。
在一些项目启动初期，数据量很少，模型就需要多个轮次的训练，使模型能够充足的学习到相关知识，但由于数据量少
、
模型巨大的原因，模型的多轮训练有可能很好的拟合了现有数据，但由于实际业务场景中数据噪点很多，模型也对这些数据噪点进行了拟合，那么在使用模型预测的时候就无法达到很好的效果，最终由于过拟合导致模型泛化能力很差；如果使用较小的预训练模型，会导致模型的推理能力较弱，不能模拟实际业务的多个场景，降低实际业务的收益
。

技术实现思路

[0003]本专利技术提供一种句向量预测方法
、
问答匹配方法
、
装置及相关设备，用以解决传统预训练模型或推理能力较弱，或由于训练数据量较少，导致模型泛化能力差的缺陷
。
[0004]本专利技术提供一种句向量预测方法，包括：
[0005]将待识别语句输入至当前业务的第一句向量预测模型中，得到所述待识别语句对应的句向量预测结果；其中，所述当前业务的第一句向量预测模型是根据与所述当前业务相似的历史业务的第二句向量预测模型进行蒸馏而构建的；
[0006]所述当前业务的第一句向量预测模型是经过自学习和对比学习训练得到的
。
[0007]根据本专利技术提供的一种句向量预测方法，所述当前业务的第一句向量预测模型的构建方法包括：
[0008]将与所述当前业务相似的历史业务的第二句向量预测模型中的预设层的参数赋值到所述当前业务的第一句向量预测模型的对应层中
。
[0009]根据本专利技术提供的一种句向量预测方法，所述第二句向量预测模型包括
n
层，所述第一句向量预测模型包括
m
层，所述第二句向量预测模型中的预设层包括：
[0010]第1层
、
第
n/2
层和第
n
层；
[0011]相应地，所述的第一句向量预测模型的对应层包括第1层
、
第
m/2
‑1层和第
m
‑1层
。
[0012]根据本专利技术提供的一种句向量预测方法，对所述当前业务的第一句向量预测模型进行自学习和对比学习训练，包括：
[0013]获取自学习前第一句向量预测模型输出的第一句向量预测结果；
[0014]获取自学习后第一句向量预测模型输出的第二句向量预测结果；
[0015]计算所述第一句向量预测结果与所述第二句向量预测结果的相似度得分；
[0016]计算所述相似度得分与预设标签之间的交叉熵损失，根据所述交叉熵损失更新所述第一句向量预测模型
。
[0017]根据本专利技术提供的一种句向量预测方法，所述获取自学习前第一句向量预测模型输出的第一句向量预测结果，包括：
[0018]将训练数据输入根据与所述当前业务相似的历史业务的第二句向量预测模型进行蒸馏而构建的第一句向量预测模型，得到第一句向量预测结果
。
[0019]根据本专利技术提供的一种句向量预测方法，所述获取自学习后第一句向量预测模型输出的第二句向量预测结果，包括：
[0020]对所述自学习前第一句向量预测模型的每一层的输出结果进行平均池化处理；
[0021]将每一层平均池化处理后的输出结果按照丢弃比率函数进行特征丢弃，得到每一层最终输出结果；
[0022]对每一层最终输出结果与自学习权重参数进行广播相乘后求和，输出第二句向量预测结果
。
[0023]本专利技术还提供一种问答匹配方法，包括：
[0024]获取待识别语句对应的句向量，所述句向量根据上述任一项所述的句向量预测方法预测得到；
[0025]将所述句向量与问答数据库中的问题项进行匹配；
[0026]在匹配成功时，输出匹配到的问题项对应的答复
。
[0027]本专利技术还提供一种句向量预测装置，包括：
[0028]预测模块，用于将待识别语句输入至当前业务的第一句向量预测模型中，得到所述待识别语句对应的句向量预测结果；
[0029]构建模块，用于根据与所述当前业务相似的历史业务的第二句向量预测模型进行蒸馏，以构建所述当前业务的第一句向量预测模型；
[0030]训练模块，用于对所述当前业务的第一句向量预测模型进行自学习和对比学习训练
。
[0031]本专利技术还提供一种客服问答系统，包括：
[0032]获取模块，用于获取待识别语句对应的句向量，所述句向量根据上述任一项所述的句向量预测方法预测得到；
[0033]匹配模块，用于将所述句向量与问答数据库中的问题项进行匹配；
[0034]输出模块，用于在匹配成功时，输出匹配到的问题项对应的答复
。
[0035]本专利技术还提供一种电子设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的句向量预测方法，和
/
或，如上述所述的问答匹配方法
。
[0036]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的句向量预测方法
。
[0037]本专利技术提供的句向量预测方法
、
问答匹配方法
、
装置及相关设备，通过将待识别语句输入至当前业务的第一句向量预测模型中，得到待识别语句对应的句向量预测结果；其
中，当前业务的第一句向量预测模型是根据与当前业务相似的历史业务的第二句向量预测模型进行蒸馏而构建的；当前业务的第一句向量预测模型是经过自学习和对比学习训练得到的，通过根据与当前业务相似的历史业务的第二句向量预测模型蒸馏而构建第一句向量预测模型，可以增强第一句向量预测模型的预测能力，并且，通过自学习和对比学习训练，可以提升句向量预测结果的准确性，从而提升本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种句向量预测方法，其特征在于，包括：将待识别语句输入至当前业务的第一句向量预测模型中，得到所述待识别语句对应的句向量预测结果；其中，所述当前业务的第一句向量预测模型是根据与所述当前业务相似的历史业务的第二句向量预测模型进行蒸馏而构建的；所述当前业务的第一句向量预测模型是经过自学习和对比学习训练得到的
。2.
根据权利要求1所述的句向量预测方法，其特征在于，所述当前业务的第一句向量预测模型的构建方法包括：将与所述当前业务相似的历史业务的第二句向量预测模型中的预设层的参数赋值到所述当前业务的第一句向量预测模型的对应层中
。3.
根据权利要求2所述的句向量预测方法，其特征在于，所述第二句向量预测模型包括
n
层，所述第一句向量预测模型包括
m
层，所述第二句向量预测模型中的预设层包括：第1层
、
第
n/2
层和第
n
层；相应地，所述的第一句向量预测模型的对应层包括第1层
、
第
m/2
‑1层和第
m
‑1层
。4.
根据权利要求1所述的句向量预测方法，其特征在于，对所述当前业务的第一句向量预测模型进行自学习和对比学习训练，包括：获取自学习前第一句向量预测模型输出的第一句向量预测结果；获取自学习后第一句向量预测模型输出的第二句向量预测结果；计算所述第一句向量预测结果与所述第二句向量预测结果的相似度得分；计算所述相似度得分与预设标签之间的交叉熵损失，根据所述交叉熵损失更新所述第一句向量预测模型
。5.
根据权利要求4所述的句向量预测方法，其特征在于，所述获取自学习前第一句向量预测模型输出的第一句向量预测结果，包括：将训练数据输入根据与所述当前业务相似的历史业务的第二句向...

【专利技术属性】
技术研发人员：田效宇，马宝昌，潘东宇，
申请(专利权)人：贝壳找房北京科技有限公司，
类型：发明
国别省市：