【技术实现步骤摘要】
一种基于深度学习的行业文本匹配模型方法及装置
[0001]本专利技术涉及语义匹配
，特别涉及一种基于深度学习的行业文本匹配模型方法及装置。
技术介绍
[0002]随着互联网技术的迅速发展以及智能交互应用的广泛使用，便捷、轻快、即时已成为当下互联网社会的主要特征。在当下快节奏的学习工作中，各种社交工具、问答系统成为了人们越来越依赖的“必需品”，而这些不断推陈出新的智能交互应用以及各种社交工具与人类之间都有着共同的沟通桥梁——文字、语音、影像等等，其中最稳定、最主流的还是文字交流，而且主要是短文本交流。如何快速、准确的把握不同人群的语言特点是目前各大智能交互应用非常关心的问题，即系统如何要快速、准确地理解不同人群的输入文本含义，在此基础上才能做出正确的反应。使用搜索引擎进行问题输入时，系统自动匹配出的相似问题会自动呈现在用户面前。
[0003]比如人们使用互联网进行信息搜索、交易购物等学习生活时，针对同一个系统认定的标准问题，不同用户对该问题会有不同的表述方式，而为了适应互联网生态中的快捷方便性，不少线上购物平台都...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习的行业文本匹配模型方法，其特征在于，包括以下步骤：获取预设个数的跨行业数据作为训练集，以得到待匹配语句；将所述待匹配语句输入基于深度学习的行业文本匹配模型NERB，经过数据预处理后分别输入优化后的预训练模型NEZHA、RoBERTa和ERNIE
‑
Gram；其中，所述优化后的预训练模型NEZHA，包括：对函数式相对位置编码、全词覆盖、混合精度训练和优化器的优化；基于所述优化后的预训练模型，经过所述优化后的预训练模型匹配后输出三个文本匹配结果；根据所述三个文本匹配结果进行综合判断，当存在任意两种文本匹配结果或三种文本匹配结果输出为相似时，所述行业文本匹配模型的输出结果判为相似，否则为不相似。2.根据权利要求1所述的基于深度学习的行业文本匹配模型方法，其特征在于，所述对函数式相对位置编码优化，包括：所述预训练模型NEZHA通过采用函数式相对位置编码，输出与注意力得分的计算涉及到相对位置的正弦函数，则函数式相对位置编码公式，如下所示：示：3.根据权利要求1所述的基于深度学习的行业文本匹配模型方法，其特征在于，所述对全词覆盖优化，包括：所述预训练模型NEZHA，采用全词覆盖策略，当一个汉字被覆盖时，属于同一个汉字的其他汉字都被一起覆盖。4.根据权利要求1所述的基于深度学习的行业文本匹配模型方法，其特征在于，所述对混合精度训练优化，包括：所述预训练模型NEZHA采用混合精度训练，在每次训练迭代中，将主权值舍入半精度浮点格式，并使用所述半精度浮点格式存储的权值、激活和梯度执行向前和向后传递；将所述梯度转换为单精度浮点格式，并使用所述单精度浮点格式梯度更新主权重。5.根据权利要求1所述的基于深度学习的行业文本匹配模型方法，其特征在于，所述对优化器优化，包括：所述预训练模型NEZHA采用LAMB优化器，自适应策略为所述LAMB优化器中的每个参数调整learning rate。6.根据权利要求1所述的基于深度学习的行业文本匹配模型方法，其特征在于，所述优化后的预训练模型RoBERTa，包括：多个模型参数量和训练数据；预先调整优化器超参数；所述预训练模型RoBERTa选取预设个数的训练样本数；去掉下一句预测任务，并且数据连续从一个文档中获得；使用动态掩码，通过复制一个训练样本得到多份数据，每份数据使用不同掩码，并加大复制的分数，每次向所述预训练模型RoBERTa输入一个序列时生成新的掩码模式；使用全词掩码。7.根据权利要求6所述的基于深度学习的行业文本匹配模型方法，其特征在于，所述优化后的预训练模型RoBERTa，还包括：文本编码，所述预训练模型RoBERTa，在文本编码过程中使用预设级别的byte的BPE词汇表训练，且不用对输入...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。