语句等价性判断方法和装置制造方法及图纸

本申请实施例公开了一种语句等价性判断方法和装置，所述方法包括：获取待判断等价性的语句；将所述语句输入预先训练的等价性判断模型，所述等价性判断模型根据基于深度学习模型和人工特征模型的模型平均方法训练得到；通过所述等价性判断模型对所述语句进行等价性判断，得到等价性判断结果。通过本申请实施例，可以提高语句等价性判断的效率和精确性。

Method and device of sentence equivalence judgment

【技术实现步骤摘要】
语句等价性判断方法和装置
本申请涉及机器学习、人工智能、自然语言处理
，尤其涉及一种语句等价性判断方法和装置。
技术介绍
随着人工智能技术的兴起，各个领域都从中受益，其中就包括备受业界关注的“问答机器人”领域。从最初基于“规则”的智能体到后来基于“知识图谱”的智能体，问答机器人的性能得到了较大改善，但由于自然语言表述的复杂性及多样性，如同义句的不同语言表达结构和异义句的相似语言表达结构，容易迷惑机器人，使其在理解问题时就会产生极大的偏差，进一步产生误差传递严重限制其性能提升。目前对于句子等价性的研究，主要是基于深度学习方法，例如基于Siamese框架的方法和匹配聚合框架的方法。在基于Siamese框架的方法中，对两个句子分别运用相同的神经网络编码器，使得句子被编码到相同的句子向量空间中，然后仅基于两个句子向量做出匹配决策。该框架的优点是共享参数使得模型小且容易训练，缺点是在编码过程期间两个句子之间没有明确的交互，导致可能丢失一些重要信息。在基于匹配聚合框架的方法中，匹配两个句子的较小单元(如单词或者上下文向量)，然后将匹配结果聚合本文档来自技高网...

【技术保护点】
1.一种语句等价性判断方法，其特征在于，包括：/n获取待判断等价性的语句；/n将所述语句输入预先训练的等价性判断模型，所述等价性判断模型根据基于深度学习模型和人工特征模型的模型平均方法训练得到；/n通过所述等价性判断模型对所述语句进行等价性判断，得到等价性判断结果。/n

【技术特征摘要】
1.一种语句等价性判断方法，其特征在于，包括：
获取待判断等价性的语句；
将所述语句输入预先训练的等价性判断模型，所述等价性判断模型根据基于深度学习模型和人工特征模型的模型平均方法训练得到；
通过所述等价性判断模型对所述语句进行等价性判断，得到等价性判断结果。


2.如权利要求1所述的方法，其特征在于，通过以下方式训练得到所述等价性判断模型，包括：
使用训练数据分别训练组合模型和人工特征模型，所述组合模型包括至少两个不同的深度学习模型；
将训练数据分别输入训练后的所述组合模型和所述人工特征模型，得到所述训练数据的预测结果；
通过所述训练数据的预测结果拟合逻辑回归模型，对所述组合模型和所述人工特征模型进行模型平均得到所述等价性判断模型。


3.如权利要求2所述的方法，其特征在于，所述深度学习模型包括：基于Transformer的双向编码器表示模型BERT、基于注意力用于句子建模的卷积神经网络模型ABCNN、双边多视角自然语言句子匹配模型BIMPM和匹配金字塔模型MatchPyramid；
所述组合模型包括：BERT连接ABCNN的组合模型、BERT连接BIMPM的组合模型以及BERT连接MatchPyramid的组合模型；
所述人工特征模型包括Boosting模型。


4.如权利要求3所述的方法，其特征在于，所述使用训练数据训练组合模型，包括：
使用训练数据对所述组合模型中的ABCNN、BiMPM、MatchPyramid分别进行拟合；
对拟合后的所述组合模型进行微调，得到训练后的所述组合模型。


5.如权利要求2所述的方法，其特征在于，所述使用训练数据分别训练组合模型和人工特征模型，包括：
将训练数据分为n个数据集t1-tn，依次使用t1-tn之一作为验证集，其余数据集作为训练集；
使用所述数据集t1-tn对组合模型和人工特征模型进行n折交叉验证训练...

【专利技术属性】
技术研发人员：王然，苏海波，孙伟，刘钰，杜晓梦，刘译璟，
申请(专利权)人：北京百分点信息科技有限公司，
类型：发明
国别省市：北京;11