BERT模型的优化方法及系统技术方案

本发明专利技术实施例提供一种BERT模型的优化方法。该方法包括：通过BERT模型确定由待推理的句子对拆分的子词序列中每个子词的第一上下文嵌入；通过语义表示语言解析器，确定句子对的语义表示图，提取句子对的语义特征；将句子对的语义特征确定为第一上下文嵌入的辅助信息，确定带有语义特征的第二上下文嵌入；基于带有语义特征的第二上下文嵌入，预测句子对中的两个句子的包含关系。本发明专利技术实施例还提供一种BERT模型的优化系统。本发明专利技术实施例在自然语言推理的语言模型中，为上下文嵌入辅助高层次的语义信息以及语法信息，使训练后的语言模型对语义信息更加敏感，大大提高了自然语言推理任务的性能。

【技术实现步骤摘要】
BERT模型的优化方法及系统
本专利技术涉及自然语言推理领域，尤其涉及一种BERT模型的优化方法及系统。
技术介绍
NLI(NaturalLanguageInteraction，自然语言推理)，也称为识别文本蕴涵，要求确定是否可以从给定前提推论假设句子。基于一种关键的句子语义匹配方法，其他一些NLP(NaturalLanguageProcessing，自然语言处理)任务与NLI有很强的关系，包括问题回答，语义识别和信息检索。在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：自然语言推理的语言模型是在大型纯文本语料库上训练的。这种训练方法使预训练的语言模型倾向于学习简单的上下文特征，但缺乏语法和语义理解。实验还显示，深度学习模型专注于简单的上下文单词，但很少了解自然语言文本中的真实含义和高级语义，缺乏语义信息，从而影响语言推理效果。
技术实现思路
为了至少解决现有技术中训练语言推理的语言模型中缺少语义信息的问题。第一方面，本专利技术实施例提供一种BERT模型的优化方法，包括：通过本文档来自技高网...

【技术保护点】
1.一种BERT模型的优化方法，包括：/n通过BERT模型确定由待推理的句子对拆分的子词序列中每个子词的第一上下文嵌入；/n通过语义表示语言解析器，确定所述句子对的语义表示图，提取所述句子对的语义特征；/n将所述句子对的语义特征确定为所述第一上下文嵌入的辅助信息，确定带有语义特征的第二上下文嵌入；/n基于带有语义特征的第二上下文嵌入，预测所述句子对中的两个句子的包含关系。/n

【技术特征摘要】
1.一种BERT模型的优化方法，包括：
通过BERT模型确定由待推理的句子对拆分的子词序列中每个子词的第一上下文嵌入；
通过语义表示语言解析器，确定所述句子对的语义表示图，提取所述句子对的语义特征；
将所述句子对的语义特征确定为所述第一上下文嵌入的辅助信息，确定带有语义特征的第二上下文嵌入；
基于带有语义特征的第二上下文嵌入，预测所述句子对中的两个句子的包含关系。


2.根据权利要求1所述的方法，其中，所述方法还包括：
通过自然语言分析工具建立所述句子对的依赖树，提取所述句子对的语法信息；
将所述句子对的语义特征、所述语法信息确定为所述第一上下文嵌入的辅助信息，确定带有语义特征和语法信息的第三上下文嵌入；
基于带有语义特征和语法信息的第三上下文嵌入，预测所述句子对中的两个句子的包含关系。


3.根据权利要求2所述的方法，其中，所述BERT模型包括：收缩路径以及扩展路径；
其中，所述提取所述句子对的语义特征以及所述提取所述句子对的语法信息在所述收缩路径中；
所述确定带有语义特征和语法信息的第三上下文嵌入在所述扩展路径中。


4.根据权利要求2所述的方法，其中，所述提取所述句子对的语法信息包括：
对所述依赖树中的单词节点和边缘节点双向嵌入更新，基于所述单词节点和边缘节点间的依存关系确定语法信息；
所述将所述句子对的语义特征、所述语法信息确定为所述第一上下文嵌入的辅助信息包括：
通过池化层将所述语义表示图扩展到所述依赖树，将所述语义特征与所述语法信息结合，确定为所述第一上下文嵌入的辅助信息。


5.根据权利要求1所述的方法，其中，所述基于带有语义特征的第二上下文嵌入，预测所述句子对中的两个句子的包含关系包括：
通过注意力机制，将所述第二上下文嵌入进行...

【专利技术属性】
技术研发人员：俞凯，金乐盛，陈露，赵晏彬，陈志，朱苏，
申请(专利权)人：苏州思必驰信息科技有限公司，
类型：发明
国别省市：江苏;32