基于改进Adaboost算法的句子相似性判断方法技术

本发明专利技术公开了一种基于改进Adaboost算法的句子相似性判断方法，利用预训练语言模型在学习大规模文本的语义知识方面的优势以及Adaboost算法在集成多个基学习器方面的优势，先通过公开语料集中的训练数据对多个不同的预训练语言模型进行独立训练和微调，目的是利用不同预训练语言中的先验知识和网络结构学习文本语义相似性的任务相关知识；接着，在Adaboost R2算法的基础上提出改进的Adaboost算法，并结合验证数据集计算各个模型的权重系数，并进行归一化。最后，根据权重系数将各个模型在测试数据集的预测结果进行线性求和，从而得到最终的句子相似性结果。得到最终的句子相似性结果。得到最终的句子相似性结果。

【技术实现步骤摘要】
基于改进Adaboost算法的句子相似性判断方法


[0001]本专利技术涉及自然语言处理领域，具体涉及一种基于改进Adaboost算法的句子相似性判断方法。

技术介绍

[0002]句子语义相似性判断研究长期以来一直是是自然语言处理领域中的一个重要子任务，其主要目的是利用机器学习自动识别两个句子之间的语义相似性。句子语义相似性判断在文本分类、搜索引擎、问答系统及信息抽取等领域均得到广泛的应用。近年来，随着各种预训练语言模型(如BERT、RoBERTa、XLNet和Ernie等)的快速发展，学术界和工业界开始采用大规模通用互联网文本语料对预训练语言模型基础进行预训练，目的是学习通用的语言表示和先验知识。然后在下游任务中进行微调得到学习任务相关的知识。许多研究均已证明了预训练加微调的两阶段方法非常有效的，在多个自然语言处理任务上均取得了新的最好结果，并开始在句子相似性判断任务中得到应用。
[0003]目前许多研究主要针对具体的句子相似性判断任务，利用某个预训练语言模型(如BERT或XLNet等)学习句子的上下文信息及相似性关系，并通过微调学习本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于改进Adaboost算法的句子相似性判断方法，其特征在于，所述方法包括以下步骤：步骤1、在输入特征层，根据各个不同预训练语言模型的输入要求，对待识别的两个句子进行预处理；以BERT和RoBERTa为例，根据SentencePiece或WordPiece分别对两个句子进行分词处理，并根据输入长度要求对句子进行相应的长度预处理，接着利用标志符号[CLS]和[SEP]将两个句子合并成一个句子对的表示；最后，将句子对中各个单词转成词汇表中对应的序号信息，并结合位置词向量、单词词向量信息及分段信息构造最终的输入表示；步骤2、在预训练语言模型层，对于输入的句子对，根据各个不同预训练语言模型的要求，利用训练数据集分别进行单独训练和微调；在各个预训练语言模型的微调过程中，统一将[CLS]标记所对应的词向量作为文本对的语义特征表示，并通过sigmoid函数计算相应的语义相似性值；损失函数统一采用均方误差MSE(Mean SquaredError)；优化器采用Adam，学习率为2e
‑
05；步骤3、在特征融合层，在标准Adaboost R2算法的基础上提出改进的Adaboost算法，利用MSE代替经典Adaboost算法中的误差率计算，并通过验证数据集进行训练得到各个预训练语言模型的权重系数向量，最后进行归一化处理；最后，利用权重系数向量将各个模型在测试数据集上的结果进行线性加权求和，并得到最终的相似性值。2.根据权利要求1所述的基于...

【专利技术属性】
技术研发人员：童瑶，苏锦钿，
申请(专利权)人：广州芳禾数据有限公司，
类型：发明
国别省市：