一种基于迁移学习的问答匹配方法组成比例

本发明专利技术涉及一种基于迁移学习的问答匹配方法，属于信息检索技术领域。本发明专利技术首先将不同领域的问答数据集进行预处理、采用word2vec模型训练多领域共通常用的问答对的词向量，其次选择深度学习模型双向长短期记忆网络模型作为基础的神经网络，随机初始化BiLSTM模型的参数，利用Word2vec初始化该模型的embedding层的参数，在源域数据集上预训练该答案选择模型，保存该模型的参数，其次选定初始化目标域的数据集，在目标域上模型中，将源域的模型中的参数迁移到目标域模型中，用该数据集训练和微调该模型。BiLSTM模型计算问题和候选答案的向量表示，最后采用余弦相似度计算问题与候选答案的相似度，选出该问题的最佳答案。

A question and answer matching method based on Transfer Learning

【技术实现步骤摘要】
一种基于迁移学习的问答匹配方法
本专利技术涉及一种基于迁移学习的问答匹配方法，属于信息检索

技术介绍
随着互联网的普及，互联网信息的不断增长，网络上充斥着越来越多的冗余信息，因此用户在互联网上搜索所需的信息无疑是在“大海捞针”，近年来随着搜索引擎的版本更新，在很大程度上降低了用户查找信息的难度，但这类搜索引擎依旧存在一定的缺陷与不足。这类的搜索引擎返回用户查询的结果太多，难以快速定位到所需信息；其搜索模式都是基于关键词精准匹配来查找相关信息的方式，难以用少量关键词准确表达用户的查询意图；缺乏对搜索用户查询语句的理解，其按相关度返回网页，检索到的答案仍需要用户的手动筛选，用户如果要得到自己真正所需要的信息，还需要再进一步手工去点击链接，重新定位。智能问答系统改变传统搜索引擎返回超链接的方式，直接理解用户的自然语言问题和意图，快速、准确地直接给予文本答案，提高了用户查找效率，改善了信息检索的用户体验。但在特定领域的问答匹配任务中，由于数据来源有限、人工标注样本的成本和难度过高，只能获取到少量的标注数据样本，使得在标注数据样本少量的本文档来自技高网...

【技术保护点】
1.一种基于迁移学习的问答匹配方法，其特征在于：/nStep1：将源领域数据集中的问题及候选答案集进行预处理，预处理包括但不限于分词和词向量训练，得到问题及候选答案的词向量；/nStep2：将Step1中的问题和候选答案的词向量作为输入送入深度学习模型中，在深度学习模型中使用BiLSTM对其进行编码，生成问题特征向量和候选答案特征向量以及保存训练参数；/nStep3：将目标域数据集中的问题以及候选答案集进行与Step1相同的预处理操作，得到词向量；然后将目标域数据集词向量作为输入送入深度学习模型中，在目标域采用与Step2相同的模型进行编码，之后将Step2中保存的源域模型参数迁移到目标域的训...

【技术特征摘要】
1.一种基于迁移学习的问答匹配方法，其特征在于：
Step1：将源领域数据集中的问题及候选答案集进行预处理，预处理包括但不限于分词和词向量训练，得到问题及候选答案的词向量；
Step2：将Step1中的问题和候选答案的词向量作为输入送入深度学习模型中，在深度学习模型中使用BiLSTM对其进行编码，生成问题特征向量和候选答案特征向量以及保存训练参数；
Step3：将目标域数据集中的问题以及候选答案集进行与Step1相同的预处理操作，得到词向量；然后将目标域数据集词向量作为输入送入深度学习模型中，在目标域采用与St...

【专利技术属性】
技术研发人员：苏磊，张顺，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：云南;53