【技术实现步骤摘要】
小样本机器阅读理解方法和装置、计算机可读存储介质
[0001]本公开涉及自然语言处理领域，特别涉及一种小样本机器阅读理解方法和装置、计算机可读存储介质。
技术介绍
[0002]MRC(Machine Reading Comprehension，机器阅读理解)在诸如智能搜索、在线咨询、推荐、问答、对话等场景是必不可少。机器阅读理解模型通常试图理解某特定、细分领域文章中的知识，而这些领域文章的数量可能较少，并且对于不同领域都需要从头重新训练模型，即使有一些领域的文章是很相似的。
技术实现思路
[0003]鉴于以上技术问题中的至少一项，本公开提供了一种小样本机器阅读理解方法和装置、计算机可读存储介质，可以利用元学习的方法来学习已有相关领域的机器阅读理解任务，从而得到元学习模型来加速新领域的小样本量的机器阅读理解任务。
[0004]根据本公开的一个方面，提供一种小样本机器阅读理解方法，包括：
[0005]对相关领域的阅读理解任务，通过采样抽取任务分别训练模型参数，并将模型参数用于迭代更新元学习模型的模...
【技术保护点】
【技术特征摘要】
1.一种小样本机器阅读理解方法，其特征在于，包括：对相关领域的阅读理解任务，通过采样抽取任务分别训练模型参数，并将模型参数用于迭代更新元学习模型的模型参数；对新领域的阅读理解任务以所述元学习模型为起点进行训练，生成新领域阅读理解模型。2.根据权利要求1所述的小样本机器阅读理解方法，其特征在于，所述对新领域的阅读理解任务以所述元学习模型为起点进行训练，生成新领域阅读理解模型包括：对新领域的阅读理解任务以所述元学习模型的模型参数为初始化参数，采用少量样本进行新领域阅读理解模型的训练；新领域阅读理解模型快速收敛，产生针对新领域的阅读理解任务的新领域阅读理解模型。3.根据权利要求1或2所述的小样本机器阅读理解方法，其特征在于，还包括：采用预训练的新领域阅读理解模型提取问题和文档特征，预测答案开始和结束的位置，其中，新领域阅读理解模型为基于转换器Transformer的双向编码器表示模型。4.根据权利要求1或2所述的小样本机器阅读理解方法，其特征在于，所述对相关领域的阅读理解任务，通过采样抽取任务分别训练模型参数，并将模型参数用于迭代更新元学习模型的模型参数包括：随机初始化模型参数；从相关领域任务分布集合中，采样抽取多个相关领域阅读理解任务；对采样抽取的每个任务，训练元学习模型，获取每个任务的优化模型参数；进行元更新，根据每个任务的优化模型参数对元模型参数进行更新。5.根据权利要求4所述的小样本机器阅读理解方法，其特征在于，获取每个任务的优化模型参数包括：计算损失函数；利用梯度下降找到使损失函数最小的优化模型参数。6.根据权利要求4所述的小样本机器阅读理解方法，其特征在于，在获取每个任务的优化模型参数之后，还包括：判断采样抽取的每个任务是否均进行了训练；在采样抽取的每个任务均进行了训练的情况下...
【专利技术属性】
技术研发人员：贾丹，项超，刘珮，王学敏，孟维业，王建秀，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。