基于迁移学习的文本语义推理方法、系统、终端及介质技术方案

本发明专利技术公开了一种基于迁移学习的文本语义推理方法，包括：基于RoBERTa模型构建语义推理模型，所述语义推理模型包括引导者模型和学习者模型；采用迁移学习技术对语义推理模型进行训练得到训练好的语义推理模型；采用训练好的语义推理模型对客观题进行文本语义预测得到推理结果；展示所述推理结果。该方法采用迁移学习方法来增强语义推理模型的效果，实现提高模型泛化性能，降低模型训练成本，提高模型预测效果。预测效果。预测效果。

【技术实现步骤摘要】
基于迁移学习的文本语义推理方法、系统、终端及介质


[0001]本专利技术涉及在线教育
，具体涉及一种基于迁移学习的文本语义推理方法、系统、终端及介质。

技术介绍

[0002]文本语义理解是自然语言处理中一项十分重要的任务，也是使用人工智能技术处理很多实际问题的基础。例如在法律领域中，需要通过人工智能技术对法律文书的内容进行理解；在医疗领域，对电子病历的内容进行理解；在教育领域，对教学知识等进行理解。近年来，随着深度学习技术的发展，文本语义理解技术在解决实际问题中取得了显著的效果。但是现实环境中，往往问题复杂，情况多样，经常会面临数据不足、领域不适应等问题。并且针对不同任务，不同数据训练模型的时间成本高。迁移学习是一种机器学习技术，可以利用一个任务中的知识来加速另一个任务的学习，其主要目的是应用已经学习到的知识到新的问题中，可以在多个领域和多个任务上实现知识的共享和传递，从而避免了需要重新训练模型的时间成本。
[0003]现有技术及其特点如下：
[0004]1.基于有监督学习的方法。此类方法使用人工对文本做的手工标签，然后使用机器学习或深度学习的方法对模型进行训练，通常可以得到效果较好的模型。但是在现实情况中，有标签数据的获取难度较大，成本高。同时训练得到的模型泛化性能较弱，当训练数据和测试数据有较大的分布差异，模型往往无法正确预测。
[0005]2.基于无监督学习的方法。此类方法不需要依赖人工的手工标签，而是在海量的无标签数据上进行模型训练，例如：BERT、GPT等方法。此类方法通常会得到一个蕴含了丰富知识的预训练模型，通过在下游任务上微调，可以得到很好的效果。
[0006]由此，现有技术存在以下技术问题：在新的领域中，训练样本不足、领域适应困难、在复杂语境中文本推理能力弱以及模型训练成本高的问题。

技术实现思路

[0007]针对现有技术中的缺陷，本专利技术实施例提供一种基于迁移学习的文本语义推理方法、系统、终端及介质，采用迁移学习方法来增强语义推理模型的效果，实现提高模型泛化性能，降低模型训练成本，提高模型预测效果。
[0008]第一方面，本专利技术实施例提供的一种基于迁移学习的文本语义推理方法，包括：
[0009]基于RoBERTa模型构建语义推理模型，所述语义推理模型包括引导者模型和学习者模型；
[0010]采用迁移学习技术对语义推理模型进行训练得到训练好的语义推理模型；
[0011]采用训练好的语义推理模型对客观题进行文本语义预测得到推理结果；
[0012]展示所述推理结果。
[0013]第二方面，本专利技术实施例提供的一种基于迁移学习的文本语义推理系统，包括：模
型构建模块、模型训练模块、语义预测模块和结果展示模块，
[0014]所述模型构建模块基于RoBERTa模型构建语义推理模型，所述语义推理模型包括引导者模型和学习者模型构建引导者模型和学习者模型，引导者模型所述；
[0015]所述模型训练模块采用迁移学习技术对语义推理模型进行训练得到训练好的语义推理模型；
[0016]所述语义预测模块采用训练好的语义推理模型对客观题进行语义预测得到推理结果；
[0017]所述结果展示模块用于展示推理结果。
[0018]第三方面，本专利技术实施例提供的一种智能终端，包括处理器、输入设备、输出设备和存储器，所述处理器分别与输入设备、输出设备和存储器连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述实施例描述的方法。
[0019]第四方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述实施例描述的方法。
[0020]本专利技术的有益效果：
[0021]本专利技术实施例提供给的一种基于迁移学习的文本语义推理方法，采用迁移学习方法来增强语义推理模型的效果，实现提高模型泛化性能，降低模型训练成本，提高模型预测效果。
[0022]本专利技术实施例提供一种基于迁移学习的文本语义推理系统、智能终端和介质，与上述一种基于迁移学习的文本语义推理方法出于相同的专利技术构思，具有相同的有益效果。
附图说明
[0023]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
[0024]图1示出了本专利技术第一实施例所提供的一种基于迁移学习的文本语义推理方法的流程示意图；
[0025]图2示出了本专利技术第一实施例中的学习者模型的结构框图；
[0026]图3示出了本专利技术另一实施例所提供的一种基于迁移学习的文本语义推理系统的结构框图；
[0027]图4示出了本专利技术另一实施例所提供的一种智能终端的结构框图。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示
所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0030]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0031]还应当进一步理解，本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0032]如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0033]并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
[0034]此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移学习的文本语义推理方法，其特征在于，包括：基于RoBERTa模型构建语义推理模型，所述语义推理模型包括引导者模型和学习者模型；采用迁移学习技术对语义推理模型进行训练得到训练好的语义推理模型；采用训练好的语义推理模型对客观题进行文本语义预测得到推理结果；展示所述推理结果。2.如权利要求1所述的方法，其特征在于，所述学习者模型包括文本编码器、选项交互器、上下文排序器和结果预测器，所述文本编码器由RoBERTa模型构成，RoBERTa模型由多个Transformer模块组成，每个Transformer模块由若干个多头注意力模块和FeedForward模块堆叠而成，多头注意力模块由多个自注意力子模块组成；所述选项交互器将各个选项输入到一层全连接层中，使用gate机制控制各答题选项间的信息流动，通过模型自动化的学习选择性的保留或丢弃信息；所述上下文排序器通过计算上下文和问题的余弦分数及上下文和选项的余弦分数，得到上下文总体分数集合，对集合中的分数进行降序排序，按前后顺序选出设定个数分数对应的上下文作为选项对应的相关上下文；所述结果预测器使用一层全连接网络和softmax函数预测每个选项是正确答案的概率。3.如权利要求1所述的方法，其特征在于，所述采用迁移学习技术对语义推理模型进行训练得到训练好的语义推理模型的具体方法包括：数据预处理、模型迁移和模型效果评估。4.如权利要求3所述的方法，其特征在于，所述数据预处理的具体方法包括：客观题题目包含一个问题、四个选项和多个上下文；将一个问题和每个选项进行拼接，得到4组问题
‑
选项；将句子的开始、一组问题
‑
选项、两个句子间的分隔和一个上下文构成一条样本作为输入数据输入RoBERTa模型。5.如权利要求4所述的方法，其特征在于，所述模型迁移的具体方法包括：将引导者模型的参数冻结，让引导者模型的参数作为学习者模型的初始化参数；去掉所述引导者模型的输出层，得到一个特征提取网络；将所述学习者模型与特征提取网络拼接起来，将目标任务的数据输入到特征提取网络中，得到相应的特征表示；将所述特征表示输入学习者模型；通过随机梯度下降算法，计算学习者模型的损失函数的梯度，并依据梯度方向调整学习者模型的参数。6.如权利要求5所述的方法，其特征在于，所述模型效果评估的具体方法包括：设置语义推理模型输出的预测阈值；若大于等于设定阈值，则判定语义推理模型认为当前选项为正确答案；若小于设定阈值，则判定语义推理模型认为当前选项为错误...

【专利技术属性】
技术研发人员：刘琛，杨旭川，陈旭阳，
申请(专利权)人：重庆觉晓科技有限公司，
类型：发明
国别省市：