本发明专利技术提供了阅读理解候选选项个数不确定时的训练方法、装置及系统，该方法包括：步骤S10、任务分组：将至少一篇阅读理解样本作为训练集，并将所述训练集划分为至少一个子任务，将答案候选选项个数相同的问题划分到同一子任务中，组成新训练集；步骤S20、多任务采样：从新训练集中选取任一子任务中的一批次阅读理解的问题样本，作为模型训练的输入数据；步骤S30、模型训练：对输入的输入数据进行多次训练，直至模型收敛。本发明专利技术的技术方案，采用了多任务视角在一个模型中解决了选择题阅读理解任务中选项个数不同的问题，并可以将多个模型变为单个模型，且不同选项个数的数据可以在一个模型中互相学习，从而降低整体数据的标注量。量。量。
【技术实现步骤摘要】
阅读理解候选选项个数不确定时的训练方法、装置及系统
[0001]本专利技术书一个或多个实施例涉及数据处理
，尤其涉及一种阅读理解候选选项个数不确定时的训练方法、装置及系统。
技术介绍
[0002]本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。
[0003]在医疗场景下，我们需要根据特定文书回答不同问题，而不同问题对应着若干个候选选项，这是一种典型的选择题阅读理解任务。在该任务中，我们需要根据一篇参考文章和一个相关问题，从若干个选项中，选择一个作为正确答案，如图1所示。
[0004]上述情况是，现有的选择题类型阅读理解模型能够处理固定选项个数的问题。而在实际应用场景中，一个问题的选项个数可能不一样，则原有模型只能在选项个数相同的一类数据上训练。如图2所示，在第一个问题训练的模型，无法将第二个问题加入训练。
[0005]基于上述问题，我们亟需一种新的训练方式，用于解决选项个数不一致场景下的选择题型阅读理解模型训练。
技术实现思路
[0006]本说明书一个或多个实施例描述了一种基于多任务的医疗阅读理解候选选项个数不确定时的训练方法、装置及系统，解决医疗阅读理解场景下候选选项个数不确定时的阅读理解模型训练。
[0007]本说明书一个或多个实施例提供的技术方案如下：
[0008]第一方面，本专利技术提供了一种阅读理解候选选项个数不确定时的训练方法，所述方法包括：
[0009]将至少一篇阅读理解样本作为训练集，并将所述训练集划分为至少一个子任务，将答案候选选项个数相同的问题划分到同一子任务中，组成新训练集；
[0010]从新训练集中选取任一子任务中的一批次阅读理解的问题样本，作为模型训练的输入数据；
[0011]对输入的输入数据进行多次训练，直至模型收敛。
[0012]优选地，所述选取新训练集中任一子任务中的一批次问题，作为模型训练的输入数据，具体为：
[0013]从新任务集中，选取任一子任务；
[0014]从选取的子任务中选择一批次问题样本，作为模型训练的输入数据。
[0015]优选地，所述对输入的输入数据进行多次训练，直至模型收敛，具体为：
[0016]将输入数据，输入到共享层，进行语义编码，生成该批次问题样本的表示；
[0017]基于生成的问题样本表示，激活子任务层，并前向计算损失；其中，激活的子任务层为输入数据所属的子任务中的答案候选选项个数对应的子任务层；
[0018]基于损失，反向传播，并更新对应的子任务层和共享层的参数值；
[0019]重复上述过程，直至模型收敛。
[0020]进一步优选地，所述共享层为阅读理解中使用预训练语言训练号的编码器。
[0021]第二方面，本专利技术提供了阅读理解候选选项个数不确定时的训练装置，所述装置包括：
[0022]任务分组器，用于将训练集划分为至少一个子任务，并将答案候选选项个数相同的问题划分到同一个子任务中，组成新训练集；其中，所述训练集由至少一个阅读理解样本组成；
[0023]多任务采样器，用于在所述子任务集中选择任一子任务，并从该子任务中选择一批阅读理解的问题样本作为模型训练的输入数据；
[0024]模型训练模块，用于对输入的输入数据进行多次训练，直至模型收敛。
[0025]优选地，所述多任务采样器包括：
[0026]第一采样器，用于在所述子任务集中选择任一子任务；
[0027]第二采样器，用于在选择的子任务中选择一批阅读理解的问题样本作为模型训练的输入数据。
[0028]进一步优选地，所述模型训练模块包括：
[0029]编码单元，用于将输入数据，输入到共享层，进行语义编码，生成该批次问题样本的表示；
[0030]计算单元，用于基于生成的问题样本表示，激活子任务层，并前向计算损失；其中，激活的子任务层为输入数据所属的子任务中的答案候选选项个数对应的子任务层；
[0031]反向传播单元，用于基于所述损失，反向传播，并更新对应的子任务层和共享层的参数值。
[0032]第三方面，本专利技术提供了阅读理解候选选项个数不确定时的训练系统，该系统包括至少一个处理器和存储器；
[0033]所述存储器，用于存储一个或多个程序指令；
[0034]所述处理器，用于运行一个或多个程序指令，用以执行如第一方面中一个或多个所述的方法。
[0035]第四方面，本专利技术提供了一种芯片，所述芯片与系统中的存储器耦合，使得所述芯片在运行时调用所述存储器中存储的程序指令，实现如第一方面中一个或多个所述的方法。
[0036]第五方面，本专利技术+提供了一种计算机可读存储介质，所述计算机可读存储介质包括一个或多个程序指令，所述一个或多个程序指令可被如第三方面所述的系统执行，以实现如第一方面中一个或多个所述的方法。
[0037]本专利技术实施例提供的技术方案，可以解决现有技术存在的问题：
[0038]1、本系统提出了使用多任务视角在一个模型中解决选择题阅读理解任务中选项个数不同的问题。
[0039]2、在不影响性能的情况下，将m个模型变为单个模型，并且单个模型的大小远小于
m个模型。
[0040]3、不同选项个数的数据可以在一个模型中互相学习，从而降低整体数据的标注量。
附图说明
[0041]图1为问题和候选答案对应情况示意图一；
[0042]图2为问题和候选答案对应情况示意图二；
[0043]图3为阅读理解候选选项个数不确定时的训练方法流程示意图；
[0044]图4为多任务采样的流程示意图；
[0045]图5为模型收敛流程示意图；
[0046]图6为本专利技术实施例提供的训练方式架构示意图；
[0047]图7阅读理解候选选项个数不确定时的训练装置结构示意图；
[0048]图8为多任务采样器结构示意图；
[0049]图9为模型训练模块结构示意图；
[0050]图10为阅读理解候选选项个数不确定时的训练系统结构示意图。
具体实施方式
[0051]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关专利技术相关的部分。
[0052]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0053]为解决医疗阅读理解场景下候选选项个数不确定时的阅读理解模型训练，本专利技术提出了使用多任务视角在一个模型中解决选择题阅读理解任务中选项个数不同本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.阅读理解候选选项个数不确定时的训练方法，其特征在于，所述方法包括：任务分组：将至少一篇阅读理解样本作为训练集，并将所述训练集划分为至少一个子任务，将答案候选选项个数相同的问题划分到同一子任务中，组成新训练集；多任务采样：从新训练集中选取任一子任务中的一批次阅读理解的问题样本，作为模型训练的输入数据；模型训练：对输入的输入数据进行多次训练，直至模型收敛。2.根据权利要求1所述的方法，其特征在于，所述选取新训练集中任一子任务中的一批次问题，作为模型训练的输入数据，具体为：从新任务集中，选取任一子任务；从选取的子任务中选择一批次问题样本，作为模型训练的输入数据。3.根据权利要求1所述的方法，其特征在于，所述对输入的输入数据进行多次训练，直至模型收敛，具体为：将输入数据，输入到共享层，进行语义编码，生成该批次问题样本的表示；基于生成的问题样本表示，激活子任务层，并前向计算损失；其中，激活的子任务层为输入数据所属的子任务中的答案候选选项个数对应的子任务层；基于损失，反向传播，并更新对应的子任务层和共享层的参数值；重复上述过程，直至模型收敛。4.根据权利要求3所述的方法，其特征在于，所述共享层为阅读理解中使用预训练语言训练号的编码器。5.阅读理解候选选项个数不确定时的训练装置，其特征在于，所述装置包括：任务分组器，用于将训练集划分为至少一个子任务，并将答案候选选项个数相同的问题划分到同一个子任务中，组成新训练集；其中，所述训练集由至少一个阅读理解样本组成；多任务采样器，用于在所述子任务...
【专利技术属性】
技术研发人员：丘德来，丁颖，张瀚之，刘升平，梁家恩，
申请(专利权)人：云知声智能科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。