【技术实现步骤摘要】
用于训练及应用机器学习模型的方法、系统、装置和介质
[0001]本申请涉及机器学习模型,尤其涉及训练及应用机器学习模型的方法、系统、装置和计算机可读存储介质。
技术介绍
[0002]使用机器学习模型进行自然语言处理目前已经被广泛应用于对文本进行预测解释、文本挖掘、多意图理解等场景。例如,机器学习模型可以为句子预测一个或多个标签。
[0003]深度神经网络对于自然语言处理而言具有良好的性能。然而,缺乏可解释性是深度神经网络的固有问题。虽然已经提出了许多方法来为深度神经网络提供事后解释,然而这些方法仍存在缺点,例如不能在短语和从句级别进行解释等等。
[0004]因此,需要能够对句子进行具有可解释性的自然语言处理的方案。
技术实现思路
[0005]为了克服现有技术的缺陷,本说明书的一个或多个实施例通过语言结构化模型将深度神经网络和符号概率模型相结合,提供了具有更好的可解释性的自然语言处理方案。
[0006]本说明书的一个或多个实施例通过以下技术方案来实现其上述目的。
[0007]在一 ...
【技术保护点】
【技术特征摘要】
1.一种用于训练机器学习模型的方法,所述方法包括:获取训练集,所述训练集包括多个训练样本,每个训练样本包括句子及所述句子的经标注标签集;使用第一机器学习模型生成所述句子的解析树,所述解析树具有二叉树结构;使用第二机器学习模型生成所述句子的潜在标签树,所述潜在标签树与所述解析树具有相同结构;确定生成所述潜在标签树的标签树生成损失,其中所述标签树生成损失与基于预定义收集规则从所述潜在标签树收集的标签集与所述句子的经标注标签集相同的概率负相关;以及使用所述训练集训练所述第二机器学习模型,以最小化所述标签树生成损失。2.如权利要求1所述的方法,其中基于预定义收集规则收集的标签集与所述句子的经标注标签集相同的概率等于所述潜在标签树中基于预定义规则收集的标签集与所述经标注标签集相同的所有可能子空间的概率总和。3.如权利要求1所述的方法,其中所述第一机器学习模型是未经训练的,其中所述方法还包括:确定所述句子的总损失,所述总损失等于生成所述解析树的解析树生成损失和生成所述潜在标签树的标签树生成损失的加权和;以及使用所述训练集,同时训练所述第一机器学习模型和所述第二机器学习模型,以最小化所述总损失。4.如权利要求1所述的方法,其中使用Fast
‑
R2D2模型来生成所述句子的所述解析树。5.如权利要求1所述的方法,其中所述潜在标签树中的节点包括非终止节点和终止标签节点,其中终止标签节点的标签为任务标签。6.如权利要求5所述的方法,其中所述潜在标签树还包括终止空标签节点。7.如权利要求6所述的方法,所述预定义收集规则为:仅当所述潜在标签树中的节点具有任务标签且该节点的所有祖先节点均为非终止节点时,才收集该节点的该任务标签。8.如权利要求6所述的方法,其中使用动态规划来遍历所述解析树。9.如权利要求8所述的方法,其中使用动态规划来遍历所述解析树包括在遇到终止节点时停止遍历所述终止节点的子节点。10.如权利要求8所述的方法,其中使用动态规划来遍历所述解析树包括:在假设所述解析树的两个非交叠跨度不与同一任务标签相关联的情况下计算所述概率。11.如权利要求1所述的方法,其中使用T...
【专利技术属性】
技术研发人员:胡翔,孔心宇,
申请(专利权)人:支付宝杭州信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。