【技术实现步骤摘要】
用于疑问
‑
回答的知识驱动和自我监督系统
[0001]本公开总体上涉及机器学习系统，并且更具体地涉及被配置用于自然语言处理的机器学习系统。
技术介绍
[0002]一般而言，存在包括神经语言模型的一些机器学习系统，所述神经语言模型被配置用于疑问
‑
回答任务。然而，有些人担心这些神经语言模型过度适应特定的疑问
‑
回答任务，在特定的疑问
‑
回答任务中，它们被训练而没有学习利用外部知识和/或执行一般的语义推理。更具体地，这些神经语言模型倾向于过度适应训练数据的特定疑问
‑
回答格式和/或训练数据的特定知识类型。照此，这些神经语言模型可能无法对可能在格式、知识类型或格式和知识类型二者方面不同的其他疑问
‑
回答任务做出可靠的预测。
技术实现思路
[0003]下面是下面详细描述的某些实施例的概述。呈现描述的方面仅仅是为了向读者提供这些特定实施例的简要概述，并且这些方面的描述不旨在限制本公开的范围。实际上，本公开可以包括...
【技术保护点】
【技术特征摘要】
1.一种用于训练机器学习系统的计算机实现的方法，所述计算机实现的方法包括：从包括各种知识图的组合的全局知识图获得当前数据结构，当前数据结构包括当前头部元素、当前关系元素和当前尾部元素；获得与当前数据结构相对应的句子；通过从句子中移除当前尾部元素来生成疑问；生成对疑问的正确回答，所述正确回答包括当前尾部元素；基于干扰物标准集从全局知识图提取数据结构池，每个提取的数据结构具有作为当前关系元素的关系元素；从数据结构池提取尾部元素，以创建干扰物候选池；从干扰物候选池选择干扰物集；创建包括疑问和响应选项集的查询任务，所述响应选项集包括正确回答和干扰物集；创建至少包括查询任务的训练集；和用训练集训练机器学习系统，其中机器学习系统被配置为接收查询任务，并且用从响应选项集之中选择的预测回答来响应疑问。2.根据权利要求1所述的计算机实现的方法，其中每个提取的数据结构具有与当前头部元素没有共同关键词的头部元素。3.根据权利要求1所述的计算机实现的方法，其中每个提取的数据结构具有在全局知识图的另一数据结构中找不到的尾部元素，其中所述另一数据结构包括当前头部元素和当前关系元素。4.根据权利要求1所述的计算机实现的方法，其中从干扰物候选池选择干扰物集的步骤包括：经由随机选择过程选择干扰物候选；和创建干扰物集以包括所选择的干扰物候选的子集。5.根据权利要求1所述的计算机实现的方法，其中从干扰物候选池选择干扰物集的步骤包括：选择相对于正确回答具有最大余弦相似性分数而同时满足至少一个阈值的干扰物候选；和创建干扰物集以包括所选择的干扰物候选的子集。6.根据权利要求1所述的计算机实现的方法，其中从干扰物候选池选择干扰物集的步骤包括：选择相对于疑问具有最大余弦相似性分数而同时满足至少一个阈值的干扰物候选；和创建干扰物集以包括所选择的干扰物候选的子集。7.根据权利要求1所述的计算机实现的方法，进一步包括：获得具有不同于查询任务的其他任务的任务数据集；和基于任务数据集执行机器学习系统的零射击评估，其中，在机器学习系统的预训练阶段期间，用训练集训练机器学习系统。8.一种数据处理系统，包括：至少一个非暂时性计算机可读介质，至少包括神经符号框架，所述神经符号框架包括计算机可读数据；
处理系统，包括可操作地连接到所述至少一个非暂时性计算机可读介质的至少一个处理器，所述处理器被配置为执行计算机可读数据以实现一种方法，所述方法包括：从包括各种知识图的组合的全局知识图获得当前数据结构，当前数据结构包括当前头部元素、当前关系元素和当前尾部元素；获得与当前数据结构相对应的句子；通过从句子中移除当前尾部元素来生成疑问；生成对疑问的正确回答，所述正确回答包括当前尾部元素；基于干扰物标准集从全局知识图提取数据结构池，每个提取的数据结构具有作为当前关系元素的关系元素；从数据结构池提取尾部元素，以创建干扰物候选池；从干扰物候选池选择干扰物集；创建包括疑问和响应选项集的查询任务，所述响应选项集包括正确回答和干扰物集；创建至少包括查询任务的训练集；和用训练集训练机器学习系统，其中机器学习系统被配置为接收查询任务，并且用从响应选项集之中选择的预测回答来响应疑问。9.根据权利要求8所述的数据处理系统，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。