预训练语言模型及可解释性方法的性能评估方法及装置制造方法及图纸

本公开提供了一种预训练语言模型及可解释性方法的性能评估方法及装置，涉及计算机技术领域，尤其涉及自然语言处理、深度学习等人工智能技术领域。包括：获取包含掩码字的第一文本、与第一文本相似的第二文本、第一文本对应的第一标签、第二文本对应的第二标签；将第一文本及第二文本输入预训练语言模型中，以基于可解释性方法，获取第一文本的第一重要性得分及第二文本中的第二重要性得分；根据第一重要性得分及第一标签，第二重要性得分及第二标签，确定可解释性方法的性能或预训练语言模型的可解释性。由此，通过不同文本的解释结果的准确性及相似文本的解释结果的一致性，全面地评估可解释性方法的性能或者预训练语言模型的可解释性。的可解释性。的可解释性。

【技术实现步骤摘要】
预训练语言模型及可解释性方法的性能评估方法及装置


[0001]本公开涉及计算机
，尤其涉及自然语言处理、深度学习等人工智能
，具体涉及一种预训练语言模型及可解释性方法的性能评估方法及装置。

技术介绍

[0002]随着计算机技术的快速发展，自然语言处理也随之蓬勃发展，在自然语言处理(Natural Language Processing，NLP)领域中，预训练语言模型得到了广泛的关注和使用。预训练语言模型作为一种黑盒模型，为了使人们理解预训练语言模型的决策流程和依据，已有多种可用于预训练语言模型的可解释性方法。但是，预训练语言模型的可解释性方法是否可以准确地对预训练语言模型进行解释尚需进一步评估。

技术实现思路

[0003]本公开提供了一种预训练语言模型及可解释性方法的性能评估方法及装置。
[0004]根据本公开的第一方面，提供了一种预训练语言模型及可解释性方法的性能评估方法，包括：
[0005]获取包含掩码字的第一文本、与所述第一文本相似且掩码字相同的第二文本、所述第一文本中每个非掩码字对应的第一标签本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种预训练语言模型及可解释性方法的性能评估方法，包括：获取包含掩码字的第一文本、与所述第一文本相似且掩码字相同的第二文本、所述第一文本中每个非掩码字对应的第一标签、所述第二文本中每个非掩码字对应的第二标签；将所述第一文本及所述第二文本分别输入预训练语言模型中，以基于预设的可解释性方法，获取所述预训练模型在预测过程中确定的所述第一文本中每个非掩码字对应的第一重要性得分及所述第二文本中每个非掩码字对应的第二重要性得分；根据所述第一文本中每个非掩码字对应的所述第一重要性得分及所述第一标签，所述第二文本中每个非掩码字对应的所述第二重要性得分及所述第二标签，确定所述可解释性方法的性能或所述预训练语言模型的可解释性。2.根据权利要求1所述的方法，其中，所述根据所述第一文本中每个非掩码字对应的所述第一重要性得分及所述第一标签，所述第二文本中每个非掩码字对应的所述第二重要性得分及所述第二标签，确定所述可解释性方法的性能或所述预训练语言模型的可解释性，包括：根据所述第一文本中每个非掩码字对应的所述第一重要性得分及所述第一标签，所述第二文本中每个非掩码字对应的所述第二重要性得分及所述第二标签，确定第一评分；根据所述第一文本中每个非掩码字对应的所述第一重要性得分及所述第二文本中每个非掩码字对应的所述第二重要性得分，确定第二评分；根据所述第一评分及所述第二评分，确定所述可解释性方法的性能或所述预训练语言模型的可解释性。3.根据权利要求2所述的方法，其中，所述根据所述第一文本中每个非掩码字对应的所述第一重要性得分及所述第二文本中每个非掩码字对应的所述第二重要性得分，确定第二评分，包括：确定所述第一文本中每个非掩码字对应的所述第一重要性得分与所述第二文本中每个非掩码字对应的所述第二重要性得分之间的全类别平均正确率MAP；将所述全类别平均正确率MAP确定为所述第二评分。4.根据权利要求2所述的方法，其中，所述根据所述第一文本中每个非掩码字对应的第一重要性得分及所述第一标签，所述第二文本中每个非掩码字对应的所述第二重要性得分及所述第二标签，确定第一评分，包括：确定所述第一文本中包含的所述第一重要性得分大于预设阈值的第一目标非掩码字，所述第二文本中包含的第二重要性得分大于所述预设阈值的第二目标非掩码字；根据所述第一标签及所述第二标签，分别确定所述第一文本中包含的与所述掩码字关联的第三目标非掩码字、及所述第二文本中包含的与所述掩码字关联的第四目标非掩码字；确定所述第一目标非掩码字与所述第三目标非掩码字之间的第一匹配度、所述第二目标非掩码字与所述第四目标非掩码字之间的第二匹配度；将所述第一匹配度与所述第二匹配度之间的平均值，确定为所述第一评分。5.根据权利要求4所述的方法，其中，所述确定所述第一目标非掩码字与所述第三目标非掩码字之间的第一匹配度、所述第二目标非掩码字与所述第四目标非掩码字之间的第二匹配度，包括：
确定所述第一目标非掩码字与所述第三目标非掩码字之间相同的非掩码字对应的第一数量，所述第二目标非掩码字与所述第四目标非掩码字之间相同的非掩码字对应的第二数量；将所述第一数量与所述第三目标非掩码字的总数量之间的比值，确定为所述第一匹配度；将所述第二数量与所述第四目标非掩码字的总数量之间的比值，确定为所述第二匹配度。6.根据权利要求2所述的方法，其中，所述根据所述第一文本中每个非掩码字对应的所述第一重要性得分及所述第一标签，所述第二文本中每个非掩码字对应的所述第二重要性得分及所述第二标签，确定第一评分，包括：根据所述第一文本中每个非掩码字对应的所述第一重要性得分与对应的所述第一标签之间的差异，确定第三评分；根据所述第二文本中每个非掩码字对应的所述第二重要性得分与对应的所述第二标签之间的差异，确定第四评分；将所述第三评分与所述第四评分之间的平均值，确定为所述第一评分。7.根据权利要求1
‑
6任一所述的方法，其中，还包括：对所述第一文本中与所述掩码字无关联的字进行删除或者改写，以获取所述第二文本；或者，对所述第一文本中与所述掩码字有关联的字进行同义词替换，以获取所述第二文本；或者，将所述第一文本的句式进行改写，以获取所述第二文本。8.根据权利要求1
‑
6任一所述的方法，其中，所述第一文本中包括以下至少一项：语法相关的文本；语义相关的文本；知识相关的文本；推理相关的文本；及计算相关的文本。9.一种预训练语言模型可解释性装置的性能评...

【专利技术属性】
技术研发人员：沈耀宗，王丽杰，陈颖，常月，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：