【技术实现步骤摘要】
本专利技术提出一种预训练掩码语言模型全流程自动纠偏方法、装置及介质，属于人工智能下的自然语言处理分支领域。
技术介绍
1、现有技术中与本专利技术最相近似的实现方案是发表于annual meeting of theassociation for computational linguistics 2022(acl’22)的《auto-debias:debiasing masked language models with automated biased prompts》[14]，其大体流程框架如图1所示。
2、auto-debias针对的问题是英文掩码预训练语言模型中出现的性别/种族在职业、学科方面上的偏见现象，其解决方案是：
3、(1)首先auto-debias定义了“属性词-偏见词”对应关系，其中属性词c为性别或者种族相关词，且往往呈现m元组(此处是2元组)的形式，如“(he,she)”或者“(europeanamerican,african american)”；偏见词则是类似职业或者学科相关词，如“foo...
【技术保护点】
1.一种预训练掩码语言模型全流程自动纠偏方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，步骤1)中从公共知识库中获取每个主题的短语时，利用MLM过滤掉与刻板印象的种子短语具有语义相似性的超链接短语。
3.如权利要求1所述的方法，其特征在于，步骤1)中基于MLM筛选出与每个主题的种子短语最相似的多个短语的步骤包括：
4.如权利要求3所述的方法，其特征在于，步骤1)中利用MLM计算每个短语的嵌入的式子为：
5.如权利要求1所述的方法，其特征在于，步骤2)中包含多个掩码标记的提示的表达式为：
<...【技术特征摘要】
1.一种预训练掩码语言模型全流程自动纠偏方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，步骤1)中从公共知识库中获取每个主题的短语时，利用mlm过滤掉与刻板印象的种子短语具有语义相似性的超链接短语。
3.如权利要求1所述的方法，其特征在于，步骤1)中基于mlm筛选出与每个主题的种子短语最相似的多个短语的步骤包括：
4.如权利要求3所述的方法，其特征在于，步骤1)中利用mlm计算每个短语的嵌入的式子为：
5.如权利要求1所述的方法，其特征在于，步骤2)中包含多个掩码标记的提示的表达式为：
6.如权利要求5所述的方法，...
【专利技术属性】
技术研发人员：张潇丹，石秉康，刘总真，吕红蕾，王仕杰，胡静远，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。