基于前置分类器的中立文本生成方法技术

技术编号:40096205 阅读:17 留言:0更新日期:2024-01-23 16:58
本发明专利技术公开了基于前置分类器的中立文本生成方法。现有方法使用同一个文本生成器对句子中引发偏见的词进行替换或删除操作实现主观偏见的消除,然而这类方法受到不同操作分布的影响,当某一种操作较少时,模型更偏向于进行另一种操作。本方法针对去偏问题的特点,进行细粒度的分析处理,提升去偏的效果;该方法主要分为三步:序列标注模型标记待操作序列;分类器判断操作策略(提取文本语义向量;文本句法特征嵌入;特征融合;MLP实现分类);中立文本生成。本方法结合句子的语义特征和句法特征对操作类型进行细粒度分析并标记出待操作序列,同时,根据操作类型(替换或删除),我们采取相应的生成策略来得到表达中立的句子。

【技术实现步骤摘要】

本专利技术涉及一种面向文本的基于前置分类器的主观偏见消除算法。


技术介绍

1、在当今社交媒体和在线平台的浩瀚信息中,主观偏见成为一个普遍存在的问题。主观偏见是指个体在表达观点、评论或评价时,受到自身态度、信念和价值观等因素的影响,导致信息的不客观性和偏颇性。这种主观偏见不仅可能影响信息的真实性和可信度,还可能加剧社会分裂和误导公众。为了解决主观偏见的问题,研究者们提出了各种文本分析和自然语言处理技术。目前主要使用深度学习模型,如卷积神经网络(cnn)、循环神经网络(rnn)或transformer等,训练语言生成模型,以实现主观偏见消除。然而,这种方法会受到不同操作策略分布的影响,消除偏见时替换操作较少时,模型更偏向于进行删除操作。这样做会导致对句子操作错误,生成句子的准确度不高。基于前置分类器的主观偏见消除方法是一种有效的生成中立文本的方法。该方法通过在文本生成之前引入一个前置分类器,用于细粒度划分文本的操作策略,判断句子进行删除操作还是替换操作;此后,通过对句子中的单词分析,标注出引发偏见的词,在生成句子时,仅仅对该单词进行操作,而不改变句子中其他单词本文档来自技高网...

【技术保护点】

1.基于前置分类器的中立文本生成方法,其特征在于,步骤如下:

【技术特征摘要】

1.基于前置分类器的中立文本生...

【专利技术属性】
技术研发人员:赵力丹李童杨震
申请(专利权)人:北京工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1