一种引入注意力机制的文本样本均衡化处理方法及系统技术方案

本申请公开了一种引入注意力机制的文本样本均衡化处理方法及系统，涉及数据均衡化处理领域，其方法包括：接收文本样本集，对文本样本集进行特征提取，得到向量矩阵；将文本样本集输入Transformer网络结构，得到注意力输出值，Transformer网络结构包括多头注意力机制；根据注意力输出值与向量矩阵，对每个文本样本进行重要性评估，得到重要性评分；对重要性评分小于预设阈值的文本样本进行文本增强，并更新文本样本集；在更新后的文本样本集中添加对抗样本，得到新文本样本集；采用自适应采样策略调整每个样本类别的样本数量，得到用于表示文本样本集的最终文本样本集。本申请可以均衡化文本样本，有效提高模型的整体性能。

【技术实现步骤摘要】

本申请实施例涉及数据均衡化处理领域，尤其涉及一种引入注意力机制的文本样本均衡化处理方法及系统。

技术介绍

1、在当今数字时代，互联网和社交媒体平台的快速发展使得用户生成内容(ugc)呈现爆炸式增长。这些内容涵盖了各种形式，包括文本、图像、视频等，为用户提供了前所未有的表达和交流机会。然而，随之而来的是内容安全和质量控制的巨大挑战。不良、违法、有害内容的传播可能对个人、社会和企业造成严重影响。因此，有效地管理和审核这些海量内容成为了平台运营者和监管机构的首要任务。

2、内容安全大模型和智能审校大模型是应对这一挑战的关键技术解决方案。这些模型通常基于深度学习技术，特别是自然语言处理(nlp)和计算机视觉(cv)领域。模型的主要应用场景包括：1.社交媒体平台：对用户发布的帖子、评论和私信进行实时审核，过滤垃圾信息、恶意言论和违规内容。2.新闻门户网站：自动检测和标记可能包含虚假信息、煽动性言论或不适当内容的新闻文章。3.电子商务平台：审核商品描述和用户评价，识别虚假广告、侵权信息和不当言论。4.在线教育平台：监控学生提交的作业和讨论内容，确保符合学术本文档来自技高网...

【技术保护点】

1.一种引入注意力机制的文本样本均衡化处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述Transformer网络结构还包括前馈神经网络和残差连接。

3.根据权利要求2所述的方法，其特征在于，所述将所述文本样本集输入Transformer网络结构，得到注意力输出值，包括：

4.根据权利要求3所述的方法，其特征在于，所述将所述文本样本集通过所述多头注意力机制，得到第一输出，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述注意力输出值与所述向量矩阵，对所述文本样本集中的每个所述文本样本进行重要性评估，得到...

【技术特征摘要】

1.一种引入注意力机制的文本样本均衡化处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述transformer网络结构还包括前馈神经网络和残差连接。

3.根据权利要求2所述的方法，其特征在于，所述将所述文本样本集输入transformer网络结构，得到注意力输出值，包括：

4.根据权利要求3所述的方法，其特征在于，所述将所述文本样本集通过所述多头注意力机制，得到第一输出，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述注意力输出值与所述向量矩阵，对所述文本样本集中的每个所述文本样本进行重要性评估，得到每个所述文本样本的重要性...

【专利技术属性】
技术研发人员：戴亦斌，
申请(专利权)人：北京信工博特智能科技有限公司，
类型：发明
国别省市：