【技术实现步骤摘要】
本专利技术涉及人工智能，具体涉及一种基于生成式人工智能驱动的不良内容的检测方法。
技术介绍
1、当前，网络中经常被恶意地嵌入违规内容，并在学习软件、短视频、微博、微信等各种平台中广泛传播，对用户的身心健康和财产安全构成了严重的威胁。因此一些厂商研发了多种内容监管平台，实现针对大数据的智能化分析和审核，从而完成对不良内容进行检测和治理。但是存在如下问题：
2、迁移性差：当前，主流的人工智能内容审核技术主要包括黑名单、关键词过滤、规则匹配、机器学习分类模型、多模态特征融合等方法。这些技术主要基于现有的不良内容进行规则匹配或者模型训练，从而能够对于相似特征的不良内容进行检测。但这些方法学习到的不良内容有限，难以应对不良内容快速传播、快速迭代、深度隐藏、多样化和数量庞大等特点。因此，精心构造的高隐藏性、多元化的不良内容能够绕过现有内容安全审核平台的检测；
3、成本高：现有的技术采用用户画像、高频监控、实时聚类等方法进行内容检测，通常需要大量的资源和人力投入，包括建立和维护用户画像数据库、持续监控网络上的内容流、以及实时处理和分析大量的数据。这些操作不仅需要大量的资金投入，还需要雇佣专业人员来执行，增加了内容审核的成本负担；
4、过于依赖人工：由于现有技术的局限性，很多情况下需要依赖人工审核，这不仅效率低下，还可能对审核人员的身心健康造成伤害，暴力、恐怖、血腥的内容可能引起审核人员心理不适，而且高强度的审核工作甚至导致他们患抑郁症、应激性障碍等心理问题。
5、因此，需要研究一种高效准确的、成
技术实现思路
1、为了解决现有不良内容检测不准确且过于依赖人工的问题，本专利技术提供一种基于生成式人工智能驱动的不良内容的检测方法。
2、本专利技术为解决技术问题所采用的技术方案如下：
3、一种基于生成式人工智能驱动的不良内容的检测方法，包括如下步骤：
4、s1、根据不良内容的关键字和/或关键词，自动收集不良内容得到第一不良内容数据集；
5、s2、将所述第一不良数据集输入到内容安全检测平台进行检测得到第一检测结果，提取所述第一不良数据集中数据的样本标签，根据所述第一检测结果和所述样本标签，获得未被所述内容安全检测平台检测到的不良特征及其组合规律；
6、s3、通过人工分析所述s2得到的不良特征及其组合规律，得到不良内容的高隐藏性不良特征和新型组合方式，根据所述s2得到的不良特征及其组合规律、还根据所述不良内容的高隐藏性不良特征和新型组合方式，构建基于aigc生成不良内容的提示工程；
7、s4、根据所述提示工程，使用所述aigc模型生成若干不良内容的文本、图片和视频，将所述不良内容的文本、图片和视频输入到所述内容安全审核平台上进行检测得到第二检测结果，根据所述第二检测结果获得所述aigc模型生成的且未被所述内容安全审核平台检测到的不良内容，并据此构建多元高隐藏性的不良内容数据集；
8、s5、利用所述第一不良内容数据集和所述多元高隐藏性的不良内容数据集，提炼不良数据的多模态特征；基于所述第一不良内容数据集和所述多元高隐藏性的不良内容数据集的样本标签和所述多模态特征，训练内容安全检测模型；优化所述内容安全检测模型，直至所述内容安全检测模型满足预设要求。
9、本专利技术的有益效果是：
10、本专利技术通过自动收集数据集，配合aigc模型，得到检测效率高、检测准确度高的内容安全检测模型，能够检测高隐藏性、多元化的不良内容。使用本专利技术的内容安全检测模型，不过于依赖于大量人工，降低了成本，减轻人工审核的负担，保护审核人员的身心健康。
本文档来自技高网...【技术保护点】
1.一种基于生成式人工智能驱动的不良内容的检测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种基于生成式人工智能驱动的不良内容的检测方法，其特征在于，所述利用所述第一不良内容数据集和所述多元高隐藏性的不良内容数据集，训练内容安全检测模型的具体过程为：先将所述第一不良内容数据集和所述多元高隐藏性的不良内容数据集中所有的数据进行分类和特征标注，分析所述第一不良内容数据集和所述多元高隐藏性的不良内容数据集的多模态特征和样本标签，输入到内容安全检测模型中，训练内容安全检测模型。
3.如权利要求2所述的一种基于生成式人工智能驱动的不良内容的检测方法，其特征在于，所述优化所述内容安全检测模型具体为：根据分类和特征标注的结果，获取所述内容安全检测模型对于不同数据类型的敏感程度，根据所述敏感程度优化所述内容安全检测模型。
4.如权利要求1所述的一种基于生成式人工智能驱动的不良内容的检测方法，其特征在于，所述检测方法还包括优化所述AIGC模型和基于AIGC模型生成不良内容的提示工程的步骤。
5.如权利要求4所述的一种基于生成式人工智能驱动
6.如权利要求1所述的一种基于生成式人工智能驱动的不良内容的检测方法，其特征在于，所述内容安全审核平台包括自动检测模块和人工检测模块。
...【技术特征摘要】
1.一种基于生成式人工智能驱动的不良内容的检测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种基于生成式人工智能驱动的不良内容的检测方法，其特征在于，所述利用所述第一不良内容数据集和所述多元高隐藏性的不良内容数据集，训练内容安全检测模型的具体过程为：先将所述第一不良内容数据集和所述多元高隐藏性的不良内容数据集中所有的数据进行分类和特征标注，分析所述第一不良内容数据集和所述多元高隐藏性的不良内容数据集的多模态特征和样本标签，输入到内容安全检测模型中，训练内容安全检测模型。
3.如权利要求2所述的一种基于生成式人工智能驱动的不良内容的检测方法，其特征在于，所述优化所述内容安全检测模型具体为：根据分类和特征标注的结果，获取所述内容安全检测模型对于不同数据类型的敏感程度，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。