当前位置: 首页 > 专利查询>清华大学专利>正文

多模态隐晦有害内容检测方法、装置、电子设备及存储介质制造方法及图纸

技术编号:46565638 阅读:1 留言:0更新日期:2025-10-10 21:15
本发明专利技术提供一种多模态隐晦有害内容检测方法、装置、电子设备及存储介质,其中的方法包括:获取待检测的多模态内容;基于预先训练的安全检测模型,根据多模态内容,获取多模态隐晦有害内容检测结果;其中,安全检测模型通过根据多模态隐晦有害内容样本集进行训练优化得到,多模态隐晦有害内容样本集包括多模态隐晦有害内容数据对及其对应的安全标签、安全风险类别以及风险推理数据。该方法通过安全检测模型对多模态内容进行有害内容检测,能够更好地发现各单模态内容关联后产生的有害信息,识别隐晦有害内容,实现了多模态隐晦有害内容的准确识别;与此同时,创新构建的多模态隐晦有害内容样本集为有害内容检测研究提供了高质量的数据资源。

【技术实现步骤摘要】

本专利技术涉及内容安全检测,尤其涉及一种多模态隐晦有害内容检测方法、装置、电子设备及存储介质


技术介绍

1、随着互联网和数字通信技术的迅猛发展,网络空间中图文并茂的多模态内容日益丰富。相比单模态,图文关联使多模态内容具备更强的语义表达能力,图像与文本的组合能够传达更复杂的信息。然而,这一特性也被用于隐蔽表达有害内容,即“隐晦有害内容”——图文单独看均符合安全标准,结合后却可能传递有害语义。

2、多模态隐晦有害内容可以存在于社交平台上表达特定观点或立场的多模态陈述中,也可能作为多模态提示输入给视觉语言大模型(large vision-language models,lvlm),以诱导生成不安全的回答,形成具有隐晦风险的多模态对话。多模态陈述、多模态提示和多模态对话构成了多模态隐晦有害内容的三种典型存在形式。由于单模态下难以识别,传统检测机制难以应对,易造成有害内容的传播失控。因此,如何有效地识别和防范这类隐晦有害内容成为维护网络安全环境的重要任务。

3、目前,针对多模态内容的安全检测主要依赖于lvlm和其他传统检测机制。例如,ope本文档来自技高网...

【技术保护点】

1.一种多模态隐晦有害内容检测方法,其特征在于,包括:

2.根据权利要求1所述的多模态隐晦有害内容检测方法,其特征在于,构建所述多模态隐晦有害内容样本集,具体包括:

3.根据权利要求2所述的多模态隐晦有害内容检测方法,其特征在于,所述对所述风险实例进行跨模态分解,得到所述多模态隐晦有害内容数据对,之后包括:

4.根据权利要求2所述的多模态隐晦有害内容检测方法,其特征在于,根据所述多模态隐晦有害内容数据对及其对应的安全风险类别,生成所述风险推理数据,包括:

5.根据权利要求4所述的多模态隐晦有害内容检测方法,其特征在于,所述结构化推理步骤提示...

【技术特征摘要】

1.一种多模态隐晦有害内容检测方法,其特征在于,包括:

2.根据权利要求1所述的多模态隐晦有害内容检测方法,其特征在于,构建所述多模态隐晦有害内容样本集,具体包括:

3.根据权利要求2所述的多模态隐晦有害内容检测方法,其特征在于,所述对所述风险实例进行跨模态分解,得到所述多模态隐晦有害内容数据对,之后包括:

4.根据权利要求2所述的多模态隐晦有害内容检测方法,其特征在于,根据所述多模态隐晦有害内容数据对及其对应的安全风险类别,生成所述风险推理数据,包括:

5.根据权利要求4所述的多模态隐晦有害内容检测方法,其特征在于,所述结构化推理步骤提示包括:

6.根据权利要求1-5中任一项所述的多模态隐晦有...

【专利技术属性】
技术研发人员:黄民烈崔诗尧张庆林
申请(专利权)人:清华大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1