基于多模态风险评测数据集的模型内容安全评测方法技术

基于多模态风险评测数据集的模型内容安全评测方法，涉及人工智能技术领域，包括：构建包含文本、图像的安全评测基准数据集；根据测试参数选择的测试类别，根据测试类别确定相应的图像测试数据，根据所述图像测试数据动态关联对应的文本测试数据，生成组合测试数据；将所述组合测试数据输入待测的生成式大模型，输出包括图片和/或视频的生成内容；将所述生成内容输入AI检测系统自动化识别风险，辅以人工确认，得到内容风险评估结果。本申请实现了对多模态生成式模型更全面、动态、精准的安全评估。

【技术实现步骤摘要】

本专利技术涉及人工智能，尤其涉及一种基于多模态风险评测数据集的模型内容安全评测方法、装置、设备及介质。

技术介绍

1、生成式人工智能技术的快速发展显著提升了多模态内容生成能力，涵盖文本、图像、音频、视频等多样态输出，推进了其广泛应用。但其生成的内容可能包含偏见、歧视、虚假信息或有害内容，这些内容可能对社会造成不良影响。因此，需要评估和确保生成内容的合法合规性、真实性和安全性。生成式大模型具有内容即时生成、生成内容动态变化、难预测、难覆盖的特点，专利技术人所知的安全测评手段难以对多模态生成式模型进行全面、动态、精准的安全评估，主要体现在以下方面：

2、a.算法的不透明性：许多生成式人工智能算法的内部工作原理并不完全透明，这使得评估其生成内容的安全性变得困难。不透明的算法可能导致难以预测和防止潜在的安全问题。

3、b.数据的来源和可靠性：生成式人工智能通常需要大量的数据进行训练，这些数据可能来自不同的来源。评估这些数据的可靠性、质量和合法性是一个挑战。此外，如果数据包含偏见或错误，生成的内容可能会引入类似的问题。p>

4、c.内本文档来自技高网...

【技术保护点】

1.基于多模态风险评测数据集的模型内容安全评测方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态风险评测数据集的模型内容安全评测方法，其特征在于，

3.根据权利要求2所述的基于多模态风险评测数据集的模型内容安全评测方法，其特征在于，

4.基于多模态风险评测数据集的模型内容安全评测装置，其特征在于，包括：

5.根据权利要求4所述的基于多模态风险评测数据集的模型内容安全评测装置，其特征在于，

6.根据权利要求5所述的基于多模态风险评测数据集的模型内容安全评测装置，其特征在于，

7.一种电子设备，其特征在于，所述...

【技术特征摘要】

1.基于多模态风险评测数据集的模型内容安全评测方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态风险评测数据集的模型内容安全评测方法，其特征在于，

3.根据权利要求2所述的基于多模态风险评测数据集的模型内容安全评测方法，其特征在于，

4.基于多模态风险评测数据集的模型内容安全评测装置，其特征在于，包括：

5.根据权利要求4所述的基于多模态风险评测数据集的模型内容安全评测装置，其特征在于，

6.根据权利要求5所述的基于多模态风...

【专利技术属性】
技术研发人员：李继龙，郝洺，施玉海，冯海亮，张翀，
申请(专利权)人：国家广播电视总局广播电视科学研究院，
类型：发明
国别省市：