针对视觉模型的处理方法及装置制造方法及图纸

本公开提供了一种针对视觉模型的处理方法，涉及人工智能领域，尤其涉及自动驾驶、深度学习和计算机视觉等技术领域，可用于视觉模型的鲁棒性评估场景。具体实现方案为：利用对抗样本中的每个样本图像对目标视觉模型进行攻击，其中，通过在数据集中每个原始图像的阴影区域内增加对抗性扰动，以得到与对抗样本中的每个样本图像；统计对抗样本对目标视觉模型的攻击成功率；以及基于攻击成功率，对目标视觉模型进行鲁棒性评估。模型进行鲁棒性评估。模型进行鲁棒性评估。

【技术实现步骤摘要】
针对视觉模型的处理方法及装置


[0001]本公开涉及人工智能领域，尤其涉及自动驾驶、深度学习和计算机视觉等
，可用于AI模型(即人工智能模型)的鲁棒性评估场景。

技术介绍

[0002]近年来，深度学习技术已广泛应用于人工智能领域。在计算机视觉领域，深度学习已成为自动驾驶、图片审核、监控和安保应用的主力。然而研究发现，对图像进行某种轻微干扰，有可能诱导AI模型误判。

技术实现思路

[0003]本公开提供了一种针对视觉模型的处理方法、以及视觉模型训练方法、装置、设备、存储介质以及计算机程序产品。
[0004]根据本公开的一方面，提供了一种针对视觉模型的处理方法，包括：利用对抗样本中的每个样本图像对目标视觉模型进行攻击，其中，通过在数据集中每个原始图像的阴影区域内增加对抗性扰动，以得到所述对抗样本中的所述每个样本图像；统计所述对抗样本对所述目标视觉模型的攻击成功率；以及基于所述攻击成功率，对所述目标视觉模型进行鲁棒性评估。
[0005]根据本公开的另一方面，提供了一种视觉模型训练方法，包括：获取训练样本，其中，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对视觉模型的处理方法，包括：利用对抗样本中的每个样本图像对目标视觉模型进行攻击，其中，通过在数据集中每个原始图像的阴影区域内增加对抗性扰动，以得到所述对抗样本中的所述每个样本图像；统计所述对抗样本对所述目标视觉模型的攻击成功率；以及基于所述攻击成功率，对所述目标视觉模型进行鲁棒性评估。2.根据权利要求1所述的方法，其中，基于所述攻击成功率，对所述目标视觉模型进行鲁棒性评估，包括：响应于所述攻击成功率大于预设阈值，确定所述目标视觉模型的鲁棒性指标不满足预设鲁棒性要求。3.根据权利要求1所述的方法，还包括：在确定所述目标视觉模型的鲁棒性指标不满足所述预设鲁棒性要求的情况下，启动对所述目标视觉模型进行对抗训练的流程，以获得鲁棒性指标满足所述预设鲁棒性要求的视觉模型。4.根据权利要求3所述的方法，其中，模型对抗训练流程包括以下操作：获取训练样本，其中，所述训练样本中包含预定比例的在图像阴影区域内增加有对抗性扰动的样本图像；以及利用所述训练样本，对所述目标视觉模型进行对抗训练。5.根据权利要求1至4中任一项所述的方法，还包括：针对所述目标视觉模型，输出鲁棒性评估结果，其中，所述鲁棒性评估结果包括以下至少之一：所述目标视觉模型的名称、所述目标视觉模型所依赖的机器学习框架、鲁棒性指标、使用的数据集、该数据集中包含的图像总数、该数据集中具有阴影区域的图像的占比、模型评估中使用的扰动策略。6.根据权利要求1所述的方法，其中，所述目标视觉模型包括以下至少之一：图像分类模型、目标检测模型和图像分割模型。7.一种视觉模型训练方法，包括：获取训练样本，其中，所述训练样本中包含预定比例的在图像阴影区域内增加有对抗性扰动的样本图像；以及利用所述训练样本进行视觉模型训练，以得到对应的视觉模型。8.一种针对视觉模型的处理装置，包括：攻击模块，用于利用对抗样本中的每个样本图像对目标视觉模型进行攻击，其中，通过在数据集中每个原始图像的阴影区域内增加对抗性扰动，以得到所述对抗样本中的所述每个样本图像；统计模块，用于统计所述对抗样本对所述目标视觉模型的攻击成功率；以及评估模块，用于基于所述攻击成功率，对所述目标视觉模型进行鲁棒性评估...

【专利技术属性】
技术研发人员：刘志浩，王洋，张欢，熊俊峰，高梦晗，吕中厚，张华正，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：