评估目标检测模型的方法及装置制造方法及图纸

本公开提供了一种评估目标检测模型的方法、装置、电子设备、存储介质以及计算机程序产品，涉及人工智能技术领域，尤其涉及人工智能安全技术领域。具体实现方案为：分别利用多个对抗样本集中的每个对抗样本集攻击待评估的目标检测模型，得到针对每个对抗样本集中每个对抗样本的输出结果；根据与每个对抗样本集对应的阈值和对抗样本集中每个对抗样本的输出结果，确定每个对抗样本所对应的攻击是否成功，并统计对抗样本集的攻击成功率，其中，每个对抗样本集对应于不同的阈值；以及根据多个对抗样本集的攻击成功率，确定针对目标检测模型的鲁棒性评估参数。

【技术实现步骤摘要】
评估目标检测模型的方法及装置
本公开涉及人工智能
，尤其涉及人工智能安全

技术介绍
在对抗环境中，深度学习模型较容易受到对抗样本的攻击。其中，对抗样本是基于正常样本恶意构造出的样本。对于人类来说，对抗样本和正常样本之间的区别不明显，因此人类可以很轻易地将对抗样本正确地分类。但是将这些对抗样本输入深度学习模型后，深度学习模型却很难将这些对抗样本正确地分类。基于此，深度学习模型抵御对抗样本的能力被称为深度学习模型的鲁棒性。评估深度学习模型的鲁棒性是一项非常重要的工作。
技术实现思路
本公开提供了一种评估目标检测模型的方法、装置、电子设备、存储介质以及计算机程序产品。根据本公开的一方面，提供了一种评估目标检测模型的方法，包括：分别利用多个对抗样本集中的每个对抗样本集攻击待评估的目标检测模型，得到针对所述每个对抗样本集中每个对抗样本的输出结果；根据与所述每个对抗样本集对应的阈值和所述对抗样本集中每个对抗样本的输出结果，确定所述每个对抗样本所对应的攻击是否成功，并统计所述对抗样本集的攻击成功率，其中，所述每个对抗样本集对应于不同的阈值；以及根据所述多个对抗样本集的攻击成功率，确定针对所述目标检测模型的鲁棒性评估参数。根据本公开的另一方面，提供了一种评估目标检测模型的装置，包括：攻击模块，用于分别利用多个对抗样本集中的每个对抗样本集攻击待评估的目标检测模型，得到针对所述每个对抗样本集中每个对抗样本的输出结果；统计模块，用于根据与所述每个对抗样本集对应的阈值和所述对抗样本集中每个对抗样本的输出结果，确定所述每个对抗样本所对应的攻击是否成功，并统计所述对抗样本集的攻击成功率，其中，所述每个对抗样本集对应于不同的阈值；以及确定模块，用于根据所述多个对抗样本集的攻击成功率，确定针对所述目标检测模型的鲁棒性评估参数。本公开的另一个方面提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所示的方法。根据本公开实施例的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开实施例所示的方法。根据本公开实施例的另一方面，提供了一种计算机程序产品，计算机程序，所述计算机程序在被处理器执行时实现本公开实施例所示的方法。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本公开的限定。其中：图1示意性示出了根据本公开的实施例的评估目标检测模型的方法的流程图；图2示意性示出了根据本公开的实施例的利用对抗样本集攻击待评估的目标检测模型的方法的流程图；图3示意性示出了根据本公开另一实施例的评估目标检测模型的方法的流程图；图4示意性示出了根据本公开的实施例的生成多个对抗样本集示意图；图5示意性示出了根据本公开的实施例的评估目标检测模型的方法示意图；图6示意性示出了根据本公开实施例的评估目标检测模型的装置的框图；图7示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。具体实施方式以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1示意性示出了根据本公开的实施例的评估目标检测模型的方法的流程图。如图1所示，该评估目标检测模型的方法100包括操作S110～S130。在操作S110，分别利用多个对抗样本集中的每个对抗样本集攻击待评估的目标检测模型，得到针对每个对抗样本集中每个对抗样本的输出结果。根据本公开的实施例，目标检测模型是深度学习模型的一种类型，可以用于找出图像中所有感兴趣的目标(例如物体)，并确定目标的类别和位置。目标检测模型例如可以为yolov3。需要说明的是，此处的yolov3仅为示例，本公开对目标检测模型的具体类型不作具体限定。示例性地，本实施例中，目标检测模型可以用于输出预测框的位置数据、第一概率和第二概率，其中，第一概率用于表示预测框中包含任意目标的概率，第二概率用于表示预测框中包含特定目标的概率，预测框为存在目标的预测区域。其中，特定目标可以根据实际需要进行设置，例如可以包括人体、动物、植物等等。需要说明的是，特定目标的数量可以为一个或多个。特定目标的数量为多个的情况下，相应地，第二概率也可以有多个，分别对应预测框中包含该多个特定目标的概率。根据本公开的实施例，每个对抗样本集用于针对目标检测模型输出的预测框的位置数据、第一概率和第二概率中的任意一个或多个进行攻击。可以理解的是，对抗样本集可以用于定向攻击也可以用于非定向攻击。然后，在操作S120，根据与每个对抗样本集对应的阈值和对抗样本集中每个对抗样本的输出结果，确定每个对抗样本所对应的攻击是否成功，并统计对抗样本集的攻击成功率。根据本公开的实施例，每个对抗样本集可以对应于不同的阈值。例如，对于3个用于攻击第一概率的对抗样本集，对应的阈值可以分别为0.4、0.6和0.8。即可以以0.4作为阈值判断第一个对抗样本集中的攻击是否成功，当目标检测模型针对第一个对抗样本集中的对抗样本输出的第一概率小于0.4则表示该对抗样本所对应的攻击成功，否则该攻击不成功。以0.6作为阈值判断第二个对抗样本集中的攻击是否成功，当目标检测模型针对第二个对抗样本集中的对抗样本输出的第一概率小于0.6则表示该对抗样本所对应攻击成功，否则该攻击不成功。以0.8作为阈值判断第三个对抗样本集中的攻击是否成功，当目标检测模型针对第三个对抗样本集中的对抗样本输出的第一概率小于0.8则表示该对抗样本所对应攻击成功，否则该攻击不成功。根据本公开的实施例，在确定每个对抗样本集所对应的攻击成功的次数后，可以计算攻击成功的次数与总攻击次数的比值，作为该对抗样本集的攻击成功率。在操作S130，根据多个对抗样本集的攻击成功率，确定针对目标检测模型的鲁棒性评估参数。根据本公开的实施例，目标检测模型的鲁棒性评估参数可以用于定量目标检测模型的鲁棒性，从而提高了对目标检测模型鲁棒性进行评估时的准确性。根据本公开的实施例，可以预先对每个对抗样本集的设置权重。基于此，在确定针对目标检测模型的鲁棒性评估参数时，可以获取多个对抗样本集的权重，根据权重对每个对抗样本集的攻击成功率进行加权求和处理，得到求和结果，作为针对目标检测模型的鲁棒性评估参数。根据本公开的实施例，权重可以与阈值对应设置。例如，较小的阈值对应于本文档来自技高网...

【技术保护点】
1.一种评估目标检测模型的方法，包括：/n分别利用多个对抗样本集中的每个对抗样本集攻击待评估的目标检测模型，得到针对所述每个对抗样本集中每个对抗样本的输出结果；/n根据与所述每个对抗样本集对应的阈值和所述对抗样本集中每个对抗样本的输出结果，确定所述每个对抗样本所对应的攻击是否成功，并统计所述对抗样本集的攻击成功率，其中，所述每个对抗样本集对应于不同的阈值；以及/n根据所述多个对抗样本集的攻击成功率，确定针对所述目标检测模型的鲁棒性评估参数。/n

【技术特征摘要】
1.一种评估目标检测模型的方法，包括：
分别利用多个对抗样本集中的每个对抗样本集攻击待评估的目标检测模型，得到针对所述每个对抗样本集中每个对抗样本的输出结果；
根据与所述每个对抗样本集对应的阈值和所述对抗样本集中每个对抗样本的输出结果，确定所述每个对抗样本所对应的攻击是否成功，并统计所述对抗样本集的攻击成功率，其中，所述每个对抗样本集对应于不同的阈值；以及
根据所述多个对抗样本集的攻击成功率，确定针对所述目标检测模型的鲁棒性评估参数。


2.根据权利要求1所述的方法，其中，所述目标检测模型用于输出预测框的位置数据、第一概率和第二概率，其中，所述第一概率用于表示预测框中包含任意目标的概率，所述第二概率用于表示预测框中包含特定目标的概率，
所述每个对抗样本集用于针对目标检测模型输出的预测框的位置数据、第一概率和第二概率中的任意一个或多个进行攻击。


3.根据权利要求2所述的方法，其中，对于所述多个对抗样本集中用于攻击预测框的位置数据的对抗样本集，针对该对抗样本集中每个对抗样本的输出结果包括所述目标检测模型针对该对抗样本输出的预测框的位置数据，与该对抗样本集对应的阈值包括交并比阈值；
其中，所述确定所述每个对抗样本所对应的攻击是否成功包括：
针对所述每个对抗样本：
获取与所述对抗样本对应的真实框的位置数据；
根据所述预测框的位置数据和所述真实框的位置数据，确定所述预测框与所述真实框之间的交并比；以及
在所述交并比小于所述交并比阈值的情况下，确定所述对抗样本所对应的攻击为成功。


4.根据权利要求2所述的方法，其中，对于所述多个对抗样本集中用于攻击第一概率的对抗样本集，针对该对抗样本集中每个对抗样本的输出结果包括所述目标检测模型针对该对抗样本输出的第一概率，与该对抗样本集对应的阈值包括第一概率阈值；
其中，所述确定所述每个对抗样本所对应的攻击是否成功包括：
针对所述每个对抗样本，在与所述对抗样本对应的第一概率小于第一概率阈值情况下，确定所述对抗样本所对应的攻击为成功。


5.根据权利要求2所述的方法，其中，对于所述多个对抗样本集中用于攻击第二概率的对抗样本集，针对该对抗样本集中每个对抗样本的输出结果包括所述目标检测模型针对该对抗样本输出的第二概率，与该对抗样本集对应的阈值包括第二概率阈值；
其中，所述确定所述每个对抗样本所对应的攻击是否成功包括：
针对所述每个对抗样本，在与所述对抗样本对应的第二概率小于第二概率阈值情况下，确定所述对抗样本所对应的攻击为成功。


6.根据权利要求2所述的方法，其中，所述分别利...

【专利技术属性】
技术研发人员：张欢，吴月升，王洋，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11