一种模型鲁棒性评测方法、相关装置、系统及存储介质制造方法及图纸

本申请涉及人工智能安全技术领域，提供模型鲁棒性评测方法、相关装置、系统及存储介质。方法包括：从图像采集装置获取待识别图像，待识别图像是图像采集装置对第二用户进行拍摄得到的，第二用户佩戴具有柔性屏的可穿戴设备，柔性屏上显示第一用户的目标扰动图案，目标扰动图案与目标位置序列对应，目标位置序列用于指示目标扰动图案在柔性屏上的显示区域；根据待识别图像，对图像识别模型进行鲁棒性评测。本申请中可以不受打印速度的影响，快速或实时获取第一用户的目标扰动图案，将其显示在柔性屏上。同时避免打印机无法将数字世界的扰动图案完全还原到物理世界，而对攻击成功率造成的影响，结合两方面提升对图像识别模型鲁棒性的评测效率。性的评测效率。性的评测效率。

【技术实现步骤摘要】
一种模型鲁棒性评测方法、相关装置、系统及存储介质


[0001]本申请实施例涉及人工智能安全
，尤其涉及一种模型鲁棒性评测方法、相关装置、系统及存储介质。

技术介绍

[0002]对抗样本，是指在数据集中通过特意添加干扰所形成的输入样本。将对抗样本输入到图像识别模型中，通常会引发图像识别模型出错。一般情况下，只需要在数据集中的数据上添加微小的扰动，就能让处理后的数据以很高的置信度被错误分类，甚至能让处理后的数据被分到一个指定的类别。进而，可以采用对抗样本来对深度学习图像识别模型进行攻击，以检测其安全性。
[0003]在对现有技术的研究和实践过程中，本申请的专利技术人发现，目前在利用对抗样本攻击图像识别模型，以对图像识别模型进行鲁棒性评测时，通常需要打印特定形式的物理扰动图案，以将扰动图案从数字世界转移到现实世界。使用基于打印出的物理扰动图案构建的对抗样本，对图像识别模型进行鲁棒性评测。
[0004]然而，由于物理扰动图案需要通过打印的方式制作出来，导致现有技术中，基于物理扰动图案对图像识别模型进行鲁棒性评测的效率受到打印效率的影响，具有效率低的缺点。

技术实现思路

[0005]为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种模型鲁棒性评测方法、相关装置、系统及存储介质。
[0006]第一方面：本申请实施例从图像识别装置角度介绍提供一种模型鲁棒性评测方法，该方法包括：
[0007]从图像采集装置获取待识别图像，所述待识别图像是所述图像采集装置对第二用户进行拍摄得到的，所述第二用户佩戴具有柔性屏的可穿戴设备，所述柔性屏上显示第一用户的目标扰动图案，所述目标扰动图案与目标位置序列对应，所述目标位置序列用于指示所述目标扰动图案在柔性屏上的显示区域；
[0008]根据所述待识别图像，对图像识别模型进行鲁棒性评测，所述待识别图像为目标对抗样本。
[0009]第二方面：本申请实施例从图像处理装置角度介绍一种扰动图案处理方法，该方法包括：
[0010]生成目标扰动图案，所述目标扰动图案对应至少一个第一用户；
[0011]根据所述目标扰动图案和柔性屏上各个子块的位置信息，生成所述目标扰动图案对应的目标位置序列，所述目标位置序列用于表征所述目标扰动图案的各个像素点与所述柔性屏上各个子块的对应关系；
[0012]向具有柔性屏的至少一个可穿戴设备，发送所述目标扰动图案和所述目标位置序
列，所述目标扰动图案用于显示在可穿戴设备的柔性屏上，以及用于生成目标对抗样本，所述目标对抗样本用于对图像识别模型进行鲁棒性评测。
[0013]第三方面：本申请实施例从可穿戴设备或对抗样本生成装置角度介绍一种对抗样本生成方法，该方法包括：
[0014]从图像处理装置获取第一用户的目标扰动图案和目标位置序列，所述目标位置序列用于指示所述目标扰动图案在柔性屏上的显示区域；
[0015]根据所述目标位置序列，在所述可穿戴设备的柔性屏上显示所述目标扰动图案，生成目标对抗样本，所述目标对抗样本用于对图像识别模型的鲁棒性进行评测。
[0016]第四方面：本申请实施例提供一种模型鲁棒性评测系统，包括至少一个图像处理装置、至少一个具有柔性屏的可穿戴设备、至少一个图像采集装置以及至少一个图像识别装置；
[0017]所述图像处理装置，用于生成目标扰动图案，所述目标扰动图案对应至少一个第一用户；根据所述目标扰动图案和柔性屏上各个子块的位置信息，生成所述目标扰动图案对应的目标位置序列，所述目标位置序列用于指示所述目标扰动图案在柔性屏上的显示区域；向具有柔性屏的至少一个可穿戴设备，发送所述目标扰动图案和所述目标位置序列；
[0018]所述可穿戴设备，用于从图像处理装置获取第一用户的目标扰动图案和目标位置序列；根据所述目标位置序列，在所述可穿戴设备的柔性屏上显示所述目标扰动图案；
[0019]所述图像采集装置，用于对第二用户进行拍摄，获得待识别图像，所述第二用户佩戴具有柔性屏的可穿戴设备；向图像识别装置发送所述待识别图像；
[0020]所述图像识别装置，用于从图像采集装置获取待识别图像；根据所述待识别图像，对图像识别模型的鲁棒性进行评测，所述待识别图像为目标对抗样本。
[0021]在一种可能的实现方式中，所述图像处理装置用于执行上述第二方面、及第二方面的任一种可能的实现方式中任一项所述的方法。
[0022]在一种可能的实现方式中，所述可穿戴设备用于执行上述第三方面中任一项所述的方法，或者执行上述第二方面中任一项由图像处理装置执行的方法。
[0023]第五方面：本申请实施例提供一种图像识别装置，包括：
[0024]输入输出单元，用于从图像采集装置获取待识别图像，所述待识别图像是所述图像采集装置对第二用户进行拍摄得到的，所述第二用户佩戴具有柔性屏的可穿戴设备，所述柔性屏上显示第一用户的目标扰动图案，所述目标扰动图案与目标位置序列对应，所述目标位置序列用于指示所述目标扰动图案在柔性屏上的显示区域；
[0025]处理单元，用于根据所述待识别图像，对图像识别模型进行鲁棒性评测，所述待识别图像为目标对抗样本。
[0026]第六方面：本申请实施例提供一种扰动图案处理装置，包括：
[0027]处理单元，用于生成目标扰动图案，所述目标扰动图案对应至少一个第一用户；
[0028]以及根据所述目标扰动图案和柔性屏上各个子块的位置信息，生成所述目标扰动图案对应的目标位置序列，所述目标位置序列用于表征所述目标扰动图案的各个像素点与所述柔性屏上各个子块的对应关系；
[0029]输入输出单元，用于向具有柔性屏的至少一个可穿戴设备，发送所述目标扰动图案和所述目标位置序列，所述目标扰动图案用于显示在可穿戴设备的柔性屏上，以及用于
生成目标对抗样本，所述目标对抗样本用于对图像识别模型进行鲁棒性评测。
[0030]第七方面：本申请实施例提供一种对抗样本生成装置，包括：
[0031]输入输出单元，用于从图像处理装置获取第一用户的目标扰动图案和目标位置序列，所述目标位置序列用于指示所述目标扰动图案在柔性屏上的显示区域；
[0032]处理单元，用于根据所述目标位置序列，在所述可穿戴设备的柔性屏上显示所述目标扰动图案，生成目标对抗样本，所述目标对抗样本用于对图像识别模型的鲁棒性进行评测。
[0033]第八方面：本申请实施例提供一种可穿戴设备，包括：
[0034]至少一个柔性显示屏、收发器、处理器；所述柔性显示屏包括多个子块；
[0035]所述收发器，用于接收图像处理装置发送的目标扰动图案和目标位置序列，所述目标扰动图案对应至少一个第一用户，目标位置序列用于指示所述目标扰动图案在柔性屏上的显示区域；
[0036]所述处理器，用于对目标扰动图案进行处理，根据目标位置序列向所述多个子块中的目标子块发送显示指令；
[0037]各目标子块，用于根据显示指令显示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型鲁棒性评测方法，其特征在于，包括：从图像采集装置获取待识别图像，所述待识别图像是所述图像采集装置对第二用户进行拍摄得到的，所述第二用户佩戴具有柔性屏的可穿戴设备，所述柔性屏上显示第一用户的目标扰动图案，所述目标扰动图案与目标位置序列对应，所述目标位置序列用于指示所述目标扰动图案在柔性屏上的显示区域；根据所述待识别图像，对图像识别模型进行鲁棒性评测，所述待识别图像为目标对抗样本。2.根据权利要求1所述的方法，其特征在于，所述从图像采集装置获取待识别图像，包括：在第一目标时长内，从图像采集装置获取至少一个待识别图像，所述至少一个待识别图像满足以下条件中的至少一项：所述至少一个待识别图像对应至少一个第一用户；或，所述至少一个待识别图像来源于至少一个可穿戴设备。3.根据权利要求2所述的方法，其特征在于，所述第一目标时长包括第一时段和第二时段，所述第一时段的结束时刻先于所述第二时段的起始时刻，所述待识别图像包括第一图像和第二图像，所述方法包括：在所述第一时段内，从图像采集装置获取第一图像，以对所述第一图像进行识别；在所述第二时段内，从图像采集装置获取第二图像，以对所述第二图像进行识别；所述第一图像和所述第二图像满足：同一个第一用户，对应同一个第一用户的目标扰动图案；或者，不同的第一用户，对应不同的第一用户的目标扰动图案；所述第一图像的第一扰动图案与第一位置序列对应，所述第一位置序列用于指示所述第一图像的第一扰动图案在柔性屏上的显示区域；所述第二图像的第二扰动图案与第二位置序列对应，所述第二位置序列用于指示所述第二图像的第二扰动图案在柔性屏上的显示区域。4.一种扰动图案处理方法，其特征在于，包括：生成目标扰动图案，所述目标扰动图案对应至少一个第一用户；根据所述目标扰动图案和柔性屏上各个子块的位置信息，生成所述目标扰动图案对应的目标位置序列，所述目标位置序列用于表征所述目标扰动图案的各个像素点与所述柔性屏上各个子块的对应关系；向具有柔性屏的至少一个可穿戴设备，发送所述目标扰动图案和所述目标位置序列，所述目标扰动图案用于显示在可穿戴设备的柔性屏上，以及用于生成目标对抗样本，所述目标对抗样本用于对图像识别模型进行鲁棒性评测。5.根据权利要求4所述的方法，其特征在于，所述生成目标扰动图案，包括：在第二目标时长内，动态的生成多个目标扰动图案，所述多个目标扰动图案对应至少一个第一用户，以及用于对至少一个图像识别模型进行鲁棒性评测。6.根据权利要求5所述的方法，其特征在于，所述第二目标时长包括第三时段和第四时段，所述第三时段的结束时刻先于所述第四时段的起始时刻，多个目标扰动图案包括第一扰动图案和第二扰动图案，所述向具有柔性屏的至少一个可穿戴设备，发送所述目标扰动
图案和所述目标位置序列，包括：在所述第三时段内，向具有柔性屏的至少一个可穿戴设备，发送第一扰动图案和第一位置序列；在所述第四时段内，向具有柔性屏的至少一个可穿戴设备，发送第二扰动图案和第二位置序列；所述第一扰动图案和所述第二扰动图案满足：对应同一个第一用户；或者对应不同的第一用户；所述第一扰动图案与所述第一位置序列对应，所述第一位置序列用于指示所述第一扰动图案在可穿戴设备的柔性屏上的显示区域；所述第二扰动图案与第二位置序列对应，所述第二位置序列用于指示所述第二扰动图案在可穿戴设备的柔性屏上的显示区域。7.根据权利要求4所述的方法，其特征在于，所述生成目标扰动图案，包括：响应于生成指令，生成目标扰动图案，所述生成指令是基于语音输入、按键输入、手势输入、脚本中的运行逻辑、第三方指令以及触控输入中的一项或多项生成的指令。8.根据权利要求7所述的方法，其特征在于，所述生成指令中包括可穿戴设备的形状或尺寸中的至少一项，所述响应于生成指令，生成目标扰动图案，包括：响应于生成指令，生成与所述可穿戴设备的形状或尺寸中的至少一项对应的目标扰动图案。9.根据权利要求4所述的方法，其特征在于，所述根据所述目标扰动图案和柔性屏上各个子块的位置信息，生成所述目标扰动图案对应的目标位置序列包括：根据所述目标扰动图案和柔性屏上各个子...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：北京瑞莱智慧科技有限公司，
类型：发明
国别省市：