【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种基于环境颜色的数据融合方法、装置及电子设备。
技术介绍
1、深度学习技术在各领域中发挥着重要作用，但有研究表明，深度学习技术易受到对抗样本的攻击。对抗样本是指加入特定扰动噪声后的样本，该样本一方面可以躲避肉眼的察觉一方面可以误导深度网络模型。对抗攻击技术就是借助对抗样本可以误导神经网络模型这一特性而发展起来的攻击技术。
2、对抗攻击技术，从实用性角度出发，需要在物理世界中发挥攻击的作用，因此本文主要围绕物理世界的目标进行对抗攻击。在物理世界中，我们很难直接对智能检测系统的视觉传感器内部数据进行修改，故全局扰动在物理世界中几乎不可行，这里采用局部对抗扰动的形式。在实际应用中，基于单阶段网络的目标检测系统的应用更加普遍，因此本文主要针对单阶段网络进行攻击。
3、当前主流的基于局部区域对抗扰动的目标检测攻击方法，优化得到的对抗补丁尽管可以成功攻击目标检测系统，但对抗补丁颜色鲜艳且明显和周围环境不一致，对于人眼而言，十分显著，人眼可以很容易发现附着有对抗补丁的目标的异常，极易被人发现。
4、因此，如何优化现有的对抗补丁，可以和环境融为一体，防止人眼观测到异常，是一个需要解决的技术问题。
技术实现思路
1、为解决现有技术中现有对抗补丁交易被人眼观测到异常的技术问题，本专利技术的目的是提供一种基于环境颜色的数据融合方法、装置及电子设备。
2、为解决上述技术问题，第一方面，根据一些实施例，本专利技术提供了一种基于环
3、根据获取到的所述目标环境数据，获得对抗补丁的颜色空间数据；
4、将已训练好的无颜色空间约束的攻击性对抗纹理作为教师网络，将获得所述颜色空间数据转化为主色空间的对抗补丁，作为学生网络；
5、将所述教师网络和所述学生网络中对抗补丁分别应用到每个待攻击目标区域上，合并成一个张量；
6、将合并后的张量分别送入所述教师网络和所述学生网络各自目标检测方法中，将检测模型最后输出的类别，分别映射到待蒸馏的特征图上，将与待攻击目标相关的特征进行蒸馏；
7、基于蒸馏损失和对抗损失联合得到所述学生模型最终的损失函数,通过多轮迭代优化后得到与目标周围环境一致的攻击性对抗补丁模型；
8、根据所述攻击性对抗补丁模型，生成对抗过程中的控制数据。
9、可选的，作为其中一种实施例，所述根据获取到的所述目标环境数据，获得对抗补丁的颜色空间数据，具体包括：
10、获取目标所处环境图像数据的rgb颜色数据，将所述rgb颜色数据转换到lab颜色数据，对所述lab颜色空间数据进行色彩提取，选取比例最高的四种颜色，作为学生网络中所述对抗补丁的颜色空间数据。
11、可选的，作为其中一种实施例，所述获取目标所处环境图像数据的rgb颜色数据，具体包括：
12、对目标所处环境图像数据进行动态变换，模拟所述目标不同的运动状态，获得当前动态混色数据；
13、基于所述动态混色数据，确定所述目标所处环境图像数据的rgb颜色数据。
14、可选的，作为其中一种实施例，所述模拟所述目标不同的运动状态，具体包括：
15、根据所述目标不同的运动状态获得的所有数据，使用不同中值滤波得到不同模糊程度的图像，所述模糊程度的图像用于模拟所述目标不同的运动状态。
16、可选的，作为其中一种实施例，所述将所述rgb数据转换到lab颜色数据，具体包括：
17、将所述rgb颜色数据，转换到ciexyz颜色空间数据；
18、将所述xyz表色系统的ciexyz颜色空间数据，转换到所述lab颜色模型的(cielab)lab颜色数据。
19、可选的，作为其中一种实施例，所述将所述rgb颜色数据，转换到xyz表色系统的颜色空间数据，具体包括：
20、采用公式一进行转换：
21、
22、其中矩阵系数b，为cie委员会确定的标准转换系数，具体值如下：
23、
24、可选的，作为其中一种实施例，所述将所述xyz表色系统的ciexyz颜色空间数据，转换到所述lab颜色模型的lab颜色数据，具体包括：
25、采用公式二，将所述ciexyz颜色空间数据转换到cielab颜色空间数据：
26、
27、
28、
29、其中，函数f采用如下公式三：
30、
31、其中，xn、yn、zn表示白色参照光源的数值。
32、可选的，作为其中一种实施例，所述对所述lab空间数据进行色彩提取，具体包括：
33、采用基于密度的k-means聚类方法，对lab颜色空间进行聚类，公式五如下：
34、
35、其中，
36、其中ui表示点集si的质心，k表示聚类中心个数，|si|表示集合si的大小，τ表示集合大小的阈值，x表示lab颜色空间的图像。
37、可选的，作为其中一种实施例，所述ui表示点集si的质心，采用公式六确定：
38、
39、可选的，作为其中一种实施例，所述对lab颜色空间进行聚类，具体包括：
40、确定初始聚类中心：设置阈值，利用所述k-means方法,若第1次聚类后某一簇中数据量小于阈值则停止迭代并重新选取初始聚类中心；
41、聚类中心判定：计算得到的聚类中心与该簇中其他点的相似度dij值,若满足dij>0.9的点的个数超过该簇数据总量的25％,则判定为合格,若没有直接判定为不合格；
42、调整聚类中心：计算其所在簇内满足与其他点的相似度dij>0.9的点个数最多的点,并将该点作为一个新的聚类中心,满足上述条件的点作为这个新簇的成员点,计算平均值作为最终的聚类中心；
43、确定聚类中心：原来的旧簇去除掉所述调整聚类中心步骤所产生新簇的点,剩余的点构成一个新簇，用均值作为新的聚类中心,并重复所述聚类中心判定步骤及所述调整聚类中心步骤，阈值保持原有量不随之减少，直至没有新的簇产生时，确定为所述聚类中心,其余点作为噪声点抛出。
44、可选的，作为其中一种实施例，所述选取比例最高的四种颜色，作为学生网络中所述对抗补丁的颜色空间数据，具体包括：
45、根据聚类方式确定聚类颜色后，选取所述聚类颜色中颜色比例最高的前四种颜色，并将所述lab颜色数据转为rgb颜色数据，作为学生网络中对抗补丁优化的颜色空间cp。
46、可选的，作为其中一种实施例，所述将已训练好的无颜色空间约束的攻击性对抗纹理作为教师网络，将获得所述颜色空间数据转化为主色空间的对抗补丁，作为学生网络，具体包括：
47、在所述教师网络中，事先训练有全颜色空间下的对抗补丁，记为pteacher，所述教师网络的对抗补丁pteacher具有对抗本文档来自技高网...
【技术保护点】
1.一种基于环境颜色的数据融合方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据获取到的所述目标环境数据，获得对抗补丁的颜色空间数据，具体包括：
3.根据权利要求2所述的方法，其特征在于，所述获取目标所处环境图像数据的RGB颜色数据，具体包括：
4.根据权利要求3所述的方法，其特征在于，所述模拟所述目标不同的运动状态，具体包括：
5.根据权利要求2所述的方法，其特征在于，所述将所述RGB数据转换到LAB颜色数据，具体包括：
6.根据权利要求5所述的方法，其特征在于，所述将所述RGB颜色数据，转换到XYZ表色系统的颜色空间数据，具体包括：
7.根据权利要求5所述的方法，其特征在于，所述将所述XYZ表色系统的CIEXYZ颜色空间数据，转换到所述Lab颜色模型的LAB颜色数据，具体包括：
8.根据权利要求2所述的方法，其特征在于，所述对所述LAB颜色空间数据进行色彩提取，具体包括：
9.根据权利要求8所述的方法，其特征在于，所述ui表示点集Si的质心，采用公式六确定
10.根据权利要求8所述的方法，其特征在于，所述对LAB颜色空间进行聚类，具体包括：
11.根据权利要求2所述的方法，其特征在于，所述选取比例最高的四种颜色，作为学生网络中所述对抗补丁的颜色空间数据，具体包括：
12.根据权利要求1所述的方法，其特征在于，所述将已训练好的无颜色空间约束的攻击性对抗纹理作为教师网络，将获得所述颜色空间数据转化为主色空间的对抗补丁，作为学生网络，具体包括：
13.根据权利要求12所述的方法，其特征在于，所述基于该颜色概率分布PBstuaent，得到学生对抗补丁Pstudent，具体包括：
14.根据权利要求13所述的方法，其特征在于，所述argmax表示最大值的PBstudent(k，h，w)点集，获得方法包括：
15.根据权利要求14所述的方法，其特征在于，所述随机种子gi可以通过可逆变换采样方法等价表示，具体包括：
16.根据权利要求1所述的方法，其特征在于，所述将所述教师网络和所述学生网络中对抗补丁分别应用到每个待攻击目标区域上，合并成一个张量，具体包括：
17.根据权利要求16所述的方法，其特征在于，所述对所述学生网络和所述教师网络预处理，具体包括：
18.根据权利要求16所述的方法，其特征在于，所述对所述学生网络和所述教师网络的对抗补丁进行随机增强，具体包括：
19.根据权利要求16所述的方法，其特征在于，所述对所述学生网络和所述教师网络的对抗补丁进行随机增强，具体包括：
20.根据权利要求16所述的方法，其特征在于，所述对所述学生网络和所述教师网络的对抗补丁进行随机增强，具体包括：
21.根据权利要求16所述的方法，其特征在于，将所述随机增强作用到所述对抗纹理块上，具体包括：
22.根据权利要求21所述的方法，其特征在于，所述将所述随机增强作用到所述对抗纹理块上之后，还包括：
23.根据权利要求16所述的方法，其特征在于，所述生成用于随机旋转的角度θ，具体包括：
24.根据权利要求16所述的方法，其特征在于，所述进行缩放处理，具体包括：
25.根据权利要求1所述的方法，其特征在于，所述将合并后的张量分别送入所述教师网络和所述学生网络各自目标检测方法，将检测模型最后输出的类别，分别映射到待蒸馏的特征图上，将与待攻击目标相关的特征进行蒸馏，具体包括：
26.根据权利要求25所述的方法，其特征在于，所述特征提取器针对当前所述张量进行特征提取，具体包括：
27.根据权利要求25所述的方法，其特征在于，所述基于预先设置的先验框按照一定规则进行分类和回归，获得每个所述先验框的类别概率分布、前景概率分布和候选框位置，具体包括：
28.根据权利要求25所述的方法，其特征在于，所述基于特征蒸馏的方式，将检测模型最后输出的类别分别映射到待蒸馏的特征图空间尺度上，将与所述待攻击目标相关的特征进行蒸馏约束，具体包括：
29.根据权利要求1所述的方法，其特征在于，所述基于蒸馏损失和对抗损失联合得到所述学生模型最终的损失函数,通过多轮迭代优化后得到与目标周围环境一致的攻击性对抗补丁，具体包括：
30.根据权利要求29所述的方法，其特征在于，所述由联合损失函数的值计算得到学生网络对抗补丁的梯度值，具体包括：
31.根据权利要求30所述的方法，其特征在于，所述第一超参数α，...
【技术特征摘要】
1.一种基于环境颜色的数据融合方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据获取到的所述目标环境数据，获得对抗补丁的颜色空间数据，具体包括：
3.根据权利要求2所述的方法，其特征在于，所述获取目标所处环境图像数据的rgb颜色数据，具体包括：
4.根据权利要求3所述的方法，其特征在于，所述模拟所述目标不同的运动状态，具体包括：
5.根据权利要求2所述的方法，其特征在于，所述将所述rgb数据转换到lab颜色数据，具体包括：
6.根据权利要求5所述的方法，其特征在于，所述将所述rgb颜色数据，转换到xyz表色系统的颜色空间数据，具体包括：
7.根据权利要求5所述的方法，其特征在于，所述将所述xyz表色系统的ciexyz颜色空间数据，转换到所述lab颜色模型的lab颜色数据，具体包括：
8.根据权利要求2所述的方法，其特征在于，所述对所述lab颜色空间数据进行色彩提取，具体包括：
9.根据权利要求8所述的方法，其特征在于，所述ui表示点集si的质心，采用公式六确定：
10.根据权利要求8所述的方法，其特征在于，所述对lab颜色空间进行聚类，具体包括：
11.根据权利要求2所述的方法，其特征在于，所述选取比例最高的四种颜色，作为学生网络中所述对抗补丁的颜色空间数据，具体包括：
12.根据权利要求1所述的方法，其特征在于，所述将已训练好的无颜色空间约束的攻击性对抗纹理作为教师网络，将获得所述颜色空间数据转化为主色空间的对抗补丁，作为学生网络，具体包括：
13.根据权利要求12所述的方法，其特征在于，所述基于该颜色概率分布pbstuaent，得到学生对抗补丁pstudent，具体包括：
14.根据权利要求13所述的方法，其特征在于，所述argmax表示最大值的pbstudent(k，h，w)点集，获得方法包括：
15.根据权利要求14所述的方法，其特征在于，所述随机种子gi可以通过可逆变换采样方法等价表示，具体包括：
16.根据权利要求1所述的方法，其特征在于，所述将所述教师网络和所述学生网络中对抗补丁分别应用到每个待攻击目标区域上，合并成一个张量，具体包括：
17.根据权利要求16所述的方法，其特征在于，所述对所述学生网络和所述教师网络预处理，具体包括：
18.根据权利要求16所述的方法，其特征在于，所述对所述学生网络和所述教师网络的对抗补丁进行随机增强，具体包括：
19.根据权利要求16所述的方法，其特征在于，所述对所述学生网络和所述教师网络的对抗补丁进行随...
【专利技术属性】
技术研发人员：吴永林，晏焕钱，张磊，苏航，朱军，
申请(专利权)人：启元实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。