【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种模型优化方法、装置、电子设备、存储介质及产品。
技术介绍
1、随着深度学习技术的发展，深度神经网络在计算机视觉、自然语言处理和许多其他应用领域取得了重大进展，并广泛应用于自动驾驶、图片生成、医学诊疗等多种场景中。由于部署期间的无标签目标域数据通常与用于训练的有标签源域数据分布不一致，源域提供的模型在部署时性能大幅度降低，因此模型自适应任务被广泛研究以提高跨域的模型性能。
2、模型自适应任务限制目标域用户在不接触源域数据的条件下仅使用预训练模型来提升其在目标域的性能。与之前被广泛研究的无监督领域适应相比，模型自适应作为一种新的范式，保护了源域数据的隐私，并且节省了数据传输与存储的开销，甚至可以取得与无监督领域适应相近的性能，并得到越来越多的关注与研究，并在各种任务中广泛部署，例如图像分类、语义分割、目标检测、多模态学习等，在训练数据规模不断增加的时代，是一种高效实用的方法。
3、在模型自适应任务现存的方法中，目标用户通常是无条件信任源域提供的预训练模型，但是这是一个很危险的行为。用户使用源域预训练模型进行自适应得到的目标域模型很容易被攻击。因为源域提供者可以在训练模型时掌握的先验信息向以其为初始化的目标域模型发起攻击，常见的模型攻击方式有通用对抗扰动与后门攻击等。通用对抗扰动在已有的模型上，计算出一个可以使得数据集中多数图像的预测发生改变的扰动，作为通用对抗扰动，在目标域模型发布后，源域提供者可以利用叠加该扰动使得目标域模型预测错误。后门攻击则是在模型训练时在训练数据中掺
4、由于模型在迁移时的安全问题在实际部署中十分重要，所以近年来陆续一些防御方法被提出。针对对抗攻击，经典的防御方法利用训练集的对抗样本增强训练集进行训练，提高了模型的鲁棒性。针对后门攻击，也有一些基于模型剪枝、模型微调、知识蒸馏等方法被提出，或者进行后门样本检测从而拒绝一些查询。但是上述的方法都是在有监督的框架下进行防御的，在其部署过程中需要一些有标注的训练数据，因此不直接适用于模型自适应任务。
技术实现思路
1、本专利技术提供一种模型优化方法、装置、电子设备、存储介质及产品，用以解决现有技术中都是在有监督的框架下进行防御的，在其部署过程中需要一些有标注的训练数据，因此不直接适用于模型自适应任务的缺陷。
2、本专利技术提供一种模型优化方法，包括：
3、将未携带标签的目标域数据输入教师模型，得到所述教师模型的第一输出；其中，所述教师模型是基于携带有标签的源域数据训练得到的源域模型；
4、将伪对抗样本和所述目标域数据输入预设学生模型，得到所述预设学生模型的第二输出；其中，所述伪对抗样本是根据未携带标签的目标域数据和所述预设学生模型确定的；
5、基于所述第一输出和所述第二输出，确定所述预设学生模型的训练目标；
6、基于所述目标域数据、所述伪对抗样本和所述训练目标对所述预设学生模型进行训练，在满足预设训练条件的情况下，得到训练好的学生模型；
7、基于所述训练好的学生模型和所述源域模型进行模型自适应处理。
8、根据本专利技术提供的一种模型优化方法，在所述将伪对抗样本和所述目标域数据输入所述预设学生模型，得到所述预设学生模型的第二输出的步骤之前，还包括：
9、利用预设学生模型对所述目标域数据进行分析，计算得到所述目标域数据对应伪标签；
10、根据所述伪标签计算所述目标域数据在所述预设学生模型上的伪对抗样本。
11、根据本专利技术提供的一种模型优化方法，根据所述伪标签计算所述目标域数据在所述预设学生模型上的伪对抗样本，包括：
12、利用伪标签计算所述目标域数据对于所述学生模型的交叉熵损失函数；
13、最大化所述交叉熵损失函数，并在各个所述目标域数据中找到使所述交叉熵损失函数最大化的目标域数据作为伪对抗样本。
14、根据本专利技术提供的一种模型优化方法，基于所述目标域数据、所述伪对抗样本和所述训练目标对所述预设学生模型进行训练，在满足预设训练条件的情况下，得到训练好的学生模型，包括：
15、将所述目标域数据输入到所述预设学生模型，输出所述目标域数据对应的模型输出；
16、分别计算所述模型输出和所述伪对抗样本与所述训练目标之间的第一kullback–leibler散度与第二kullback–leibler散度，优化所述预设学生模型，使所述第一kullback–leibler散度与第二kullback–leibler散度之和最小化；
17、在第一kullback–leibler散度与第二kullback–leibler散度之和小于预设阈值的情况下，停止训练，得到训练好的学生模型。
18、根据本专利技术提供的一种模型优化方法，基于所述训练好的学生模型和所述源域模型进行模型自适应处理，包括：
19、将所述训练好的学生模型作为所述源域模型自适应的初始化模型，进行模型自适应处理，得到自适应处理后的源域模型。
20、本专利技术还提供一种模型优化装置，包括：
21、第一输入模块，用于将未携带标签的目标域数据输入教师模型，得到所述教师模型的第一输出；其中，所述教师模型是基于携带有标签的源域数据训练得到的源域模型；
22、第二输入模块，用于将伪对抗样本和所述目标域数据输入预设学生模型，得到所述预设学生模型的第二输出；其中，所述伪对抗样本是根据未携带标签的目标域数据和所述预设学生模型确定的；
23、确定模块，用于基于所述第一输出和所述第二输出，确定所述预设学生模型的训练目标；
24、训练模块，用于基于所述目标域数据、所述伪对抗样本和所述训练目标对所述预设学生模型进行训练，在满足预设训练条件的情况下，得到训练好的学生模型；
25、自适应模块，用于基于所述训练好的学生模型和所述源域模型进行模型自适应处理。
26、根据本专利技术提供的一种模型优化装置，所述装置还用于：
27、利用预设学生模型对所述目标域数据进行分析，计算得到所述目标域数据对应伪标签；
28、根据所述伪标签计算所述目标域数据在所述预设学生模型上的伪对抗样本。
29、根据本专利技术提供的一种模型优化装置，所述装置还用于：
30、利用伪标签计算所述目标域数据对于所述学生模型的交叉熵损失函数；
31、最大化所述交叉熵损失函数，并在各个所述目标域本文档来自技高网...
【技术保护点】
1.一种模型优化方法，其特征在于，包括：
2.根据权利要求1所述的模型优化方法，其特征在于，在所述将伪对抗样本和所述目标域数据输入所述预设学生模型，得到所述预设学生模型的第二输出的步骤之前，还包括：
3.根据权利要求2所述的模型优化方法，其特征在于，根据所述伪标签计算所述目标域数据在所述预设学生模型上的伪对抗样本，包括：
4.根据权利要求1所述的模型优化方法，其特征在于，基于所述目标域数据、所述伪对抗样本和所述训练目标对所述预设学生模型进行训练，在满足预设训练条件的情况下，得到训练好的学生模型，包括：
5.根据权利要求1所述的模型优化方法，其特征在于，基于所述训练好的学生模型和所述源域模型进行模型自适应处理，包括：
6.一种模型优化装置，其特征在于，包括：
7.根据权利要求6所述的模型优化装置，其特征在于，所述装置还用于：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述模型优化方法。p>
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述模型优化方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述模型优化方法。
...【技术特征摘要】
1.一种模型优化方法，其特征在于，包括：
2.根据权利要求1所述的模型优化方法，其特征在于，在所述将伪对抗样本和所述目标域数据输入所述预设学生模型，得到所述预设学生模型的第二输出的步骤之前，还包括：
3.根据权利要求2所述的模型优化方法，其特征在于，根据所述伪标签计算所述目标域数据在所述预设学生模型上的伪对抗样本，包括：
4.根据权利要求1所述的模型优化方法，其特征在于，基于所述目标域数据、所述伪对抗样本和所述训练目标对所述预设学生模型进行训练，在满足预设训练条件的情况下，得到训练好的学生模型，包括：
5.根据权利要求1所述的模型优化方法，其特征在于，基于所述训练好的学生模型和所述源域模...
【专利技术属性】
技术研发人员：梁坚，生力军，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。