【技术实现步骤摘要】
本专利技术涉及多模态学习和隐私保护领域，具体为一种面向多模态学习的自适应差分隐私预算调整方法。
技术介绍
1、多模态学习以其对复杂任务的适应性，被广泛应用于自动驾驶、医疗诊断、情感识别、机器人等领域，成为人工智能发展的重点。但在多模态学习模型的实际训练中，不同模态在特征尺度、表示方法和数据分布上存在差异，往往导致在多模态学习过程中处理这些差异时面临着挑战。
2、尽管多模态学习提供了显著的优势，但它也继承了与单个模态相关的隐私风险，例如成员推理攻击和属性推理攻击。研究人员发现，执行情感分析的多模态模型可能会无意中暴露用户的隐私信息，如性别、年龄和种族。此外，攻击者可以利用模态之间的关系将一种模态中的漏洞与其他模态联系起来，从而提取更多的隐私信息。因此，有效的多模态学习隐私保护措施对于降低这些潜在的信息泄露风险至关重要。
3、目前的多模态学习隐私保护方法主要包括两类：一类是基于对抗学习的多模态隐私保护方法，生成脱敏后的数据来代替原始数据，从而保护原始数据的隐私。另一类是基于差分隐私的多模态隐私保护，通过多模态表示学习...
【技术保护点】
1.一种面向多模态学习的自适应差分隐私预算调整方法，其特征在于，包括：
2.根据权利要求1所述面向多模态学习的自适应差分隐私预算调整方法，其特征在于，所述步骤S101，分别利用第一模态XA和第二模态XB的特征编码器fA和fB，对各自模态的数据进行编码，提取得到对应的特征向量EA＝fA(XA)和EB＝fB(XB)。
3.根据权利要求2所述面向多模态学习的自适应差分隐私预算调整方法，其特征在于，所述步骤S102，所述模态相关性p的计算公式为：
4.根据权利要求3所述面向多模态学习的自适应差分隐私预算调整方法，其特征在于，所述步骤104，...
【技术特征摘要】
1.一种面向多模态学习的自适应差分隐私预算调整方法，其特征在于，包括：
2.根据权利要求1所述面向多模态学习的自适应差分隐私预算调整方法，其特征在于，所述步骤s101，分别利用第一模态xa和第二模态xb的特征编码器fa和fb，对各自模态的数据进行编码，提取得到对应的特征向量ea＝fa(xa)和eb＝fb(xb)。
3.根据权利要求2所述面向多模态学习的自适应差分隐私预算调整方法，其特征在于，所述步骤s102，所述模态相关性p的计算公式为：
4.根据权利要求3所述面向多模态学习的自适应差分隐私预算调整方法，其特征在于，所述步骤104，分别对第一模态xa、第二模态xb和融合后的多模态进行下游任务的预测，得到预测标签和其中ga和gb是下游任务的分类器。
5.根据权利要求4所述面向多模态学习的自适应差分隐私预算调整方法，其特征在于，所述步骤s105，所述贡献比ra和rb的计算公式为：
【专利技术属性】
技术研发人员：孙哲，杨志，殷丽华，李超，周少鹏，黄尧炜，杨舒童，李泽旋，廖晓彤，
申请(专利权)人：广州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。