基于多约束无监督联邦知识蒸馏的数据交易方法技术

技术编号:46427172 阅读:3 留言:0更新日期:2025-09-19 20:34
本发明专利技术提出基于多约束无监督联邦知识蒸馏的数据交易方法,通过构建多种约束条件,logit一致性、批量统计特征和信息熵约束,在确保图像数据隐私的前提下,实现多个教师模型向学生模型高效、精准的知识迁移,且批量级别的统计约束让模型在处理不同批次图像数据时更稳定。此外,数据持有方仅上传训练好的模型参数,不用共享原始图像数据,保障了数据隐私。增强学生模型在图像任务中的性能,解决传统知识蒸馏在图像数据交易中知识传递不充分、模型稳定性差以及多教师知识整合困难的问题,具有较好的应用前景。

【技术实现步骤摘要】

本专利技术涉及数据交易,尤其涉及一种基于多约束无监督联邦知识蒸馏的数据交易方法


技术介绍

1、在数据交易
,尤其是涉及图像数据的交易场景中,数据的隐私保护和高效利用一直是亟待解决的关键问题。基于联邦学习的方法直接交易模型而非数据可避免输出传输造成的数据泄露,然而不同的局部模型存在模型异构性,如何在数据交易过程中整合不同架构的模型是需要解决的关键问题。知识蒸馏是一种模型优化与知识迁移方法,可以将知识转移至架构不同的学生模型中,为数据交易提供了新的可能。然而,传统的知识蒸馏方法在数据交易应用中存在显著缺陷。其大多仅关注模型输出概率分布的相似性,这种单一的约束方式过于简单,难以充分挖掘图像数据中的复杂特征信息。图像数据包含丰富的纹理、形状、颜色等特征,仅依靠输出概率分布约束,学生模型无法全面学习到教师模型中的关键知识,模型的准确率和泛化能力欠佳。例如,在医疗图像诊断的数据交易场景中,单一约束的知识蒸馏模型可能无法准确识别一些罕见病症的图像特征,从而影响诊断的准确性。此外,当涉及多个数据持有方(即多教师模型场景)时,如何有效整合多个教师模型的知识进行蒸馏,本文档来自技高网...

【技术保护点】

1.基于多约束无监督联邦知识蒸馏的数据交易方法,其特征在于,包括如下步骤:

2.根据权利要求1所述方法,其特征在于,所述知识蒸馏,具体为:使用Adam算法对学生模型的参数进行更新,以最小化总损失函数,更新过程如下:

3.根据权利要求1所述方法,其特征在于,所述总损失函数为:

4.根据权利要求3所述方法,其特征在于,所述logit损失计算方法如下:

5.根据权利要求3所述方法,其特征在于,所述批量级别的统计损失计算方法如下:

6.根据权利要求5所述方法,其特征在于,所述一阶特征均值,二阶特征方差,三阶特征偏度和四阶特征峰度为:...

【技术特征摘要】

1.基于多约束无监督联邦知识蒸馏的数据交易方法,其特征在于,包括如下步骤:

2.根据权利要求1所述方法,其特征在于,所述知识蒸馏,具体为:使用adam算法对学生模型的参数进行更新,以最小化总损失函数,更新过程如下:

3.根据权利要求1所述方法,其特征在于,所述总损失函数为:

4.根据权利要求3所述...

【专利技术属性】
技术研发人员:宋梓硕王鹏飞王振伟王熙涵赵明姝
申请(专利权)人:大连理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1