【技术实现步骤摘要】
本专利技术涉及数据交易,尤其涉及一种基于多约束无监督联邦知识蒸馏的数据交易方法。
技术介绍
1、在数据交易
,尤其是涉及图像数据的交易场景中,数据的隐私保护和高效利用一直是亟待解决的关键问题。基于联邦学习的方法直接交易模型而非数据可避免输出传输造成的数据泄露,然而不同的局部模型存在模型异构性,如何在数据交易过程中整合不同架构的模型是需要解决的关键问题。知识蒸馏是一种模型优化与知识迁移方法,可以将知识转移至架构不同的学生模型中,为数据交易提供了新的可能。然而,传统的知识蒸馏方法在数据交易应用中存在显著缺陷。其大多仅关注模型输出概率分布的相似性,这种单一的约束方式过于简单,难以充分挖掘图像数据中的复杂特征信息。图像数据包含丰富的纹理、形状、颜色等特征,仅依靠输出概率分布约束,学生模型无法全面学习到教师模型中的关键知识,模型的准确率和泛化能力欠佳。例如,在医疗图像诊断的数据交易场景中,单一约束的知识蒸馏模型可能无法准确识别一些罕见病症的图像特征,从而影响诊断的准确性。此外,当涉及多个数据持有方(即多教师模型场景)时,如何有效整合多个教师 ...
【技术保护点】
1.基于多约束无监督联邦知识蒸馏的数据交易方法,其特征在于,包括如下步骤:
2.根据权利要求1所述方法,其特征在于,所述知识蒸馏,具体为:使用Adam算法对学生模型的参数进行更新,以最小化总损失函数,更新过程如下:
3.根据权利要求1所述方法,其特征在于,所述总损失函数为:
4.根据权利要求3所述方法,其特征在于,所述logit损失计算方法如下:
5.根据权利要求3所述方法,其特征在于,所述批量级别的统计损失计算方法如下:
6.根据权利要求5所述方法,其特征在于,所述一阶特征均值,二阶特征方差,三阶特征偏度和
...【技术特征摘要】
1.基于多约束无监督联邦知识蒸馏的数据交易方法,其特征在于,包括如下步骤:
2.根据权利要求1所述方法,其特征在于,所述知识蒸馏,具体为:使用adam算法对学生模型的参数进行更新,以最小化总损失函数,更新过程如下:
3.根据权利要求1所述方法,其特征在于,所述总损失函数为:
4.根据权利要求3所述...
【专利技术属性】
技术研发人员:宋梓硕,王鹏飞,王振伟,王熙涵,赵明姝,
申请(专利权)人:大连理工大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。