一种面向不平衡数据的联邦跨模态检索方法及系统技术方案

本发明专利技术提出了一种面向不平衡数据的联邦跨模态检索方法及系统，涉及联邦学习领域、跨模态检索领域，解决跨模态检索任务中数据非独立同分布带来的影响，基于训练后的全局跨模态检索模型，对待查询目标的查询样本进行编码，获得查询哈希码；对查询哈希码与检索数据集中的数据哈希码进行相似度计算，基于相似度，获得检索结果；全局跨模态检索模型是基于联邦学习训练得到的；本发明专利技术面向非独立同分布数据，通过将全局特征类别原型嵌入样本特征中丰富增强样本的特征表示；且充分利用监督学习标签的语义信息，使生成的哈希码更具有判别力和准确性；还提出一种新的服务器端加权平均本地模型参数的方法，有效提升跨设备情况下联邦跨模态检索模型的性能。态检索模型的性能。态检索模型的性能。

【技术实现步骤摘要】
一种面向不平衡数据的联邦跨模态检索方法及系统


[0001]本专利技术属于联邦学习领域、跨模态检索领域，尤其涉及一种面向不平衡数据的联邦跨模态检索方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]为满足日益严格的隐私保护要求，并避免传统的集中式机器学习中的隐私泄露问题，联邦学习应运而生；在联邦学习中，一系列本地设备在中央服务器的协调下协作训练机器学习模型，但同时联邦学习也存在挑战，由于各客户端间数据生成和采样方式存在差异，因此其本地数据是非独立同分布的，非独立同分布数据可能会在联邦学习训练过程中产生客户端模型偏移问题，导致全局模型的性能下降，甚至难以收敛。
[0004]在很大程度上，深度神经网络的成功依赖于大量的训练样本，但数据样本通常存储在不同的设备或机构上，将大量分布式的数据样本进行收集并进行集中式存储，不仅耗时和昂贵，并且违反了法律限制或隐私安全保护的要求；因此联邦学习作为一个分布式的机器学习框架，在保证各客户端的数据样本不离开本地的情况下，通过联合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向不平衡数据的联邦跨模态检索方法，其特征在于，包括：基于训练后的全局跨模态检索模型，对待查询目标的查询样本进行编码，获得查询哈希码；对所述查询哈希码与检索数据集中的数据哈希码进行相似度计算，基于所述相似度，获得检索结果；其中，所述全局跨模态检索模型是基于联邦学习训练得到的，在每一轮迭代训练中，基于上一轮输出的全局模型参数和全局特征类别原型，将全局特征类别原型嵌入到各客户端本地的样本特征，得到样本的增强特征，利用增强特征生成样本的哈希码，利用哈希码构建损失函数进行本轮训练；当参与训练的客户端都完成本轮迭代训练后，采用在服务器端加权平均本地模型参数的方法，得到下一轮的全局模型参数，并更新全局特征类别原型。2.如权利要求1所述的一种面向不平衡数据的联邦跨模态检索方法，其特征在于，所述全局跨模态检索模型，包括特征提取层、特征增强层、哈希层、分类层和原型计算层。3.如权利要求2所述的一种面向不平衡数据的联邦跨模态检索方法，其特征在于，所述特征提取层，用于各客户端基于上一轮训练后的全局模型参数，本地提取样本特征；对于图像模态，利用卷积神经网络来提取原始视觉特征，对于文本模态，利用两个全连接层提取原始文本特征。4.如权利要求2所述的一种面向不平衡数据的联邦跨模态检索方法，其特征在于，所述特征增强层，用于基于提取的样本特征和上一轮的全局特征类别原型，计算样本的增强特征，具体步骤为：将样本标签与全局特征类别原型相融合，得到富含全局记忆信息的记忆特征；引入一个自适应选择器，将样本特征与记忆特征相融合，得到样本的增强特征。5.如权利要求2所述的一种面向不平衡数据的联邦跨模态检索方法，其特征在于，所述分类层，以样本哈希码为输入，计算样本哈希码的分类...

【专利技术属性】
技术研发人员：罗昕，付婷，詹雨薇，许信顺，
申请(专利权)人：山东大学，
类型：发明
国别省市：