【技术实现步骤摘要】
本专利技术涉及联邦学习及跨模态检索，具体地说是一种基于原型隐私加密的联邦跨模态哈希检索方法、系统、介质及设备。
技术介绍
1、随着图像、文本和音频等多模态数据类型不断丰富，信息检索技术不再仅限于单模态。跨模态检索旨在利用一种模态数据检索另一种模态的相关数据，打破了传统检索技术只能在同一种模态内检索的局限性，更符合人们日益多样化的检索需求。此外，面对海量高纬度多模态数据，如何提高检索速度以及如何减少数据存储消耗是目前跨模态检索面临的两个重要问题，通过哈希技术将高纬度多模态数据编码为哈希码，在保留不同模态数据之间的语义相似性的同时，显著降低检索数据的存储空间消耗加快检索过程，因此跨模态哈希成为支持大规模跨模态检索的关键技术。
2、大规模多模态数据的隐私性和多源异构性给传统的集中式跨模态检索带来了极大的挑战，在跨模态检索任务中提高模型的隐私保护能力成为研究者们关注的焦点。实际应用中的许多多模态数据是高度敏感且多源异构的，这导致实际应用中的多媒体数据很难集中收集。例如，医院大量高度敏感的医学影像和诊断报告通常由不同的临床部门收集和维护，只有在征得患者同意的情况下才能供研究人员使用。
3、近年来，基于联邦学习架构模型已被应用于跨模态哈希检索系统，其中，基于原型架构的方法分别通过联邦学习过程的服务器和客户端生成全局原型和局部原型，并通过全局原型和局部原型的交互保障联邦学习过程中数据的隐私安全。但这种方法无法有效的保障数据的安全性，攻击者仍然有可能分析这些原型并可能推断出敏感信息，从而导致隐私泄露。
4、故
技术实现思路
1、本专利技术的技术任务是提供一种基于原型隐私加密的联邦跨模态哈希检索方法、系统、介质及设备，来解决如何在联邦跨模态哈希检索过程中有效地保障数据的隐私性和安全性，避免隐私泄露的问题。
2、本专利技术的技术任务是按以下方式实现的，一种基于原型隐私加密的联邦跨模态哈希检索方法，该方法具体如下：
3、构建数据集：获取并整理图像模态和文本模态的公共数据集，将每个公共数据集划分为训练集、测试集和检索集，并组合生成最终数据集；
4、深度特征提取：通过预训练模型分别对图像模态和文本模态的公共数据集的原始数据进行特征提取，获取图像模态深度特征和文本模态深度特征，图像模态深度特征和文本模态深度特征用于反应模态数据的语义；
5、构建联邦跨模态哈希检索模型：利用神经网络和深度学习方法构建基于原型隐私加密的联邦跨模态哈希检索模型；具体如下：
6、原型隐私安全对称加密：以图像模态深度特征和文本模态深度特征作为输入，在联邦学习过程中生成原型信息，确保信息交换和模型参数更新的过程中隐私信息不会被泄露，输出解密全局原型；
7、个性化知识保存：以客户端模态初始参数作为输入，经过更新超网络部分和判断超网络扩展部分获取更新的参数，根据更新的参数与输入参数计算差值，最终输出更新参数，实现对先前获得知识的有效保存和适应新数据的能力，并缓解超网络个性化参数的灾难性遗忘；
8、哈希检索查询：通过客户端生成的哈希码进行检索查询，获取平均精度均值作为检索性能的评估指标；
9、训练模型：在最终数据集中对基于原型隐私加密的联邦跨模态哈希检索模型进行训练。
10、作为优选，构建数据集具体如下：
11、获取公共数据集：从公共网络资源中获取并下载包含图像模态的公共数据集和文本模态的公共数据集，作为原始数据集；其中，公共数据集包括fashionvc数据集和ssense数据集；
12、对下载的原始数据集进行数据划分，具体如下：
13、在fashionvc数据集和ssense数据集上随机选择任意一部分图像-文本对作为测试集，用于评估测试性能；
14、排除fashionvc数据集和ssense数据集中测试集图像-文本对数据，将剩余的图像-文本对随机抽取任意一部分最为检索数据集，用于检索操作；
15、在检索数据集中，将数据集去除测试集和检索集的剩余部分图像-文本对作为训练集，用于目标函数训练，以实现更好的模型检索性能。
16、作为优选，深度特征提取具体如下：
17、提取图像模态深度特征：使用预训练模型vit作为图像编码器，实现对图像模态进行深度特征提取；具体如下：
18、预处理图像模态原始数据：统一将输入图像剪裁重塑调整为h×w像素大小，并将重塑图像转化为扁平化的二维平面图像块；
19、预训练vit图像编码器：通过堆叠多个transformer层进行图像模态的特征提取，并对最后一个transformer层所有的位置输出进行全局平均池化操作，得到整个图像的全局平均池化操作表示；
20、提取图像特征：对图像模态输出的平均池化表示进行线性投影，获取图像的嵌入特征表示，嵌入特征表示是一个向量，用于捕获图像的高级语义信息；
21、提取文本模态深度特征：使用预训练模型bert作为文本编码器，实现对文本模态进行深度特征提取；具体如下：
22、预处理文本模态原始数据：将输入文本切分为多个片段，每段一个字，返回一个列表，并在列表前添加上标识转化为向量表示；并考虑词在文本语句中的位置关系；
23、预训练bert文本编码器：通过多头自注意力机制网络在输入序列中的不同位置关注不同部分，捕捉复杂的上下文关系，并在每个注意力层后应用前馈神经网络，对特征进行非线性变换；
24、提取文本特征：在多头自注意力操作和前馈神经网络操作后应用层归一化，获取文本深度特征表示。
25、作为优选，原型隐私安全对称加密具体如下：
26、客户端局部原型生成：分别生成客户端中图像模态和文本模态的局部原型，用于捕获特定于客户端的信息，公式如下：
27、
28、
29、其中，xi和yi分别表示第i个客户端上的图像模态深度特征和文本模态深度特征；mi表示第i个客户端上的样本数；和分别代表图像模态哈希函数和文本模态哈希函数；和分别代表第i个客户端中图像模态局部原型和文本模态局部原型；和为训练参数；
30、客户端局部原型加密：构造局部原型进行身份验证的加密操作，确保客户端生成局部原型的安全性，公式如下：
31、
32、其中，e(·)和ε(·)表示加密操作；表示第i个客户端的原型信息；表示对应第i个客户端的噪声加密；
33、服务器端局部原型解密：构造服务器端的局部原型进行身份验证的解密操作，在服务器中后续进行安全的聚合局部原型，公式如下：
34、
35、
36、其中，d(·)和d(·)表示解密操作；表示客户端局部原型加密；auth表示服务器对比局部原型的确认信息；χ表示密钥；
37、服务器端本文档来自技高网...
【技术保护点】
1.一种基于原型隐私加密的联邦跨模态哈希检索方法，其特征在于，该方法具体如下：
2.根据权利要求1所述的基于原型隐私加密的联邦跨模态哈希检索方法，其特征在于，构建数据集具体如下：
3.根据权利要求1所述的基于原型隐私加密的联邦跨模态哈希检索方法，其特征在于，深度特征提取具体如下：
4.根据权利要求1所述的基于原型隐私加密的联邦跨模态哈希检索方法，其特征在于，原型隐私安全对称加密具体如下：
5.根据权利要求1所述的基于原型隐私加密的联邦跨模态哈希检索方法，其特征在于，个性化知识保存具体如下：
6.根据权利要求1所述的基于原型隐私加密的联邦跨模态哈希检索方法，其特征在于，哈希检索查询是将哈希码通过计算汉明距离进行相似性检索，多次迭代计算平均精度，用于对检索性能进行评估，具体如下：
7.根据权利要求1-6中任一项所述的基于原型隐私加密的联邦跨模态哈希检索方法，其特征在于，训练模型具体如下：
8.一种基于原型隐私加密的联邦跨模态哈希检索系统，其特征在于，该系统用于实现如权利要求1-7中任一项所述的基于原型
9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至7中任一项所述的基于原型隐私加密的联邦跨模态哈希检索方法。
...【技术特征摘要】
1.一种基于原型隐私加密的联邦跨模态哈希检索方法，其特征在于，该方法具体如下：
2.根据权利要求1所述的基于原型隐私加密的联邦跨模态哈希检索方法，其特征在于，构建数据集具体如下：
3.根据权利要求1所述的基于原型隐私加密的联邦跨模态哈希检索方法，其特征在于，深度特征提取具体如下：
4.根据权利要求1所述的基于原型隐私加密的联邦跨模态哈希检索方法，其特征在于，原型隐私安全对称加密具体如下：
5.根据权利要求1所述的基于原型隐私加密的联邦跨模态哈希检索方法，其特征在于，个性化知识保存具体如下：
6.根据权利要求1所述的基于原型隐私加密的联邦跨模态哈希检索方法，其特征在于，哈希检索查询是将哈希码通过...
【专利技术属性】
技术研发人员：郑超群，左瑞帆，鹿文鹏，任晓强，
申请(专利权)人：山东省计算中心国家超级计算济南中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。