一种多端协同的联邦在线跨媒体匹配方法与系统技术方案

技术编号:45909121 阅读:18 留言:0更新日期:2025-07-22 21:33
本发明专利技术属于视觉和人工智能技术领域,提供了一种多端协同的联邦在线跨媒体匹配方法与系统,其技术方案为:提取多种媒体资源各模态特征,将各模态特征映射至公共子空间中,得到共同表示;基于共同表示进行在线聚类,将在线聚类得到的聚类中心组合成本地原型,对本地原型和本地哈希模型进行加密,得到本地加密原型和本地加密模型;结合全局模型,分别对本地加密模型和本地加密原型聚合得到全局加密模型和全局加密原型;基于全局模型、全局加密模型和全局加密原型对本地跨模态检索模型进行训练得到训练后的跨模态检索模型;基于训练后的跨模态模型,生成对应的资源匹配结果。大大减少了由于不同客户端本地数据非独立同分布问题带来的模型偏差问题。

【技术实现步骤摘要】

本专利技术属于视觉和人工智能,尤其涉及一种多端协同的联邦在线跨媒体匹配方法与系统


技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息,不必然构成在先技术。

2、随着物联网、人工智能以及数据隐私保护技术的不断发展,多端协同下的隐私保护已成为一个关键研究和应用领域。在多设备、多节点的协同场景中,如智能家居、智慧城市、物联网和车联网,数据的采集、传输和分析需要兼顾高效协同与隐私安全。

3、智能家居中的扫地机器人、户外作业的机器狗或者低空作业的无人机群等一系列作业机器人,近年来得到了广泛的应用和发展,它结合了多种技术,包括人工智能、传感器技术、机器人导航系统和物联网技术。以扫地机器人为例,不同用户端可以通过语音指令控制扫地机器人清扫指定区域,扫地机器人使用摄像头收集环境数据(如房间图像、家具摆放情况等)来进行导航和识别,但这些图像可能包含敏感的用户隐私数据(如家居布置、个人物品),因此不能将用户私有数据统一收集或者上传到云端进行处理。受联邦学习的启发,不同用户的扫地机器人通过联邦学习协同训练出一个语音-图片的跨媒体匹配模本文档来自技高网...

【技术保护点】

1.一种多端协同的联邦在线跨媒体匹配方法,其特征在于,包括如下步骤:

2.如权利要求1所述的一种多端协同的联邦在线跨媒体匹配方法,其特征在于,对本地原型和本地跨模态检索模型进行同态加密时,采用BFV同态加密方法。

3.如权利要求1所述的一种多端协同的联邦在线跨媒体匹配方法,其特征在于,对本地原型和本地跨模态检索模型进行同态加密时,选择安全的加密参数,包括模数、多项式度的大小和噪声参数,生成公钥pk,使用公钥pk对本地原型进行加密,使用公钥pk对本地哈希模型权重进行加密。

4.如权利要求1所述的一种多端协同的联邦在线跨媒体匹配方法,其特征在于,全局加密模...

【技术特征摘要】

1.一种多端协同的联邦在线跨媒体匹配方法,其特征在于,包括如下步骤:

2.如权利要求1所述的一种多端协同的联邦在线跨媒体匹配方法,其特征在于,对本地原型和本地跨模态检索模型进行同态加密时,采用bfv同态加密方法。

3.如权利要求1所述的一种多端协同的联邦在线跨媒体匹配方法,其特征在于,对本地原型和本地跨模态检索模型进行同态加密时,选择安全的加密参数,包括模数、多项式度的大小和噪声参数,生成公钥pk,使用公钥pk对本地原型进行加密,使用公钥pk对本地哈希模型权重进行加密。

4.如权利要求1所述的一种多端协同的联邦在线跨媒体匹配方法,其特征在于,全局加密模型的聚合公式为:

5.如权利要求1所述的一种多端协同的联邦在线跨媒体匹配方法,其特征在于,每一轮本地跨模态检索模型训练时的目标函数为:

6.如权利要...

【专利技术属性】
技术研发人员:刘兴波朱广泽朱津欣康潇刘新锋张立伟聂秀山尹义龙
申请(专利权)人:山东建筑大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1