跨模态隐私语义检索方法、系统及存储介质技术方案

本发明专利技术公开了一种跨模态隐私语义检索方法、系统及存储介质，涉及数据处理技术领域，方法包括：客户端基于多模态联合表征模型对多模态数据进行语义特征提取得到语义表征向量，对语义表征向量进行加密获得密态语义表征向量；服务器接收客户端发送的密态语义表征向量，根据预设检索索引表，确定与密态语义表征向量关联的语义检索关键词，在预设检索索引表中查找与语义检索关键词对应的数据地址，获得密态语义检索结果，并将密态语义检索结果发送至客户端；客户端对密态语义检索结果进行解密和显示。本发明专利技术解决了现有技术存在检索准确性较低的问题，实现了在保障查询隐私和存储数据隐私的前提下，提升语义检索结果的准确性的效果。提升语义检索结果的准确性的效果。提升语义检索结果的准确性的效果。

【技术实现步骤摘要】
跨模态隐私语义检索方法、系统及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种跨模态隐私语义检索方法、系统及存储介质。

技术介绍

[0002]随着互联网技术的发展和大数据云服务技术的普及，在数据共享服务中，查询检索是用户访问云端数据获取信息的必不可少的操作，但是在查询过程中，用户的查询请求和存储在云端的数据均为明文形式，失去了对数据的掌控能力，因此，在数据搜索场景中，大数据共享和隐私保护的矛盾较为明显。
[0003]另外，随着互联网技术的进步和人们生产生活方式的改变，由于数据模态的多样性，多模态数据之间的检索需求也逐渐凸显。跨模态检索技术是通过寻找不同模态样本之间的语义关系，实现利用某一种模态数据，搜索近似语义的其他模态数据的技术。
[0004]现有方案中，可以对明文数据进行跨模态检索，也可以对隐私数据进行对应模态检索，但对隐私数据进行跨模态检索的方案较少。针对隐私数据进行跨模态语义检索的方法存在提取到的关键词与搜索内容无语义关联，搜索结果可能存在偏差的问题，导致跨模态隐私语义检索的准确性较低。

技术实现思路

[0005]本专利技术的主要目的在于：提供一种跨模态隐私语义检索方法、系统及存储介质，旨在解决现有技术对多模态隐私数据进行检索的方法存在准确性较低的技术问题。
[0006]为实现上述目的，本专利技术采用如下技术方案：
[0007]第一方面，本专利技术提供了一种跨模态隐私语义检索方法，应用于服务器，所述方法包括：
[0008]接收客户端发送的密态语义表征向量；其中，所述密态语义表征向量通过所述客户端基于多模态联合表征模型对多模态数据进行语义特征提取得到语义表征向量，对所述语义表征向量进行加密获得；
[0009]根据预设检索索引表，确定与所述密态语义表征向量关联的语义检索关键词；其中，所述预设检索索引表包括语义检索关键词与已存储数据的数据地址的映射关系；
[0010]在所述预设检索索引表中查找与所述语义检索关键词对应的数据地址，获得密态语义检索结果，并将所述密态语义检索结果发送至所述客户端，以使所述客户端对所述密态语义检索结果进行解密和显示。
[0011]可选地，上述跨模态隐私语义检索方法中，所述根据预设检索索引表，确定与所述密态语义表征向量关联的语义检索关键词的步骤包括：
[0012]根据预设检索索引表，确定所述密态语义表征向量与所述预设检索索引表中所有检索关键词之间的关联度值；
[0013]根据所述关联度值，确定与所述密态语义表征向量关联的语义检索关键词；其中，
所述语义检索关键词包括根据所述关联度值进行排序的检索关键词。
[0014]可选地，上述跨模态隐私语义检索方法中，所述接收客户端发送的密态语义表征向量的步骤之前，所述方法还包括：
[0015]接收所述客户端发送的待存储密态数据和对应的密态关键词；其中，所述待存储密态数据通过所述客户端对待存储数据进行加密获得，所述密态关键词通过所述客户端基于多模态联合表征模型对所述待存储数据进行语义特征提取得到关键词，对所述关键词进行加密获得；
[0016]存储所述待存储密态数据，获得已存储数据及其数据地址；
[0017]根据所述密态关键词和所述已存储数据的数据地址，构建索引表，获得预设检索索引表。
[0018]可选地，上述跨模态隐私语义检索方法中，所述根据所述密态关键词和所述已存储数据的数据地址，构建索引表，获得预设检索索引表的步骤包括：
[0019]根据所述密态关键词和所述已存储数据的数据地址，构建索引表，获得检索索引表；
[0020]根据所述检索索引表，确定所述密态关键词之间的相似度值；
[0021]根据所述相似度值，进行聚类处理，获得语义检索关键词；其中，语义检索关键词包括所述相似度值小于预设阈值的一簇密态关键词；
[0022]根据所述语义检索关键词和对应的所述已存储数据的数据地址的映射关系，获得预设检索索引表。
[0023]第二方面，本专利技术提供了一种跨模态隐私语义检索方法，应用于客户端，所述方法包括：
[0024]获取多模态数据；
[0025]通过多模态联合表征模型对所述多模态数据进行语义特征提取，得到语义表征向量；
[0026]对所述语义表征向量进行加密，获得密态语义表征向量；
[0027]将所述密态语义表征向量发送至服务器，以使所述服务器根据预设检索索引表，确定与所述密态语义表征向量关联的语义检索关键词，在所述预设检索索引表中查找与所述语义检索关键词对应的数据地址，获得密态语义检索结果，并将所述密态语义检索结果发送至所述客户端；其中，所述预设检索索引表包括语义检索关键词与已存储数据的数据地址的映射关系；
[0028]接收所述服务器发送的密态语义检索结果，对所述密态语义检索结果进行解密和显示。
[0029]可选地，上述跨模态隐私语义检索方法中，所述通过多模态联合表征模型对所述多模态数据进行语义特征提取，得到语义表征向量的步骤包括：
[0030]对所述多模态数据进行预处理，得到预处理后的多模态数据；其中，所述预处理包括格式切换、文本编码、尺寸缩放和噪声消除中的任意一种；
[0031]将所述预处理后的多模态数据输入多模态联合表征模型，输出语义特征向量；其中，所述多模态联合表征模型包括对所述多模态数据进行模态转换的表示学习模型。
[0032]第三方面，本专利技术提供了一种服务器，所述服务器包括处理器和存储器，所述存储
器中存储有跨模态隐私语义检索程序，所述跨模态隐私语义检索程序被所述处理器执行时，实现如上述的跨模态隐私语义检索方法。
[0033]第四方面，本专利技术提供了一种客户端，所述客户端包括处理器和存储器，所述存储器中存储有跨模态隐私语义检索程序，所述跨模态隐私语义检索程序被所述处理器执行时，实现如上述的跨模态隐私语义检索方法。
[0034]第五方面，本专利技术提供了一种跨模态隐私语义检索系统，所述系统包括：
[0035]如上述的服务器；
[0036]如上述的客户端；
[0037]所述服务器与所述客户端通信连接。
[0038]第六方面，本专利技术提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序可被一个或多个处理器执行，以实现如上述的跨模态隐私语义检索方法。
[0039]本专利技术提供的上述一个或多个技术方案，可以具有如下优点或至少实现了如下技术效果：
[0040]本专利技术提出的一种跨模态隐私语义检索方法、系统及存储介质，通过客户端基于多模态联合表征模型对多模态数据进行语义特征提取得到语义表征向量，再对语义表征向量进行加密获得密态语义表征向量，发送给服务器，服务器根据预设检索索引表，确定与密态语义表征向量关联的语义检索关键词，然后在预设检索索引表中查找与语义检索关键词对应的数据地址，获得密态语义检索结果，返回给客户端，客户端对密态语义检索结果进行解密和显示，实现对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨模态隐私语义检索方法，其特征在于，应用于服务器，所述方法包括：接收客户端发送的密态语义表征向量；其中，所述密态语义表征向量通过所述客户端基于多模态联合表征模型对多模态数据进行语义特征提取得到语义表征向量，对所述语义表征向量进行加密获得；根据预设检索索引表，确定与所述密态语义表征向量关联的语义检索关键词；其中，所述预设检索索引表包括语义检索关键词与已存储数据的数据地址的映射关系；在所述预设检索索引表中查找与所述语义检索关键词对应的数据地址，获得密态语义检索结果，并将所述密态语义检索结果发送至所述客户端，以使所述客户端对所述密态语义检索结果进行解密和显示。2.如权利要求1所述的跨模态隐私语义检索方法，其特征在于，所述根据预设检索索引表，确定与所述密态语义表征向量关联的语义检索关键词的步骤包括：根据预设检索索引表，确定所述密态语义表征向量与所述预设检索索引表中所有检索关键词之间的关联度值；根据所述关联度值，确定与所述密态语义表征向量关联的语义检索关键词；其中，所述语义检索关键词包括根据所述关联度值进行排序的检索关键词。3.如权利要求1所述的跨模态隐私语义检索方法，其特征在于，所述接收客户端发送的密态语义表征向量的步骤之前，所述方法还包括：接收所述客户端发送的待存储密态数据和对应的密态关键词；其中，所述待存储密态数据通过所述客户端对待存储数据进行加密获得，所述密态关键词通过所述客户端基于多模态联合表征模型对所述待存储数据进行语义特征提取得到关键词，对所述关键词进行加密获得；存储所述待存储密态数据，获得已存储数据及其数据地址；根据所述密态关键词和所述已存储数据的数据地址，构建索引表，获得预设检索索引表。4.如权利要求3所述的跨模态隐私语义检索方法，其特征在于，所述根据所述密态关键词和所述已存储数据的数据地址，构建索引表，获得预设检索索引表的步骤包括：根据所述密态关键词和所述已存储数据的数据地址，构建索引表，获得检索索引表；根据所述检索索引表，确定所述密态关键词之间的相似度值；根据所述相似度值，进行聚类处理，获得语义检索关键词；其中，语义检索关键词包括所述相似度值小于预设阈值的一簇密态关键词；根据所述语义检...

【专利技术属性】
技术研发人员：束建钢，张伟哲，程正涛，杨帆，邹庆胜，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：