跨模态隐私语义表征方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种跨模态隐私语义表征方法、装置、设备及存储介质，涉及数据处理技术领域，方法包括：获取多模态数据；根据多模态数据，获得对应的文本数据；对文本数据进行关键词提取和加密，得到密态关键词；根据密态关键词，对预设知识图谱进行分割，得到密态子图；对密态子图进行图嵌入，得到与密态关键词对应的密态表征向量，以得到多模态数据的语义表征结果。本发明专利技术解决了现有技术中存在密态关键词之间的语义关联性较差的问题，实现了不仅可以保证密态关键词之间的语义关联，还可以为后续进行隐私语义的检索提供准确的语义表征的效果。行隐私语义的检索提供准确的语义表征的效果。行隐私语义的检索提供准确的语义表征的效果。

【技术实现步骤摘要】
跨模态隐私语义表征方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种跨模态隐私语义表征方法、装置、设备及存储介质。

技术介绍

[0002]随着互联网技术的发展和云服务技术的普及，大数据共享和隐私保护之间的矛盾愈演愈烈。基于此，跨模态数据的检索成为云服务和大数据时代下的刚性需求，而跨模态数据的语义表征又是跨模态数据检索系统的关键组成部分。
[0003]跨模态语义表征技术是通过模型对不同模态数据进行编码，得到关键词，使同一语义的不同模态数据的关键词之间可以具备较高的关联性并可以进行显式计算。跨模态隐私语义表征技术是在跨模态语义表征技术的基础上，添加隐私保护需求的技术，该技术要求检索系统在不将明文数据上传到云服务器的前提下，能够进行跨模态数据的编码，得到密态关键词，进而根据密态关键词进行隐私语义的检索。但目前的跨模态隐私语义表征技术存在密态关键词之间的语义关联性较差的问题。

技术实现思路

[0004]本专利技术的主要目的在于：提供一种跨模态隐私语义表征方法、装置、设备及存储介质，旨在解决现有技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨模态隐私语义表征方法，其特征在于，所述方法包括：获取多模态数据；根据所述多模态数据，获得对应的文本数据；对所述文本数据进行关键词提取和加密，得到密态关键词；根据所述密态关键词，对所述预设知识图谱进行分割，得到密态子图；对所述密态子图进行图嵌入，得到与所述密态关键词对应的密态表征向量，以得到所述多模态数据的语义表征结果。2.如权利要求1所述的跨模态隐私语义表征方法，其特征在于，所述多模态数据包括至少两种不同模态的数据信息；所述根据所述多模态数据，获得对应的文本数据的步骤包括：当所述多模态数据包括语音模态的第一模态数据时，利用语音识别技术，将所述第一模态数据转换为第一文本数据；当所述多模态数据包括视频模态的第二模态数据时，利用训练好的文本生成模型，将所述第二模态数据转换为第二文本数据；当所述多模态数据包括文本模态的第三模态数据时，直接将所述第三模态数据确定为第三文本数据。3.如权利要求2所述的跨模态隐私语义表征方法，其特征在于，所述对所述文本数据进行关键词提取和加密，得到密态关键词的步骤包括：对所述第一文本数据、第二文本数据和/或第三文本数据进行关键词提取和加密，得到密态关键词。4.如权利要求1所述的跨模态隐私语义表征方法，其特征在于，所述对所述文本数据进行关键词提取和加密，得到密态关键词的步骤包括：通过无监督学习算法对所述文本数据进行关键词提取，得到关键词；通过对称加密算法对所述关键词进行加密处理，得到密态关键词。5.如权利要求4所述的跨模态隐私语义表征方法，其特征在于，所述通过无监督学习算法对所述文本数据进行关键词提取，得到关键词的步骤包括：对所述文本数据进行分词处理，得到多个词汇；根据所述多个词汇，绘制词汇网络图；其中，所述词汇网络图的网络节点对应于所述词汇，连接两个网络节点的边具有属性值，所述属性值根据所述多个词汇的共现关系确定；根据所述词汇网络图，对所述多个词汇进行排序和筛选，...

【专利技术属性】
技术研发人员：程正涛，张伟哲，束建钢，杨帆，邹庆胜，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：