一种基于多模态自适应社会关系强度挖掘的社会搜索方法技术

本发明专利技术公开了一种基于多模态生成式模型的自适应社会关系强度挖掘方法，是通过收集用户上传的图片信息以及与其有社会关系的用户，将每个用户对应一个由上传图像集合、图像标注集合和社会网络组成的三元组；根据输入的三元组，通过一种多模态生成式模型，将图片内容和标注的生成过程反推进行推断，得到一个可以描述用户兴趣分布的主题空间和用户的主题分布；对得到的主题空间和用户主题分布进行计算，得到用户与用户之间的主题敏感的关系强度，并用于自适应的多媒体检索等应用。

【技术实现步骤摘要】

本专利技术涉及多媒体搜索领域，特别涉及。
技术介绍
社会媒体(Social Media)已经极大地改变了用户分享和获取信息的方式和习惯。在社会媒体服务中，用户不可避免地与其他用户交互构成社区，即所谓的社会网络。社会网络中包括双向的社会关系，如LinkedIn中的“关联(Connect) ”和Facebook中的“加为好友(Add Friend) ”，以及单向的社会关系，如Twitter中的“跟随(Follow) ”和Youtube中的“订阅(Subscribe) ”。这些社会关系被认为影响着用户的行为以及社会网络的动态发展。如，LinkedIn上的同事可以影响一个人工作上的选择，Facebook上的好友则会影响一个人生活中的行为和需求。通过分析和挖掘这些社会关系可以促生很多重要的应用，如病毒式营销、协同推荐和协同信息搜索等等。以基于单向社会关系的多媒体协同搜索为例，其基本假设和出发点是通过分析对搜索用户有影响关系的其他用户的行为，可以预测搜索用户的真实需求并调整搜索结果。目前针对社会关系挖掘的方法，主要集中于研究是否存在社会关系以及社会关系的强度预测。在很多问题中，二值化或者连续的社会关系并不能满足应用的需求。如在多媒体搜索问题中，对于不同的搜索词，用户之间的社会关系是不同的。假设用户要为自己的蜜月旅行搜索“夏威夷”的照片，有旅游特长的好友会对他的帮助最大，我们希望他们之间的社会关系变强；而当同一个用户搜索“时装秀”的照片时，则会希望对流行时尚有研究的好友能更多地影响搜索结果，即他们之间的社会关系变强。我们称这种与问题相关的社会关系为自适应的社会关系强度，并将在本专利技术中介绍一种基于多模态生成式模型的自适应社会关系强度挖掘方法。
技术实现思路
(一 )要解决的技术问题本专利技术的目的是提供根据挖掘出的自适应的社会关系强度进行图片搜索，在用户不同的需求时，可以自动得到来自不同用户的协助，从而有助于理解和预测用户真实的需求，进而准确定位符合用户真实需求的搜索结果。( 二 )技术方案为解决上述技术问题，本专利技术提供了，该方法包括步骤如下步骤1:收集用户上传的图片信息以及与其有单向社会关系的用户，每个用户对应一个由上传图像集合、图像标注集合和与其有单向社会关系的关系用户集合组成的三元组；步骤2 :根据输入的三元组，建立多模态概率生成式模型，将所述图像集合中的图片内容和图像标注集合中的图像标注信息的生成过程进行推断；步骤3 :根据推断结果计算用户主题空间和用户主题分布，计算用户与用户之间的主题敏感的社会关系强度；步骤4:根据所得到的用户主题空间、用户主题分布以及社会关系强度对搜索结果进行排序。(三)有益效果本专利技术采用了多模态生成式模型，对观测到的用户社会网络、用户上传图像和提供标注进行反推，提出一种主题敏感的社会关系强度挖掘方法。该专利技术解决了社会关系强度在不同问题中自适应调整的问题，其中同时考虑文本标注数据和视觉图像特征，可以较好地分析多媒体应用中的社会关系强度；另外，通过该方法可以同时得到主题空间、用户的主题分布以及用户之间的关系在不同主题上的强度。附图说明图1为根据本专利技术的基于多模态生成式模型的自适应社会关系强度挖掘方法的流程图；图2为根据本专利技术的多模态生成式主题模型的示意图；图3为根据本专利技术所提供的方法在Flickr数据集上的实施效果的示意图；图4为根据本专利技术所提供的方法在Flickr数据集上的实施效果的另一示意图。具体实施例方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术作进一步的详细说明。本专利技术实现一种社会多媒体环境下主题敏感的社会关系强度分析的方法，可针对不同应用，自适应调节社会关系强度。相比现有的社会关系强度分析方法，一方面获得主题敏感的社会关系强度，可自适应根据问题进行调节；另一方面，通过综合考虑文本信息和视觉信息，可以更好地服务于多媒体应用。图1为根据本专利技术的基于多模态生成式模型的自适应社会关系强度挖掘方法的流程图。如图1所示，本专利技术所提供的方法，包括如下步骤步骤1:输入预处理步骤，即收集用户上传的图片信息以及与其有单向社会关系的用户，这里的单向社会关系指社会媒体分享网站中的有向社会行为，如Flickr中的联系(contact)或Twitter中的跟随(follow)。每个用户对应一个由与其具有单向社会关系的关系用户集合、该用户上传的图像集合和图像标注集合组成的三元组，其中图像标注指该用户提供的描述图像的原始标签(Tag)信息；步骤2 :多模态主题敏感社会关系挖掘步骤，即根据输入的所述三元组，通过一种多模态生成式模型，将所述图像集合中的图片内容和图像标注集合中的图像标注信息的生成过程反推进行推断，得到一个可以描述用户兴趣分布的主题空间和用户主题分布；步骤3 :输出参数计算步骤，即对得到的所述主题空间和所述用户主题分布进行计算，得到用户与用户之间的主题敏感的关系强度。下面对各步骤进行详细描述。下表给出了本专利技术所用到的关键符号列表及其对应的描述。本文档来自技高网...

【技术保护点】
一种基于多模态自适应社会关系强度挖掘的社会搜索方法，该方法包括步骤如下：步骤1：收集用户上传的图片信息以及与其有单向社会关系的用户，每个用户对应一个由上传图像集合、图像标注集合和与其有单向社会关系的关系用户集合组成的三元组；步骤2：根据输入的三元组，建立多模态概率生成式模型，将所述图像集合中的图片内容和图像标注集合中的图像标注信息的生成过程进行推断；步骤3：根据推断结果计算用户主题空间和用户主题分布，计算用户与用户之间的主题敏感的社会关系强度；步骤4：根据所得到的用户主题空间、用户主题分布以及社会关系强度对搜索结果进行排序。

【技术特征摘要】
1.一种基于多模态自适应社会关系强度挖掘的社会搜索方法，该方法包括步骤如下 步骤1:收集用户上传的图片信息以及与其有单向社会关系的用户，每个用户对应一个由上传图像集合、图像标注集合和与其有单向社会关系的关系用户集合组成的三元组； 步骤2:根据输入的三元组，建立多模态概率生成式模型，将所述图像集合中的图片内容和图像标注集合中的图像标注信息的生成过程进行推断； 步骤3 :根据推断结果计算用户主题空间和用户主题分布，计算用户与用户之间的主题敏感的社会关系强度； 步骤4:根据所得到的用户主题空间、用户主题分布以及社会关系强度对搜索结果进行排序。2.如权利要求1所述的方法，其特征在于，所述步骤I包括 步骤11 :对每个用户U，根据其社会关系网络采集与其有单向社会关系的用户，组成集合Cu ； 步骤12 :对每个用户U，采集其上传的图片，组成集合Du; 步骤13 :对每个用户U，采集其对所上传的图片添加的标注，组成集合Tu。3.如权利要求1所述的方法，其特征在于，所述步骤2包括 步骤21 :建立主题敏感的多模态概率生成式模型，来模拟图片和标注的生成过程；其中通过设置隐变量来描述建立多模态概率生成式模型的过程；其中，所述隐变量包括开关隐变量S、主题记录隐变量z和采样用户隐变量C，所述开关隐变量s表示标注词和图像是用户自发产生还是受关系用户影响而产生的；所述主题记录隐变量z表示采样得到的主题；所述用户隐变量c表示采样得到的关系用户； 步骤22 :求解所述多模态概率生成式模型，其中通过吉布斯采样推断得到所述隐变量的取值。4....

【专利技术属性】
技术研发人员：徐常胜，桑基韬，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：