【技术实现步骤摘要】
一种基于多视角对称非负矩阵分解的跨模态信息检索方法
本专利技术属于跨媒体相关性学习
，具体涉及一种基于多视角对称非负矩阵分解的跨模态信息检索方法。
技术介绍
随着信息技术的快速发展，信息多元化程度日益加剧，海量、异构的信息资源与日俱增，呈现出多种模态(Modal)并存的现象，如在描述某一新闻事件时，往往会在文字周围配以相关的图片，以及音频、视频片段、文字、图片、音频或视频属于不同模态的信息，它们共同阐释了同一信息内容，这些不同表现形式的信息对传统信息检索技术提出了新的挑战.在传统信息检索任务中，文本或图像检索是在同形态空间内进行的，即“以文搜文”、“以图搜图”，然而，用户需求是多元化的，当输入一幅图片时有时会希望系统返回与其相关的文字介绍，该类检索可归结为“如何解决不同模态空间之间信息资源的相互检索”问题；目前，基于多种形态空间的检索系统可分为两种：多模态检索(Multimodal)和跨模态检索(Cross-modal)，在多模态检索任务中，查询通常采用多个模态的形式，如文本+图片，检索集也以这两种形式的组合呈...
【技术保护点】
1.一种基于多视角对称非负矩阵分解的跨模态信息检索方法，其特征在于：具体过程包括以下步骤：/n步骤一：提出多视角非负矩阵分解模型，假设各视角间存在一致的聚类模式，给定多视角数据矩阵X
【技术特征摘要】
1.一种基于多视角对称非负矩阵分解的跨模态信息检索方法，其特征在于：具体过程包括以下步骤：
步骤一：提出多视角非负矩阵分解模型，假设各视角间存在一致的聚类模式，给定多视角数据矩阵X(1)∈Rf×n，X(2)∈Rp×n，利用对称非负矩阵分解方法分别分解矩阵X(1)、X(2)，得到的聚类解都趋于一致的聚类模式；由此产生多视角非负矩阵分解的目标函数Obj；
步骤二：求解多视角对称非负矩阵分解模型，采用迭代更新方法对步骤一产生的目标函数进行求解，得到各视角共享的一致的低维子空间表示H*的更新规则；
步骤三：基于多视角对称非负矩阵分解的跨模态检索方法，具体是对步骤二计算出的H*进行分析计算，所述H*反映了多个视角数据潜在的一致结构模式，通过H*获得新文本或图像在子空间中的表示，在变换后的子空间中进行跨模态检索。
2.根据权利要求1所述的一种基于多视角对称非负矩阵分解的跨模态信息检索方法，其特征在于：步骤一中所述得到Multi-viewSNMF目标函数定义的具体过程为：
S1.给定数据矩阵SNMF首先构建n×n的样本相似矩阵相似性采用高斯核函数来刻画：
其中：矩阵为m×n的具体模态，n为实例数，m为特征数，σi为第i个实例与其第7个邻居之间的欧式距离，σj为第j个实例与其第7个邻居之间的欧式距离，xi为第i个实例，xj为第j个实例，Eij为第i个实例与第j个实例之间的相似性，通过公式(1)可获得任意两个节点之间的相似性值；
S2.当遇到数据量大的时候，无法通过S1获得任意两个节点之间的距离，采用：
其中：N(i)＝{j:Xj是Xi的q近邻，j≠i}，表示距离实例i的最近的q个邻居；N(j)＝{i:Xi是Xj的q近邻，j≠i}，表示距离实例j最近的q邻居，q为近邻数，为重新计算而获取的两个实例i，j之间的相似性；
S3.在获得后，对其标准化，得到：
其中：1≤i≤n为节点i的强度，1≤j≤n为节点j的强度；为矩阵中第i行第l列个元素；为矩阵中第j行第l列个元素；
S4.在获得相似矩阵A后，由SNMF目标函数
可得出分解后的聚类指示矩阵然后对其执行简单的Kmeans聚类以获得每个实例的类别；
其中：HT为矩阵H的转置，||·||F为矩阵的Frobenius范式；
S5.利用各视角具有一致的聚类模式的假设，给定多视角数据矩阵X(1)∈Rf×n，X(2)∈Rp×n，第i个视角的相似矩阵用A(i)∈Rn×n表示；根据S4Multi-viewSNMF的目标函数可定义为：
其中：为辅助矩阵，n为实例数，f、p为特征数，H*代表各视角一致的聚类模式，H(i)为第i个视角的聚类指示矩阵，nv为视角的个数，λ(i)为第i个视角的权重参数,Hl,1(i)为矩阵H(i)的第l行第1列相应的元素，Hl,2(i)为第l行第2列相应的元素，Hl,k(i)为第l行第k列相应的元素；
S6.为最小化等式(5)，采用迭代...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。