一种基于对抗网络的跨模态识别技术制造技术

本发明专利技术公开了一种基于对抗网络的跨模态识别技术(Cross

【技术实现步骤摘要】
一种基于对抗网络的跨模态识别技术


[0001]本专利技术涉及人工智能领域，特别涉及一种基于对抗网络的跨模态识别技术。

技术介绍

[0002]在许多真实世界的应用中，人们高度期望为给定的查询检索跨越各种模态的“相似”样本，因为一个对象通常是由多种形式描述的，例如，文本、视频、图像和声音。这种所谓的跨模态检索问题的关键是缩小由于不同模态可能存在于完全不同的空间而引起的异质性差异。
[0003]在过去的几十年里，人们提出了许多跨模态方法来缓解异质性差异，一般来说是通过浅模型或深模型将多种模态投影到单一的共同空间中。简而言之，浅层模态特定变换将多媒体数据投射到一个潜在的单一统一空间，这里可以进一步分为无监督方法和有监督方法。无监督模型通过最大化跨模态成对样本之间的相关性来消除异质性差异。另一方面，有监督方法利用语义信息，通过保留公共空间的判别性来提高性能。虽然传统的浅层方法已经取得了很好的性能，但它们大多是线性方法，可能无法捕获高度非线性的真实多模态数据的高级语义。
[0004]为了自适应捕捉数据的非线性，最近有几项工作提出了利用深度神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对抗网络的跨模态识别技术，其特征在于，包括以下步骤：1)生成器G
k
将输入映射到一个潜在的线性判别空间：2)计算特定于模态的线性变换3)计算每个模态的第i类的共同表征均值4)从中为每个模态随机选取一批样本，构建相应的特定于模态的minibatch；5)对所有特定于模态的minibatch进行跨模态匹配，得到匹配集和不匹配集6)通过下式来更新参数：其中，L
G
、L
D
、L
W
分别为生成器、判别器、跨模态判别机制的损失函数；7)重复4)到6)，直到网络收敛。2.根据权利要求1所述的一种基于对抗网络的跨模态识别技术，其特征在于，其中，定义第k个已标记的模态为其中表示第k模态的第i个类别的第j个点,c是类别的数量,是第k模态的第i个类别的点的数量,m表示模态的总数，l
i
是一个长度为c+1的one
‑
hot向量，其中第i个分量的值为1。3.根据权利要求1
‑
2所述的一种基于对抗网络的跨模态识别技术，其特征在于，其中，生成器G
k
将输入映射到一个潜在的线性判别空间，为了消除冗余，进一步利用判别性，将生成表征通过投影到一个潜在的共同空间中，实现类内紧凑性和类间离散性，定义类内紧凑性矩阵为：其中，S
W
定义如下：其中，(k,l)子矩阵的形式是：
其中，k＝＝l是一个布尔方程，如果k＝l，其值为1，否则为0，是第k模态的第i类的所有生成表征的和，与类内紧凑性矩阵类似，类间离散性矩阵可表示为：其中，是所有模态的第i类统一特征的平均值，是第k模态的第i类的点的数量，是所有模态的统一特征的平均值，是一个minibatch中第i类的点的数量，W
T
＝[(W1)
T
…
(W
m
)
T
]
T
是一个包含了所有模态特定变换的组合矩阵，类似的，S
B
也是一个分块矩阵：其中N是一个minibatch中的点的数量。4.根据权利要求1
‑
3所述的一种基于对抗网络的跨模态识别技术，其特征在于，根据上述的S
W
和S
B
，我们有：其中Tr(...

【专利技术属性】
技术研发人员：胡鹏，李鑫，彭德中，王骞，王炜，温序铭，
申请(专利权)人：成都索贝数码科技股份有限公司，
类型：发明
国别省市：