【技术实现步骤摘要】
利用标签层次信息的多媒体数据跨模态检索方法及系统
本申请涉及跨媒体检索
，特别是涉及利用标签层次信息的多媒体数据跨模态检索方法及系统。
技术介绍
本部分的陈述仅仅是提到了与本申请相关的
技术介绍
，并不必然构成现有技术。随着多媒体数据的爆发式增长，数据通常被以多种模态来表示，例如图像和文本等。面对海量数据，通常需要进行快速的相似性比较，这是管理和使用数据的基础操作。因此，快速跨模态检索的需求越来越大。为了满足这一需求，使用一种模态的数据来检索另一种模态内相似样本的跨模态哈希方法相继被提出。跨模态哈希学习属于哈希学习，且具有哈希学习的优点。哈希学习方法是当前存储或检索大规模数据最流行的方法之一。哈希学习方法的主要思想是设计一种通过学习得到的哈希函数，它可以将数据从原始的高维特征空间中的数据表示变换成低维汉明空间中的二进制编码表示。通过这种变换，可以达到降维的目的，可以有效缩减空间消耗；在达到维数降低目的的同时，哈希函数会保持数据之间的相似性。此外，将数据表示成二进制编码的形式，还可以获得快速检索的优势，因为计...
【技术保护点】
1.利用标签层次信息的多媒体数据跨模态检索方法，其特征是，包括：/n获取待检索的第一模态多媒体数据；/n对待检索的第一模态多媒体数据进行特征提取，得到第一哈希码；/n将第一哈希码与预存储的第二模态的所有多媒体数据对应的已知哈希码进行距离计算；选择距离最近的若干个哈希码对应的第二模态的多媒体数据，作为检索结果输出。/n
【技术特征摘要】
1.利用标签层次信息的多媒体数据跨模态检索方法，其特征是，包括：
获取待检索的第一模态多媒体数据；
对待检索的第一模态多媒体数据进行特征提取，得到第一哈希码；
将第一哈希码与预存储的第二模态的所有多媒体数据对应的已知哈希码进行距离计算；选择距离最近的若干个哈希码对应的第二模态的多媒体数据，作为检索结果输出。
2.如权利要求1所述的方法，其特征是，所述对待检索的第一模态多媒体数据进行特征提取，得到第一哈希码；具体步骤包括：
当待检索的第一模态多媒体数据为图像数据，则对待检索的第一模态多媒体数据，利用预先训练好的卷积神经网络CNN进行特征提取，得到第一哈希码；
或者，
当待检索的第一模态多媒体数据为文本数据，则对待检索的第一模态多媒体数据，利用预先训练好的多层感知器MLP模型进行特征提取，得到第一哈希码。
3.如权利要求2所述的方法，其特征是，所述卷积神经网络CNN，包括：依次连接的第一输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层和第三全连接层，所述第三全连接层的神经元数量等于第一哈希码的长度。
4.如权利要求2所述的方法，其特征是，所述多层感知器MLP模型，包括：依次连接的第二输入层、第四全连接层和第五全连接层，所述第五全连接层的哈希码长度等于第一哈希码的长度。
5.如权利要求2所述的方法，其特征是，所述预先训练好的卷积神经网络CNN，具体训练步骤包括：
构建第一训练集，所述第一训练集为已知图像类别标签对应的哈希码的图像数据；将第一训练集输入到卷积神经网络CNN中，对卷积神经网络CNN进行训练，得到预先训练好的卷积神经网络CNN。
6.如权利要求2或5所述的方法，其特征是，所述预先训练好的多层感知器MLP模型，具体训练步骤包括：
构建第二训练集...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。