基于细粒度跨媒体检索构造实体级公共特征空间的方法技术

本发明专利技术涉及细粒度跨媒体检索技术领域，公开了一种基于细粒度跨媒体检索构造实体级公共特征空间的方法，包括：获取视频数据，预设噪声帧滤除规则，根据噪声帧滤除规则对获取到的视频数据进行过滤，获取不包含细粒度实体的帧图像；获取媒体数据类型的低层特征，对低层特征进行线性投影，获取实体级公共特征空间；根据实体级公共特征空间提取高层次语义并进行学习。本发明专利技术可以学习低层特征到实体级公共特征空间的投影矩阵，并生成跨媒体数据的公共特征以进行跨媒体检索。征以进行跨媒体检索。征以进行跨媒体检索。

【技术实现步骤摘要】
基于细粒度跨媒体检索构造实体级公共特征空间的方法


[0001]本专利技术涉及细粒度跨媒体检索
，具体地说，是一种基于细粒度跨媒体检索构造实体级公共特征空间的方法，可以学习低层特征到实体级公共特征空间的投影矩阵，并生成跨媒体数据的公共特征以进行跨媒体检索。

技术介绍

[0002]细粒度跨媒体检索任务中有一个难点便是如何减少不同媒体数据间的异质性差距，最常用的方法便是寻找某种映射函数，将不同媒体类型的样本映射到共同特征空间中，并根据输入数据在此空间中的特征与数据库中候选对象的相似性排序来生成检索结果。然而，这样的公共特征空间却存在某种缺陷。通常在此空间中的特征没有明确的含义（即不知道此特征代表什么），导致最终可能会忽略媒体数据中包含的原有语义信息。还有一些算法提出的公共语义空间只是简单地利用了低层次特征和高层语义特征之间的关系，一般低层次特征由卷积神经网络提取，高层次特征是以低层次特征为基础在语义类别标签的约束下抽象出来的语义，而这样只能提取粗粒度的特征。
[0003]众所周知，实体和实体可以相互区分。在文本中，实体即物体名、物种名、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于细粒度跨媒体检索构造实体级公共特征空间的方法，其特征在于，包括： 步骤S1.获取视频数据，判断输入的媒体类型是否为视频数据，如果是，进入步骤S2，如果否，获取类型为音频数据、图像数据和文本数据的媒体类型数据后进入步骤S3； 步骤S2.预设噪声帧滤除规则，根据噪声帧滤除规则对获取到的视频数据进行过滤，获取不包含细粒度实体的帧图像； 步骤S3.获取媒体数据类型的低层特征，对低层特征进行线性投影，获取实体级公共特征空间；步骤S4.根据实体级公共特征空间提取高层次语义并进行学习；预设同类样本的相关性约束条件和单媒体的实体构造约束条件，上述步骤S1
‑
步骤S4遵循所述约束条件。2.根据权利要求1所述的基于细粒度跨媒体检索构造实体级公共特征空间的方法，其特征在于，所述步骤S2中包括： 步骤S2.1.以相同时间间隔截取每个视频数据中的视频帧，获取原始关键帧； 步骤S2.2.根据特征提取网络获取视频帧的特征； 步骤S2.3.通过计算视频帧之间的距离确定中心帧；步骤S2.4.预设阈值，确定好中心帧和阈值之后，判断每一帧到中心帧的距离是否大于阈值，如果是，丢弃当前帧，如果否，保留位有效帧；步骤S2.5.当中心帧不再发生变化时，获取不包含细粒度实体的有效帧的图像。3.根据权利要求1所述的一种基于细粒度跨媒体检索构造实体级公共特征空间的方法，其特征在于，所述步...

【专利技术属性】
技术研发人员：姚亚洲，孙泽人，陈涛，张传一，沈复民，
申请(专利权)人：南京码极客科技有限公司，
类型：发明
国别省市：