基于弱匹配概率典型相关性模型的图像标注方法技术

本发明专利技术公开了基于弱匹配概率典型相关性模型的图像标注方法及系统，本发明专利技术涉及网络跨媒体信息处理技术领域，包括获取图像数据库中已标注图像与未标注图像，分别提取所述已标注图像与所述未标注图像的图像特征和文本特征，生成已匹配样本集合和未匹配样本集合，所述已匹配样本集合包括已标注图像特征集合与已标注文本特征集合，所述未匹配样本集合包括未标注图像特征集合与未标注文本特征集合；根据所述已匹配样本集合与所述未匹配样本集合，训练所述弱匹配概率典型相关性模型；通过所述弱匹配概率典型相关性模型，对待标注图像进行标注。本发明专利技术同时使用标注图像及其关键词和未标注图像学习视觉模态和文本模态之间的关联，准确对未知图像进行标注。

【技术实现步骤摘要】

本专利技术涉及网络跨媒体信息处理
，特别涉及基于弱匹配概率典型相关性模型的图像标注方法。
技术介绍
物联网、互联网等拥有丰富的文本、图像、视频和音频等多媒体信息资源，这些信息资源是异构的，很难直接发现它们之间的关联，典型相关性分析(Canonicalcorrelationanalysis，CCA)是一种用来分析两组随机变量之间相关性的统计分析工具，其相关性保持特征己经在理论上得到证明，应用于经济学、气象和基因组数据分析等领域，CCA通过统计方法找到两组异构多模态特征之间的潜在关系，从底层特征上用统一的模型将不同类型的多模态数据关联起来，同时尽可能地发现和保持数据间潜在的相关性。典型相关性分析中两组相关的随机变量可以来自多种信息来源(如同一个人的声音和图像)，也可以是从同一来源的信息中抽取的不同特征(如图像的颜色特征和纹理特征)，但训练数据必须一对一严格匹配，很多原因造成这种严格匹配的训练数据难以获得，如多传感器采集系统中传感器采样频率不同步或传感器故障，会造成不同通道采集来的数据不同步或丢失某一通道数据；单模态数据比较容易获得，但人工匹配却非常地费时费力，实际中，面对的多模态数据经常是只有少量一对一严格匹配，其余大量数据未匹配，称之为弱匹配多模态数据。面向弱匹配多模态数据的典型相关性分析有两种基本的方法：丢弃未匹配数据，只使用典型相关性分析处理严格匹配的多模态数据；根据特定准则，匹配多模态数据，但这两种方法都不可能获得理想的结果。
技术实现思路
针对现有技术的不足，本专利技术提出一种基于弱匹配概率典型相关性模型的图像标注方法及系统。本专利技术提出一种基于弱匹配概率典型相关性模型的图像标注方法，包括：步骤1，获取图像数据库中已标注图像与未标注图像，分别提取所述已标注图像与所述未标注图像的图像特征和文本特征，生成已匹配样本集合和未匹配样本集合，所述已匹配样本集合包括已标注图像特征集合与已标注文本特征集合，所述未匹配样本集合包括未标注图像特征集合与未标注文本特征集合；步骤2，根据所述已匹配样本集合与所述未匹配样本集合，训练所述弱匹配概率典型相关性模型；步骤3，通过所述弱匹配概率典型相关性模型，对待标注图像进行标注。所述的基于弱匹配概率典型相关性模型的图像标注方法，所述弱匹配概率典型相关性模型的公式为：D={(x1i,x2i)本文档来自技高网...

【技术保护点】
一种基于弱匹配概率典型相关性模型的图像标注方法，其特征在于，包括：步骤1，获取图像数据库中已标注图像与未标注图像，分别提取所述已标注图像与所述未标注图像的图像特征和文本特征，生成已匹配样本集合和未匹配样本集合，所述已匹配样本集合包括已标注图像特征集合与已标注文本特征集合，所述未匹配样本集合包括未标注图像特征集合与未标注文本特征集合；步骤2，根据所述已匹配样本集合与所述未匹配样本集合，训练所述弱匹配概率典型相关性模型；步骤3，通过所述弱匹配概率典型相关性模型，对待标注图像进行标注。

【技术特征摘要】
1.一种基于弱匹配概率典型相关性模型的图像标注方法，其特征在于，包
括：步骤1，获取图像数据库中已标注图像与未标注图像，分别提取所述已标
注图像与所述未标注图像的图像特征和文本特征，生成已匹配样本集合和未匹
配样本集合，所述已匹配样本集合包括已标注图像特征集合与已标注文本特征
集合，所述未匹配样本集合包括未标注图像特征集合与未标...

【专利技术属性】
技术研发人员：张博，史忠植，王伟，齐保元，马刚，
申请(专利权)人：中国科学院计算技术研究所，北京联索科技有限公司，
类型：发明
国别省市：北京;11