本发明专利技术公开了一种图像内容识别方法以装置，包括：提取待识别图像的CNN特征；将所述待识别图像输入到预建的图像分类器集合中，并根据所述待识别图像的CNN特征获取所述图像分类器集合中每个图像分类器输出的概率值根据所述每个图像分类器输出的概率值，从所述图像分类器集合中选取至少一个图像分类器作为目标图像分类器；确定所述目标图像分类器中的每张图像与所述待识别图像的相似度，并根据所述相似度从所述目标图像分类器中选取多张图像作为目标图像；使用所述目标图像分类器中的类簇对应的类型标签以及所述目标图像分类器中的所述目标图像对应的实体标签，对所述待识别图像进行标注。采用本发明专利技术实施例，可以提高图像识别的精确性。
【技术实现步骤摘要】
本专利技术涉及图像处理
，尤其涉及一种图像内容识别方法及装置。
技术介绍
随着互联网技术以及社交媒体的的发展，用户需要处理的图片越来越多，互联网 与社交网络软件上存在大量用户上传的图片，这些图片大多数没有标注内容信息，例如：地 理位置图片，知名的景点或者建筑图片等，导致用户无法确定这些图片是什么内容的图片 或哪个地方的图片，因此需要一种识别这些图片的方法。 在现有技术方案中，首先抽取待识别图片的特征，然后在图像数据库中检索与待 识别图片的特征最相似的若干特征数据，最后利用相似数据的相关网页文本来推断待是被 图片的内容标签。但是，这种方法存在以下缺点：第一：依赖与待识别图片相关的网页文本 数据，然而从文本数据中提取的内容标签包含有较多的噪声；第二：检索的图像数据库规 模庞大，包含了较多的噪声，容易检索到内容相似但语义不同的图片，造成最终给出的标签 不够准确；第三：识别出来的图片内容的范围较大，不够精确。
技术实现思路
本专利技术实施例提供一种图像内容识别方法及装置。通过两次相似度匹配计算对待 识别图像进行标注，提高了图像识别的精确性。 本专利技术第一方面提供了一种图像内容识别方法，包括： 提取待识别图像的CNN特征； 将所述待识别图像输入到预建的图像分类器集合中，并根据所述待识别图像的 CNN特征获取所述图像分类器集合中每个图像分类器输出的概率值，所述每个图像分类器 包括一个类簇，所述类簇对应类型标签，所述每个类簇包括多个图像，所述多个图像中的每 张图像对应实体标签； 根据所述每个图像分类器输出的概率值，从所述图像分类器集合中选取至少一个 图像分类器作为目标图像分类器； 确定所述目标图像分类器中的每张图像与所述待识别图像的相似度，并根据所述 相似度从所述目标图像分类器中选取多张图像作为目标图像； 使用所述目标图像分类器中的类簇对应的类型标签以及所述目标图像分类器中 的所述目标图像对应的实体标签，对所述待识别图像进行标注。 在第一方面的第一种可能的实现方式中，所述每个图像分类器对应一个系数向 量，所述根据所述待识别图像的CNN特征获取所述图像分类器集合中每个图像分类器输出 的概率值包括： 将所述待识别图像的CNN特征转化为所述待识别图像的特征向量； 根据所述每个图像分类器的系数向量与所述待识别图像的特征向量，计算所述每 个图像分类器与所述待识别图像的向量内积； 根据所述每个图像分类器与所述待识别图像的向量内积，计算所述每个图像分类 器输出的概率值。 结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式 中，所述根据所述每个图像分类器与所述待识别图像的向量内积，计算所述每个图像分类 器输出的概率值包括： 将所述每个图像分类器与所述待识别图像的向量内积映射到正实数域得到指数 值，并计算指数值之和； 将所述目标图像分类器与所述待识别图像的指数值除以所述指数值之和，计算得 到所述目标图像分类器输出的概率值。 结合第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式 中，所述确定所述目标图像分类器中的每张图像与所述待识别图像的相似度包括： 获取所述目标图像分类器中每张图像的CNN特征； 将所述目标图像分类器中的每张图像的CNN特征转化为所述每张图像的特征向 量； 将所述目标图像分类器中的每张图像的特征向量乘以所述待识别图像的特征向 量得到所述相似度。 在第一方面的第四种可能的实现方式中，所述提取待识别图像的CNN特征之前， 还包括： 提取多张图像中的每张图像的CNN特征，并对所述每张图像对应的文本信息进行 识别得到所述每张图像的实体标签； 根据所述每张图像的CNN特征，将所述多张图像进行分类得到多个类簇； 根据所述多个类簇中每个类簇中的图像的实体标签，确定所述每个类簇的类型标 签； 结合第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式 中，所述根据所述多个类簇中每个类簇中的图像的实体标签，确定所述每个类簇的类型标 签包括： 统计所述每个类簇中的图像的同一实体标签的个数； 根据所述每个类簇中的图像的同一实体标签的个数，选取目标实体标签作为所述 所述每个类簇的类型标签。 相应地，本专利技术第二方面提供了一种图像内容识别装置，包括： 第一提取模块，用于提取待识别图像的CNN特征； 概率计算模块，用于将所述待识别图像输入到预建的图像分类器集合中，并根据 所述待识别图像的CNN特征获取所述图像分类器集合中每个图像分类器输出的概率值，所 述每个图像分类器包括一个类簇，所述类簇对应类型标签，所述每个类簇包括多个图像，所 述多个图像中的每张图像对应实体标签； 分类器选取模块，用于根据所述每个图像分类器输出的概率值，从所述图像分类 器集合中选取至少一个图像分类器作为目标图像分类器； 图像选取模块，用于确定所述目标图像分类器中的每张图像与所述待识别图像的 相似度，并根据所述相似度从所述目标图像分类器中选取多张图像作为目标图像； 图像标注模块，用于使用所述目标图像分类器中的类簇对应的类型标签以及所述 目标图像分类器中的所述目标图像对应的实体标签，对所述待识别图像进行标注。 在第二方面的第一种可能的实现方式中，所述每个图像分类器对应一个系数向 量，所述概率计算模块包括： 特征转化单元，用于将所述待识别图像的CNN特征转化为所述待识别图像的特征 向量； 特征计算单元，用于根据所述每个图像分类器的系数向量与所述待识别图像的特 征向量，计算所述每个图像分类器与所述待识别图像的向量内积； 概率计算单元，用于根据所述每个图像分类器与所述待识别图像的向量内积，计 算所述每个图像分类器输出的概率值。 结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式 中，所述概率计算单元具体用于： 将所述每个图像分类器与所述待识别图像的向量内积映射到正实数域得到指数 值，并计算指数值之和； 将所述目标图像分类器与所述待识别图像的指数值除以所述指数值之和，计算得 到所述目标图像分类器输出的概率值。 结合第二方面的第一种可能的实现方式，在第二方面的第三种可能的实现方式 中，所述图像选取模块具体用于： 获取所述目标图像分类器中每张图像的CNN特征； 将所述目标图像分类器中的每张图像的CNN特征转化为所述每张图像的特征向 量； 将所述目标图像分类器中的每张图像的特征向量乘以所述待识别图像的特征向 量得到所述相似度。 在第二方面的第四种可能的实现方式中，所述装置还包括： 第二提取模块，用于提取多张图像中的每张图像的CNN特征，并对所述每张图像 对应的文本信息进行识别得到所述每张图像的实体标签； 图像分类模块，用于根据所述每张图像的CNN特征，将所述多张图像进行分类得 到多个类簇； 标签确定模块，用于根据所述多个类簇中每个类簇中的图像的实体标签，确定所 述每个类簇的类型标签。 结合第二方面的第四种可能的实现方式，在第二方面的第五种可能的实现方式 中，所述标签确定模块具体用于： 统计所述每个类簇中的图像的同一实体标签的个数； 根据所述每个类簇中的图像的同一实体标签的个数，选取目标实体标签作为所述 所述每个类簇的类型标签。 实施本专利技术实施例，首先提取待识别图像的CNN特当前第1页1 2 本文档来自技高网...
【技术保护点】
一种图像内容识别方法，其特征在于，所述方法包括：提取待识别图像的CNN特征；将所述待识别图像输入到预建的图像分类器集合中，并根据所述待识别图像的CNN特征获取所述图像分类器集合中每个图像分类器输出的概率值，所述每个图像分类器包括一个类簇，所述类簇对应类型标签，所述每个类簇包括多个图像，所述多个图像中的每张图像对应实体标签；根据所述每个图像分类器输出的概率值，从所述图像分类器集合中选取至少一个图像分类器作为目标图像分类器；确定所述目标图像分类器中的每张图像与所述待识别图像的相似度，并根据所述相似度从所述目标图像分类器中选取多张图像作为目标图像；使用所述目标图像分类器中的类簇对应的类型标签以及所述目标图像分类器中的所述目标图像对应的实体标签，对所述待识别图像进行标注。
【技术特征摘要】
【专利技术属性】
技术研发人员：李向林，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。