视觉检索中的紧凑视觉描述子深度神经网络生成模型制造技术

视觉检索中的紧凑视觉描述子深度神经网络生成模型，涉及图像检索。构建Fisher layer网络；构建分组和二分类模块；基于极大边界条件的损失函数的训练；对于图像库图像和查询图像，首先抽取图像的局部特征，然后用训练好的网络结构对图像的局部特征进行聚合和二值嵌入获得图像的二值编码，根据查询图像的二值编码在图像库中匹配返回相似度高的图像作为粗匹配出候选集，再对候选集使用局部特征进行几何一致性检验进行精确匹配并返回最终查询结果。使用灵活的Fisher网络聚合图像的局部特征生成更高效的全局特征Fisher向量；同时用分组与二分类模块对Fisher向量进行二值编码，得到紧凑的全局二值特征。

A Compact Visual Descriptor Subdepth Neural Network Generation Model in Visual Retrieval

Compact visual descriptor sub-depth neural network generation model in visual retrieval involves image retrieval. Construct Fisher layer network; construct grouping and binary classification module; train loss function based on maximum boundary condition; for image database and query image, first extract local features of image, then aggregate and binary embedding local features of image with trained network structure to obtain binary coding of image. According to the binary encoding of query image, the image with high similarity is matched in the image library and returned as the rough matching candidate set. Then, the candidate set is matched accurately by using local features to check the geometric consistency and the final query result is returned. A flexible Fisher network is used to aggregate local features of images to generate more efficient global feature Fisher vectors, and a compact global binary feature is obtained by binary coding of Fisher vectors with grouping and binary classification modules.

【技术实现步骤摘要】
视觉检索中的紧凑视觉描述子深度神经网络生成模型
本专利技术涉及图像检索，具体是涉及一种基于Fisher网络和二值嵌入的视觉检索中的紧凑视觉描述子深度神经网络生成模型。
技术介绍
随着互联网的快速发展，网络上的多媒体数据呈几何式增长，而图片与视频数据增长尤其迅速。据统计，每秒钟会有大概5h长的视频内容上传到YouTube；根据思科2015年的调查研究，到2017年互联网上大约80％的流量都是视频。因此互联网上的图片和视频数据无时无刻都在增加，目前其数据在现有容量与增长速度上已经远远超过当前技术的处理能力。面对数据量如此之快的增长速度，如何利用好这些数据面临几个需要解决的问题，即如何更加有效地利用存储空间与如何在海量的内容中准确并快速地找到需要的信息，以及如何在计算和存储能力有限的移动或者嵌入式终端设备上快速查找图像库的图像。大规模图像检索有着广阔的应用范围。大规模图像检索最新的研究进展主要关注局部特征聚合获得有的全局特征。在这些研究当中，Fisher向量是一种非常有效和有区分性的图像全局特征，具有两点显著特征：Fisher向量利用了图像的一阶和二阶信息；Fisher向量对应的视觉词典小本文档来自技高网...

【技术保护点】
1.视觉检索中的紧凑视觉描述子深度神经网络生成模型，其特征在于包括以下步骤：1)构建Fisher layer网络；2)构建分组和二分类模块；3)基于极大边界条件的损失函数的训练；4)对于图像库图像和查询图像，首先抽取图像的局部特征，然后用训练好的网络结构对图像的局部特征进行聚合和二值嵌入获得图像的二值编码，根据查询图像的二值编码在图像库中匹配返回相似度高的图像作为粗匹配出候选集，再对候选集使用局部特征进行几何一致性检验进行精确匹配并返回最终查询结果。

【技术特征摘要】
1.视觉检索中的紧凑视觉描述子深度神经网络生成模型，其特征在于包括以下步骤：1)构建Fisherlayer网络；2)构建分组和二分类模块；3)基于极大边界条件的损失函数的训练；4)对于图像库图像和查询图像，首先抽取图像的局部特征，然后用训练好的网络结构对图像的局部特征进行聚合和二值嵌入获得图像的二值编码，根据查询图像的二值编码在图像库中匹配返回相似度高的图像作为粗匹配出候选集，再对候选集使用局部特征进行几何一致性检验进行精确匹配并返回最终查询结果。2.如权利要求1所述视觉检索中的紧凑视觉描述子深度神经网络生成模型，其特征在于在步骤1)中，所述构建Fisher网络的具体方法为：将混合高斯模型进行两点简化，假设：(1)假设GMM中每个高斯函数权重相等，即：ωk＝1；(2)假设GMM中每个高斯函数的协方差矩阵的行列式值|Σk|相等；简化后的GMM高斯函数uk(xij)写为以下形式：假设wk＝1/δk,bk＝-μk,最终Fisher网络的形式如下：其中，⊙为元素乘积运算，γj(k)的计算公式是一个softmax函数，wk，bk是GMM第k个高斯函数的参数；γj(k)的计算公式包含共同计算部分wk⊙(xij+bk)是可微分的，其他计算是线性或者平方操作，是可求导的；经过简化的Fisher向量算法为线性运算，因此Fisher网络耦合其他网络结构并用梯度下降法训练，采用误差反向传播算法来学习参数。3.如权利要求1所述视觉检索中的紧凑视觉描述子深度神经网络生成模型，其特征在于在步骤2)中，所述构建分组与二分类模块的具体方法为：首先将Fisher网络输出的Fisher向量x分组获得若干数量的子向量xp，每一个子向量输入两层全连接层，进行非线性...

【专利技术属性】
技术研发人员：纪荣嵘，林贤明，钱剑强，施明辉，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建,35