一种渐进式的端到端深度特征量化系统及方法技术方案

本发明专利技术涉及图像检索领域，其公开了一种渐进式的端到端深度特征量化系统及方法，解决传统技术中由于特征提取和量化两部分相互孤立，在数据库中的二进制编码长度需要变更时，需要重新训练神经网络并对整个数据库重新编码，而带来的耗费时间和运算资源的问题。该系统包括深度神经网络，所述深度神经网络包括：图像特征优化单元，用于将图片通过表示学习，生成用于描述图片的D维实数特征向量；特征量化单元，用于通过一个或多个量化层将特征向量转化为二进制编码；当使用多个量化层时，各个量化层的量化误差作为下一个量化层的输入，根据编码精度需求选择相应个数的量化层的量化输出的编码进行拼接，获得最终的二进制编码。

An incremental end-to-end depth feature quantization system and method

The invention relates to the field of image retrieval, which discloses a progressive end-to-end depth feature quantization system and method. It solves the problem of time-consuming and computational resource-consuming when the length of binary coding in database needs to be changed due to the isolation of feature extraction and quantization in traditional technology. Problem. The system includes a depth neural network, which includes: an image feature optimization unit for generating D-dimensional real-number feature vectors for describing pictures through representation learning; a feature quantization unit for converting feature vectors into binary coding through one or more quantization layers; and when multiple quantization layers are used, the quantization errors of each quantization layer act as quantization errors. The input of the next quantization layer, according to the requirement of coding accuracy, chooses the corresponding number of quantized output codes of the quantization layer for splicing, and obtains the final binary coding.

【技术实现步骤摘要】
一种渐进式的端到端深度特征量化系统及方法
本专利技术涉及图像检索领域，具体涉及一种渐进式的端到端深度特征量化系统及方法。
技术介绍
随着信息时代多媒体内容的爆炸式增长，如何在海量图片库中检索图片是一个热点问题。传统的图像检索方法是先使用SIFT[1],GIST[2]算法提取图像的特征信息，再使用哈希算法[3]或量化算法[4]将特征信息压缩至极短的二进制编码，以此缩减数据库体积，加快检索速度。最近，一些基于深度学习的量化算法不断涌现，它们首先使用深度神经网络提取图片的特征信息[5]，然后使用传统的量化方法再进行特征压缩。然而，由于特征提取和量化两部分相互孤立，如果数据库中的二进制编码长度需要变更时，每次都需要对神经网络重新训练并对整个数据库重新编码，非常耗费时间和运算资源。参考文献：[1]LoweDG.Objectrecognitionfromlocalscale-invariantfeatures[C]//Computervision,1999.TheproceedingsoftheseventhIEEEinternationalconferenceon.Ieee,1999,2:1150-1157.[2]OlivaA,TorralbaA.Modelingtheshapeofthescene:Aholisticrepresentationofthespatialenvelope[J].Internationaljournalofcomputervision,2001,42(3):145-175.[3]DatarM,ImmorlicaN,IndykP,etal.Locality-sensitivehashingschemebasedonp-stabledistributions[C]//ProceedingsofthetwentiethannualsymposiumonComputationalgeometry.ACM,2004:253-262.[4]JegouH,DouzeM,SchmidC.Productquantizationfornearestneighborsearch[J].IEEEtransactionsonpatternanalysisandmachineintelligence,2011,33(1):117-128.[5]KrizhevskyA,SutskeverI,HintonGE.Imagenetclassificationwithdeepconvolutionalneuralnetworks[C]//Advancesinneuralinformationprocessingsystems.2012:1097-1105.
技术实现思路
本专利技术所要解决的技术问题是：提供一种渐进式的端到端深度特征量化系统及方法，解决传统技术中由于特征提取和量化两部分相互孤立，在数据库中的二进制编码长度需要变更时，需要重新训练神经网络并对整个数据库重新编码，而带来的耗费时间和运算资源的问题。本专利技术解决上述技术问题所采用的技术方案是：一种渐进式的端到端深度特征量化系统，包括深度神经网络，所述深度神经网络包括图像特征优化单元和特征量化单元，所述图像特征优化单元，用于将图片通过表示学习，生成用于描述图片的D维实数特征向量；所述特征量化单元，用于通过一个或多个量化层将特征向量转化为二进制编码；当使用多个量化层时，各个量化层的量化误差作为下一个量化层的输入，根据编码精度需求选择相应个数的量化层的量化输出的编码进行拼接，获得最终的二进制编码。作为进一步优化，所述量化层通过softmax函数来进行量化。作为进一步优化，所述量化层具体用于：首先随机初始化一个M*D的码本，包含M个长度为D维的码字；当接收到D维特征向量的输入时，先计算输入与各个码字之间的距离d，得到由M个距离组成的距离向量，之后对距离向量应用softmax函数计算，得到归一化的距离P，P即是各个码元相对于输入的权重，与输入越近似的码字，在P中所占比例就越大；最后使用P对码字进行加权求和，将加权求和值作为软编码，将P中权重最大的码字的索引作为硬编码；通过软编码和硬编码来计算量化误差。作为进一步优化，所述量化层还用于，通过优化量化误差来更新量化层的码本。此外，基于上述系统，本专利技术还提供了一种渐进式的端到端深度特征量化方法，其包括以下步骤：a.初始化步骤：初始化深度神经网络，定义特性向量的长度和码本的大小；b.网络训练步骤：输入训练图片至深度神经网络的输入中，获得量化近似后的输出；c.数据库图片特征量化步骤：深度神经网络训练完毕后，将图片数据库中的所有图片输入此网络进行特征量化，获取最终二进制编码。作为进一步优化，步骤b中，在进行网络训练时，通过监督信息计算语义损失和分类损失，并通过梯度下降法反向传播，更新整个网络。作为进一步优化，步骤b中，所述深度神经网络的输入获取到训练图片后，首先对图片进行特征提取，生成用于描述图片的D维特征向量；然后对所述特征向量进行量化，量化过程包括：首先计算特征向量与各个码字之间的距离d，得到由M个距离组成的距离向量，之后对距离向量应用softmax函数计算，得到归一化的距离P，P即是各个码元相对于输入的权重，与输入越近似的码字，在P中所占比例就越大；最后使用P对码字进行加权求和，将加权求和值作为软编码，将P中权重最大的码字的索引作为硬编码；通过软编码和硬编码来计算量化误差，通过优化量化误差更新量化层的码本。作为进一步优化，步骤c中，所述最终二进制编码为根据数据库编码精度需求选择相应个数的量化层的量化输出的编码进行拼接获得。本专利技术的有益效果是：(1)定义了可微的量化层，使得量化算法可以作为神经网络的一层使用，从而能够实现端到端的量化算法。(2)定义了普适的量化方法，通过自定义输入和输出策略，能够实现特定的量化方法。(3)提出一种量化的输入和输出策略，实现了渐进式的量化方法，达到只需一次训练，就能获得不同长度编码的效果，减少了时间和降低了运算成本。附图说明图1为本专利技术的渐进式的端到端深度特征量化原理示意图；图2为图像特征优化单元的原理示意图；图3为特征量化单元的原理示意图；图4为量化层的工作原理图。具体实施方式本专利技术旨在提供一种渐进式的端到端深度特征量化系统及方法，解决传统技术中由于特征提取和量化两部分相互孤立，在数据库中的二进制编码长度需要变更时，需要对神经网络重新训练并对整个数据库重新编码，而带来的耗费时间和运算资源的问题。本专利技术从深度量化方法出发，设计了一个使用深度神经网络的网实现的特征量化层，这一量化层可以将一个D维长度的特征向量用一个包含M个D维码字的码本中的一个字表示，从而将特征向量表示成码本中的一个索引，也即将D维长度的实数向量压缩到长度为logK的二进制编码上。同时，本专利技术提出了一个普适的量化过程，把量化过程抽象成一些特定的量化层表示，通过给定输入和输出的策略，本专利技术就能通过这些量化层来实现特定的量化算法。最后，本专利技术提出了一个量化策略，实现了渐进式的量化算法，使得整个网络仅需训练一次，就能得到压缩成不同长度的二进制编码。如图1所示，本专利技术中的渐进式的端到端深度特征量化系统，包括深度神经网络，所述深度神经网络包括图本文档来自技高网...

【技术保护点】
1.一种渐进式的端到端深度特征量化系统，包括深度神经网络，其特征在于，所述深度神经网络包括图像特征优化单元和特征量化单元，所述图像特征优化单元，用于将图片通过表示学习，生成用于描述图片的D维实数特征向量；所述特征量化单元，用于通过一个或多个量化层将特征向量转化为二进制编码；当使用多个量化层时，各个量化层的量化误差作为下一个量化层的输入，根据编码精度需求选择相应个数的量化层的量化输出的编码进行拼接，获得最终的二进制编码。

【技术特征摘要】
1.一种渐进式的端到端深度特征量化系统，包括深度神经网络，其特征在于，所述深度神经网络包括图像特征优化单元和特征量化单元，所述图像特征优化单元，用于将图片通过表示学习，生成用于描述图片的D维实数特征向量；所述特征量化单元，用于通过一个或多个量化层将特征向量转化为二进制编码；当使用多个量化层时，各个量化层的量化误差作为下一个量化层的输入，根据编码精度需求选择相应个数的量化层的量化输出的编码进行拼接，获得最终的二进制编码。2.如权利要求1所述的系统，其特征在于，所述量化层通过softmax函数来进行量化。3.如权利要求2所述的系统，其特征在于，所述量化层具体用于：首先随机初始化一个M*D的码本，包含M个长度为D维的码字；当接收到D维特征向量的输入时，先计算输入与各个码字之间的距离d，得到由M个距离组成的距离向量，之后对距离向量应用softmax函数计算，得到归一化的距离P，P即是各个码元相对于输入的权重，与输入越近似的码字，在P中所占比例就越大；最后使用P对码字进行加权求和，将加权求和值作为软编码，将P中权重最大的码字的索引作为硬编码；通过软编码和硬编码来计算量化误差。4.如权利要求3所述的系统，其特征在于，所述量化层还用于，通过优化量化误差来更新量化层的码本。5.一种渐进式的端到端深度特征量化方法，应用于如权利要求1-4任意一...

【专利技术属性】
技术研发人员：宋井宽，朱筱苏，高联丽，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51