一种基于深度学习的多维度特征选择方法技术

本发明专利技术提供一种基于深度学习的多维度特征选择方法，该方法通过Inception深度学习模型和特征维度随机截取模型学习到图像通用特征，并将数据库图像的通用特征储存，并且经过精心设计的特征维度选择模型对查询图像的特征维度进行选取，并以此维度在数据库中进行查询，使得查询所需的时间降低。使得查询所需的时间降低。使得查询所需的时间降低。

【技术实现步骤摘要】
一种基于深度学习的多维度特征选择方法


[0001]本专利技术涉及计算机应用技术、计算机视觉领域，更具体地，涉及一种基于深度学习的多维度特征选择方法。

技术介绍

[0002]近年来，基于深度网络的检索方法取得了显著进展。更广泛的研究努力致力于学习准确的图像检索模型。但是对于互联网上庞大图像数据，仅仅是准确度并不能满足实际的需求，因此学术研究者对更为快速的图像检索技术表现出了极大的吸引力。
[0003]目前的检索技术大多数现有的度量学习方法是将所有的输入的样本转化为定长的特征向量。这些已有的方法忽略了那些可以用更短的特征维度来表示的简单示例，因此检索效率相对低，
[0004]对于上述一些问题，自然地想到通过动态选择特征的维度来减少搜索时间，为了能选择特征，首先需要一个可以提取通用特征模型，具体是Inception网络。经过测试，得出了Inception网络提取的通用特征与单独训练的特征相比，精度损失不大。然后，设计了一个特征维度选择模块，具体包含演员网络(Actor Network),批评家网络(Critic Network)和奖励函数(Reward Function)。

技术实现思路

[0005]本专利技术提供一种基于深度学习的多维度特征选择方法，该方法使得查询所需的时间降低。
[0006]为了达到上述技术效果，本专利技术的技术方案如下：
[0007]一种基于深度学习的多维度特征选择方法，包括以下步骤：
[0008]S1：建立用于图像通用特征提取的深度学习网络模型G；
[0009]S2：在网络模型G后加上特征维度随机截取模型；
[0010]S3：通过在训练集上训练，获得训练集和测试集的通用特征；
[0011]S4：获得图像通用特征后，建立特征维度选择模型；
[0012]S5：训练和测试特征维度选择模型；
[0013]S6：建立用于提供后台接口的进程，提供检索入口以及返回检索结果。
[0014]进一步地，所述步骤S1的具体过程是：
[0015]S11：建立G网络的特征提取层，将预处理后的每个视频中的每一帧图片表示成一个低维的实数向量，在大规模标注照片上预训练好的模型导入Inception网络；
[0016]S12：通过训练该Inception网络来提取到一组设定好的长度的对于图像的特征向量X。
[0017]进一步地，所述步骤S2的维度截取模块具体设计是：
[0018]S21：用一个全连接层将设定好长度的特征向量X映射成一个K维的实数向量，这里的K为最大允许的特征维度大小
[0019]S22：在S21将每一个向量编码成一个实数向量后，建立G网络的维度截取模块，通过这个模块从最小维度(设置为16)到最大维度(设置为128)中随机选择一个维度，顺序的截取，获得一个随机长度的特征，在一个小批次中使用相同的特征维度，每次通过这些不同维度的特征来训练网络，以此获得一个最大长度为K的通用特征，每当需要一个随机长度的特征时，只需要对该通用特征进行顺序地截取即可。
[0020]进一步地，所述步骤S3的具体过程是：
[0021]S31：将数据集分为训练数据以及测试数据；
[0022]S32：整体的模型要进行训练，G网络的训练步骤如下：每个小批量的图像样本由G网络提取出长度为最大维度K的图像特征，经过特征维度随机截取模型进行特征随机从最小维度到最大维度K抽取一个整数作为维度，然后对最大维度的特征进行顺序截取获得一个该维度的特征矩阵，使用损失函数的最小化来训练G网络模型，训练G网络的参数；
[0023]S33：模型的测试步骤为：单独以某一个维度训练模型，得到几个固定维度的特征提取模型，然后分别对每个固定维度模型做一下操作：先过一遍训练数据集，将测试数据输入到G网络，然后由G网络生成特征，将特征存储到数据库中。然后过一遍测试数据集，用测试数据集作为查询集，将每一个图像的特征与数据库中数据进行距离计算来计算R@K，具体计算方式是：计算所有图像特征间的距离，然后按距离从小到大排序，接着判断是否属于同类视频，如果前K个图像中有同类的，则为1，反之为0，将测试集中所有的结果取平均，即得到最终结果R@K。
[0024]对于通用模型则截取前k维与对应的固定维度的网络作比较。
[0025]进一步地，所述步骤S4的具体过程是：
[0026]S41：建立一个由三层全连接组成的Actor网络，该网络的功能是把一个图像的通用特征作为状态输入，输出预测的合适的维度作为动作输出；
[0027]S42：建立一个由几层全连接组成的Critic网络，该网络的功能是把一个图像的通用特征作为状态和Actor网络输出的动作输入，输出对Actor网络的评分，以此来优化Actor网络；
[0028]S43：建立一个Reward函数，该函数返回一个针对Actor网络输出的维度，结合维度的长度惩罚，由Actor网络输出决定和实际评价标准(R@K)的精度惩罚的评分作为Critic网络的监督信息；
[0029]进一步地，所述步骤S5的具体过程是：
[0030]S51：将数据集分为训练数据以及测试数据；
[0031]S52：整体的模型要进行训练，特征维度选择模型的训练步骤如下：由G网络提取出图像通用特征，对Actor网络和Critic网络进行交替更新，且使用慢更新的方法，第一步，固定Critic网络，经过Actor网络获得其选择的维度，使用Critic网络的到评分来优化Actor网络。第二步，固定Actor网络，将Critic网络对Actor网络输出的评分和Reward函数的评分做比较来监督训练Critic网络。其中两个网络的更新的学习率和频率不一样；
[0032]S53：测试时使用Actor网络获得选择的维度d，与数据库中的训练集的通用特征的前d维进行距离比较，得到一个排序。将该排序使用R@1,R@2,R@4等行评估。具体计算方式是：计算所有图像特征间的距离，然后按距离从小到大排序，接着判断是否属于同类视频，如果前K个图像中有同类的，则为1，反之为0，将测试集中所有的结果取平均，即得到最终结
果R@K。
[0033]进一步地，所述步骤S6的具体过程是：
[0034]S61：将训练后的Inception模型和特征维度选择模型保存下来；
[0035]S62：创建一个后台服务进程，预留图像输入的接口；
[0036]S63：通过访问S62中创建的接口，将图像输入进去，之后S62的后台服务进程会先对图像进行预处理，处理成S61的Inception模型所需要的输入格式。接下来调取S61中保存的Inception模型，将处理好的图像输入进模型，并得到该图像的通用。然后经过S61中特征维度选择模型，获得合适的维度大小d，顺序截取该特征，和数据库中存储的图像通用特征数据的前d维进行距离计算，并按小到大进行排序后返回前k个图像，前k个图像为最相近的k个图像的检索结果。
...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多维度特征选择方法，其特征在于，包括以下步骤：S1：建立用于图像通用特征提取的深度学习网络模型G；S2：在网络模型G后加上特征维度随机截取模型；S3：通过在训练集上训练，获得训练集和测试集的通用特征；S4：获得图像通用特征后，建立特征维度选择模型；S5：训练和测试特征维度选择模型；S6：建立用于提供后台接口的进程，提供检索入口以及返回检索结果。2.根据权利要求1所述的基于深度学习的多维度特征选择方法，其特征在于，所述步骤S1的具体过程是：S11：建立G网络的特征提取层，将预处理后的每个视频中的每一帧图片表示成一个低维的实数向量，在大规模标注照片上预训练好的模型导入Inception网络；S12：通过训练该Inception网络来提取到一组设定好的长度的对于图像的特征向量X。3.根据权利要求2所述的基于深度学习的多维度特征选择方法，其特征在于，所述步骤S2中，特征维度随机截取模型具体设计过程是：S21：用一个全连接层将设定好长度的特征向量X映射成一个K维的实数向量，K为最大允许的特征维度大小；S22：在S21将每一个向量编码成一个实数向量后，建立G网络的维度截取模块，通过维度截取模块从最小维度到最大维度中随机选择一个维度，顺序的截取，获得一个随机长度的特征，在一个小批次中使用相同的特征维度，每次通过这些不同维度的特征来训练网络，以此获得一个最大长度的通用特征，每当需要一个随机长度的特征时，只需要对该通用特征进行顺序地截取即可。4.根据权利要求3所述的基于深度学习的多维度特征选择方法，其特征在于，所述步骤S3的具体过程是：S31：将数据集分为训练数据以及测试数据；S32：整体的模型要进行训练，G网络的训练步骤如下：由G网络提取出图像特征，经过特征维度随机截取模型进行特征随机截取后，使用损失函数的最小化来训练G网络模型，训练G网络的参数；S33：将训练集数据经过特征提取模型G，得到最大的长度的通用特征，并将其储存在数据库中，对于测试集数据则在获得全长的通用特征后，评价通用特征的有效性。5.根据权利要求4所述的基于深度学习的多维度特征选择方法，其特征在于，所述步骤S4的具体过程是：S41：建立一个由几层全连接组成的Actor网络，该网络的功能是把一个图像的通用特征作为状态输入，输出预测的合适的维度；S42：建立一个由几层全连接组成的Critic网络，该网络的功能是把一个图像的通用特征作为状态和Actor网络输出的维度输入，输出对Actor网络的评分，以此来优化Actor网络；S43：建立一个Reward函数，该...

【专利技术属性】
技术研发人员：赖韩江，胡宇杰，潘炎，印鉴，
申请(专利权)人：中山大学，
类型：发明
国别省市：