一种基于深度学习的视频检索方法技术

本发明专利技术提供一种基于深度学习的视频检索方法，该方法能通过G网络中的视频输入层以及RseNet的深度学习模型学习到视频的上下文特征，能够提取出可以表达视频类型的特征数，并且经过Hash层转换优化存储空间，使得视频特征存储所占空间极大降低。通过在相应数据集上的实验表明，本发明专利技术对比之前的视频检索方法，有较大提升，并且同样数据集占用的存储空间也有较大降低。

【技术实现步骤摘要】
一种基于深度学习的视频检索方法
本专利技术涉及计算机视觉领域，更具体地，涉及一种基于深度学习的视频检索方法。
技术介绍
近年来，随着互联网的快速发展，网络已经成为人们娱乐和获取信息的主要途径，在这个过程中，互联网上积累了大量的视频数据，目前相当成熟的文字检索技术可以帮助人们获取信息，但是对于利用视频去进行检索却还有所欠缺。视频检索技术可以帮助人们查找某个视频相关的其他视频，因此视频检索技术无论是对学术界或者是工业界都表现除了极大的吸引力。目前的检索技术常见的如文字搜索文字、图片、视频，以及图片搜索图片，但是对于以视频搜索视频的技术还并不完善。本专利基于深度学习的方法，对视频特征进行提取，然后提供给检索用。深度学习的模型在图片领域上的应用比较成熟，但是对于视频领域，由于各种原因，比如视频数据集太大、数据集质量欠缺、模型不足以提取视频特征等因素，导致视频特征提取还不是非常成熟。目前常见的视频特征提取网络有3DConvolution、Two-StreamNetwork、CNN+RNN等。对于上述一些问题，通过调研后采取了3DConvolution网络，具体是3DResNet，该模型有许多种深度，例如常见的18层、34层、50层、101层、152层等。一般来说，深度越深，越能提取视频的细节特征。但是深度越深也会带来越高的计算开销，对硬件的要求会越高。综合了个因素后，采取了18层的ResNet进行视频的特征提取。经过测试，得出了18层ResNet已经可以达到一个不错的效果了。让深度学习进行学习从而达到对视频特征提取更加敏感，这样最后的分类器的分类也就更加准确。分类更加准确，之后在进行检索的视频相关度就会更高。
技术实现思路
本专利技术提供一种基于深度学习的视频检索方法，该方法可实现降低同样数据集占用的存储空间。为了达到上述技术效果，本专利技术的技术方案如下：一种基于深度学习的视频检索方法，包括以下步骤：S1：建立用于视频特征提取的深度学习网络模型G；S2：对步骤S1中得到的模型进行训练与测试；S3：利用S3中得到的弄醒建立用于提供后台接口的进程，提供检索入口以及返回检索结果。进一步地，所述步骤S1的具体过程是：S11：建立G网络的第一层视频向量层，将预处理后的每个视频中的每一帧照片表示成一个低纬、稠密的实数向量，在大规模标注照片上预训练好的图片模型Resnet，将整个视频表示成视频向量矩阵X＝[x1,…,xt,…,xn]，其中n是视频帧数，向量矩阵X的维度是照片预处理大小112*112；S12：建立G网络的第二层ResNet层，在这一层中让模型学习到整个视频的上下文信息，对于向量X，每一帧图片是向量中的一个元素，第t个帧元素表示为xt，通过ResNet模型后提取到一组设定好的nbit长度的特征向量；S13：建立G网络的第三层特征向量Hash层，将ResNet输出的特征向量进行Hash转化成0、1值的向量，以此减少存储空间。进一步地，所述步骤S2的具体过程是：S21：将数据集分为训练数据以及测试数据；S22：整体的模型要进行训练，G网络的训练步骤如下：由G网络提取出视频特征，由损失函数L1的最小化来训练G网络模型，训练G网络的参数；S23：模型的测试步骤为：先过第一遍测试数据集，将测试数据输入到G网络，然后由G网络生成特征，将特征存储到数据库DB1。然后进行第二遍特征mAP计算，将每一个视频的特征与DB1中数据进行距离计算，之后进行mAP计算，具体计算方式是：计算所有视频间的距离，然后按距离从小到大排序，接着判断是否属于同类视频，例如第t个视频特征，如果是则正确数加1，正确数表示为r，然后计算AP即r除以t，把所有视频的AP计算出来后进行求AP总和，并处以视频总数量n，即得到最终结果mAP。进一步地，所述步骤S3的具体过程是：S31：将训练后的ResNet模型保存下来；S32：创建一个后台服务进程，预留视频输入的接口；S33：通过访问S32中创建的接口，将视频输入进去，之后S32的后台服务进程会先对视频进行预处理，处理成S31的ResNet模型所需要的输入格式，接下来调取S31中保存的ResNet模型，将处理好的视频输入进模型，并得到nbit的特征数。然后经过Hash后调去数据库中存储的视频特征数据进行距离计算，并按小到大进行排序后返回前k个视频，即最相似的前k个视频为检索结果。进一步地，步骤S12中，特征提取过程如下：先将ResNet模型经过Kinetics视频数据集进行预训练，然后再进行微调，每个视频经过预训练好的ResNet模型后，会生成一组k大小的特征数向量，这个k是指视频有k种分类；然后再经过一个Linear层转换成自定义的n长度的特征数。进一步地，步骤S22中，G网络的训练过程中，采用交叉熵损失与三元组损失作为损失函数，并且损失值的大小是根据交叉熵损失与萨三元组损失的总和。训练过程中采用SGD进行优化，采用Margin设置距离间距，防止过拟合。与现有技术相比，本专利技术技术方案的有益效果是：本专利技术能通过G网络中的视频输入层以及RseNet的深度学习模型学习到视频的上下文特征，能够提取出可以表达视频类型的特征数，并且经过Hash层转换优化存储空间，使得视频特征存储所占空间极大降低。通过在相应数据集上的实验表明，本专利技术对比之前的视频检索方法，有较大提升，并且同样数据集占用的存储空间也有较大降低。附图说明图1为本专利技术的G网络流程示意图；图2为本专利技术的应用流程示意图；图3为本专利技术的算法模型完全图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本专利技术的技术方案做进一步的说明。实施例1如图1-3所示，一种基于深度学习的视频检索方法，包括以下步骤：S1：建立用于视频特征提取的深度学习网络模型G；S2：对步骤S1中得到的模型进行训练与测试；S3：利用S3中得到的弄醒建立用于提供后台接口的进程，提供检索入口以及返回检索结果。进一步地，所述步骤S1的具体过程是：S11：建立G网络的第一层视频向量层，将预处理后的每个视频中的每一帧照片表示成一个低纬、稠密的实数向量，在大规模标注照片上预训练好的图片模型Resnet，将整个视频表示成视频向量矩阵X＝[x1,…,xt,…,xn]，其中n是视频帧数，向量矩阵X的维度是照片预处理大小112*112；S12：建立G网络的第二层ResNet层，在这一层中让模型学习到整个视频的上下文信息，对于向量X，每一帧图片是向量中的一个元素，第t个帧元素表示为xt，通过ResNet模型后提取到一组设定好的nbit长度的特本文档来自技高网...

【技术保护点】
1.一种基于深度学习的视频检索方法，其特征在于，包括以下步骤：/nS1：建立用于视频特征提取的深度学习网络模型G；/nS2：对步骤S1中得到的模型进行训练与测试；/nS3：利用S3中得到的弄醒建立用于提供后台接口的进程，提供检索入口以及返回检索结果。/n

【技术特征摘要】
1.一种基于深度学习的视频检索方法，其特征在于，包括以下步骤：
S1：建立用于视频特征提取的深度学习网络模型G；
S2：对步骤S1中得到的模型进行训练与测试；
S3：利用S3中得到的弄醒建立用于提供后台接口的进程，提供检索入口以及返回检索结果。


2.根据权利要求1所述的基于深度学习的视频检索方法，其特征在于，所述步骤S1的具体过程是：
S11：建立G网络的第一层视频向量层，将预处理后的每个视频中的每一帧照片表示成一个低纬、稠密的实数向量，在大规模标注照片上预训练好的图片模型Resnet，将整个视频表示成视频向量矩阵X＝[x1,…,xt,…,xn]，其中n是视频帧数，向量矩阵X的维度是照片预处理大小112*112；
S12：建立G网络的第二层ResNet层，在这一层中让模型学习到整个视频的上下文信息，对于向量X，每一帧图片是向量中的一个元素，第t个帧元素表示为xt，通过ResNet模型后提取到一组设定好的nbit长度的特征向量；
S13：建立G网络的第三层特征向量Hash层，将ResNet输出的特征向量进行Hash转化成0、1值的向量，以此减少存储空间。


3.根据权利要求2所述的基于深度学习的视频检索方法，其特征在于，所述步骤S2的具体过程是：
S21：将数据集分为训练数据以及测试数据；
S22：整体的模型要进行训练，G网络的训练步骤如下：由G网络提取出视频特征，由损失函数L1的最小化来训练G网络模型，训练G网络的参数；
S23：模型的测试步骤为：先过第一遍测试数据集，将测试数据输...

【专利技术属性】
技术研发人员：印鉴，陈智聪，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44